Probabilità delle parole e Turnitin: cosa legge davvero il classificatore

Ogni parola di una frase ha una probabilità di comparire in quel contesto preciso. Se scrivi «L'esperimento ha mostrato un risultato», la parola successiva è più probabilmente «significativo» che «ananas». I modelli linguistici stimano queste probabilità in base al contesto che precede, e anche il classificatore di Turnitin lo fa, sia pure in modo diverso.

La probabilità delle parole indica quanto ogni scelta lessicale sia prevedibile alla luce delle parole che la precedono. I modelli di generazione tendono a scegliere l'opzione più attesa, la più comune in senso statistico. Chi scrive, al contrario, sceglie spesso parole meno prevedibili: verbi insoliti, nomi specialistici o costrutti che rompono lo schema statistico che seguirebbe un modello di IA.

Turnitin lo dice apertamente: i suoi classificatori sono «trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (addestrati a rilevare queste differenze nella probabilità delle parole e padroni delle particolari sequenze di probabilità tipiche di chi scrive). Il classificatore non conta le parole chiave. Confronta la distribuzione di probabilità delle tue scelte lessicali con gli schemi appresi da dati di addestramento che contenevano sia testi umani sia testi generati dall'IA.

Questo conta perché due testi possono essere grammaticalmente perfetti e differire molto nella probabilità delle parole. Chi scrive può introdurre una metafora inattesa, usare un'espressione colloquiale dentro una frase accademica o ripetere una parola dove un modello di IA avrebbe messo un sinonimo. Ognuna di queste scelte sposta il profilo di probabilità che il classificatore legge.

Quando un elaborato arriva a Turnitin, il processo comincia con la segmentazione. Le frasi vengono estratte, divise in sezioni che si sovrappongono, e ogni sezione riceve un punteggio indipendente dal modello di rilevamento dell'IA. Ogni segmento riceve un valore compreso tra 0 e 1, che rappresenta la probabilità che il testo sia stato generato dall'IA invece che scritto da una persona.

Turnitin descrive la catena di elaborazione in modo chiaro: «Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.» (Ogni segmento viene classificato dal modello di rilevamento dell'IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia umano o generato dall'IA.) Le frasi che cadono dentro segmenti sovrapposti ereditano quei punteggi e, quando una frase compare in più segmenti sovrapposti, i suoi punteggi vengono riuniti in un unico valore. Questi punteggi a livello di frase si aggreghano poi nel punteggio complessivo di scrittura IA del documento.

Al centro di questa catena c'è un modello basato sui transformer. La documentazione sull'architettura di Turnitin afferma: «Our current system uses a modern deep learning approach based on the transformer architecture.» (Il nostro sistema attuale usa un approccio moderno di deep learning basato sull'architettura transformer.) Il transformer legge le sequenze di probabilità delle parole lungo i segmenti e impara quali sequenze sono tipiche della scrittura umana e quali della generazione automatica.

Il punto chiave è che il classificatore non guarda una parola singola, isolata. Legge sequenze di scelte lessicali attraverso interi segmenti di testo. Una sola parola insolita non sposterà di molto il tuo punteggio, ma una serie continuata di scelte a bassa probabilità, del tipo che viene naturale a chi scrive, verrà registrata come umana. Al contrario, una serie continuata di scelte molto probabili e statisticamente prevedibili verrà registrata come tipica dell'IA.

Molti articoli sul rilevamento dell'IA citano la «perplessità» come metrica centrale. La perplessità è, per definizione, una misura della probabilità delle parole. Quantifica quanto un modello linguistico resti sorpreso da una data sequenza di parole. Perplessità bassa significa che le parole erano prevedibili; alta, che non lo erano.

È qui che entra in gioco una sfumatura decisiva. Turnitin nega esplicitamente di calcolare la perplessità come metrica con un nome preciso: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come «burstiness», «perplexity» o altre metriche singole a volte citate nelle discussioni pubbliche.) E proseguono: «Instead, it learns statistical patterns from our training data.» (Impara invece schemi statistici dai nostri dati di addestramento.)

Allora, Turnitin controlla la perplessità o no? La risposta è più sfumata di un sì o di un no. La perplessità è una misura della probabilità delle parole e il classificatore di Turnitin è addestrato su schemi di probabilità delle parole. Però non calcola un singolo punteggio di perplessità da inserire in una formula. Il transformer impara schemi statistici complessi dai dati di addestramento: schemi che includono la probabilità delle parole, ma che non si riducono a una metrica con un nome preciso.

Turnitin lo spiega così: «As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules.» (Di conseguenza, i suoi risultati sono generati da molti schemi appresi che lavorano insieme, invece che da un piccolo insieme di regole trasparenti e leggibili da un essere umano.) La conclusione pratica è che dire «Turnitin controlla la perplessità» è una semplificazione eccessiva. Il classificatore impara gli schemi di probabilità delle parole nel loro insieme, e questi schemi pesano sul punteggio di ogni segmento senza ridursi a una formula che tu possa calcolare da solo.

Nel luglio 2026 Turnitin ha cambiato in modo significativo la propria architettura. La documentazione lo conferma: «In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate.» (Nel luglio 2026 abbiamo aggiornato l'architettura del nostro modello per consolidare un insieme di più modelli in un unico modello. Questo aggiornamento migliora e semplifica il report di scrittura IA, mantenendo un tasso di falsi positivi inferiore all'1%.)

Prima di questo cambiamento il sistema usava più modelli, i cui risultati venivano combinati. Un insieme di più modelli può rendere più complessa l'aggregazione dei punteggi, e modelli diversi possono pesare in modo diverso gli schemi di probabilità delle parole. Passare a un modello unico significa che gli schemi di probabilità appresi dal classificatore durante l'addestramento vengono applicati in modo coerente a tutto il documento.

Il tasso di falsi positivi resta sotto l'1%: su 100 documenti scritti interamente da una persona, meno di uno viene segnalato a torto come generato dall'IA. Per mantenere basso questo tasso, il modello può lasciar passare testi effettivamente generati dall'IA, un compromesso che esaminiamo nella prossima sezione.

Capire che il classificatore legge sequenze di probabilità delle parole porta a diverse osservazioni pratiche.

Primo: una scrittura molto levigata e schematica tende ad assomigliare di più all'IA. Turnitin stesso nota che i falsi positivi riguardano spesso «content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (contenuti senza molta variazione strutturale, testo che si ripete letteralmente o testo riformulato senza sviluppare idee nuove). Quando un testo è uniforme nella struttura e usa parole comuni e prevedibili, può assomigliare agli schemi di alta probabilità che il classificatore associa alla generazione automatica.

Secondo: una scrittura con un'impronta personale autentica tende a sembrare più umana. Scelte lessicali insolite, strutture di frase variate e formulazioni originali creano sequenze a bassa probabilità associate alla paternità umana. Non si tratta di inserire errori, ma di esprimere le idee in modi che riflettano una voce personale autentica invece di una media statistica.

Terzo: Turnitin ammette apertamente che una parte del testo IA sfuggirà. Affermano: «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Per mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che ci sfugga una parte del testo scritto dall'IA in un documento.) E forniscono un esempio concreto: «If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.» (Se rileviamo che il 50% di un documento è probabilmente scritto da uno strumento di IA, potrebbe contenere fino al 65% di scrittura IA.) Se il tuo documento viene segnalato con una percentuale intermedia, la quota reale di testo IA può essere più alta.

Questo scarto di calibrazione ha due implicazioni. Per gli studenti: un falso positivo è raro, ma possibile, soprattutto con una prosa accademica molto curata o ripetitiva. Per i docenti: la percentuale riportata va letta come una stima prudenziale, non come una misurazione precisa. L'indicazione è chiara: scrivi con una variazione autentica nelle parole e nella struttura, e tieni presente che il punteggio riflette una valutazione di probabilità, non un conteggio definitivo. Prova lo strumento HumanPen qui.