Documenti brevi e il problema del tutto o niente in Turnitin

Per capire perché i documenti brevi producano punteggi di scrittura IA inaffidabili, bisogna prima guardare a come Turnitin elabora il testo. La documentazione lo spiega: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1...)

In quella frase è la parola «overlapping» (sovrapposizione) a fare il lavoro importante. Turnitin non analizza il tuo documento come un blocco continuo. Suddivide il testo in segmenti che si sovrappongono: una stessa frase può quindi comparire in più segmenti. Ogni segmento riceve un proprio punteggio predittivo tra 0 e 1, e la percentuale finale di scrittura IA deriva dalla combinazione di questi singoli punteggi.

È proprio questa sovrapposizione a permettere al modello di produrre una percentuale articolata invece di un risultato binario sì/no. Quando i segmenti si sovrappongono, il modello può confrontare come vengono classificate le diverse parti del testo. Un paragrafo che si trova tra segmenti con punteggi bassi e segmenti con punteggi alti contribuisce a una previsione complessiva più equilibrata. Senza sovrapposizione il modello perde la possibilità di fare un riscontro incrociato e il punteggio diventa meno preciso.

Quando un documento è molto breve, il testo non basta a creare più segmenti sovrapposti. La documentazione è diretta sulla conseguenza: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi, dove ci sono solo poche centinaia di parole, la previsione sarà in gran parte «tutto o niente», perché facciamo la previsione su un singolo segmento senza la possibilità di sovrapporlo.)

Un solo segmento significa che il modello fa un'unica previsione per l'intero documento. Non c'è alcuna media tra segmenti, perché non c'è nulla da mediare. Il modello guarda il testo una volta, assegna un punteggio, ed è quel punteggio a decidere se il documento viene segnalato come generato dall'IA oppure no.

La documentazione continua: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che un testo che mescola contenuti generati dall'IA e contenuti originali può essere segnalato come interamente generato dall'IA.) È questo il problema di fondo. Se in un documento di 300 parole ne hai scritte 200 tu e 100 con l'IA, il modello non riesce a separare le due parti. Elabora il documento come un'unica unità e, se quest'unità supera la soglia, l'intero documento viene segnalato. Il report non può indicare quali frasi siano state generate dall'IA, perché la previsione è stata fatta a livello di documento, non di frase.

Turnitin stabilisce un numero minimo di parole per le consegne e i requisiti tecnici fissano una soglia di 300 parole. I formati di file accettati sono .docx, .pdf, .txt e .rtf, con un massimo di 30.000 parole e una dimensione del file inferiore a 100MB. Le lingue supportate sono inglese, spagnolo, giapponese e — dal 18 agosto 2026 — Modern Standard Arabic. Due delle pagine in inglese della stessa Turnitin elencano ancora solo le prime tre, quindi la pagina su cui capiti potrebbe non essere aggiornata.

Il minimo di 300 parole è un requisito del file: un file "must have at least 300 words of prose text in a long-form writing format." (deve contenere almeno 300 parole di testo in prosa in un formato di scrittura esteso). Spesso lo accompagna una frase sulla precisione — "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (I risultati mostrano che la nostra precisione aumenta con un po' più di testo, quindi le consegne con meno di 300 parole possono portare a un punteggio di scrittura IA probabilmente meno accurato) —, ma proviene da una nota di rilascio datata 15 dicembre 2023 su un bug che lasciava passare consegne troppo corte, e descrive i report generati in quel periodo. Oggi, sotto la soglia, il modello non produce una previsione meno affidabile: non ne produce affatto.

Anche a 300 parole o poco più, la sovrapposizione può essere minima. Un documento di 350 parole può generare solo due o tre segmenti con una sovrapposizione scarsa: meglio di uno solo, ma ancora lontano dalla densità di segmenti di un elaborato di 2.000 parole. Più testo significa più segmenti, più sovrapposizione e più occasioni per il modello di distinguere tra contenuti generati dall'IA e contenuti originali.

Il problema del tutto o niente è più evidente quando un documento breve contiene un misto di testo originale e testo generato dall'IA. La documentazione afferma che "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (un testo che mescola contenuti generati dall'IA e contenuti originali può essere segnalato come interamente generato dall'IA). Per uno studente che ha scritto da sé la maggior parte di un compito breve ma ha usato l'IA per una parte, questo significa che l'intero documento può ricevere un punteggio di scrittura IA alto anche se la maggior parte del testo è originale.

Alcuni tipi di scrittura peggiorano il problema. La documentazione osserva: "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi... possono includere contenuti con poca variazione strutturale, testi che si ripetono letteralmente o testi riformulati senza sviluppare nuove idee.) I compiti brevi come i post nei forum e le riflessioni sintetiche rientrano spesso in questa descrizione. Tendono ad avere meno variazione strutturale rispetto a una ricerca completa e possono ripetere idee simili con strutture di frase simili. La documentazione consiglia: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Turnitin ha anche individuato e affrontato uno schema preciso. Un aggiornamento del 2023 segnalava: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Dal lancio abbiamo osservato un'incidenza più alta di falsi positivi nelle prime o nelle ultime frasi di un documento. Molte volte queste frasi sono contenuti di introduzione o conclusione scritti in modo generico. Di conseguenza abbiamo modificato la nostra logica di rilevamento per contribuire a ridurre questi falsi positivi.) I documenti brevi sono colpiti in misura sproporzionata dai contenuti di apertura e chiusura, perché quelle sezioni occupano una quota maggiore del testo complessivo. La correzione del 2023 ha aiutato, ma la fragilità strutturale dei documenti brevi resta.

I compiti brevi affrontano una serie di difficoltà che si sommano, nel rilevamento dell'IA. Hanno meno segmenti, meno sovrapposizione e meno variazione strutturale. È più probabile che contengano introduzioni e conclusioni generiche. Tutti questi fattori rendono il punteggio di scrittura IA meno affidabile per i documenti brevi che per quelli lunghi.

I post nei forum, le riflessioni brevi e i brevi elaborati di risposta sono i compiti in formato breve più comuni nell'istruzione superiore. Se ne stai scrivendo uno, è possibile che il report di scrittura IA non distingua tra ciò che hai scritto tu e le parti realizzate con l'aiuto dell'IA. Un solo segmento con un punteggio basso può far passare l'intero documento nella categoria dei segnalati.

La documentazione riconosce questo limite: "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (È possibile che il nostro modello di rilevamento della scrittura IA non sia sempre accurato..., quindi non dovrebbe essere usato come unica base per provvedimenti sfavorevoli a uno studente.) Questa affermazione è particolarmente rilevante per i documenti brevi, dove entra in gioco la dinamica del tutto o niente. Se ricevi una segnalazione di scrittura IA su un compito breve, il report potrebbe riflettere i limiti della previsione a segmento singolo più che un segnale chiaro sul tuo testo.

Turnitin dichiara inoltre: "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (Cerchiamo di massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi... sotto l'1% per i documenti con oltre il 20% di scrittura IA.) Questo obiettivo sui falsi positivi vale per documenti di lunghezza sufficiente a un'analisi affidabile. I documenti brevi stanno fuori dall'intervallo ottimale e per loro il tasso di falsi positivi può essere più alto.

Consigliamo di trattare con cautela i punteggi di scrittura IA sui documenti brevi. Scrivi il lavoro di tua mano, evita le formule generiche in apertura e in chiusura e, se un report ha già segnalato i passaggi su cui vuoi intervenire, puoi riscrivere solo quei passaggi e lasciare il resto del documento com'è.