Turnitin ha messo alla prova il proprio rilevatore per capire se penalizzi chi studia l'inglese. Il risultato ha due metà.

Turnitin ha condotto una propria valutazione su questa domanda e ne ha pubblicato il risultato. La risposta ha due metà e puntano in direzioni opposte.

Per gli elaborati di 300 parole o più, ha rilevato che la differenza nel tasso di falsi positivi (FPR) tra chi apprende l'inglese (L2) e chi ce l'ha come madrelingua (L1) era ridotta e non statisticamente significativa. Per gli elaborati tra 150 e 300 parole, la stessa valutazione ha trovato una differenza più ampia, nettamente sopra il proprio obiettivo dell'1%.

Quindi se il risultato rassicurante ti riguarda dipende dalla lunghezza di ciò che hai consegnato. C'è anche un limite che Turnitin dichiara sul proprio campione: conta se scrivi a livello universitario e lo trovi più avanti.

Turnitin ha raccolto fino a 2,000 testi per ogni combinazione di due variabili: inglese L2 (chi studia l'inglese) contro inglese L1 (madrelingua inglese), e «troppo corto» (tra 150 e 300 parole) contro «abbastanza lungo» (300 parole o più). I dataset non facevano parte del set di addestramento del rilevatore.

Per i documenti che raggiungono il minimo di 300 parole, Turnitin riferisce che la differenza nel tasso di falsi positivi tra scriventi L2 e L1 è ridotta e non statisticamente significativa:

«For documents meeting our minimum 300 word count requirement, the difference in the false positive rate (FPR) between L2 English writers (ELL writers) and L1 English writers (native English writers) is small, and not statistically significant, illustrating that our detector is not biased between these two groups of writers. Additionally, although the FPR for each group is slightly higher than our overall target of 0.01 (1%), neither group's FPR is significantly different from this target.» (Per i documenti che soddisfano il nostro requisito minimo di 300 parole, la differenza nel tasso di falsi positivi (FPR) tra scriventi in inglese L2 (scriventi ELL) e scriventi in inglese L1 (madrelingua inglese) è ridotta e non statisticamente significativa, a dimostrazione che il nostro rilevatore non è distorto tra questi due gruppi. Inoltre, anche se il tasso di falsi positivi di ciascun gruppo è leggermente superiore al nostro obiettivo complessivo di 0,01 (1%), nessuno dei due gruppi si discosta in modo significativo da tale obiettivo.)

«Not statistically significant» (non statisticamente significativo) significa che la differenza trovata potrebbe essere rumore. Non significa che la differenza sia zero e non significa che non esista alcuna distorsione. E il tasso di falsi positivi di entrambi i gruppi è risultato sopra l'obiettivo dell'1%, solo non di un margine che il test abbia giudicato rilevante. «Slightly higher» (leggermente più alto) non è «at or below.» (all'obiettivo o al di sotto).

Per i documenti tra 150 e 300 parole, la stessa valutazione ha trovato la direzione opposta. La distanza tra scriventi L2 e L1 era più ampia e il tasso di falsi positivi era nettamente sopra l'obiettivo dell'1%:

"Conversely, for documents that are (Al contrario, per i documenti che sono) "too short," (troppo corti:) we found there is a greater difference in FPR between these groups of writers and it's significantly greater than our target of 0.01 FPR. This again corroborates our earlier finding that AI writing detectors require longer samples to correctly identify AI-generated content and to keep false positives to a minimum." (In questi casi abbiamo riscontrato una differenza maggiore nel tasso di falsi positivi tra questi due gruppi di scriventi, significativamente più alta rispetto al nostro obiettivo di 0,01. Questo conferma ancora una volta quanto già emerso: i rilevatori di scrittura con IA hanno bisogno di campioni più lunghi per individuare correttamente i contenuti generati dall'IA e mantenere i falsi positivi al minimo.)

Lo stesso studio, sullo stesso rilevatore, ha prodotto un risultato per i testi lunghi e uno diverso per i testi brevi. Il titolo del blog porta il primo. Il secondo sta nel corpo dell'articolo.

Turnitin scrive:

«Most of the L2 English documents are short persuasive or informative writing tasks, most similar to the Automated Scoring and Assessment Prize (ASAP) secondary-level essay corpus. A comparable collection of publicly available full-length university level documents from L2 and L1 writers was not available for this evaluation.» (La maggior parte dei documenti in inglese L2 sono brevi compiti di scrittura argomentativa o informativa, molto simili al corpus di temi della scuola secondaria dell'Automated Scoring and Assessment Prize (ASAP). Per questa valutazione non era disponibile una raccolta paragonabile, accessibile al pubblico, di documenti universitari completi scritti da autori L2 e L1.)

I testi L2 di questa valutazione sono per lo più temi di livello secondario. Se stai scrivendo un elaborato universitario, una rassegna bibliografica, una relazione di laboratorio o un capitolo di tesi, non è questo ciò che è stato testato. Turnitin dice di non aver trovato una raccolta pubblica di documenti universitari completi di scriventi L2 e L1 su cui fare questo confronto. Il risultato «not statistically significant» (non statisticamente significativo) vale per temi brevi, argomentativi o informativi, di livello secondario. Che valga anche per il tipo di documento che consegni tu è una domanda a cui questa valutazione non può rispondere.

Turnitin ricollega il minimo di 300 parole direttamente a questa ricerca. Dopo aver valutato 800,000 documenti e visto che gli elaborati brevi facevano salire il tasso di falsi positivi, è passata a richiedere 300 parole:

«Our evaluation of 800,000 documents—mentioned earlier in this blog—shows a slightly higher-than-comfortable false positive rate on short submissions (fewer than 300 words). There may not be enough signal/markers in such short samples to identify the telltale distributional differences in AI writing. In order to ensure we keep our false positive rate below 1%, we moved quickly to update the minimum submission length to 300 words for our AI writing detection capability to process a submission.» (La nostra valutazione di 800,000 documenti, ricordata prima in questo blog, mostra sulle consegne brevi (meno di 300 parole) un tasso di falsi positivi un po' più alto di quanto ci faccia piacere. In campioni così brevi potrebbero non esserci segnale e marcatori sufficienti per individuare le differenze distributive che rivelano la scrittura con IA. Per essere sicuri di mantenere il nostro tasso di falsi positivi sotto l'1%, abbiamo aggiornato rapidamente a 300 parole la lunghezza minima di consegna che la nostra funzione di rilevamento della scrittura con IA può processare.)

Il minimo esiste perché i testi brevi hanno creato problemi. Il risultato rassicurante vale solo sopra quel minimo. Sotto, la stessa valutazione ha trovato la distanza che vorresti conoscere.

Potresti aver visto titoli legati a uno studio di Liang. Turnitin lo affronta direttamente:

«Liang's claim is grounded on a small collection of works of just 91 Test of English as a Foreign Language (TOEFL) practice essays, all of which are less than 150 words long. Turnitin's AI writing detection was not included in this evaluation, perhaps in part because we won't make predictions about documents that are so short.» (L'affermazione di Liang si fonda su una piccola raccolta di lavori: appena 91 temi d'esercizio del TOEFL (Test of English as a Foreign Language), tutti inferiori alle 150 parole. Il rilevamento della scrittura con IA di Turnitin non è stato incluso in questa valutazione, forse anche perché non formuliamo previsioni su documenti tanto brevi.)

Se il tuo elaborato supera le 300 parole, i dati di Turnitin dicono che la distanza tra i tassi di falsi positivi di L2 e L1 è ridotta e non statisticamente significativa. Non è la garanzia che tu non venga segnalato. Significa che la valutazione non ha trovato prove forti che gli scriventi L2 siano sistematicamente svantaggiati, almeno non nel campione che avevano.

Ecco cosa puoi usare davvero:

Controlla il conteggio delle parole prima di consegnare. Se viene segnalata una sezione sotto le 300 parole, la valutazione dello stesso rilevatore dice che i testi brevi producono una distanza più ampia tra scriventi L2 e L1 e un tasso di falsi positivi più alto nel complesso. Puoi chiedere a chi insegna di eseguire il controllo sul documento completo invece che su un breve estratto.

Chiedi cosa ti ha segnalato e con quale soglia. Se è stato usato Turnitin, il minimo di 300 parole e il dettaglio «slightly higher than 1%» (leggermente sopra l'1%) sono elementi concreti che puoi sollevare con chi esamina la segnalazione.

Tieni le tue bozze, i tuoi appunti e le tue fonti. Se vieni segnalato e pensi che il tuo inglese L2 abbia avuto un ruolo, mostrare la cronologia delle revisioni e i tuoi materiali di partenza è ciò che risolve la conversazione. Discutere di significatività statistica con il professore probabilmente non la risolve.