Perché chi non è madrelingua inglese finisce segnalato dai detector AI più spesso

Nel 2023 un gruppo di Stanford – Liang, Yuksekgonul, Mao, Wu e Zou – ha testato sette detector GPT molto diffusi su due serie di saggi. La prima era 91 saggi TOEFL presi da un forum educativo cinese, tutti scritti da studenti. La seconda era 88 saggi di ragazzi delle medie statunitensi, dal dataset ASAP della Hewlett Foundation. Nessun AI era coinvolto in nessuno dei due gruppi. Il lavoro è stato pubblicato su Patterns, una rivista di Cell Press.

Sui saggi delle medie statunitensi i detector sono stati quasi perfetti. Sui saggi TOEFL il tasso medio di falsi positivi è stato del 61,22%. Tutti e sette i detector hanno unanimemente definito 18 dei 91 saggi (19,78%) come scritti da AI, e 89 dei 91 (97,80%) sono stati segnalati da almeno uno.

È proprio questo contrasto il risultato importante. Gli stessi sette strumenti hanno funzionato molto meglio sul gruppo delle medie americane rispetto a quello TOEFL. Questo non stabilisce un tasso di errore valido per ogni scrittore multilingue o per ogni detector in uso oggi. Dimostra però che un'affermazione di accuratezza aggregata può nascondere un risultato molto peggiore per una specifica popolazione di scrittori.

Leggi il 61,22% come un risultato per questo campione e questi sette detector del 2023, non come la tua probabilità personale di essere segnalato. Lo studio è un monito sulla disuguaglianza degli errori, non una previsione universale.

Il risultato è stato contestato. Un fornitore di detector ha obiettato che 91 saggi da un unico forum studentesco erano troppo pochi e troppo circoscritti per sostenere un tasso generale. Sono limiti reali: il campione è di convenienza, i gruppi a confronto differiscono sia per età sia per background linguistico, e i prodotti detector sono cambiati dal 2023. La conclusione difendibile è quindi più ristretta del titolo: lo studio ha individuato una forte disparità che le istituzioni non dovrebbero dare per scontata.

Le istituzioni sono arrivate alla stessa cautela da una prospettiva di rischio. La Vanderbilt University ha disattivato il detector AI di Turnitin nell'agosto 2023. Ha osservato che anche un tasso di falsi positivi all'1% a livello di documento creerebbe un onere di revisione serio su circa 75.000 consegne annuali. Quel calcolo è un'illustrazione, non una previsione che esattamente 750 studenti verrebbero accusati: non ogni elaborato è idoneo, il tasso di base è sconosciuto, e una segnalazione non deve diventare un'accusa. Il punto è che percentuali piccole richiedono comunque un processo equo su scala istituzionale.

Cosa rafforzerebbe l'evidenza? Studi più ampi e preregistrati dovrebbero includere scrittori di diverse lingue madri, livelli di competenza, discipline e tipologie di compito; confrontare gruppi omogenei per età; pubblicare risultati per ogni versione del detector; e riportare sia falsi positivi sia falsi negativi. L'accuratezza aggregata da sola non basta. Le istituzioni che valutano un'implementazione dovrebbero chiedere se il fornitore ha testato la reale popolazione studentesca e se sono disponibili risultati per sottogruppi, invece di importare una percentuale dai titoli da un corpus diverso.

Per un singolo report, né il numero di Stanford né un benchmark di un fornitore chiudono la questione. L'evidenza rilevante è locale: quale testo era in esame, dove cadono le evidenziazioni, quale versione del modello è stata usata, cosa permetteva il compito e come si sono evolute le bozze dello studente. La ricerca su popolazioni dice a un revisore quale modalità di errore prendere sul serio; non sostituisce la revisione del lavoro specifico.

I primi detector pubblici si concentravano su due segnali statistici: perplexity e burstiness. I sistemi commerciali moderni possono combinare molti segnali appresi, e i loro meccanismi interni di solito non sono divulgati, quindi questi due termini vanno considerati come un modo per capire il problema, più che una descrizione completa di ogni prodotto attuale.

La perplexity misura quanto le tue scelte lessicali risultino sorprendenti per un modello linguistico: se la parola successiva è quella che il modello avrebbe previsto, la perplexity è bassa. La burstiness misura quanto variano lunghezza e struttura delle frasi in un passaggio; frasi regolari e uniformi ottengono punteggi bassi.

In un detector che usa questi segnali, perplexity bassa e poca variazione possono contribuire a una classificazione come testo automatico. Non sono un test universale, e lo stesso passaggio può avere perplexity diversa sotto modelli di riferimento diversi. Un classificatore deve comunque combinare i suoi segnali e scegliere una soglia oltre la quale assegnare un'etichetta al risultato.

Un detector non osserva paternità o intento. Osserva caratteristiche del testo sottoposto e le confronta con pattern appresi dai dati di training.

Questa distinzione conta per chi scrive in una lingua seconda. Un vocabolario di lavoro più ristretto, strutture frasali ripetute e un'aderenza rigida ai modelli scolastici possono assomigliare a caratteristiche presenti nel testo generato. Un classificatore migliore può ridurre quell'errore, ma nessuna architettura trasforma una somiglianza testuale in un'osservazione diretta di chi ha scritto il passaggio.

Anche la soglia conta. Abbassarla intercetta più testo generato ma ammette anche più testo umano; alzarla fa l'opposto. Un numero di accuratezza pubblicizzato descrive un dataset in un preciso punto operativo. Non garantisce prestazioni uguali tra livelli di competenza, discipline, lunghezze dei documenti o versioni successive del modello.

L'articolo non si ferma al confronto tra due gruppi. Manipola la lingua in entrambe le direzioni mantenendo fissi i saggi originali e le loro argomentazioni. Questo rende il meccanismo proposto più persuasivo, anche se non isola ancora il vocabolario da ogni altro cambiamento stilistico apportato dal modello.

Prima direzione. I ricercatori hanno preso i saggi TOEFL unanimemente segnalati e hanno chiesto a GPT-4 di arricchire le scelte lessicali. La perplexity è salita in modo significativo (P = 9,36E-05), e il numero di saggi unanimemente rilevati è sceso da 18 a 1 su 91 (1,10%). Stessi autori, stesse argomentazioni, stessi saggi: è cambiato solo il vocabolario.

Seconda direzione, quella più forte. Hanno preso i saggi delle medie statunitensi, che i detector avevano giudicato quasi perfettamente, e hanno chiesto a ChatGPT di "simplify word choices as if written by a non-native speaker" (semplificare le scelte lessicali come se fossero scritte da un non madrelingua). La classificazione errata è schizzata da una media del 5,19% al 56,65%.

La paternità dei saggi sottostanti non è cambiata, ma le classificazioni sì. L'intervento supporta quindi un ruolo causale della lingua di superficie – soprattutto la varietà lessicale – piuttosto che un'etichetta demografica in qualche modo visibile al detector. Dato che GPT-4 e ChatGPT possono cambiare anche sintassi, ritmo e formulazione, sarebbe eccessivo dire che l'esperimento prova che il vocabolario è l'unica causa.

La conclusione stessa dell'articolo è che i detector "may unintentionally penalize writers with constrained linguistic expressions" (potrebbero involontariamente penalizzare gli scrittori con espressioni linguistiche limitate), e sconsiglia del tutto il loro impiego in contesti valutativi o educativi.

Il risultato spiega anche perché chiedere a uno scrittore multilingue di suonare più formale può ritorcersi contro. I consigli accademici spesso premiano transizioni standard, vocabolario conservatore e struttura delle frasi uniforme. Queste scelte possono essere appropriate per la chiarezza, eppure riducono proprio quella variazione che i detector statistici più vecchi trattavano come evidenza di scrittura umana. Il rimedio non è forzare vocabolario decorativo in un elaborato; è smettere di trattare il detector come un test di paternità.

Lo stesso articolo riporta qualcosa che complica ogni uso di questi punteggi come prova. Il team ha generato saggi con ChatGPT-3.5: i detector li hanno presi in modo affidabile. Poi ha applicato un singolo prompt di auto-revisione, "elevate the provided text by employing literary language" (eleva il testo fornito impiegando linguaggio letterario), e il rilevamento è crollato dal 100% al 13%.

Questo non viene offerto qui come una tecnica. Viene offerto come un fatto sullo strumento: una misura che un prompt di una riga sposta di 87 punti percentuali è una base debole per un'accusa, ed è anche il motivo per cui nessuno può onestamente prometterti un particolare esito del detector. Noi non lo facciamo.

Ci sono due limiti su quel risultato. Primo, descrive i sette detector e gli output dei modelli testati nel 2023, non ogni prodotto nel 2026. Secondo, robustezza all'evasione ed equità verso gli scrittori umani sono proprietà diverse: un detector può diventare più difficile da ingannare e mantenere comunque falsi positivi diseguali. Qualsiasi valutazione attuale dovrebbe testare entrambi, sulle popolazioni e i generi di scrittura in cui il punteggio verrà davvero usato.

Un detector può essere utile per il triage senza essere abbastanza affidabile per l'adjudication. Più alta è la conseguenza, più evidenze indipendenti e revisione procedurale servono.

Nessuno di questi è un consiglio su come scrivere aggirando un detector. È cosa fare quando una statistica viene letta come evidenza su di te.

• Conserva le tue bozze, da ora in poi. Mantieni la cronologia delle versioni in Word o Google Docs, i file di scaletta, le note di lettura e il feedback del supervisore. Questi artefatti mostrano come il lavoro si è evoluto nel tempo; sono evidenze più solide di un punteggio di detector concorrente.
• Chiedi il report completo, non la percentuale. Le evidenziazioni per passaggio possono mostrare se le segnalazioni si concentrano in metodi, definizioni o background – sezioni in cui ci si aspetta un linguaggio convenzionale. Non descriverle come probabilità a livello di sezione a meno che il report non le fornisca davvero.
• Chiedi come viene usato quel numero. Richiedi la politica pertinente del corso o dell'istituzione, il detector e la versione, e le evidenze considerate oltre al punteggio. Molte istituzioni trattano una segnalazione come un motivo per guardare, non come un accertamento.
• Revisiona per significato e responsabilità. Sostituisci le formulazioni che non useresti naturalmente, verifica ogni affermazione e citazione, e assicurati di poter spiegare l'argomentazione. Non distorcere una prosa chiara solo per fabbricare artificialmente variazione nella lunghezza delle frasi.

Se è iniziato un processo formale, mantieni il file consegnato invariato e lavora da una copia. Scrivi una semplice timeline: quando hai fatto ricerca, redatto, ricevuto feedback e revisionato. Chiedi tempo sufficiente per esaminare le evidenze, e porta un consulente o un rappresentante studentesco dove le regole lo consentono. La guida separata su preparare una risposta a una falsa segnalazione tratta quel processo in dettaglio.

Se sei un educatore, non aspettare che uno studente sollevi la questione del bias. Definisci in anticipo chi revisiona una segnalazione, quale corroborazione serve, come vengono considerati background linguistico e disabilità, e come lo studente riceve il report sottostante. Uno strumento può essere triage opzionale solo se il processo umano è capace di essere in disaccordo con esso.