Il canale ufficiale: come segnalare un falso positivo a Turnitin

Quasi tutti i consigli sui falsi positivi di Turnitin indicano una sola strada: fai ricorso al tuo professore, poi porta il caso al tuo dipartimento o all'ufficio per l'integrità accademica. Quella strada riguarda il tuo voto. Ma ce n'è una seconda che quasi nessun altro articolo menziona, e arriva direttamente a Turnitin.

La documentazione stessa di Turnitin prevede un canale di feedback. Lo dicono chiaramente: «If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further.» (Se trovi documenti scritti con l'IA che ci sono sfuggiti, o noti un lavoro autentico di uno studente che abbiamo classificato come generato dall'IA, faccelo sapere! Il tuo feedback è fondamentale per permetterci di migliorare ancora la nostra tecnologia.)

È un invito diretto dal team che costruisce il rilevatore. Chiedono due tipi di feedback: i testi IA che non hanno individuato (falsi negativi) e i testi umani che hanno segnalato come IA (falsi positivi). Entrambe le direzioni contano, perché entrambe migliorano il modello.

Lo sottolineiamo perché i consigli pratici si fermano quasi sempre al livello dell'istituzione. Fai ricorso al tuo professore, raccogli le prove, esponi il tuo caso. Ma anche il sistema che ha prodotto il punteggio vuole sentirti. Un canale riguarda il tuo voto, l'altro il miglioramento del sistema stesso.

Il canale di feedback si applica in due scenari, e Turnitin li descrive entrambi nella stessa frase. Il primo è quando un lavoro autentico di uno studente viene classificato come generato dall'IA. Se il tuo testo originale riceve un punteggio di scrittura IA che ritieni errato, quello è un falso positivo, e Turnitin vuole saperlo.

Il secondo scenario è l'opposto: un testo scritto con l'IA che il rilevatore non ha colto. Se sei un docente e trovi un testo generato dall'IA che Turnitin non ha segnalato, anche quel feedback va in questo canale.

Come capire se il tuo caso è con ogni probabilità un falso positivo? Turnitin offre indicazioni sui tipi di testo che tendono a innescarli: «Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi… possono includere contenuti con poca variabilità strutturale, testo che si ripete letteralmente o testo parafrasato senza sviluppare nuove idee.) Se il testo segnalato rientra in una di queste descrizioni, vale la pena includere quel contesto nel tuo feedback.

Turnitin consiglia anche: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in questo tipo di testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.) In altre parole, se il tuo testo è strutturalmente uniforme o si affida molto alla parafrasi, il punteggio può essere gonfiato, ed è esattamente il caso in cui ha senso segnalarlo a Turnitin.

Quando segnali un falso positivo a Turnitin, i dettagli specifici aiutano a valutare il tuo caso. Ti suggeriamo di includere i seguenti elementi.

Primo: indica il testo e il punteggio che ha ricevuto. Annota la percentuale complessiva assegnata da Turnitin e, se puoi, quali sezioni sono state segnalate.

Secondo: descrivi le caratteristiche del testo. Se il tuo scritto corrisponde a uno degli schemi di falso positivo che la stessa Turnitin individua, dillo. Per esempio, se la sezione segnalata è una rassegna della letteratura che parafrasa più fonti senza un'analisi originale, indica che rientra nella descrizione di Turnitin: «content without a lot of structural variation» (contenuti con poca variabilità strutturale) o «text that has been paraphrased without developing new ideas.» (testo parafrasato senza sviluppare nuove idee).

Terzo: fornisci il contesto del compito e del tuo modo di scrivere. Il testo è stato molto rivisto? Hai usato correttori grammaticali che potrebbero avere uniformato le tue frasi? Questo contesto aiuta Turnitin a capire perché il classificatore può avere letto male il tuo testo.

Quarto: richiama l'obiettivo sul tasso di falsi positivi. Turnitin dichiara: «We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing.» (Ci impegniamo a massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi… sotto l'1% per i documenti con oltre il 20% di scrittura IA.) Non stai protestando contro un sistema che si dichiara perfetto. Stai dando un contributo a un sistema che riconosce apertamente un tasso di errore piccolo ma reale.

L'obiettivo di Turnitin sui falsi positivi è preciso. Puntano a meno dell'1% per i documenti con oltre il 20% di scrittura IA, e lo traducono in parole semplici: «In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.» (In altre parole, potremmo segnalare come scritto dall'IA un documento scritto da un essere umano ogni 100 documenti scritti interamente da esseri umani.)

Significa che in una classe di 100 studenti che consegnano tutti un lavoro originale, uno potrebbe ricevere un falso positivo. L'obiettivo è basso, ma non è zero. Turnitin è esplicita su questo compromesso. Per mantenere il tasso di falsi positivi all'1%, accettano che una parte del testo IA non venga rilevata: «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Per mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che ci sfugga una parte del testo scritto con l'IA in un documento.)

E fanno un esempio concreto: «If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.» (Se rileviamo che il 50% di un documento è stato probabilmente scritto da uno strumento di IA, potrebbe contenere fino al 65% di scrittura IA.) Il punteggio riportato può sottostimare la proporzione reale di IA, e questo scarto esiste per progetto.

Per questo il canale di feedback conta. L'obiettivo dell'1% implica che i falsi positivi accadranno. Il sistema è calibrato per sbagliare nel senso di non segnalare il testo umano, il che significa che i falsi positivi che si verificano sono previsti. Segnalarli aiuta Turnitin a valutare se la calibrazione funziona o se certi schemi di testo vengono classificati male in modo sistematico.

Il canale di feedback esiste all'interno di un quadro più ampio che Turnitin sottolinea. La loro documentazione afferma: «Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.» (Il nostro modello di rilevamento della scrittura IA potrebbe non essere sempre accurato (può identificare male testi scritti da esseri umani, generati dall'IA e parafrasati dall'IA), quindi non dovrebbe essere usato come unica base per provvedimenti sfavorevoli nei confronti di uno studente.)

E proseguono: «It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.» (Servono un esame più approfondito e il giudizio umano, insieme all'applicazione da parte dell'istituzione delle sue specifiche politiche accademiche, per stabilire se ci sia stata una violazione accademica.)

È una dichiarazione diretta dell'azienda che costruisce il rilevatore. Il punteggio non è un verdetto. Turnitin lo presenta come un segnale che va interpretato da un docente che conosce lo studente e il contesto: «It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.» (Non ha lo scopo di fornire risposte definitive in modo isolato. Più importante di qualsiasi strumento è il docente che vede il punteggio e prende decisioni bilanciando queste informazioni con la conoscenza personale che ha dei suoi studenti, del loro lavoro e delle politiche dell'istituzione.)

L'uso previsto è chiaro: «When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.» (Quando i docenti guardano il punteggio di scrittura IA e lo usano come un singolo dato anziché come una risposta definitiva, allora lo stanno usando come previsto.)

Vediamo il canale di feedback come parte di questa stessa filosofia. Se il punteggio è un singolo dato, segnalare un sospetto falso positivo fa sì che quel dato venga contestualizzato e, col tempo, migliorato. Quando fai ricorso al tuo professore, affronti la situazione immediata. Quando segnali a Turnitin, contribuisci alla calibrazione del sistema per tutti. Entrambi i passi contano e servono a scopi diversi. Controlla il tuo report Turnitin.