ZeroGPT contro Turnitin: perché i punteggi non coincidono

ZeroGPT e Turnitin sono due rilevatori AI diversi: modelli diversi, dati di addestramento diversi, soglie di classificazione diverse. Un punteggio basso su ZeroGPT non significa che lo sarà anche su Turnitin. Nelle FAQ, Turnitin descrive così il proprio meccanismo: il testo viene suddiviso in segmenti sovrapposti e a ciascuno di essi viene assegnato un punteggio di probabilità compreso tra 0 e 1. Le FAQ indicano un obiettivo di falsi positivi inferiori all'1% per i documenti con oltre il 20% di scrittura AI. Turnitin adotta inoltre la convenzione dell'asterisco per i punteggi compresi tra 1% e 19%: la percentuale esatta non viene comunicata, per non attribuire al dato una precisione che non ha. ZeroGPT pubblica a sua volta dati di accuratezza, ma sono cifre dichiarate dal fornitore e non verificabili rispetto alla documentazione di Turnitin. Se il tuo ateneo usa Turnitin, il punteggio di ZeroGPT non ha valore predittivo.

Le FAQ descrivono così il processo di rilevamento:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (in italiano: quando un elaborato viene inviato a Turnitin, le frasi del testo vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento AI e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano o generato dall'AI)

I segmenti si sovrappongono, quindi una stessa frase può ricevere più punteggi, che vengono poi aggregati in una percentuale riferita all'intero documento. ZeroGPT usa un modello proprio, che non è documentato nei materiali di Turnitin e che potrebbe basarsi su un approccio di classificazione del tutto diverso.

Nelle FAQ si legge:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (in italiano: ci impegniamo a massimizzare l'efficacia del nostro rilevatore mantenendo il tasso di falsi positivi, cioè l'errata identificazione di un testo interamente scritto da un essere umano come generato dall'AI, al di sotto dell'1% per i documenti con oltre il 20% di scrittura AI)

E la frase successiva: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (in italiano: in altre parole, potremmo segnalare come generato dall'AI un documento scritto da un essere umano ogni 100 documenti interamente scritti da un essere umano)

Per i punteggi bassi, Turnitin adotta una convenzione che trattiene il dato:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (in italiano: per evitare possibili casi di falsi positivi, non vengono attribuiti punteggi o evidenziazioni per i punteggi di rilevamento AI compresi tra 1% e 19%. Quando nel report l'AI viene rilevata al di sotto della soglia del 20%, il dato è ora indicato con un asterisco (*%) e non viene attribuita alcuna percentuale)

ZeroGPT non adotta questa convenzione: in genere mostra una percentuale precisa anche nella fascia di bassa confidenza. Un elaborato che su Turnitin riporta «*%» potrebbe riportare «12%» su ZeroGPT. Questa differenza di visualizzazione non dice quale dei due strumenti sia più accurato: dice soltanto che gestiscono in modo diverso la fascia incerta. Cosa significa l'asterisco (*%) in un punteggio AI di Turnitin approfondisce proprio il versante Turnitin.

Le FAQ descrivono un comportamento specifico per i documenti brevi:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (in italiano: nei documenti più brevi, dove ci sono soltanto poche centinaia di parole, la previsione sarà quasi sempre 'tutto o nulla', perché la facciamo su un singolo segmento, senza la possibilità di sovrapporre)

E la frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (in italiano: questo significa che un testo in cui si mescolano contenuti generati dall'AI e contenuti originali potrebbe essere segnalato come interamente generato dall'AI)

Questo riguarda specificamente l'approccio di segmentazione di Turnitin. ZeroGPT potrebbe comportarsi allo stesso modo sui testi brevi, come potrebbe non farlo. Se provi un abstract di 300 parole su ZeroGPT e ottieni 0%, non hai saputo nulla di ciò che farà Turnitin con lo stesso testo: la previsione su segmento singolo di Turnitin, con input brevi, può oscillare fino agli estremi. Perché Turnitin dice che il tuo lavoro è AI al 100% è proprio quell'oscillazione portata al massimo.

Su Turnitin il punteggio AI e quello di similarità sono indipendenti: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (in italiano: il punteggio di Similarity e la percentuale di rilevamento della scrittura AI sono completamente indipendenti e non si influenzano a vicenda) Alcuni strumenti gratuiti fondono AI e similarità in un unico numero, e questo rende i loro punteggi strutturalmente non confrontabili con la percentuale AI che Turnitin tiene separata.

L'unico punteggio che conta per la tua consegna è quello prodotto dallo strumento che usa il tuo ateneo. Se l'università usa Turnitin, per quante prove tu faccia su ZeroGPT non saprai quale sarà il tuo punteggio su Turnitin. Passare l'elaborato attraverso diversi rilevatori gratuiti può darti un'idea generale di quanto il tuo testo presenti schemi tipici dell'AI, ma non può sostituire il risultato dello strumento istituzionale. Perché lo stesso testo ottiene punteggi diversi su ogni rilevatore spiega perché quella dispersione è strutturale e non un difetto di uno di essi.

In sintesi, ecco quanto abbiamo visto:

• ZeroGPT e Turnitin sono due rilevatori diversi, con modelli diversi. I punteggi non coincideranno.
• Il rilevatore di Turnitin suddivide il testo in segmenti sovrapposti e assegna a ciascuno un punteggio di probabilità.
• L'obiettivo di Turnitin sui falsi positivi è inferiore all'1% per i documenti con oltre il 20% di scrittura AI.
• Turnitin usa un asterisco per i punteggi tra 1% e 19%, per non attribuire una precisione eccessiva in una fascia esposta ai falsi positivi.
• Su Turnitin i documenti brevi ricevono previsioni del tipo tutto o nulla, perché la valutazione avviene su un solo segmento.
• L'unico punteggio che conta è quello dello strumento usato dal tuo ateneo.

Se hai ricevuto un report AI di Turnitin e vuoi intervenire sui passaggi segnalati, importa il report e lavoraci sopra. I passaggi idonei possono essere rielaborati gratuitamente.