Winston AI e Turnitin: perché i punteggi di rilevamento IA non coincidono

Winston AI e Turnitin sono due rilevatori di IA diversi: modelli diversi, dati di addestramento diversi, soglie di classificazione diverse. Il punteggio dell'uno non permette di prevedere quello dell'altro. Le FAQ di Turnitin descrivono così il meccanismo: il testo viene suddiviso in segmenti sovrapposti, ciascuno dei quali riceve un punteggio di probabilità compreso tra 0 e 1. Le FAQ indicano anche un obiettivo di falsi positivi inferiore all'1% per i documenti con oltre il 20% di testo scritto dall'IA, e adottano la convenzione dell'asterisco per i punteggi compresi tra l'1% e il 19%. Winston AI pubblica dati propri sulla precisione, ma provengono dal fornitore e non sono verificabili confrontandoli con la documentazione di Turnitin. L'unico punteggio che conta è quello dello strumento usato dal tuo ateneo. Se il tuo ateneo usa Turnitin, nessun punteggio di terze parti può dirti quale sarà il tuo su Turnitin.

Le FAQ descrivono così il processo di rilevamento:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando un elaborato viene inviato a Turnitin, le frasi del testo inviato vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'IA.)

I segmenti si sovrappongono: una stessa frase può quindi ricevere più punteggi, che vengono poi aggregati in una percentuale a livello di documento. Winston AI usa un metodo di classificazione proprio, che non risulta documentato nei materiali di Turnitin. I due sistemi sono costruiti in modo diverso e valutano il testo in modo diverso.

Le FAQ indicano un obiettivo preciso:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Ci impegniamo a massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi — cioè l'identificazione errata come generato dall'IA di un testo scritto interamente da un essere umano — al di sotto dell'1% per i documenti con oltre il 20% di testo scritto dall'IA.)

La frase successiva: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (In altre parole, potremmo segnalare come scritto dall'IA un documento interamente scritto da esseri umani ogni cento.)

Quest'obiettivo riguarda solo Turnitin e si applica ai documenti con oltre il 20% di testo scritto dall'IA. Winston AI potrebbe dichiarare un tasso di falsi positivi diverso, ma confrontare i due numeri richiede di capire come ciascun fornitore definisce e misura i falsi positivi. Non formuliamo affermazioni sulla precisione dei rilevatori di terze parti.

Turnitin ha una regola di visualizzazione specifica per i punteggi bassi:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Per evitare possibili casi di falsi positivi, ai punteggi di rilevamento IA compresi tra l'1% e il 19% non vengono attribuiti né un punteggio né evidenziazioni. Quando nel report viene rilevata IA al di sotto della soglia del 20%, il caso è ora indicato con un asterisco (*%) e non viene attribuita alcuna percentuale.)

Winston AI non usa questa convenzione e in questo intervallo mostra una percentuale precisa. Un elaborato che su Turnitin risulta «*%» potrebbe risultare «14%» su Winston AI. Questo non significa che uno strumento sia più preciso dell'altro: significa che gestiscono in modo diverso la fascia di bassa confidenza. Cosa significa l'asterisco (*%) in un punteggio IA di Turnitin approfondisce il lato Turnitin.

Le FAQ descrivono come si comportano i documenti brevi:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi, di poche centinaia di parole, la previsione sarà per lo più «tutto o niente», perché la facciamo su un singolo segmento, senza la possibilità di sovrapposizione.)

La frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che un testo che mescola contenuti generati dall'IA e contenuti originali potrebbe essere segnalato come interamente generato dall'IA.)

Questo dipende dal modo in cui Turnitin segmenta il testo. Winston AI potrebbe comportarsi allo stesso modo sui testi brevi, oppure no. Se provi un breve estratto su Winston AI e ottieni 0%, non ti dice nulla su ciò che farà Turnitin. L'estremo opposto di questo comportamento è trattato in Turnitin dice che il tuo lavoro è 100% IA.

Su Turnitin il punteggio IA e quello di similarità sono indipendenti: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Il punteggio di similarità e la percentuale di rilevamento della scrittura IA sono completamente indipendenti e non si influenzano a vicenda.) Alcuni rilevatori uniscono IA e similarità in un unico numero, il che rende i loro punteggi strutturalmente non confrontabili con la percentuale IA separata di Turnitin. L'unico punteggio che conta per la tua consegna è quello prodotto dallo strumento usato dal tuo ateneo. Perché lo stesso testo ottiene punteggi diversi su ogni rilevatore spiega perché questa dispersione è strutturale.

Per riassumere quanto abbiamo visto:

• Winston AI e Turnitin sono rilevatori diversi, con modelli diversi. I punteggi non coincideranno.
• Il rilevatore di Turnitin suddivide il testo in segmenti sovrapposti e assegna a ciascuno un punteggio di probabilità.
• L'obiettivo di falsi positivi di Turnitin è inferiore all'1% per i documenti con oltre il 20% di testo scritto dall'IA.
• Turnitin usa un asterisco per i punteggi tra l'1% e il 19%, per non attribuirsi più precisione di quanta ne abbia.
• Sui documenti brevi, Turnitin produce previsioni «tutto o niente».
• L'unico punteggio che conta è quello dello strumento usato dal tuo ateneo.

Se ricevi un report IA di Turnitin e vuoi intervenire sui passaggi segnalati, importa il report e lavoraci sopra. I passaggi idonei possono essere rielaborati di nuovo senza costi.