StealthWriter contro Turnitin: quello che la documentazione dice davvero

Le FAQ di StealthWriter definiscono il punteggio del rilevatore come la percentuale dell'input che viene classificata come naturale. Turnitin descrive una percentuale di scrittura IA generata dal processo documentato più avanti. Le fonti consultate non forniscono alcuna regola di conversione tra queste due etichette, quindi un numero di un prodotto non può essere tradotto in un numero dell'altro.

Non esiste un punteggio universale di rilevamento dell'IA su cui tutti gli strumenti convergano, e perché lo stesso testo ottiene punteggi diversi su ogni rilevatore ricostruisce da dove nasca questo divario. Ogni rilevatore produce la propria stima. Trattare i punteggi di strumenti diversi come se misurassero la stessa cosa, nella stessa unità, porta solo confusione.

Non sosteniamo quale strumento sia più preciso. Per questo articolo non è stato riprodotto alcun test di accuratezza o di concordanza tra fornitori diversi. Ogni risultato va letto alla luce della definizione data dal suo stesso fornitore.

Turnitin documenta un processo preciso per arrivare al proprio punteggio di scrittura IA:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi del testo vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento dell'IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano o generato dall'IA. Ogni frase idonea all'interno di queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi delle frasi vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

Il procedimento consiste nell'estrarre le frasi, suddividerle in unità sovrapposte, valutare ogni sezione, riunire i punteggi delle frasi e aggregarli in una percentuale a livello di documento. Le pagine pubbliche di StealthWriter consultate per questo articolo non documentano una catena equivalente di segmentazione e aggregazione. Le fonti attuali non consentono quindi di dire che StealthWriter usi lo stesso metodo oppure uno diverso.

La documentazione di Turnitin chiarisce anche che la percentuale di rilevamento della scrittura IA e il punteggio di similarità sono due cose distinte. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Il punteggio di similarità e la percentuale di rilevamento della scrittura IA sono del tutto indipendenti e non si influenzano a vicenda.) Il punteggio di similarità indica la percentuale di testo corrispondente trovata nel documento inviato, confrontandolo con l'ampia raccolta di contenuti che Turnitin usa per il controllo della similarità. Un documento può avere una similarità alta e un livello di IA basso, o viceversa. Rapporto di scrittura IA di Turnitin e rapporto di similarità a confronto tiene le due cose separate. I due numeri non si influenzano tra loro.

Turnitin pubblica un obiettivo preciso sui falsi positivi:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Ci impegniamo a massimizzare l'efficacia del nostro rilevatore mantenendo il tasso di falsi positivi — cioè l'identificazione errata come generato dall'IA di un testo scritto interamente da un essere umano — sotto l'1% per i documenti con più del 20% di scrittura IA.)

La documentazione lo riformula così: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (In altre parole, potremmo segnalare come scritto dall'IA un documento interamente umano su cento.) Questa riformulazione lascia cadere la condizione «più del 20% di scrittura IA». La versione con la soglia del 20% è quella più precisa. Cosa questa soglia implichi e cosa non implichi per il vostro punteggio è spiegato in il 20% di IA è troppo?.

Per verificare questo obiettivo, Turnitin descrive il proprio sistema di test: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Per rafforzare il nostro sistema di test e diagnosticare le tendenze statistiche dei falsi positivi, prima di ogni aggiornamento o rilascio di un nuovo modello eseguiamo test su oltre 700.000 ulteriori elaborati accademici scritti prima del rilascio di ChatGPT, così da confermare ulteriormente il nostro tasso di falsi positivi inferiore all'1%.)

Questo è ciò che Turnitin dice del proprio sistema. StealthWriter può avere obiettivi di accuratezza diversi, procedure di validazione diverse, oppure può non pubblicare dati confrontabili. Non possiamo fare un confronto diretto sull'accuratezza. Possiamo solo riportare quello che afferma la documentazione di Turnitin.

La lunghezza del documento incide sul modo in cui il rilevatore di Turnitin elabora il testo. Con i documenti brevi il meccanismo di valutazione si comporta diversamente. La documentazione afferma:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi, che contengono solo poche centinaia di parole, la previsione sarà per lo più «tutto o niente», perché effettuiamo la previsione su un'unica sezione, senza possibilità di sovrapposizione.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che un testo che mescola contenuti generati dall'IA e contenuti originali potrebbe essere segnalato come interamente generato dall'IA.)

Il meccanismo di sovrapposizione che nei documenti lunghi compensa i punteggi non entra in gioco quando il testo è un'unica sezione. Poche centinaia di parole che mescolano testo umano e testo d'IA possono restituire un 100%, ed è una delle strade descritte in perché Turnitin dice che il vostro lavoro è IA al 100%. È un comportamento strutturale, legato agli input brevi.

Questo comportamento sugli input brevi è documentato per Turnitin. Le pagine di StealthWriter consultate non descrivono un processo equivalente per gli input brevi, quindi questo articolo non attribuisce a StealthWriter né lo stesso meccanismo né uno diverso.

Turnitin nasconde i punteggi numerici sotto il 20%. La documentazione afferma:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Per evitare la possibile comparsa di falsi positivi, non viene attribuito alcun punteggio né evidenziatura per i valori di rilevamento dell'IA compresi tra l'1% e il 19%. Quando nel rapporto viene rilevata IA sotto la soglia del 20%, questo viene ora indicato con un asterisco (*%) e non viene attribuita alcuna percentuale.)

Un documento che il modello di Turnitin stima all'8% di IA mostrerà un asterisco nel rapporto, non il numero 8%. Al testo non viene applicata alcuna evidenziatura. La motivazione è non far emergere possibili falsi positivi in una fascia di scarsa affidabilità, e su questo si sofferma cosa significa l'asterisco (*%) in un punteggio IA di Turnitin.

La regola dell'asterisco riguarda Turnitin. Le pagine di StealthWriter consultate definiscono il proprio punteggio, ma non documentano come verrebbe mostrato lo stesso caso di valore basso. Non ricavate da qui una conversione né una differenza di visualizzazione, senza una prova separata e documentata.

Se state confrontando i risultati di StealthWriter e di Turnitin sullo stesso documento, ecco il riassunto:

• Definizioni diverse, nessuna regola di conversione. StealthWriter definisce una percentuale di naturalezza, mentre Turnitin documenta un punteggio di scrittura IA. Le fonti consultate non offrono alcuna corrispondenza tra i due.
• Turnitin valuta segmentando e aggregando. Le frasi vengono estratte, suddivise in unità sovrapposte, valutate, riunite e aggregate. Il punteggio IA e il punteggio di similarità sono del tutto indipendenti.
• Turnitin punta a meno dell'1% di falsi positivi sui documenti con più del 20% di scrittura IA, dato verificato su oltre 700.000 ulteriori elaborati accademici scritti prima di ChatGPT.
• I documenti brevi ottengono punteggi tutto o niente. Poche centinaia di parole possono tornare come 0% o come 100%, anche con un testo misto.
• I punteggi sotto il 20% compaiono come asterisco. Nella fascia dall'1% al 19% non compaiono né percentuali numeriche né evidenziazioni.

I passaggi che soddisfano i requisiti possono essere rielaborati gratuitamente.