Il tasso di falsi positivi di Turnitin, spiegato

Turnitin dichiara il target direttamente nella sua documentazione: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Ci impegniamo a massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi – identificare erroneamente testo scritto interamente da umani come generato da AI – sotto l'1% per documenti con oltre il 20% di scrittura AI.)

Questo è il numero ufficiale. Ma nota il qualificatore che lo accompagna: il target vale per documenti con oltre il 20% di scrittura AI, non per tutti i documenti. Turnitin non sta dicendo che un documento su cento in generale sia un falso positivo. Il tasso è definito all'interno di una popolazione specifica, e quella popolazione sono i documenti che sono già almeno per il 20% scritti da AI.

Turnitin poi riformula il numero in parole semplici per renderlo concreto: circa un documento su cento scritto interamente da umani potrebbe essere segnalato. Questa illustrazione non cambia il target. Riformula la stessa cifra condizionata, e la condizione resta attaccata. Come si presenta l'estremo opposto è una domanda a sé: un punteggio AI Turnitin del 100% può comunque essere umano?

Il target dell'1% non è una cifra di marketing. Turnitin descrive il processo di convalida che ci sta dietro: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Per rafforzare il nostro framework di test e diagnosticare le tendenze statistiche dei falsi positivi, prima di ogni aggiornamento o rilascio di un nuovo modello, eseguiamo test su oltre 700.000 articoli accademici aggiuntivi che sono stati scritti prima del rilascio di ChatGPT per convalidare ulteriormente il nostro tasso di falsi positivi inferiore all'1%.)

Tre dettagli in quella frase meritano di essere messi in ordine. Primo, il corpus di test è ampio – oltre 700.000 articoli. Secondo, gli articoli sono precedenti a ChatGPT, quindi sono genuinamente scritti da umani. Terzo, i test vengono eseguiti prima di ogni aggiornamento o rilascio di un nuovo modello, non solo una volta. La cifra dell'1% viene riconvalidata contro un corpus fresco di scrittura accademica nota come umana ogni volta che il modello cambia.

Questo conta quando vedi il numero ripetuto su siti di terze parti. La cifra ufficiale è legata a una procedura di test specifica. Quando qualcuno dice "Turnitin ha un tasso di falsi positivi dell'1%" senza qualificatori, di solito intende documenti con oltre il 20% di scrittura AI, convalidati contro articoli accademici pre-ChatGPT. Il qualificatore fa parte di ciò che è effettivamente la claim ufficiale.

La parte più importante della documentazione non è il target dell'1% in sé. È il compromesso che Turnitin accetta esplicitamente per raggiungerlo. L'affermazione completa recita: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Per mantenere questo basso tasso dell'1% per i falsi positivi, c'è la possibilità che potremmo non rilevare del testo scritto da AI in un documento. Siamo a nostro agio con questo perché non vogliamo evidenziare erroneamente testo scritto da umani come scritto da AI. Per esempio, se identifichiamo che il 50% di un documento è probabilmente scritto da uno strumento AI, potrebbe contenere fino al 65% di scrittura AI.)

Questo è insolito. Un prodotto di rilevamento dichiara pubblicamente che preferisce non rilevare testo AI piuttosto che segnalare erroneamente testo umano. La frase "We're comfortable with that" è l'azienda che rende esplicito un compromesso. I falsi positivi sono ciò contro cui ottimizzano; i falsi negativi sono il costo accettato.

L'ultima frase chiarisce la conseguenza pratica. Quando il rapporto dice che un documento è al 50% AI, la percentuale reale potrebbe essere alta come il 65%. La percentuale riportata può sottostimare il contenuto AI effettivo. Questa è una proprietà progettata del sistema, non un bug – e segue direttamente dal target di basso tasso di falsi positivi.

Una volta che mantieni il qualificatore attaccato, il "tasso di falsi positivi" diventa uno strumento più preciso della versione da titolo. Ecco cosa implicano effettivamente i numeri documentati.

Primo, il tasso ha come target documenti con oltre il 20% di scrittura AI. I documenti sotto quella soglia sono fuori dalla condizione dichiarata, e Turnitin non sta facendo un'affermazione separata su di essi. La cifra ufficiale dell'1% non è una claim globale su ogni submission.

Secondo, i mancati rilevamenti di testo AI fanno parte del design. Poiché il sistema si sintonizza contro i falsi positivi, del testo AI scivola attraverso. Un punteggio riportato che non è alto non significa in modo affidabile che il documento sia interamente umano. Può significare che il contenuto AI è stato sottostimato.

Terzo, un punteggio riportato alto è un segnale più forte di un punteggio basso. Se il rapporto dice che un documento è, diciamo, all'80% AI, la logica del compromesso si applica ancora – la proporzione reale potrebbe essere anche più alta. Ma la direzione dell'errore è la parte importante: il bias noto del modello è sottostimare, quindi un punteggio alto è più difficile da respingere di uno basso.

In pratica questo si legge così: i falsi positivi accadono raramente, i falsi negativi accadono più spesso, un punteggio basso non è prova di paternità umana, e un punteggio alto è comparativamente più affidabile. Nulla di questo contraddice i documenti. È ciò che implica il compromesso documentato. Il venditore pubblica anche linee guida per chi legge il tuo punteggio: cosa viene detto al tuo istruttore di fare quando la tua percentuale AI è alta.

Le linee guida stesse di Turnitin collocano il punteggio all'interno di un quadro decisionale più ampio. La documentazione afferma: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Il nostro modello di rilevamento della scrittura AI potrebbe non essere sempre accurato (potrebbe identificare erroneamente testo scritto da umani, generato da AI e parafrasato da AI), quindi non dovrebbe essere usato come unica base per azioni avverse contro uno studente.)

Prosegue: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Occorre un'ulteriore verifica e il giudizio umano congiuntamente all'applicazione da parte di un'organizzazione delle sue specifiche politiche accademiche per determinare se si è verificata una violazione accademica.)

Questo è il quadro in cui studenti ed educatori dovrebbero operare. La percentuale è un dato. Il verdetto è una decisione presa da umani: l'istruttore, il dipartimento, l'istituzione, applicando le loro proprie politiche accademiche. Turnitin stessa dice che il punteggio non dovrebbe portare da solo la decisione. L'azienda gestisce anche un canale per l'errore stesso: come segnalare un falso positivo a Turnitin.

Se non sei d'accordo con un punteggio, la strada documentata è trattare il numero come un dato e sollevarlo con la persona che ha il contesto accademico – il tuo istruttore. Questo è il passo che i documenti ufficiali descrivono, ed è il passo più coerente con la cornice stessa dell'azienda. Se questo non risolve, come fare appello a una segnalazione AI falsa, e quali prove la tua università accetterà stabilisce cosa viene dopo.

Tenendo tutto questo a mente, il takeaway pratico è semplice: il punteggio esiste per essere interpretato, e un numero segnalato è l'inizio di una discussione, non la fine. Se vuoi vedere come viene letto il tuo draft prima di submittere, il nostro re-run gratuito ti permette di controllare il tuo testo. Provalo qui.