Il 20% di AI è troppo? Perché non esiste una soglia assoluta

Non esiste un limite di settore, nessuna fascia sicura riconosciuta e nessun dato di Turnitin che dica cosa conti come "troppo". Le istituzioni stabiliscono le proprie prassi in modo molto variabile: alcune trattano ogni segnalazione come motivo per parlare con lo studente, altre ignorano l'indicatore e Vanderbilt lo ha disattivato del tutto.

Quindi la risposta onesta alla domanda "il 20% è alto" è che dipende da una politica che puoi andare a leggere, e non può essere data partendo solo dal numero. Qualsiasi articolo che ti fornisca una percentuale sicura se l'è inventata.

La domanda nasconde inoltre tre decisioni diverse. Turnitin stabilisce una regola di visualizzazione per ciò che appare nella sua interfaccia. Un'istituzione definisce una regola di indagine su quando il personale deve esaminare un elaborato. Un organismo disciplinare applica uno standard probatorio nel decidere se una norma sia stata violata. Lo stesso numero può comparire in tutte e tre le fasi, ma non ne determina nessuna di per sé.

Un limite di visualizzazione al 20% non è una regola di illecito al 20%. Trattarli come intercambiabili è l'errore centrale alla base della maggior parte dei consigli sui "punteggi sicuri".

Inoltre, due rapporti al 20% non sono necessariamente confrontabili. Un documento può essere quasi interamente prosa qualificata; un altro può essere dominato da tabelle e appendici. Uno può mostrare un unico blocco concentrato; l'altro passages sparsi. La percentuale comprime questi casi diversi in un'unica intestazione, quindi l'interpretazione parte dal rapporto e dalla politica specifica, non da una scala di colori universale.

Esiste un confine documentato, ed è una regola di visualizzazione. Da luglio 2024, quando il risultato di Turnitin scende dall'1% al 19%, mostra un asterisco senza percentuale numerica né evidenziazioni. Turnitin afferma che i suoi test hanno rilevato un'incidenza più alta di falsi positivi nell'intervallo basso e che nascondere il numero riduce le interpretazioni errate.

L'asterisco è un avvertimento sull'intervallo basso del modello. Non significa zero e non indica all'istituzione quale conclusione disciplinare raggiungere.

Un 20% visibile e un 19% nascosto cadono su lati opposti della regola dell'interfaccia, ma questa differenza di un punto non crea un salto scientifico. Vicino a qualsiasi soglia, piccole variazioni nel modello o nel testo possono cambiare ciò che l'utente vede. Ecco perché un rapporto al 20% va letto con il contesto, non trattato come categoricamente diverso da un asterisco.

I rapporti più vecchi complicano ulteriormente il confronto. La modifica non è stata retroattiva, quindi un invio precedente all'8 luglio 2024 potrebbe ancora mostrare un punteggio numerico basso che un nuovo invio nasconderebbe. Conserva la data di creazione, la versione del rilevatore se disponibile e il PDF originale o lo screenshot con il record del caso.

Quando il rilevatore è stato lanciato ad aprile 2023, Turnitin ha promosso un tasso di falsi positivi a livello di documento inferiore all'1% nelle sue condizioni di valutazione. Entro giugno 2023, il chief product officer dell'azienda ha dichiarato a Inside Higher Ed che una cifra a livello di frase per i falsi positivi si attestava intorno al 4%. Queste cifre usano unità diverse e non vanno presentate come una semplice revisione da 1 a 4.

Un tasso di falsi positivi richiede anche un denominatore e una popolazione di base. L'errore a livello di frase chiede quanto spesso le frasi umane vengono etichettate in modo errato; l'errore a livello di documento chiede quanto spesso un documento completamente umano supera una regola decisionale. Nessuno dei due può essere moltiplicato per i 200 milioni di documenti esaminati nel primo anno di Turnitin per stimare le accuse, perché la combinazione di documenti umani, assistiti da AI, non idonei e ripetuti è sconosciuta.

Vanderbilt ha utilizzato i suoi circa 75.000 invii annuali per illustrare la scala istituzionale: anche un tasso dichiarato piccolo può implicare molti casi che richiedono una revisione equa. Non ha stabilito che esattamente 750 studenti sarebbero stati accusati ingiustamente. Una segnalazione potrebbe non diventare mai un'accusa e un documento può contenere molte frasi senza diventare un falso positivo a livello documentale.

Il tasso di base conta per un'altra ragione. Se l'uso proibito dell'AI è raro in una particolare valutazione, i falsi positivi possono costituire una parte sostanziale di tutte le segnalazioni anche quando la specificità è alta. Se l'uso è comune, lo stesso rilevatore può avere un valore predittivo positivo diverso. Senza conoscere prevalenza, sensibilità, specificità e il processo di revisione dell'istituzione, una percentuale visualizzata non può rispondere alla domanda "qual è la probabilità che questo studente abbia barato?"

Percentuale del rilevatore, tasso di falsi positivi e probabilità di illecito sono tre grandezze diverse. Nessuna può essere sostituita all'altra.

Turnitin ha pubblicato un'analisi dell'errore più specifica da test che mescolavano frasi scritte da umani e da AI: il 54% delle frasi con falsi positivi osservati si trovava immediatamente accanto a una frase scritta da AI e un altro 26% si trovava a due frasi di distanza.

In quella valutazione, quattro su cinque frasi con falsi positivi erano entro due frasi dal testo AI. Questo descrive il comportamento al confine nei documenti misti; non mostra dove cadono i falsi positivi in un documento completamente umano e non dovrebbe essere generalizzato a ogni versione successiva del modello.

Questo ha una conseguenza pratica. In un documento con alcuni passaggi assistiti da AI, le frasi circostanti sono quelle più probabilmente segnalate erroneamente e una percentuale non può dire quale sia quale. La distribuzione sì, ecco perché è importante leggere il rapporto stesso piuttosto che la sua intestazione. Turnitin riporta anche un'incidenza più alta di falsi positivi nelle frasi iniziali e finali di un documento – introduzioni e conclusioni – e ha cambiato il modo in cui le aggrega proprio per questo motivo.

Ecco perché cancellare o riscrivere ogni frase evidenziata non è una risposta diagnostica valida. Alcune frasi evidenziate al confine potrebbero essere umane; alcuni passaggi non evidenziati potrebbero essere assistiti da AI ma non rilevati. Il rapporto identifica aree per una revisione contestuale. La prova della paternità deriva comunque da bozze, fonti, dichiarazioni sull'uso consentito e dalla capacità dello scrittore di spiegare il proprio lavoro.

• Cosa fa la mia istituzione con questo numero? Molti lo trattano come un motivo per esaminare più da vicino, non come un verdetto. Turnitin stessa afferma che non determina l'illecito.
• Dove sono le segnalazioni? Concentrate in metodi, definizioni e passaggi di sfondo – parti che dovrebbero suonare formulai – significa qualcosa di diverso rispetto a essere sparse nell'argomentazione.
• Quanta parte del documento è stata valutata? La percentuale copre solo la prosa. Un documento con molte tabelle, elenchi o bibliografia potrebbe aver avuto molto meno valutato di quanto pensi.
• Quale stato del rapporto e data sto guardando? Asterisco, 0%, punteggio numerico ed errore di eleggibilità significano cose diverse e i rapporti precedenti luglio 2024 seguono una regola di visualizzazione più vecchia.
• Quale altra evidenza è richiesta? Chiedere se i revisori esaminano bozze, fonti, cronologia delle versioni, scrittura precedente e la spiegazione dello studente invece di trattare l'indicatore come sufficiente.

Per gli educatori: mettete per iscritto questo processo prima di usare la funzione: chi può vedere il rapporto, cosa scatena un colloquio, come gli studenti ricevono le evidenze, quali accomodamenti si applicano e chi prende la decisione finale. Per gli studenti: chiedete quel processo scritto e conservate l'invio originale invariato. Entrambi i passi sono più utili che dibattere se 20 sia intrinsecamente "alto."