Un revisore ha segnalato il mio articolo come AI. Cosa dice Turnitin

La FAQ di Turnitin è esplicita sui limiti del suo indicatore di scrittura AI:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Dobbiamo pertanto sottolineare che la percentuale sull'indicatore di scrittura AI non dovrebbe essere usata come unica base per azioni o come misura definitiva di valutazione da parte dei docenti)

Questa è una dichiarazione di Turnitin stessa. La percentuale è un segnale, non una conclusione. Se un revisore ha segnalato il tuo articolo basandosi su un punteggio Turnitin, la documentazione dice che quel punteggio non è mai stato pensato come parola definitiva. Una domanda separata è cosa fanno effettivamente le riviste su una sottomissione: le riviste controllano gli articoli per scrittura AI.

La FAQ inquadra il punteggio come uno dei tanti input:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Non è concepito per fornire risposte definitive in isolamento. Più importante di qualsiasi strumento è il docente che vede il punteggio e prende decisioni bilanciando queste informazioni con la propria conoscenza personale dei propri studenti, del loro lavoro e della politica istituzionale)

Il punteggio è pensato per essere interpretato da un docente che ha un contesto che lo strumento non ha. Non conosce il tuo processo di scrittura, la cronologia delle bozze o il tuo stile. La documentazione dice che la persona che legge il punteggio conta più del punteggio stesso.

Un revisore che segnala il tuo articolo basandosi solo sulla percentuale lo sta usando in un modo che la FAQ dice non dovrebbe essere usato. Il punteggio dovrebbe essere bilanciato con la conoscenza personale dello studente e del suo lavoro.

La FAQ descrive specifiche caratteristiche del testo che possono scatenare falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi, cioè testi scritti da umani erroneamente segnalati come generati da AI, possono includere contenuti senza molta variazione strutturale, testo che si ripete letteralmente, o testo che è stato parafrasato senza sviluppare nuove idee)

Se il tuo articolo è stato segnalato, considera se ha qualcuna di queste caratteristiche. Un testo privo di variazione strutturale, che ripete la stessa formulazione o parafrasa fonti senza aggiungere nuova analisi può essere segnalato anche se hai scritto ogni parola tu. Questi sono pattern di falsi positivi documentati, non speculazione.

Vale la pena notarlo perché queste caratteristiche sono comuni nella scrittura accademica. Le revisioni della letteratura, le sezioni di metodologia e le descrizioni dei risultati possono tutte esibire bassa variazione strutturale o formulazioni ripetitive per loro natura. Un falso positivo non significa che il testo sia generato da AI. Significa che il testo condivide pattern che il modello associa all'output AI. Turnitin ha segnalato tutta la mia sezione di metodologia è quel caso analizzato in dettaglio.

La FAQ dichiara un obiettivo specifico per i falsi positivi:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Ci sforziamo di massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi, cioè identificare erroneamente testo completamente scritto da umani come generato da AI, sotto l'1% per documenti con oltre il 20% di scrittura AI)

La frase successiva: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (In altre parole, potremmo segnalare un documento scritto da umani come scritto da AI per uno ogni 100 documenti completamente scritti da umani)

L'obiettivo è sotto l'1% per documenti con oltre il 20% di scrittura AI. Questo significa che Turnitin ha documentato che i falsi positivi accadono e ha fissato una soglia per quanto spesso dovrebbero accadere. La soglia è un obiettivo, non una garanzia. I falsi positivi fanno parte dei parametri di progettazione del sistema. Cosa significa un tasso di falsi positivi dell'1% quando un'università sottomette 75.000 articoli trasforma quell'obiettivo in un conteggio di persone.

La FAQ nota che l'accesso all'indicatore AI è limitato:

"Please note, only instructors and administrators are able to see the indicator." (Si prega di notare, solo docenti e amministratori sono in grado di vedere l'indicatore)

Gli studenti non vedono il punteggio. Anche i revisori in molti flussi di lavoro editoriali potrebbero non avere accesso diretto all'indicatore AI di Turnitin. Se un revisore ha segnalato il tuo articolo come AI, potrebbe aver lavorato dal similarity report, da un altro rilevatore o dalla propria valutazione della scrittura. Vale la pena chiarire quale strumento ha prodotto la segnalazione e chi aveva accesso a quale rapporto. Sul lato delle riviste di solito significa iThenticate: iThenticate rileva la scrittura AI.

Per riassumere cosa dice la documentazione:

• La percentuale sull'indicatore di scrittura AI non dovrebbe essere usata come unica base per azioni o come misura definitiva di valutazione.
• Il punteggio non è concepito per fornire risposte definitive in isolamento. La conoscenza che il docente ha dello studente e la politica istituzionale contano di più.
• I falsi positivi possono includere contenuti senza variazione strutturale, testo che si ripete, o testo parafrasato senza sviluppare nuove idee.
• L'obiettivo per i falsi positivi è sotto l'1% per documenti con oltre il 20% di scrittura AI. I falsi positivi sono una parte documentata del sistema.
• Solo docenti e amministratori possono vedere l'indicatore AI. Gli studenti non lo vedono.

Se un revisore ha segnalato il tuo articolo e vuoi affrontare i passaggi segnalati, importa il rapporto e lavoraci sopra. I passaggi idonei possono essere rieseguiti senza costi aggiuntivi.