Perché parafrasare fa salire il punteggio AI di Turnitin?

Gli strumenti di parafrasi sono progettati per abbassare il tuo similarity score, e lo fanno sostituendo le tue parole con altre che significano la stessa cosa. Le parole di ricambio tendono ad essere espressioni ad alta frequenza, quel tipo di linguaggio che anche i generatori AI usano come default. Il detector di Turnitin legge i pattern di probabilità delle parole, e quando il tuo testo riscritto finisce più vicino a quella distribuzione, la percentuale AI sale. Non è un bug. È il meccanismo che funziona come progettato, ma su un obiettivo diverso da quello che avevi in mente.

Il similarity score e la percentuale AI sono, parola di Turnitin, "completely independent and do not influence each other" ("completamente indipendenti e non si influenzano a vicenda"). Misurano cose diverse, sono calcolati da processi diversi, e niente di ciò che fai sull'uno è garantito che aiuti l'altro. Quando tirano in direzioni opposte, lo strumento di parafrasi che hai usato per sistemare il primo può farti inciampare nel secondo.

Turnitin lo dice chiaramente nelle sue detection FAQs: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other" ("Il Similarity score e la percentuale di rilevamento AI writing sono completamente indipendenti e non si influenzano a vicenda"). Il similarity score ti dice quanto del tuo testo corrisponde ad altro testo nel database. La percentuale AI ti dice quanto del tuo testo sembra scritto da una macchina. Non sono due viste della stessa proprietà.

Uno strumento di parafrasi è progettato per il primo obiettivo. Prende una frase che corrisponde a qualcosa nel database e la riscrive in modo che non corrisponda più. Questo abbassa il similarity score. Ma lo strumento ottiene questo risultato sostituendo le tue scelte di parole originali con alternative, e quelle alternative vengono dalle espressioni più comuni, più probabili per ogni significato. La tua formulazione originale poteva essere idiosincratica. La sostituzione è, per progettazione, l'opposto dell'idiosincrasia.

La percentuale AI, nel frattempo, è calcolata in modo completamente diverso. Abbiamo tracciato come funziona quel calcolo in cosa misurano i rilevatori di AI, e la versione breve è che il detector taglia il tuo testo in segmenti sovrapposti, dà a ognuno un punteggio di probabilità, e raggruppa quelli in un numero a livello di documento. Le parole che lo strumento di parafrasi ha scelto sono ora le parole che vengono valutate. Se quelle parole tendono a raggrupparsi nella zona ad alta probabilità, il numero sale.

Spesso si dice che il detector di Turnitin misura "perplexity" e "burstiness". Non è esattamente corretto. La FAQ di Turnitin dice: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions" ("Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre metriche individuali talvolta citate nelle discussioni pubbliche"). La frase successiva nello stesso paragrafo recita: "Instead, it learns statistical patterns from our training data" ("Invece, apprende pattern statistici dai nostri dati di training").

Ma la stessa pagina FAQ, in una sezione separata, dice questo: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers" ("I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e sono abili con le sequenze di probabilità delle parole tipiche degli scrittori umani"). Quindi il modello non sta calcolando un punteggio di perplexity e chiamandolo così. Sta, parola sua, leggendo la probabilità delle parole. La distinzione conta perché la prima citazione, letta da sola, sembra dire che il detector ignora del tutto la probabilità delle parole. Non è così. Perché i rilevatori discordano spiega come diversi strumenti arrivino a numeri diversi per lo stesso testo, e la modellazione della probabilità delle parole è centrale in questo.

Cosa significa questo per la parafrasi è semplice. La tua frase originale aveva un profilo di probabilità delle parole plasmato dal tuo vocabolario, dalle tue abitudini, dalle cose specifiche che avevi letto prima di scriverla. La versione parafrasata ha un profilo plasmato da qualsiasi cosa lo strumento abbia selezionato, e lo strumento seleziona dal centro della distribuzione, non dai bordi. Il detector, che è addestrato sulla probabilità delle parole, vede la frase riscritta come più vicina al suo modello di output machine. Non perché hai usato AI, ma perché l'impronta statistica di una frase parafrasata assomiglia di più a una.

È qui che diventa scomodo. La FAQ di Turnitin elenca i tipi di testo che tendono a produrre falsi positivi, e la descrizione sembra una scheda tecnica di ciò che produce uno strumento di parafrasi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas" ("Talvolta i falsi positivi – segnalazione errata di testo scritto da umani come generato da AI – possono includere contenuti senza molta variazione strutturale, testo che si ripete letteralmente, o testo che è stato parafrasato senza sviluppare nuove idee").

La frase direttamente dopo è quella che conta di più: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated" ("Se il nostro indicatore mostra una quantità maggiore di AI writing in tale testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata"). Turnitin sta dicendo agli istruttori di scontare i punteggi AI alti su testo che corrisponde a questa descrizione.

Uno strumento di parafrasi, per progettazione, non sviluppa nuove idee. Prende le tue idee esistenti e le riformula. Tende anche a ridurre la variazione strutturale, perché livella lo stile su tutto il documento invece di introdurre nuove forme di frase. Lo strumento non cerca di rendere il tuo testo più vario. Cerca di renderlo meno matching. Questi due obiettivi non sono allineati, e il secondo spinge il testo esattamente verso il profilo che Turnitin dice essere incline ai falsi positivi.

Siamo andati più a fondo su cosa fa scattare i detector nella scrittura raffinata, e il meccanismo lì è lo stesso che opera qui. Lo smoothing è un segnale statistico.

Turnitin dichiara che preferisce perdere testo AI piuttosto che segnalare erroneamente scrittura umana. La FAQ dice: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written" ("Per mantenere questo basso tasso dell'1% per i falsi positivi, c'è la possibilità che potremmo perdere qualche testo scritto da AI in un documento. Siamo a nostro agio con questo perché non vogliamo evidenziare erroneamente testo scritto da umani come scritto da AI").

Quell'inclinazione è reale, ed è il motivo per cui un documento scritto interamente da umani ha una bassa probabilità di essere segnalato. Ma non protegge il testo parafrasato nel modo in cui la gente assume. Il tasso di falsi positivi dell'1% si applica al testo che non corrisponde al profilo da falso positivo. Il testo che corrisponde al profilo, il tipo che Turnitin stesso descrive nella citazione sopra, non è il testo contro cui è stata misurata la cifra dell'1%. Il detector è inclinato alla cautela in generale, ma le caratteristiche su cui si inclina per attivare sono le stesse che uno strumento di parafrasi installa.

Se il tuo testo è stato parafrasato da uno strumento AI-driven, c'è un percorso separato. Turnitin dice che "can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection" ("può anche identificare casi in cui testo generato da AI potrebbe essere stato modificato da strumenti di parafrasi AI o bypasser – chiamati anche humanizers – per eludere il rilevamento"). Questo non è un falso positivo. È un vero positivo su un segnale diverso, e il detector ha una capacità nominata per questo. Parafrasato con AI e comunque segnalato spiega cosa succede quando lo strumento che hai usato era esso stesso un modello AI che faceva la riscrittura.

C'è una differenza significativa tra un grammar checker che corregge lo spelling e uno strumento generativo che riscrive le tue frasi. Turnitin traccia questa linea esplicitamente. A proposito di Grammarly, la FAQ dice: "Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector" ("Sulla base di test che abbiamo condotto su documenti scritti da umani senza contenuto generato da AI, nella maggior parte dei casi, le modifiche apportate da Grammarly (gratuito e premium) e/o altri strumenti di controllo grammaticale non sono state segnalate come AI-written dal nostro detector"). Il qualificatore chiave è "in most cases" ("nella maggior parte dei casi"). L'esenzione non è assoluta.

E la FAQ continua: "Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector" ("Si prega di notare che questo esclude il contenuto generato dalle funzionalità generative AI-powered di Grammarly, inclusa la generazione di bozze, parafrasi, riepilogazione e altre funzionalità. Il contenuto prodotto utilizzando queste funzionalità verrà probabilmente segnalato come AI-generated dal nostro detector"). Correzioni di spelling e punteggiatura sono una categoria. Parafrasi e riscrittura sono un'altra. La seconda categoria è dove il punteggio AI sale.

Turnitin non pubblica un elenco di quali strumenti di parafrasi e bypasser ha addestrato e testato. La FAQ dice: "However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools" ("Tuttavia, per salvaguardare l'integrità della nostra soluzione e la sua efficacia nel mantenere l'onestà accademica, non siamo in grado di rivelare i nomi di questi strumenti"). Quindi nessuno fuori da Turnitin può dirti quali strumenti specifici sono rilevati e quali no, e qualsiasi affermazione che uno strumento nominato "batte" il detector è un'affermazione che nessuno può verificare contro i test stessi di Turnitin. Non facciamo quella affermazione, e non consigliamo di fidarsi di chi la fa.

La percentuale AI scende quando il profilo di probabilità delle parole del tuo testo si allontana dalla distribuzione che il detector associa all'output machine. Questo succede quando introduci vocabolario, strutture di frase e idee che un generator non avrebbe scelto da solo. Parafrasare senza aggiungere nuove idee fa l'opposto. Sposta il profilo verso il centro.

Se hai già fatto girare il tuo testo attraverso uno strumento di parafrasi e il punteggio AI è salito, la strada da seguire non è un altro passaggio di parafrasi. Un altro passaggio sostituisce un insieme di parole ad alta frequenza con un altro insieme di parole ad alta frequenza. Il profilo non si muove. Devi riscrivere i passaggi segnalati con le tue scelte di parole, le tue forme di frase, e idealmente con la tua analisi aggiuntiva o esempi. È questo che sposta la distribuzione di probabilità che il detector legge.

La versione pratica di questo, con il report davanti a te, è in come leggere un report di scrittura AI di Turnitin. Il report ti mostra quali segmenti sono segnalati, e quelli sono i segmenti dove le tue scelte di parole devono smettere di essere la media e iniziare ad essere tue.

HumanPen è un document rewriter, e la scelta di design rilevante qui è su cosa viene riscritto e cosa no. Puoi caricare il documento insieme al suo AI writing report, e solo i passaggi che il report ha segnalato vengono riscritti. Il resto del documento rimane come l'hai scritto.

Il motivo per cui questo conta per questo articolo è che un passaggio di parafrasi sull'intero documento è lo scenario peggiore per il meccanismo descritto sopra. Riscrive tutto, inclusi i passaggi che non erano segnalati, e lo fa spostandoli tutti verso il centro ad alta frequenza. Una riscrittura mirata tocca solo i segmenti che il detector ha già segnalato, e lo fa con l'obiettivo di spostare il loro profilo di probabilità delle parole invece di livellarli ulteriormente.

Il billing conteggia solo le parole effettivamente riscritte. Se un report successivo segnala ancora passaggi, quelli possono essere rieseguiti senza costo. Non ti diciamo cosa dirà il prossimo report, perché nessuno può. Ma il meccanismo è il meccanismo, e una riscrittura mirata lavora con esso invece che contro di esso.

La parafrasi aumenta sempre il punteggio AI? Non sempre, ma abbastanza spesso che il pattern ha un nome. Turnitin elenca "text that has been paraphrased without developing new ideas" ("testo che è stato parafrasato senza sviluppare nuove idee") tra i profili inclini ai falsi positivi. Ciò che quel profilo attiva è se è stata aggiunta nuova analisi, non quali operazioni di editing hanno prodotto le frasi. Il testo che rimane dentro le stesse idee mantiene un profilo di probabilità delle parole che il detector è stato addestrato ad associare all'output AI. Se il tuo punteggio specifico sale dipende da come appariva il tuo testo originale e con cosa lo strumento l'ha sostituito.

Ho usato Grammarly per correggere lo spelling. Alzerà il mio punteggio AI? Turnitin dice che nella maggior parte dei casi, le modifiche apportate da Grammarly e altri strumenti di controllo grammaticale "were not flagged as AI-written by our detector" ("non sono state segnalate come AI-written dal nostro detector"). Il qualificatore "in most cases" sta lavorando in quella frase. Se hai usato le funzionalità generative di Grammarly come parafrasi, riepilogo o generazione di bozze, la FAQ dice che quel contenuto "will likely be flagged as AI-generated" ("verrà probabilmente segnalato come AI-generated").

Perché il mio similarity score scende ma il mio punteggio AI sale? Perché misurano cose diverse. Turnitin dice che i due punteggi sono "completely independent and do not influence each other" ("completamente indipendenti e non si influenzano a vicenda"). La parafrasi abbassa la somiglianza rimuovendo testo che corrisponde. Le parole di ricambio possono alzare il punteggio AI perché tendono ad essere espressioni ad alta frequenza, e il detector legge pattern di probabilità delle parole che si sovrappongono a quelli del testo generato da AI.

Posso semplicemente far girare di nuovo lo strumento di parafrasi per sistemare il punteggio AI? Farlo di nuovo sostituisce un insieme di parole comuni con un altro insieme di parole comuni. Il profilo di probabilità delle parole non si muove in una direzione utile. Ciò che sposta il profilo è riscrivere i passaggi segnalati con il tuo vocabolario, le tue strutture di frase e le tue idee aggiuntive.

Turnitin rileva quale strumento di parafrasi ho usato? Turnitin dice di essere stato "trained and tested to detect leading paraphraser and bypasser tools" ("addestrato e testato per rilevare i principali strumenti di parafrasi e bypasser") ma non rivela quali. La FAQ dice che condividere una lista "would make it easier for students to evade our system" ("renderebbe più facile per gli studenti eludere il nostro sistema"). Nessuno fuori da Turnitin può verificare se uno strumento specifico è in quella lista.