Il mito di perplexity e burstiness: cosa usa davvero Turnitin

Se cerchi «come fa Turnitin a rilevare la scrittura IA», troverai decine di articoli che ripetono la stessa affermazione: Turnitin userebbe perplexity e burstiness per rilevare i testi generati dall’IA. L’affermazione compare su siti come aihumaniser.pro, blog.aibusted.com e humanizethisai.com, e in diversi articoli cinesi su sohu.com. Lì definiscono entrambe le metriche, le attribuiscono a Turnitin e danno consigli su come «abbassare il tuo punteggio di perplexity» per superare il rilevamento.

Il problema è che questa affermazione è fattualmente sbagliata. La documentazione di Turnitin dice il contrario. Abbiamo letto le FAQ ufficiali e contraddicono direttamente la narrazione perplexity-burstiness su cui i siti concorrenti hanno costruito i loro consigli. Il mito si è diffuso a tal punto che molti studenti e scrittori ormai credono di dover ottimizzare una metrica che Turnitin non calcola.

Questo conta perché una strategia costruita su una premessa falsa porta a decisioni sbagliate. Se credi che Turnitin calcoli un punteggio di perplexity, potresti concentrarti nell’inserire parole casuali per manipolare una metrica che non esiste. Il meccanismo reale è diverso.

Le FAQ ufficiali di Turnitin affrontano direttamente la questione di perplexity e burstiness. La documentazione afferma: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre metriche individuali a volte citate nelle discussioni pubbliche.) La frase successiva continua: «Instead, it learns statistical patterns from our training data.» (Al contrario, apprende schemi statistici dai nostri dati di addestramento.)

È una smentita inequivocabile. Turnitin non esegue alcun calcolo di perplexity sul tuo testo. Il modello non guarda un punteggio di burstiness né controlla se la lunghezza delle tue frasi varia abbastanza. Il sistema non funziona calcolando un piccolo insieme di metriche denominate e inserendole in una formula.

La documentazione va oltre e spiega perché. Turnitin afferma: «As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms.» (Di conseguenza, i suoi risultati sono generati da molti schemi appresi che agiscono insieme, anziché da un piccolo insieme di regole trasparenti e leggibili da una persona. Per questo motivo, le singole previsioni non sempre si possono spiegare in termini semplici, caratteristica per caratteristica.) Il processo decisionale del modello non si può ridurre a un elenco di metriche. Il classificatore ha appreso schemi dai dati di addestramento, e questi schemi agiscono insieme in modi che non si spiegano come caratteristiche singole.

C’è il rischio di leggere troppo nella dichiarazione ufficiale. Se Turnitin dice che non usa la perplexity, e la perplexity è una misura della probabilità delle parole, significa forse che Turnitin ignora del tutto la probabilità delle parole? No. La stessa pagina delle FAQ fornisce il contrappeso decisivo: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità tipiche degli autori umani.)

Questa frase impedisce un’interpretazione semplicistica. Turnitin nega di aver programmato esplicitamente burstiness e perplexity come metriche denominate. Non nega che la probabilità delle parole sia centrale in ciò che fa il classificatore. La stessa documentazione conferma che la probabilità delle parole è esattamente ciò su cui il classificatore è addestrato. La distinzione sta tra calcolare una metrica denominata «perplexity» e apprendere schemi di probabilità delle parole dai dati di addestramento.

La perplexity è una misura della probabilità delle parole. Una perplexity bassa significa che le parole sono prevedibili dato il contesto. Una perplexity alta significa che lo sono meno. Il classificatore di Turnitin apprende schemi di probabilità delle parole, quindi il concetto che la perplexity misura è pertinente a ciò che fa il modello. Ciò che Turnitin nega è il calcolo esplicito di un singolo punteggio di perplexity come caratteristica denominata. Il modello basato su transformer apprende schemi statistici complessi dai dati di addestramento, e questi schemi includono informazioni sulla probabilità delle parole senza ridursi a una sola metrica denominata.

GPTZero, al contrario, dichiara pubblicamente di usare perplexity e burstiness come metriche denominate. Questa è una differenza reale tra i due rilevatori. Confonderli porta a dare consigli sbagliati. Ciò che funziona con GPTZero non vale necessariamente per Turnitin, perché i due strumenti usano approcci diversi.

Se Turnitin non calcola perplexity e burstiness, cosa fa davvero? La documentazione descrive una catena di elaborazione molto diversa dall’approccio basato su metriche descritto dagli articoli dei concorrenti. Turnitin afferma: «When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Quando un elaborato viene inviato a Turnitin, le frasi dell’invio vengono estratte e segmentate in sezioni sovrapposte per l’analisi predittiva. Ogni sezione è classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall’IA. Ogni frase idonea all’interno di queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi per frase vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

Il tuo elaborato non viene valutato come un blocco unico. Le frasi vengono estratte e divise in sezioni sovrapposte. Ogni sezione riceve un punteggio compreso tra 0 e 1. Poiché le sezioni si sovrappongono, una stessa frase può comparire in più sezioni ed ereditare più punteggi. Questi punteggi vengono riuniti e poi aggregati nella percentuale finale a livello di documento.

Questo meccanismo è fondamentalmente diverso dal calcolare un punteggio di perplexity e un punteggio di burstiness e combinarli. Il classificatore valuta il testo a livello di sezione e apprende schemi statistici che distinguono la scrittura umana da quella generata dall’IA. Questi schemi includono informazioni sulla probabilità delle parole, apprese dai dati di addestramento anziché programmate come metriche denominate.

Capire il meccanismo reale cambia i consigli che dovresti seguire. Se credi che Turnitin calcoli la perplexity, potresti introdurre parole imprevedibili. Se credi che calcoli la burstiness, potresti variare la lunghezza delle frasi. Nessuna delle due strategie punta al bersaglio giusto.

Il classificatore di Turnitin apprende schemi statistici dai dati di addestramento. Non calcola un punteggio di perplexity per il tuo testo. Gli schemi appresi sono complessi e non sempre spiegabili in termini semplici, caratteristica per caratteristica, come dice la documentazione. Non esiste una formula semplice con cui «battere» il rilevatore ottimizzando una sola metrica.

Quello che puoi fare è scrivere in modi che riflettano un’autentica paternità umana. La scrittura umana tende a includere scelte di parole e formulazioni che si discostano dagli schemi statistici prodotti dai modelli di IA. Il classificatore è addestrato a riconoscere le sequenze di probabilità delle parole caratteristiche degli autori umani. Scrivere con la tua voce, con la sua naturale variabilità, è esattamente ciò che il classificatore è progettato per riconoscere come umano.

Il mito di perplexity e burstiness porta a sprecare energie nel posto sbagliato. Chi scrive passa tempo a ottimizzare metriche che Turnitin non calcola. La distinzione tra GPTZero (che perplexity e burstiness le usa davvero) e Turnitin (che non le usa) significa che un consiglio calibrato su uno strumento può essere irrilevante per l’altro.

I passaggi idonei possono essere rielaborati gratuitamente. Prova lo strumento HumanPen qui.