Perplexity e burstiness spiegate: quali detector IA le usano

La perplexity misura la prevedibilità delle parole. Quando un modello linguistico legge una frase, assegna a ogni parola una probabilità basata sulle parole che la precedono. Se la parola successiva è molto prevedibile, la perplexity di quella parola è bassa. Se è inaspettata, la perplexity è alta. La perplexity di un testo intero è in sostanza la media di quanto siano state prevedibili le scelte di parole lungo tutto il testo.

Prova a vederla così. Se scrivi «L’esperimento ha mostrato un significativo», la parola successiva sarà con ogni probabilità «risultato», «cambiamento» o «effetto». Sono parole ad alta probabilità. Se invece la parola successiva è «ananas», si tratta di una parola a bassa probabilità e la perplexity in quella posizione schizzerebbe verso l’alto. Un testo che sceglie sempre la parola più attesa ha una perplexity complessiva bassa. Un testo che fa scelte inattese ha una perplexity più alta.

I testi generati dall’IA tendono ad avere una perplexity bassa perché i modelli linguistici sono progettati per scegliere la parola successiva più probabile. Ottimizzano la probabilità contestuale, quindi le loro scelte ricadono in schemi prevedibili. La scrittura umana, al contrario, contiene spesso scelte meno prevedibili, verbi insoliti, sostantivi specialistici o formulazioni che un modello linguistico non avrebbe scelto. Questa differenza è reale e misurabile. Il punto è se ogni detector IA usi la perplexity all’interno del proprio algoritmo, e la risposta è no.

La burstiness misura la variazione nella struttura delle frasi. Se tutte le frasi di un paragrafo hanno più o meno la stessa lunghezza, la stessa struttura grammaticale e lo stesso ritmo, la burstiness è bassa. Se le frasi variano molto — alcune brevi e incisive, altre lunghe e complesse, con subordinate — la burstiness è alta.

La scrittura umana tende ad avere una burstiness più alta rispetto ai testi generati dall’IA. Scriviamo a scatti. Alterniamo una frase breve e secca a una più lunga che contiene un inciso. Rompiamo lo schema quando vogliamo dare risalto a un punto. I modelli IA tendono a produrre strutture più uniformi, perché ottimizzano la coerenza statistica. Il risultato è un testo che scorre bene ma ha meno variazione strutturale.

La burstiness si è diffusa come metrica di rilevamento perché coglie qualcosa di reale nel modo in cui la scrittura umana e quella dell’IA si differenziano. Gli esseri umani sono irregolari, i modelli IA sono costanti. Un detector che misura la burstiness guarda se la struttura delle tue frasi varia abbastanza da sembrare umana. Come la perplexity, la burstiness è un concetto utile. E come la perplexity, non è una metrica che tutti i detector calcolano.

GPTZero è l’esempio più noto di detector che usa pubblicamente perplexity e burstiness come metriche dichiarate. La sua documentazione descrive la perplexity come una misura di quanto un testo sia imprevedibile e la burstiness come una misura della variazione a livello di frase. L’algoritmo di GPTZero calcola queste metriche e le usa nella sua decisione di classificazione. Se vuoi capire come si comporta GPTZero — o adattare il tuo testo di conseguenza — perplexity e burstiness sono direttamente rilevanti.

Turnitin segue un’altra strada. Le sue FAQ ufficiali affermano: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre singole metriche a volte citate nelle discussioni pubbliche.) La frase successiva dice: «Instead, it learns statistical patterns from our training data.» (Al contrario, apprende schemi statistici dai nostri dati di addestramento.) È una negazione diretta ed esplicita del fatto che Turnitin calcoli queste due metriche.

Questa distinzione conta perché i due strumenti a volte classificano lo stesso testo in modo diverso. Un testo costruito per avere burstiness e perplexity elevate può ottenere un punteggio diverso su GPTZero (dove queste metriche fanno parte diretta dell’algoritmo) rispetto a Turnitin (dove il classificatore ha appreso schemi dai dati di addestramento senza calcolare nessuna delle due). I consigli che dicono «aumenta la tua burstiness» o «abbassa la tua perplexity» sono calibrati su un tipo preciso di detector. Possono esserti utili con Turnitin, come possono non esserlo.

Se Turnitin non calcola né perplexity né burstiness, che cosa usa? La documentazione descrive un classificatore che apprende schemi statistici dai dati di addestramento e poi li applica a segmenti del tuo testo.

Turnitin afferma: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre singole metriche a volte citate nelle discussioni pubbliche. Al contrario, apprende schemi statistici dai nostri dati di addestramento.) Il classificatore non esegue né una formula di perplexity né una formula di burstiness. Applica schemi interiorizzati durante l’addestramento, schemi che riguardano la probabilità delle parole ma che non si riducono a un singolo punteggio con un nome.

La stessa pagina delle FAQ conferma su cosa si concentra il classificatore: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e padroneggiano le particolari sequenze di probabilità delle parole tipiche di chi scrive.) La probabilità delle parole è centrale in ciò che il classificatore di Turnitin ha imparato, ma il modello la elabora attraverso schemi appresi, non tramite un calcolo esplicito della perplexity.

Il meccanismo funziona per segmenti. Turnitin lo descrive così: «When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.» (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l’analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall’IA.) I segmenti si sovrappongono, le frasi ereditano i punteggi, più punteggi vengono raggruppati e l’aggregazione finale produce la percentuale a livello di documento. In questa catena non c’è alcun passaggio in cui vengano calcolate perplexity o burstiness.

Turnitin segnala inoltre: «As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms.» (Di conseguenza, i suoi risultati sono generati da molti schemi appresi che lavorano insieme, anziché da un piccolo insieme di regole trasparenti e leggibili da un essere umano. Per questo motivo, le singole previsioni non sempre sono spiegabili in termini semplici, caratteristica per caratteristica.) Il processo decisionale del modello non è qualcosa che puoi ricostruire tenendo d’occhio un pugno di metriche.

La conclusione pratica è semplice. Se leggi un consiglio che dice «abbassa la tua perplexity per battere Turnitin», quel consiglio nasce da una comprensione sbagliata dello strumento. Turnitin non calcola la perplexity. I suggerimenti su burstiness e perplexity possono essere rilevanti per GPTZero, ma non si applicano al meccanismo di Turnitin.

Il punto è che il classificatore di Turnitin non usa questi concetti come metriche dichiarate. Ha appreso schemi statistici dai dati di addestramento — schemi che includono informazioni sulla probabilità delle parole — e li applica al tuo testo. Non puoi ottimizzare una metrica che il classificatore non calcola. Quello che puoi fare è scrivere in modi che riflettano una reale paternità umana, con una variazione naturale nella scelta delle parole e nella struttura, diversa dagli schemi che producono i modelli IA.

Offriamo riprocessamenti gratuiti, così puoi mettere alla prova il tuo testo e vedere a che punto sei. Prova qui.