Turnitin rileva Grok? Cosa dice l'elenco dei modelli

Sì. Grok è indicato esplicitamente nell'elenco dei modelli che Turnitin pubblica. L'elenco afferma che il modello di rilevamento della scrittura IA di Turnitin per gli elaborati in inglese è in grado di riconoscere i contenuti prodotti da una serie di modelli che comprende Grok, insieme a GPT, Gemini, Claude, LLaMA, Mistral, DeepSeek, Nova e o1-mini. L'elenco comprende anche "tools based on these LLMs as well," (gli strumenti basati su questi LLM), il che significa che le applicazioni e i servizi costruiti sopra i modelli linguistici di Grok rientrano nell'ambito di rilevamento dichiarato.

Grok si è evoluto attraverso diverse versioni, ciascuna con capacità e contesti di rilascio differenti. La clausola "tools based on these LLMs" (gli strumenti basati su questi LLM) significa che anche le applicazioni che usano Grok come modello sottostante rientrano nell'ambito dichiarato. Che tutte le versioni di Grok vengano individuate con la stessa accuratezza è tutt'altra questione, e l'elenco non la affronta.

Turnitin non pubblica una tabella dei modelli con esiti di rilevamento del tipo superato o non superato. Nella sua documentazione fornisce invece un elenco in linea, separato da virgole. La frase introduttiva recita: "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (attualmente, il modello di rilevamento della scrittura IA di Turnitin per gli elaborati in inglese è in grado di riconoscere i contenuti prodotti da) un elenco che include Grok accanto agli altri grandi modelli linguistici. Claude e Gemini compaiono nella stessa riga, e Turnitin rileva Claude, Copilot o Gemini approfondisce proprio quel versante. L'elenco si chiude affermando che la copertura si estende a "tools based on these LLMs as well." (anche agli strumenti basati su questi LLM).

L'espressione chiave, qui, è "can detect content from." (è in grado di riconoscere i contenuti prodotti da). Questa formulazione ci dice che il rilevatore è addestrato a riconoscere i testi generati da questi modelli, non che prometta un rilevamento perfetto. La frase che segue subito dopo l'elenco conta altrettanto: "We will continue to expand our detection capabilities to other models in the future." (continueremo ad ampliare in futuro le nostre capacità di rilevamento ad altri modelli).

Per quanto riguarda Grok, questo significa che qualsiasi strumento o servizio che usa i suoi modelli linguistici per produrre testo rientra nell'ambito dichiarato. Quanto sia sensibile questa copertura può variare, e ne parliamo più avanti.

Per capire perché il rilevamento non è un sì o un no secco, conviene guardare al meccanismo descritto da Turnitin. Quando un elaborato viene inviato, le frasi vengono estratte e suddivise in sezioni sovrapposte destinate all'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano oppure generato dall'IA. Ogni frase idonea contenuta in queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. I punteggi così ottenuti vengono a loro volta aggregati e servono a calcolare il punteggio complessivo di scrittura IA del documento.

Ne consegue che la percentuale finale che leggi sul report è la somma di tante piccole previsioni a livello di singola frase. Non è una scansione unica che marchia tutto il documento come IA o come umano. Ogni frase contribuisce al totale, e la sovrapposizione delle sezioni aiuta a smussare i casi al limite.

Il modello di Turnitin non è statico. Secondo la documentazione, "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (via via che perfezioniamo e sviluppiamo il nostro modello per individuare meglio gli LLM più recenti, è probabile che cambino anche le nostre capacità di rilevamento, con effetti sulla percentuale IA. Tuttavia, per un documento già inviato, la percentuale IA cambierà solo se il documento viene inviato una seconda volta per essere elaborato).

Da qui una conseguenza pratica. Se invii un documento oggi e ottieni una certa percentuale IA, quello stesso documento potrebbe riceverne una diversa se venisse inviato di nuovo settimane o mesi dopo. Il modello si aggiorna, e gli aggiornamenti possono spostare i punteggi in entrambe le direzioni: un passaggio che oggi suona umano potrebbe risultare generato dall'IA dopo un aggiornamento, o viceversa.

Per i testi di Grok significa che il livello di rilevamento che riscontri oggi potrebbe non corrispondere a quello che riscontrerai più avanti. Grok stesso ha attraversato diverse iterazioni, e il modello di Turnitin continua a svilupparsi. Se ti ritrovi con due report sullo stesso file, confrontare due report anziché due punteggi è l'unico modo per capire quale dei due si sia mosso. L'elenco dei modelli conferma che Grok rientra nell'ambito, ma la sensibilità di questo rilevamento può variare via via che Turnitin affina il proprio modello.

Turnitin dice apertamente che il suo rilevatore non prende tutto. La documentazione afferma: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (per mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che ci sfugga una parte del testo scritto con l'IA presente in un documento. Ne siamo consapevoli e lo accettiamo, perché non vogliamo segnalare a torto come scritto dall'IA un testo scritto da un essere umano. Per esempio, se stabiliamo che il 50% di un documento è stato probabilmente scritto con uno strumento di IA, il documento potrebbe contenere fino al 65% di scrittura IA).

È un compromesso calcolato. Turnitin dà la priorità a un basso tasso di falsi positivi, e questo significa accettare che una parte del testo IA passi inosservata: un documento che segna il 50% di IA potrebbe in realtà contenere fino al 65% di contenuto IA. Il rilevatore sceglie la strada prudente, preferendo lasciarsi sfuggire del testo IA piuttosto che segnalare a torto del testo scritto da una persona.

Per capire perché il rilevatore funziona in questo modo bisogna guardare a che cosa misura davvero. Il modello di Turnitin non si basa sulle metriche di cui si discute più spesso nelle conversazioni pubbliche sul rilevamento dell'IA, un'affermazione che merita di essere messa a confronto con Turnitin usa perplexity e burstiness per rilevare l'IA. La documentazione afferma: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (il nostro modello non è programmato esplicitamente per valutare segnali specifici come la 'burstiness', la 'perplexity' o altre singole metriche a cui a volte si fa riferimento nelle discussioni pubbliche. Apprende invece schemi statistici dai nostri dati di addestramento). Il modello applica poi ciò che ha imparato per classificare il testo. Come dice Turnitin, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (i nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e padroneggiano le particolari sequenze di probabilità tipiche di chi scrive).

In altre parole, il rilevatore guarda agli schemi di probabilità delle parole, non a segnali di superficie come la variabilità della lunghezza delle frasi o la rarità del vocabolario. È questo il motivo per cui un testo IA molto rimaneggiato o riscritto può a volte sfuggire al rilevamento, ed è anche la ragione per cui Turnitin rileva gli umanizzatori di IA non si può liquidare con un sì. Se durante la revisione le sequenze di probabilità delle parole si spostano abbastanza, il classificatore può non riconoscere più il testo come generato dall'IA. Per i testi di Grok questo significa che il rilevatore si concentra sugli schemi statistici della scrittura in sé, non sull'individuazione di Grok come fonte specifica.

Se il tuo report Turnitin segnala dei passaggi come generati dall'IA, la mossa più pratica è intervenire solo sulle sezioni segnalate invece di riscrivere l'intero documento, ed è proprio ciò che illustra riscrivere solo i paragrafi segnalati da un report Turnitin. I punteggi che Turnitin assegna frase per frase ti permettono di individuare le sezioni specifiche che hanno fatto scattare il rilevamento e di concentrare lì la revisione.

Citazioni, tabelle e formattazione vanno lasciate come sono: solo i passaggi segnalati come IA richiedono attenzione. Se revisioni e invii di nuovo, tieni presente che la percentuale IA può spostarsi anche per effetto degli aggiornamenti del modello, non soltanto per le tue modifiche.

I passaggi idonei possono essere rielaborati gratuitamente.