Turnitin rileva LLaMA? Cosa dice l'elenco dei modelli

Sì. LLaMA è nominato esplicitamente nell'elenco dei modelli che Turnitin pubblica. L'elenco indica che il modello di rilevamento della scrittura IA di Turnitin per le consegne in inglese può rilevare contenuti prodotti da una serie di modelli che comprende LLaMA, insieme a GPT, Gemini, Claude, Mistral, DeepSeek, Nova, Grok e o1-mini. L'elenco copre anche "tools based on these LLMs as well," (anche gli strumenti basati su questi LLM): significa che applicazioni e servizi costruiti sopra i modelli linguistici di LLaMA rientrano nell'ambito di rilevamento dichiarato.

LLaMA è una famiglia di modelli open source, e questo complica un po' le cose. Esistono molte varianti e derivati con fine-tuning, realizzati da organizzazioni diverse a partire dai modelli LLaMA di base. La clausola "tools based on these LLMs" (strumenti basati su questi LLM) nella formulazione di Turnitin serve esattamente a coprire questi casi; la stessa complicazione legata ai pesi aperti torna in Turnitin rileva il testo di Mistral AI. Che ogni variante con fine-tuning venga intercettata con la stessa precisione è tutt'altra questione, a cui l'elenco non risponde.

Turnitin non pubblica una tabella di modelli con esiti di rilevamento del tipo passa/non passa. Fornisce invece un elenco in linea, separato da virgole, all'interno della sua documentazione. La frase introduttiva recita: "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (attualmente il modello di rilevamento della scrittura IA di Turnitin per le consegne in inglese è in grado di rilevare contenuti provenienti da) un elenco che include LLaMA accanto ad altri modelli linguistici principali. Claude e Gemini compaiono sulla stessa riga, e Turnitin rileva Claude, Copilot o Gemini approfondisce la metà a pesi chiusi. L'elenco si chiude affermando che la copertura si estende a "tools based on these LLMs as well." (anche agli strumenti basati su questi LLM).

La frase chiave qui è "can detect content from." (può rilevare contenuti provenienti da). Questa formulazione ci dice che il rilevatore è addestrato a riconoscere il testo generato da questi modelli. Non promette un rilevamento perfetto. La frase che segue immediatamente l'elenco è altrettanto importante: "We will continue to expand our detection capabilities to other models in the future." (continueremo ad ampliare in futuro le nostre capacità di rilevamento ad altri modelli).

Per LLaMA in particolare, il fatto che la famiglia di modelli sia open source comporta la presenza di molti strumenti derivati e varianti con fine-tuning. La clausola "tools based on these LLMs" (strumenti basati su questi LLM) è pensata per coprire questi derivati, portandoli dentro l'ambito di rilevamento dichiarato. La sensibilità di quella copertura può variare, e lo riprendiamo nelle sezioni qui sotto.

Per capire perché il rilevamento non è un sì o un no netto, aiuta guardare al meccanismo descritto da Turnitin. Quando consegni un elaborato, le frasi vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano o generato dall'IA. Ogni frase idonea contenuta in queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi di frase vengono ulteriormente aggregati e servono a calcolare il punteggio complessivo di scrittura IA del documento.

Questo significa che la percentuale finale che leggi sul report è la somma di tante piccole previsioni a livello di singola frase. Non è una scansione unica che marchia tutto il documento come IA oppure come umano. Ogni frase contribuisce al totale, e le sezioni sovrapposte aiutano a smussare i casi borderline.

Il modello di Turnitin non è statico. Secondo la documentazione, "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (man mano che iteriamo e sviluppiamo ulteriormente il nostro modello per rilevare meglio gli LLM più recenti, è probabile che cambino anche le nostre capacità di rilevamento, con effetti sulla percentuale IA.. Tuttavia, per un documento già consegnato, la percentuale IA cambierà soltanto se il documento viene inviato di nuovo per essere elaborato).

Questo ha una conseguenza pratica. Se consegni un documento oggi e ricevi una certa percentuale IA, quello stesso documento potrebbe riceverne una diversa se venisse riconsegnato settimane o mesi dopo. Il modello si aggiorna, e gli aggiornamenti possono spostare i punteggi in entrambe le direzioni. Un passaggio che oggi risulta umano potrebbe risultare generato dall'IA dopo un aggiornamento, o viceversa.

Per il testo scritto con LLaMA questo significa che il tasso di rilevamento che vedi oggi potrebbe non corrispondere a quello che vedrai più avanti. L'elenco dei modelli conferma che LLaMA rientra nell'ambito, ma la sensibilità di quel rilevamento può variare man mano che Turnitin affina il modello.

Turnitin dice apertamente che il suo rilevatore non intercetta tutto. La documentazione afferma: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (per mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che parte del testo scritto con l'IA in un documento ci sfugga. Per noi va bene così, perché non vogliamo segnalare per errore come scritto dall'IA un testo scritto da una persona. Per esempio, se rileviamo che il 50% di un documento è stato probabilmente scritto con uno strumento di IA, il documento potrebbe contenere fino al 65% di scrittura IA).

È un compromesso voluto. Turnitin dà la priorità a un basso tasso di falsi positivi, e questo comporta accettare che una parte del testo IA passi inosservata. Un documento che segnala il 50% di IA potrebbe in realtà contenere fino al 65% di contenuto IA. Il rilevatore sbaglia dalla parte della prudenza: preferisce mancare del testo IA piuttosto che segnalare a torto del testo umano.

Per capire perché il rilevatore funziona in questo modo bisogna guardare a che cosa misura davvero. Il modello di Turnitin non si basa sulle metriche di cui si parla spesso nelle discussioni pubbliche sul rilevamento dell'IA, che è proprio il tema di Turnitin usa perplexity e burstiness per rilevare l'IA. La documentazione afferma: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness,' 'perplexity,' o altre singole metriche a volte citate nelle discussioni pubbliche. Al contrario, apprende schemi statistici dai nostri dati di addestramento). Il modello applica poi quello che ha imparato per classificare il testo. Come dice Turnitin, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (i nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e padroneggiano le particolari sequenze di probabilità delle parole tipiche di chi scrive).

In altre parole, il rilevatore guarda agli schemi di probabilità delle parole, non a segnali superficiali come la variabilità della lunghezza delle frasi o la rarità del vocabolario. È per questo che un testo IA molto ritoccato o riscritto a volte riesce a sfuggire al rilevamento, ed è per questo che la risposta a Turnitin rileva gli humanizer IA dipende da quanto si è spinta la riscrittura. Se durante la revisione le sequenze di probabilità delle parole cambiano abbastanza, il classificatore potrebbe non riconoscere più il testo come generato dall'IA. Per le varianti di LLaMA questo significa che il rilevatore guarda agli schemi statistici dentro il testo stesso, non a quale variante specifica lo ha prodotto.

Se il tuo report Turnitin segnala dei passaggi come generati dall'IA, la mossa più pratica è intervenire solo sulle sezioni segnalate invece di riscrivere tutto il documento: è l'approccio descritto in riscrivere solo i paragrafi segnalati da un report Turnitin. La valutazione frase per frase di Turnitin ti permette di individuare le sezioni precise che hanno fatto scattare il rilevamento e di concentrare lì la revisione.

Lascia intatti citazioni, tabelle e formattazione. Solo i passaggi segnalati come IA hanno bisogno di attenzione. Se revisioni e riconsegni, ricorda che la percentuale IA può spostarsi anche per effetto degli aggiornamenti del modello, non soltanto per le tue modifiche.

I passaggi idonei possono essere rielaborati gratuitamente.