Turnitin rileva DeepSeek? Cosa dice l'elenco dei modelli

Sì. DeepSeek è indicato esplicitamente nell'elenco dei modelli che Turnitin pubblica. L'elenco afferma che il modello di rilevamento della scrittura IA di Turnitin per gli elaborati in inglese è in grado di rilevare i contenuti prodotti da una serie di modelli che comprende DeepSeek, insieme a GPT, Gemini, Claude, LLaMA, Mistral, Nova, Grok e o1-mini. L'elenco copre anche tools based on these LLMs as well, (gli strumenti basati su questi LLM), il che significa che le applicazioni costruite sopra i modelli linguistici di DeepSeek rientrano nell'ambito di rilevamento dichiarato.

Detto questo, comparire nell'elenco non significa che ogni passaggio prodotto da DeepSeek venga segnalato. La stessa Turnitin ammette che una parte dei testi scritti con l'IA non viene rilevata e che la capacità di rilevamento si sposta nel tempo, man mano che il modello viene aggiornato. La risposta onesta è quindi questa: DeepSeek è coperto, ma essere coperti non equivale ad avere una garanzia.

Turnitin non pubblica una tabella dei modelli con esiti di rilevamento del tipo passa/non passa. Quello che offre è un elenco in linea, separato da virgole, all'interno della documentazione. La frase introduttiva recita: Currently, Turnitin's AI writing detection model for English submissions can detect content from (attualmente il modello di rilevamento della scrittura IA di Turnitin per gli elaborati in inglese è in grado di rilevare i contenuti prodotti da) un elenco che comprende DeepSeek accanto ad altri grandi modelli linguistici. Claude e Gemini compaiono sulla stessa riga, ed è proprio quell'elenco che analizza l'articolo Turnitin rileva Claude, Copilot o Gemini. L'elenco si chiude dicendo che la copertura si estende a tools based on these LLMs as well. (anche agli strumenti basati su questi LLM).

La formula chiave, qui, è can detect content from. (può rilevare i contenuti prodotti da). Questa formulazione ci dice che il rilevatore è addestrato a riconoscere i testi generati da questi modelli; non promette però un rilevamento perfetto. La frase che viene subito dopo l'elenco conta altrettanto: We will continue to expand our detection capabilities to other models in the future. (continueremo ad ampliare in futuro le nostre capacità di rilevamento ad altri modelli).

Per DeepSeek, in concreto, questo significa che qualsiasi strumento o servizio che usa i modelli linguistici di DeepSeek per produrre testo rientra nell'ambito dichiarato. Che il rilevatore intercetti ogni singolo caso è tutt'altra questione, e la affrontiamo più avanti.

Per capire perché il rilevamento non è un semplice sì o no, conviene guardare al meccanismo descritto da Turnitin. Quando un elaborato viene inviato, le frasi vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano oppure generato dall'IA. Ogni frase idonea contenuta in queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi ricondotti a un punteggio unico. I punteggi così ottenuti vengono ulteriormente aggregati e servono a calcolare il punteggio complessivo di scrittura IA del documento.

Ne consegue che la percentuale finale che leggi sul report è la somma di molte piccole previsioni fatte frase per frase. Non è una scansione unica che timbra tutto il documento come «IA» o come «umano». Ogni frase pesa sul totale, e le sezioni sovrapposte servono a smussare i casi al limite.

Il modello di Turnitin non è statico. Secondo la documentazione, As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed. (via via che perfezioniamo il nostro modello per rilevare meglio gli LLM più recenti, è probabile che cambino anche le nostre capacità di rilevamento, con effetti sulla percentuale IA. Per un documento già inviato, però, la percentuale IA cambia solo se il documento viene inviato di nuovo per essere elaborato).

Questo ha una conseguenza pratica. Se invii un documento oggi e ottieni una certa percentuale IA, lo stesso documento potrebbe riceverne una diversa se venisse inviato di nuovo settimane o mesi dopo. Il modello si aggiorna, e gli aggiornamenti possono spostare i punteggi in entrambe le direzioni: è una delle ragioni per cui il tuo punteggio IA su Turnitin cambia se invii di nuovo l'elaborato. Un passaggio che oggi suona umano potrebbe risultare generato dall'IA dopo un aggiornamento, e viceversa.

Per i testi prodotti con DeepSeek questo significa che il tasso di rilevamento che vedi oggi potrebbe non corrispondere a quello di domani. L'elenco dei modelli conferma che DeepSeek rientra nell'ambito, ma la sensibilità di quel rilevamento può variare man mano che Turnitin affina il modello.

Turnitin dice apertamente che il suo rilevatore non intercetta tutto. La documentazione afferma: In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. (per mantenere questo tasso basso dell'1% di falsi positivi, c'è la possibilità che ci sfugga una parte del testo scritto con l'IA presente in un documento. Lo accettiamo volentieri, perché non vogliamo segnalare come scritti dall'IA testi che in realtà sono scritti da esseri umani. Per esempio, se rileviamo che il 50% di un documento è stato probabilmente scritto con uno strumento di IA, quel documento potrebbe contenere fino al 65% di testo IA).

È un compromesso voluto. Turnitin dà la priorità a un tasso basso di falsi positivi, e questo comporta accettare che una parte dei testi IA passi inosservata. Un documento che segna il 50% di IA potrebbe in realtà arrivare al 65%. Il rilevatore sbaglia per difetto: preferisce lasciarsi sfuggire del testo IA piuttosto che segnare a torto un testo umano.

Capire perché il rilevatore si comporta così richiede di guardare a che cosa misura davvero. Il modello di Turnitin non si basa sulle metriche di cui si discute più spesso in pubblico quando si parla di rilevamento dell'IA, una smentita che analizziamo a fondo in Turnitin usa perplexity e burstiness per rilevare l'IA. La documentazione afferma: Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data. (il nostro modello non è programmato esplicitamente per valutare segnali specifici come la «burstiness», la «perplexity» o altre singole metriche a cui a volte si fa riferimento nelle discussioni pubbliche. Al contrario, apprende schemi statistici dai nostri dati di addestramento). Il modello applica poi ciò che ha imparato per classificare il testo. Come dice Turnitin, Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. (i nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità tipiche di chi scrive come essere umano).

In altre parole, il rilevatore guarda agli schemi di probabilità delle parole, non a segnali superficiali come la variabilità della lunghezza delle frasi o la rarità del vocabolario. È per questo che un testo IA molto ritoccato o riscritto a volte riesce a sfuggirgli, ed è anche per questo che Turnitin rileva gli umanizzatori di IA non ammette una risposta netta, né sì né no. Se durante la revisione le sequenze di probabilità delle parole cambiano abbastanza, il classificatore può smettere di riconoscere il testo come generato dall'IA.

Se il tuo report Turnitin ti segnala dei passaggi come generati dall'IA, la mossa più pratica è intervenire solo su quei passaggi invece di riscrivere tutto il documento: è il flusso di lavoro descritto in riscrivere solo i paragrafi segnalati da un report Turnitin. Dato che Turnitin assegna un punteggio frase per frase, puoi individuare le sezioni che hanno fatto scattare il rilevamento e concentrare lì la revisione.

Citazioni, tabelle e formattazione: lasciale come stanno. Hanno bisogno di attenzione solo i passaggi segnalati come IA. Se revisioni e invii di nuovo, tieni presente che la percentuale IA può spostarsi anche per via degli aggiornamenti del modello, non solo per effetto delle tue modifiche.

I passaggi idonei possono essere rielaborati gratuitamente.