Turnitin rileva Perplexity AI? Cosa dice la documentazione

Le FAQ di Turnitin pubblicano un elenco di modelli di scrittura IA di cui riescono a rilevare i contenuti, tra cui GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok e o1-mini. L'elenco si chiude con «and tools based on these LLMs as well.» (anche gli strumenti basati su questi LLM.) Le FAQ affermano inoltre: «We will continue to expand our detection capabilities to other models in the future.» (Continueremo ad ampliare le nostre capacità di rilevamento ad altri modelli in futuro.) Perplexity AI è uno strumento di ricerca che può generare testo usando modelli linguistici sottostanti. Che il rilevatore di Turnitin segnali contenuti provenienti da Perplexity dipende da quale modello sottostante ha prodotto il testo e dal fatto che quel modello o la famiglia di appartenenza compaia nell'elenco. Le FAQ riconoscono che le capacità di rilevamento non sono statiche: «As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.» (Continuando a perfezionare e sviluppare il nostro modello per individuare meglio gli LLM più recenti, è probabile che anche le nostre capacità di rilevamento cambino, incidendo sulla percentuale di IA.)

Le FAQ forniscono un elenco dei modelli di cui riescono a rilevare i contenuti. La frase introduttiva usa l'espressione «riesce a rilevare i contenuti», seguita da un elenco separato da virgole. L'elenco include le principali famiglie di LLM: GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok e o1-mini. L'elenco si conclude così:

«and tools based on these LLMs as well.» (anche gli strumenti basati su questi LLM.)

La frase successiva: «We will continue to expand our detection capabilities to other models in the future.» (Continueremo ad ampliare le nostre capacità di rilevamento ad altri modelli in futuro.)

Questo significa che l'elenco copre non solo i modelli indicati per nome, ma anche gli strumenti costruiti al di sopra di essi. Se uno strumento come Perplexity AI fa passare la generazione del testo attraverso una delle famiglie di LLM presenti nell'elenco, il risultato può rientrare nella clausola degli «strumenti basati su questi LLM». Turnitin rileva Claude, Copilot o Gemini? esamina le voci indicate per nome.

Il modello di rilevamento elabora il testo suddividendolo in segmenti sovrapposti e assegnando punteggi di probabilità:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.» (Quando un elaborato viene inviato a Turnitin, le frasi dell'invio vengono estratte e segmentate in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'IA.)

Il modello non è programmato per valutare la burstiness o la perplessità come metriche citate per nome: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness,' 'perplexity,' o altre singole metriche a volte citate nelle discussioni pubbliche.) La frase successiva: «Instead, it learns statistical patterns from our training data.» (Al contrario, apprende schemi statistici a partire dai nostri dati di addestramento.) Le stesse FAQ affermano: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità delle parole tipiche di chi scrive.) Il rilevatore valuta quindi schemi di probabilità delle parole appresi dai dati di addestramento, non metriche di superficie. La collisione di nomi merita un chiarimento a parte: Turnitin usa la perplessità e la burstiness?

Le FAQ affermano esplicitamente che il rilevamento non è fisso:

«As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.» (Continuando a perfezionare e sviluppare il nostro modello per individuare meglio gli LLM più recenti, è probabile che anche le nostre capacità di rilevamento cambino, incidendo sulla percentuale di IA.)

La frase successiva: «However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.» (Tuttavia, per un documento già inviato, la percentuale di IA cambierà solo se verrà inviato di nuovo per essere elaborato.)

Questo significa che il modello di rilevamento viene aggiornato per colpire gli LLM più recenti. Se Perplexity AI o un altro strumento usa un modello nuovo non ancora presente nell'elenco, può esserci un intervallo fino al prossimo aggiornamento del modello di rilevamento. I documenti già valutati non vengono rivalutati automaticamente.

Le FAQ riconoscono un compromesso:

«In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Per mantenere questo basso tasso di falsi positivi dell'1%, è possibile che ci sfugga parte del testo scritto dall'IA in un documento.)

Il rilevatore è tarato per evitare i falsi positivi anche al costo di mancare parte del testo IA. Uno strumento che produce testo con schemi di probabilità delle parole più vicini alla scrittura umana sarebbe più difficile da rilevare, almeno fino all'aggiornamento del modello di rilevamento. La promessa di «continue to expand our detection capabilities» (continuare ad ampliare le nostre capacità di rilevamento) è il contrappeso, ma tra l'uscita di nuovi strumenti e la copertura del rilevamento c'è un ritardo intrinseco. Lo stesso ritardo spiega se Turnitin rileva gli umanizzatori di IA.

Per riassumere quanto abbiamo visto:

• Turnitin pubblica un elenco di modelli di cui riesce a rilevare i contenuti, tra cui GPT, Gemini, Claude e altri.
• L'elenco copre «tools based on these LLMs as well,» (anche gli strumenti basati su questi LLM,) quindi gli strumenti che passano da modelli presenti nell'elenco possono essere rilevabili.
• Le FAQ promettono di estendere il rilevamento ad altri modelli in futuro.
• Le capacità di rilevamento cambiano nel tempo, con l'aggiornamento del modello.
• Il rilevatore accetta di mancare parte del testo IA in cambio di un basso tasso di falsi positivi.
• I documenti già valutati non vengono rivalutati automaticamente quando il modello cambia.

Se ricevi un report IA di Turnitin e vuoi affrontare i passaggi segnalati, importa il report e lavoraci sopra. I passaggi idonei possono essere rielaborati gratuitamente.