CNKI, VIP e Turnitin a confronto: perché le percentuali di rilevamento IA differiscono così tanto

Sullo stesso identico manoscritto, rilevatori di IA diversi possono produrre numeri completamente distanti tra loro: non si tratta di capire chi abbia ragione, ma di considerare che impiegano dati di addestramento, coperture linguistiche, regole di pre-elaborazione e soglie di classificazione differenti. La percentuale generata da un singolo strumento non è una misura universale.

Team HumanPen

· 10 min di lettura

La risposta diretta: nessun rilevatore rappresenta uno standard universale

Devi fare affidamento solo ed esclusivamente sul sistema designato in via ufficiale dal tuo ateneo, dal tuo dipartimento o dalla rivista a cui intendi sottomettere il lavoro: nessun altro numero ha valore formale, e la percentuale di un singolo strumento non rappresenta una misurazione oggettiva e universale della scrittura tramite IA. Tra queste piattaforme non esiste alcun parametro di riferimento comune né una scala calibrata valida per tutte. La ricerca alla base di questa analisi non ha svolto un confronto sperimentale controllato con lo stesso file tra CNKI, VIP e Turnitin, e pertanto non può dichiarare quale sistema sia "giusto", "più severo" o "più preciso".

Sebbene la nostra analisi generale illustri perché i rilevatori di IA mostrano risultati diversi tra piattaforme (compresi i confronti incrociati come CNKI rispetto a Wanfang), la specifica divergenza a tre punte tra CNKI, VIP e Turnitin mette in luce come scelte ingegneristiche distinte producano risultati fortemente contrastanti. Quando tre sistemi restituiscono valori incompatibili — come il 3% su CNKI, il 67% su VIP e una cifra ancora diversa su Turnitin — non stanno misurando la stessa quantità di fondo con margini di errore diversi: stanno eseguendo classificazioni statistiche del tutto distinte, basate su corpora di addestramento non allineati, modelli linguistici differenti e definizioni tecniche separate di cosa costituisca una frase idonea.

Nella procedura di revisione accademica o di consegna della tesi di laurea, fare verifiche preliminari su molteplici piattaforme commerciali indipendenti e cercare di conciliarne i punteggi genera solo confusione, senza cambiare minimamente i requisiti istituzionali che devi soddisfare. L'unico punteggio ad avere valore effettivo per l'istituzione è quello generato dalla piattaforma ufficiale prescritta dalla tua università o dal tuo dipartimento, valutato secondo le specifiche linee guida locali.

Prima distinzione fondamentale: confronto di similarità e classificazione della scrittura IA sono due cose diverse

Una fonte frequente di ansia consiste nel confondere i tradizionali rapporti di similarità con i report di classificazione della scrittura IA. Sebbene entrambi restituiscano una percentuale, il loro funzionamento tecnico non ha quasi nulla in comune.

Il tradizionale controllo di similarità — spesso definito verifica di duplicazione o antiplagio — è un processo basato sull'indicizzazione e sulla corrispondenza testuale. Il software suddivide il testo in stringhe o n-grammi e interroga un database di articoli scientifici, tesi di laurea indicizzate e pagine web alla ricerca di sequenze di caratteri corrispondenti. L'indice di similarità riflette semplicemente quanta parte del tuo testo condivide frasi identiche o quasi identiche con fonti esterne già pubblicate.

Al contrario, la classificazione della scrittura IA non interroga alcun database di riferimento. Non cerca il prompt che hai digitato né il server su cui un modello ha generato un paragrafo. Un rilevatore di IA impiega invece un classificatore di machine learning per esaminare proprietà stilistiche e statistiche del testo, come la probabilità dei token e la variabilità della struttura sintattica.

Poiché questi due meccanismi operano in modo completamente indipendente, i loro valori sullo stesso elaborato divergono di frequente:

  • Un testo può registrare un indice di similarità del 2% (a indicare l'assenza di prestiti testuali diretti dalla letteratura esistente) e un punteggio di classificazione IA del 60% (qualora il modello ritenga il ritmo delle frasi e i connettivi logici tipici dei modelli linguistici di grandi dimensioni).
  • Al contrario, una tesi può riportare un indice di similarità del 35% (a causa di testi normativi regolarmente citati, protocolli standard biomedici o ampie citazioni dirette) e registrare uno 0% di classificazione IA (perché la prosa è stata redatta interamente da esseri umani).

Valutare la percentuale di rilevamento IA con i criteri di un tradizionale report antiplagio porta a errori di revisione. Non puoi "uscire" da una segnalazione di IA limitandoti ad aggiungere citazioni bibliografiche, né un basso tasso di duplicazione garantisce una bassa probabilità di IA.

Perché i sistemi danno risultati discordanti: quattro divergenze tecniche

Quando i rilevatori commerciali restituiscono punteggi divergenti sulla medesima bozza, la differenza si spiega attraverso quattro divergenze strutturali.

1. Corpora di addestramento e ambito linguistico primario

I rilevatori sono strumenti di riconoscimento statistico dei pattern addestrati su specifici corpora. La loro affidabilità dipende in larga misura da quanto il tuo testo corrisponda al genere accademico e alla lingua presenti nei dati di addestramento.

CNKI (中国知网) e VIP (维普) sono stati sviluppati per la letteratura accademica cinese, progettati per valutare la sintassi, le convenzioni e i nessi di transizione tipici della prosa accademica in lingua cinese.

Il sistema di rilevamento della scrittura IA di Turnitin è stato sviluppato principalmente per l'inglese e opera su un gruppo specifico di lingue supportate. Secondo la guida di Turnitin Using the AI Writing Report, per "generate an AI Writing Report and percentage," (generare un AI Writing Report e una percentuale), un file "must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish." (deve essere scritto in una lingua supportata: inglese, spagnolo, giapponese, arabo, tedesco, olandese, turco.). Il cinese non rientra tra le lingue supportate dal rilevamento IA di Turnitin. Un report Turnitin autentico non genera alcuna percentuale di IA per un testo in cinese. Se hai tra le mani un "punteggio Turnitin" per un manoscritto in cinese, quel valore non può essere una percentuale autentica di rilevamento IA di Turnitin: si tratta del tradizionale indice di similarità (corrispondenza testuale con fonti indicizzate), di un punteggio calcolato sull'abstract in inglese o su una traduzione, oppure dell'output fornito da un intermediario terzo non autorizzato che ha impiegato un servizio del tutto diverso.

2. Pre-elaborazione del testo, segmentazione e tokenizzazione

Prima che un algoritmo calcoli qualsiasi probabilità, deve analizzare il testo grezzo e suddividerlo in unità discrete. Le regole che governano questa segmentazione differiscono notevolmente da un fornitore all'altro.

  • Differenze di tokenizzazione: il testo inglese presenta delimitatori naturali di parola (gli spazi), mentre il cinese richiede algoritmi di segmentazione delle parole (分词) o un'analisi a livello di singoli caratteri. Il modo in cui ciascuno strumento gestisce la terminologia specialistica, le citazioni in cinese classico o le notazioni alfanumeriche crea immediate divergenze nelle rappresentazioni delle caratteristiche sottostanti.
  • Regole di segmentazione: nel suo blog in cui spiega ciò che i responsabili accademici devono sapere sul rilevamento della scrittura IA, Turnitin precisa che "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis." (le frasi del testo inviato vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva). Le piattaforme cinesi adottano una propria logica di analisi per stabilire dove un segmento inizi e dove finisca.
  • Gestione degli elementi non discorsivi: la decisione di includere o escludere tabelle, formule matematiche, frammenti di codice, ringraziamenti e bibliografia modifica il denominatore del calcolo. Se un fornitore include i passaggi metodologici standard e un altro li rimuove, le rispettive percentuali complessive del documento divergeranno in modo significativo.

3. Soglie di decisione e modelli di aggregazione

Il punteggio di rilevamento non è un conteggio assoluto, ma il risultato dell'applicazione di una soglia di probabilità.

All'interno del classificatore, a ogni porzione di testo analizzata viene assegnato un punteggio di probabilità. Per generare il report, il fornitore deve impostare un limite di decisione: a quale livello di confidenza un passaggio viene contrassegnato come generato da un'IA? Un sistema calibrato con una soglia conservativa segnalerà il testo solo a fronte di una confidenza del modello estremamente elevata, riducendo i falsi positivi e producendo un punteggio complessivo basso (ad esempio il 3%). Un altro sistema, impostato su una soglia più sensibile, segnalerà i segmenti con un livello di confidenza inferiore, generando un punteggio nettamente più alto (come il 67%) sul medesimo manoscritto.

Inoltre, le metriche a livello di intero documento riflettono definizioni matematiche differenti e solo in parte rese pubbliche. Ad esempio, Turnitin descrive a grandi linee il proprio metodo: vengono calcolati i punteggi dei segmenti, le singole frasi ereditano tali valori e la percentuale complessiva del documento corrisponde alla quota di testo idoneo contrassegnata. CNKI, invece, definisce la propria metrica come la probabilità stimata che il contenuto dell'articolo sia stato generato da un'IA ("文章内容存在AI生成的概率大小").

Poiché ogni piattaforma definisce e aggrega il proprio punteggio in base a formule proprietarie solo parzialmente divulgate, una "percentuale" prodotta da uno strumento non può essere convertita matematicamente nella "percentuale" di un altro.

4. Variazioni nel documento effettivamente caricato

Nella pratica, molte delle discrepanze riscontrate derivano da differenze nel file effettivamente caricato. Capita spesso di inviare a una piattaforma soltanto il corpo del testo e di caricare su un'altra il file completo di frontespizio, abstract, indice e bibliografia. Modificare la struttura del documento altera i confini di segmentazione e il conteggio totale dei caratteri, generando esiti discordanti persino all'interno dello stesso strumento.

I blog commerciali e il mito del rilevatore "più severo"

I risultati dei motori di ricerca su Baidu, Bing e vari forum pullulano di articoli promozionali che pretendono di stilare classifiche tra i sistemi di rilevamento. Molti avanzano affermazioni numeriche categoriche, sostenendo che una piattaforma sia costantemente superiore del trenta per cento rispetto a un'altra, che un dato strumento rilevi qualsiasi traduzione o che un determinato servizio sia l'unico autenticamente autorevole.

Queste dichiarazioni citano raramente documentazione ingegneristica originale, metodologie sottoposte a revisione paritaria o campioni di controllo. Nella maggior parte dei casi provengono da rivenditori terzi, agenzie per la stesura di saggi o servizi di riscrittura automatica, il cui scopo è incanalare gli studenti preoccupati verso verifiche a pagamento o software commerciali.

Inchieste indipendenti e testate specializzate nel settore dell'istruzione hanno più volte evidenziato come gli strumenti commerciali di rilevamento IA forniscano spesso risultati instabili tra sessioni di test e piattaforme diverse, alimentando l'ansia a fini commerciali anziché offrire un riferimento scientificamente calibrato. Gli studenti che testano le proprie bozze su vari servizi terzi non autorizzati finiscono spesso intrappolati in una spirale di marketing, dove presunte "classifiche" comparative servono unicamente a vendere servizi non verificati o pacchetti di crediti per ulteriori controlli.

In assenza di un benchmark empirico controllato e su larga scala che mantenga costanti tutte le variabili tra queste piattaforme proprietarie, qualsiasi affermazione secondo cui un particolare strumento rappresenti lo standard "autentico" costituisce solo posizionamento commerciale e non un dato di fatto accertato.

Guida pratica per decidere con lucidità: cosa fare quando i punteggi non coincidono

Se riscontri punteggi contrastanti tra diverse piattaforme di rilevamento, non farti prendere dal panico e non iniziare a riscrivere alla cieca. Segui questa lista di controllo pratica:

  1. Verifica quale piattaforma di rilevamento è adottata ufficialmente dal tuo ateneo o dipartimento. Le università e i dipartimenti accademici non valutano gli elaborati facendo la media tra vari strumenti commerciali. Poiché i regolamenti possono consentire alle singole facoltà di scegliere il proprio strumento di rilevamento dei contenuti generati da IA, consulta le comunicazioni ufficiali del tuo corso o ateneo per accertare quale applicativo venga impiegato, come vengano elaborate le consegne e se le verifiche preventive siano considerate valide.
  2. Leggi attentamente il regolamento e le procedure istituzionali. Verifica se il tuo ateneo impiega il punteggio di IA come mero indicatore di screening iniziale o come elemento di prova. Molti regolamenti accademici stabiliscono espressamente che una percentuale automatizzata non può costituire l'unico fondamento per contestare una violazione dell'integrità accademica, richiedendo una valutazione della commissione, la conferma del relatore o un'audizione prima di assumere qualsiasi provvedimento.
  3. Conserva l'intera cronologia di stesura e le prove del tuo lavoro. La difesa più solida contro una segnalazione ingiustificata è la documentazione autentica del tuo processo di scrittura. Conserva: versioni dei file con data e ora e cronologia delle revisioni (ad esempio in Word, WPS o tramite sistemi di controllo versione); prime scalette, quaderni di laboratorio, dati sperimentali grezzi e trascrizioni di interviste; librerie del gestore bibliografico che mostrino come è stata raccolta la letteratura; il report PDF originale e completo della verifica ufficiale, inclusi i timestamp di invio e la mappa dei passaggi contrassegnati.
  4. Consulta le linee guida dell'istituto sugli strumenti consentiti, anziché inseguire numeri specifici. L'ammissibilità di strumenti di riscrittura, parafrasi o umanizzazione del testo non è regolata da una norma universale: ciò che è consentito dipende esclusivamente dal tuo ateneo, dal corso di studi e dal regolamento della singola prova. Chi scrive deve sempre consultare le politiche di integrità accademica della propria università per verificare quale livello di assistenza editoriale sia permesso. Inoltre, nessuno strumento o metodo di riscrittura può mai promettere o garantire un esito specifico o una riduzione del punteggio sui rilevatori. Affidarsi ciecamente a sostituzioni automatiche di frasi può introdurre errori fattuali, distorcere la terminologia specialistica e corrompere le citazioni, compromettendo la reale qualità accademica del manoscritto in sede di revisione da parte della commissione.

Domande frequenti

Posso usare un punteggio basso su CNKI o Turnitin per contestare un punteggio alto su VIP (o viceversa)? In genere no. Le commissioni accademiche esaminano le consegne unicamente all'interno del proprio ambiente software designato. Presentare un punteggio non ufficiale ottenuto da un altro strumento commerciale ha scarso valore probatorio, poiché gli atenei sanno bene che rilevatori diversi impiegano metriche e soglie tra loro non confrontabili. I ricorsi si sostengono efficacemente dimostrando il processo di scrittura — come cronologia delle versioni, bozze intermedie e appunti sulle fonti — piuttosto che esibendo il report di un fornitore concorrente.

Se traduco un articolo dal cinese all'inglese, il punteggio di rilevamento IA rimarrà invariato? No. La traduzione automatica altera radicalmente le sequenze di token, la sintassi e la lunghezza dei periodi. Tradurre un testo modifica del tutto l'ambito linguistico, spostando l'analisi da modelli calibrati sul cinese a modelli calibrati sull'inglese. Un punteggio del 5% in cinese non è indicativo di un punteggio del 5% in inglese.

Conviene pagare per effettuare verifiche preventive su più piattaforme terze prima della consegna? Pagare per controlli multipli su piattaforme commerciali terze è sconsigliabile. Oltre al costo economico complessivo, inviare ricerche inedite a siti online non autorizzati comporta il rischio di intercettazione del documento, alterazione dei metadati o archiviazione non concordata nei loro archivi.

Un punteggio di IA pari allo 0% garantisce che il mio lavoro venga accettato senza obiezioni? No. Un punteggio dello 0% indica unicamente che lo specifico classificatore non ha riscontrato segnali statistici superiori alla propria soglia nelle sezioni analizzate di quel particolare file. Non certifica la paternità dell'opera, non verifica l'accuratezza dei fatti né valuta la qualità scientifica della ricerca. L'integrità accademica è definita dal valore della ricerca e dall'autenticità della stesura, non da una percentuale automatizzata.

Fonti e riferimenti bibliografici

  • Guida ufficiale di Turnitin sull'uso dell'AI Writing Report: https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
  • Articolo del blog di Turnitin sul rilevamento della scrittura IA: https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
  • Portale per il rilevamento di contenuti AIGC di China National Knowledge Infrastructure (CNKI): https://aigc.cnki.net/
  • Accesso al servizio di verifica dei documenti di VIP Information (CQVIP): http://vpcs.cqvip.com/

CONTINUA A LEGGERE