Quanto spesso i chatbot scambiano la scrittura umana per AI? Un test del 2026 su 15 modelli

Dipende fortemente dal modello. In un preprint del 2026, a 15 modelli generici di AI del tipo impiegato nei chatbot è stato chiesto, tramite le rispettive API e con una singola domanda standard, se 1.000 testi scritti da esseri umani provenissero da un umano o da una macchina. La generazione precedente (GPT-4o e altri quattro modelli del 2024–25) ha risposto "macchina" in media per il 36,5% dei testi umani. La generazione più recente (otto modelli del 2026, tra cui GPT-5.5, Claude Opus 4.7 e Gemini 3.1 Pro Preview) lo ha fatto per il 3,6%, con variazioni tra i singoli modelli che vanno dallo 0,1% all'8,6%. La frequenza con cui un chatbot classifica erroneamente un testo umano come "macchina" dipende quindi moltissimo dal modello: in questo test si passa da oltre un terzo dei casi a quasi mai. Una percentuale simile descrive un vasto insieme di testi, non il tuo singolo elaborato, e la risposta di un chatbot non costituisce affatto una prova in sé: i testi analizzati non erano saggi universitari e uno screenshot potrebbe non mostrare quale modello abbia risposto né come sia stata formulata la domanda.

Lo studio si intitola "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (Uso dei modelli LLM per rilevare testi generati da LLM: un'analisi intergenerazionale), a cura di Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li e Shujun Li dell'Università del Kent, dell'Università Jiao Tong di Shanghai e dell'Università di Birmingham. È stato pubblicato su arXiv il 28 settembre 2026. Si tratta di un preprint e non è stato sottoposto a revisione tra pari.

I ricercatori sono partiti da 1.000 testi scritti da esseri umani estratti da M4GT-Bench, un dataset di ricerca pubblico descritto nell'articolo come "covering a broad range of topics, styles, and formats" (che copre un'ampia varietà di argomenti, stili e formati). Abbiamo esaminato il file reso pubblico e vi abbiamo trovato voci di enciclopedia, guide pratiche, risposte su forum, abstract scientifici e valutazioni tra pari di articoli accademici. L'articolo non classifica nessuno di questi testi come elaborato studentesco. Ciascuno dei 15 modelli ha inoltre redatto 1.000 testi a partire da prompt corrispondenti, la maggior parte dei quali richiedeva tra 150 e 300 parole.

A quel punto ogni modello è stato testato nel ruolo di rilevatore. Ciascun testo è stato inviato a ogni modello con la medesima istruzione, che esordisce con "Please determine whether the following text is generated by large language models or by a human" (Si prega di determinare se il testo seguente è generato da modelli linguistici di grandi dimensioni o da un essere umano), e il modello doveva rispondere "human" o "machine" e motivare la propria scelta. In questo modo sono state raccolte oltre 233.000 valutazioni valide.

I ricercatori hanno suddiviso i modelli in tre gruppi in base alla data di rilascio:

• La generazione più datata (dal 2023 all'inizio del 2024): GPT-3.5 Turbo Instruct e Mixtral 8×22B Instruct.
• Generazione precedente (2024–25): GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B e un modello Qwen da 72 miliardi di parametri (indicato come Qwen2.5-72B Instruct nella tabella dei modelli dell'articolo e come Qwen2-72B nel resto del testo).
• Generazione più recente (2026): GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro e Kimi K2.6.

I modelli sono stati interrogati principalmente tramite OpenRouter e le API proprietarie dei fornitori; l'articolo non fa menzione di test condotti sulle applicazioni di ChatGPT, Gemini o Claude. Inoltre non vengono indicate le date esatte dei test: il gruppo più recente viene definito come l'insieme dei modelli più aggiornati "at the time of our experiments" (al momento dei nostri esperimenti) e viene registrata una verifica delle impostazioni predefinite dei modelli in data 3 settembre 2026.

Il nostro precedente articolo ChatGPT è un rilevatore di AI? Cosa ha pubblicato OpenAI sul proprio classificatore si concentra sul classificatore sviluppato, testato e poi ritirato da OpenAI nel 2023, sostenendo che chiedere a un modello di chat se un testo sia stato scritto dall'AI non costituisce un vero metodo di rilevamento. Quell'articolo non riportava misurazioni dirette sui modelli di chat impiegati per questo scopo. Questo studio colma la lacuna: 15 modelli di chat testati direttamente su questa domanda, in condizioni API che si avvicinano a quelle di un docente che incolla un saggio in una chat più di quanto non faccia un classificatore dedicato, pur senza coincidere del tutto.

Ogni cifra rappresenta la media dei modelli di quel gruppo. L'intervallo riportato nell'ultima colonna varia a seconda di quale generazione abbia generato i testi AI.

I tre gruppi hanno commesso errori in direzioni opposte. I modelli più datati hanno risposto per lo più "umano", segnalando quindi a torto meno testi scritti da persone rispetto alla generazione successiva, ma lasciando passare oltre quattro testi AI su cinque. La generazione precedente ha oscillato verso l'estremo opposto: ha intercettato una quota maggiore di testi AI, ma ha etichettato come generato da una macchina più di un terzo dei testi umani. Il gruppo più recente ha registrato valori bassi su entrambi i fronti, sebbene non abbia rilevato i testi AI generati dai modelli del 2026 in misura maggiore (13,4%) rispetto a quelli delle generazioni precedenti.

La prima riga rischia di trarre in inganno se letta da sola. Un tasso di falsi allarmi del 13% sembra migliore del 36,5%, ma deriva da modelli che quasi mai hanno risposto "macchina". Un rilevatore che non accusa mai nessuno finisce per non individuare nulla.

La media del 3,6% nasconde una notevole dispersione. I risultati resi pubblici dagli autori mostrano la percentuale registrata da ciascun modello dell'ultima generazione sugli stessi 1.000 testi umani:

Considerando tutti i 15 modelli, il tasso varia dallo 0,1% al 55,3%, con il picco più alto registrato da Llama 3.3 70B della generazione precedente. La conclusione principale dello studio è ancora più ampia: l'efficacia del rilevamento "is primarily driven by detector capability rather than generator provenance" (è determinata principalmente dalle capacità del rilevatore piuttosto che dalla provenienza del generatore). Il modello a cui ci si rivolge conta più del modello che ha prodotto il testo.

Questa tabella mostra quanto i modelli possano divergere tra loro. Non serve per cercare il tuo caso specifico: l'applicazione di chat potrebbe eseguire una versione diversa da quella testata, la domanda posta dal tuo docente era probabilmente formulata in altro modo e ogni modello ha risposto una sola volta per ciascun testo.

Gli screenshot vengono solitamente accompagnati da motivazioni: testo troppo strutturato, troppo generico, troppo fluido. In questo studio ogni modello doveva fornirne una. I ricercatori hanno quindi incaricato un altro modello di AI, GPT-5.6 Sol, di confrontare direttamente un campione di queste spiegazioni, scoprendo che le stesse caratteristiche venivano usate per argomentare in entrambe le direzioni. Una scrittura dettagliata e coerente, osservano gli autori, "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (può essere considerata da un rilevatore come prova di competenza umana, ma da un altro come prova di una generazione stereotipata da parte di un LLM.)

Inoltre, gli autori mettono in guardia sul fatto che le spiegazioni "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (potrebbero essere giustificazioni a posteriori piuttosto che descrizioni accurate e affidabili di come è stata presa la decisione). Un'analisi della frequenza delle parole chiave condotta dagli autori sulle medesime spiegazioni porta alla stessa conclusione, e gli studiosi precisano che tali evidenze devono ancora essere confermate da annotatori umani. Se lo screenshot afferma che il tuo saggio ha una struttura chiara e transizioni fluide, sta semplicemente descrivendo il tuo testo: non dimostra in alcun modo da dove provenga.

• Come i chatbot valutano i saggi degli studenti. Nessuno dei testi scritti da esseri umani è stato identificato come compito studentesco ed entrambi i campioni erano brevi: in base ai nostri conteggi, i testi umani avevano una mediana di 233 parole, mentre per i testi AI la lunghezza richiesta era per lo più compresa tra 150 e 300 parole. Un saggio esteso potrebbe dare esiti diversi, e lo studio non offre elementi per prevedere in quale direzione.
• Se riproporre la domanda cambi la risposta. Ciascun modello ha valutato ogni testo una sola volta, per cui lo studio non fornisce dati su quanto frequentemente lo stesso chatbot cambi parere a un secondo tentativo.
• Se le conclusioni reggano alla prova del tempo. Si tratta di un preprint e gli autori stessi definiscono la loro suddivisione in tre generazioni "rather simplistic" (piuttosto semplicistica).
• I modelli futuri. Molti dei modelli inizialmente presi in esame dai ricercatori erano già stati dichiarati obsoleti o ritirati, motivo per cui il gruppo più datato ne include solo due. I dati descrivono questi 15 modelli specifici, non quelli che verranno rilasciati in seguito.

1. Chiarisci con esattezza che cosa è stato eseguito. Chiedi, con garbo: quale chatbot è stato utilizzato, se è possibile vedere l'intera conversazione (inclusa la domanda digitata) e se questa sia l'unica verifica effettuata o se esista anche un report di Turnitin o di un altro strumento. La risposta cambia radicalmente l'oggetto della tua contestazione.
2. Verifica il regolamento del tuo corso e del tuo ateneo. Controlla come viene gestito il presunto utilizzo dell'AI e che cosa costituisca una prova formale. Alcune università stabiliscono quali strumenti di rilevamento il personale possa adoperare o quale peso probatorio attribuire ai risultati; l'articolo 19 università che limitano l'uso o il valore probatorio dei rilevatori di AI: le dichiarazioni ufficiali raccoglie i testi ufficiali. Stabilire se un chatbot rientri in tali normative dipende da come è formulato il regolamento della tua università.
3. Mostra il tuo processo di scrittura. Bozze, appunti, fonti consultate e la cronologia interna del file. La guida Come dimostrare di non aver usato l'AI: la cronologia delle versioni in Word e Google Docs illustra come esportarla. Essere in grado di spiegare passo dopo passo come hai sviluppato l'argomentazione è qualcosa che il verdetto di un chatbot non potrà mai considerare.
4. Se decidi di citare questo studio, cita entrambi i dati. "Chatbots are wrong a third of the time" (I chatbot sbagliano un terzo delle volte) si riferisce esclusivamente alla generazione precedente. In questo test i modelli più recenti hanno etichettato come generati da una macchina tra lo 0,1% e l'8,6% dei testi umani, mentre per la generazione precedente la percentuale è nettamente più alta. Inoltre, una percentuale descrive un'ampia mole di testi, non il tuo singolo elaborato: è proprio questo il fulcro dell'articolo Che cosa significa un tasso di falsi positivi dell'1% quando un'università invia 75.000 elaborati.
5. Non rispondere con un altro screenshot. Un diverso chatbot che risponde "umano" presenta tutti i limiti appena descritti. Le tue bozze costituiscono una prova di come è stato redatto il saggio; il parere di un secondo chatbot non lo è.

La risposta di un chatbot non è un report e non contiene passaggi contrassegnati; inoltre, riscrivere un elaborato la cui autenticità è già stata messa in discussione non risolverebbe nulla. La funzione di umanizzazione di HumanPen è pensata per una situazione diversa: una bozza che non hai ancora consegnato, un report di Turnitin o iThenticate già disponibile e un regolamento di corso che consente la riformulazione assistita da strumenti digitali. Verifica prima quest'ultimo punto nel regolamento del tuo corso di studi. Importa il report Turnitin o iThenticate e riscrivi solo i passaggi segnalati. Riceverai un file modificabile nello stesso formato.

Questo significa che ora ChatGPT è in grado di riconoscere i testi scritti dall'AI? Non sulla base di questi soli elementi. L'articolo descrive test condotti tramite API e non sull'applicazione ChatGPT: sono stati analizzati GPT-5.5 e altri 14 modelli, a ciascuno dei quali è stata posta una sola domanda predefinita. In tale configurazione, i modelli più recenti hanno etichettato erroneamente in media il 3,6% dei testi umani e non hanno rilevato tra il 6,1% e il 13,4% dei testi AI, a seconda della generazione da cui sono stati generati.

Un chatbot più recente è sempre più affidabile? Non necessariamente. La generazione precedente ha classificato come "macchina" più testi umani rispetto a quella più datata (il 36,5% contro il 13,0%). Inoltre, un modello della generazione precedente, Qwen 72B, ha fatto questo errore solo per il 4,4% dei testi umani, una quota inferiore rispetto a tre dei modelli più recenti (Claude Opus 4.7 al 6,1%, MiMo-V2.5-Pro al 7,9% e DeepSeek-V4-Pro all'8,6%), pur ottenendo tale risultato rispondendo quasi sempre "umano".

Questo studio è stato sottoposto a peer review? No. È stato pubblicato su arXiv come preprint il 28 settembre 2026. Gli autori hanno reso disponibili tutti i testi, i prompt utilizzati, le risposte grezze di ciascun modello e il codice di analisi.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li e Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, presentato il 28 settembre 2026 (preprint, non sottoposto a peer review); consultato il 2 ottobre 2026 (Tabelle 1 e 5; Sezioni 3, 4 e 5; Appendice A.2 e A.3).
• I dati e i risultati resi pubblici dagli autori, disponibili su GitHub all'indirizzo hyyuan/detect-llm-generated-texts: percentuali per ciascun modello tratte da `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, testi umani tratti da `dataset/human-generated-text/human.json`; consultato il 2 ottobre 2026.