À quelle fréquence les chatbots prennent-ils des écrits humains pour de l’IA ? Un test mené en 2026 sur 15 modèles

Tout dépend fortement du modèle. Dans une prépublication de 2026, 15 modèles d’IA généralistes semblables à ceux qui animent les chatbots ont été interrogés via leurs API, à l’aide d’une seule et même question fixe, pour déterminer si 1 000 textes rédigés par des humains provenaient d’un humain ou d’une machine. La génération précédente (GPT-4o et quatre autres modèles de 2024–25) a répondu « machine » pour 36,5 % des textes humains en moyenne. La génération la plus récente (huit modèles de 2026, dont GPT-5.5, Claude Opus 4.7 et Gemini 3.1 Pro Preview) ne l’a fait que pour 3,6 %, avec des résultats allant de 0,1 % à 8,6 % selon le modèle. La fréquence à laquelle un chatbot qualifie à tort un texte humain de « machine » dépend donc considérablement du modèle interrogé : dans ce test, cela va de plus d’un tiers des cas à presque jamais. Un tel taux décrit toutefois un vaste corpus de textes, et non votre devoir en particulier ; en outre, la réponse d’un chatbot ne constitue pas une preuve en soi : les textes testés n’étaient pas des devoirs d’étudiants, et une capture d’écran ne permet pas toujours de savoir quel modèle a répondu ni quelle consigne exacte lui a été soumise.

Cette étude s’intitule "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (Utiliser les LLM pour détecter les textes générés par des LLM : une analyse intergénérationnelle). Elle a été réalisée par Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li et Shujun Li, de l’université du Kent, de l’université Jiao Tong de Shanghai et de l’université de Birmingham. Elle a été déposée sur arXiv le 28 septembre 2026. Il s’agit d’une prépublication qui n’a pas été évaluée par des pairs.

Ils sont partis de 1 000 textes rédigés par des humains, issus du jeu de données de recherche public M4GT-Bench, que l’article décrit comme "covering a broad range of topics, styles, and formats" (couvrant un large éventail de sujets, de styles et de formats). En parcourant le fichier mis à disposition, nous y avons trouvé des articles d’encyclopédie, des guides pratiques, des réponses sur des forums, des résumés de recherche et des évaluations d’articles scientifiques par les pairs. L’étude ne qualifie aucun de ces textes de devoir d’étudiant. Chacun des 15 modèles a également rédigé 1 000 textes à partir de consignes équivalentes, la plupart demandant entre 150 et 300 mots.

Chaque modèle a ensuite joué à son tour le rôle de détecteur. Chaque texte a été soumis à chaque modèle avec une même consigne, dont l’ouverture est "Please determine whether the following text is generated by large language models or by a human" (Veuillez déterminer si le texte suivant est généré par de grands modèles de langage ou par un humain), et le modèle devait répondre « humain » ou « machine » tout en motivant son choix. Cela a produit plus de 233 000 jugements valides.

Les chercheurs ont regroupé les modèles selon leur date de sortie :

• La plus ancienne (de 2023 à début 2024) : GPT-3.5 Turbo Instruct et Mixtral 8×22B Instruct.
• La génération précédente (2024–25) : GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B et un modèle Qwen de 72 milliards de paramètres (nommé Qwen2.5-72B Instruct dans le tableau des modèles de l’article et Qwen2-72B ailleurs dans le texte).
• La plus récente (2026) : GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro et Kimi K2.6.

Les modèles ont été interrogés principalement via OpenRouter et les API des fournisseurs ; l’article ne mentionne aucun test sur les applications grand public ChatGPT, Gemini ou Claude. Il ne précise pas non plus les dates exactes des exécutions : il qualifie le groupe le plus récent de modèles les plus récents "at the time of our experiments" (au moment de nos expériences) et indique avoir vérifié les paramètres par défaut des modèles le 3 septembre 2026.

Notre article précédent, ChatGPT est-il un détecteur d’IA ? Ce qu’OpenAI a publié sur son propre classificateur, s’appuie sur le classificateur qu’OpenAI a développé, évalué puis retiré en 2023, et démontre que demander à un modèle conversationnel si un texte provient d’une IA ne constitue pas une détection. Cet article ne citait pas de mesures portant directement sur des modèles de discussion effectuant cette tâche. La présente étude vient combler ce manque : 15 modèles conversationnels ont été testés directement sur cette question, dans des conditions d’API plus proches de la situation où un enseignant colle un devoir dans une fenêtre de chat que ne l’est un classificateur dédié, bien que cela reste différent.

Chaque chiffre représente la moyenne des modèles du groupe. La fourchette de la dernière colonne dépend de la génération qui a rédigé les textes d’IA.

Les trois groupes ont commis des erreurs de nature opposée. Les modèles les plus anciens ont presque toujours répondu « humain » ; ils ont donc signalé à tort moins d’auteurs humains que la génération suivante, mais ont laissé passer plus de quatre textes d’IA sur cinq. La génération précédente a basculé dans l’excès inverse : elle a repéré davantage de textes générés par IA, mais a qualifié plus d’un tiers des écrits humains de textes de machines. Enfin, le groupe le plus récent affiche des taux d’erreur faibles sur les deux plans, même s’il a manqué davantage de textes d’IA rédigés par les modèles de 2026 (13,4 %) que de textes issus de modèles plus anciens.

Cette première ligne est un piège si on la lit isolément. Un taux de fausse alerte de 13 % paraît plus avantageux que 36,5 %, mais il provient de modèles qui ne prononçaient pour ainsi dire jamais le mot « machine ». Un détecteur qui n’accuse personne n’intercepte personne non plus.

Cette moyenne de 3,6 % masque de très fortes disparités. Les résultats publiés par les auteurs précisent le taux obtenu par chaque modèle de dernière génération sur les 1 000 mêmes textes humains :

Sur l’ensemble des 15 modèles, ce taux oscillait entre 0,1 % et 55,3 %, le score le plus élevé appartenant à Llama 3.3 70B, issu de la génération précédente. La conclusion principale de l’article a une portée plus large : l’efficacité de la détection "is primarily driven by detector capability rather than generator provenance" (dépend avant tout des capacités du détecteur plutôt que de la provenance du générateur). Le modèle auquel on pose la question compte davantage que celui qui a rédigé le texte.

Ce tableau illustre à quel point les modèles diffèrent entre eux. Il ne s’agit pas d’un barème applicable directement à votre situation : une application de discussion peut faire tourner une version différente de celle testée, la question posée par votre enseignant était sans doute formulée autrement, et chaque modèle n’a répondu qu’une seule fois par texte.

Les captures d’écran s’accompagnent généralement d’explications : style trop structuré, propos trop génériques, formulation trop fluide. Dans cette étude, chaque modèle était tenu d’en fournir une. Les chercheurs ont ensuite demandé à un autre modèle d’IA, GPT-5.6 Sol, de comparer un échantillon de ces explications côte à côte ; il a constaté que les mêmes caractéristiques textuelles servaient à justifier des conclusions opposées. Un texte détaillé et cohérent, écrivent les auteurs, "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (peut être considéré par un détecteur comme la preuve d’une expertise humaine, mais par un autre comme la preuve d’une génération stéréotypée par un LLM.)

Ils soulignent également que ces explications "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (peuvent être des justifications a posteriori plutôt que des descriptions exactes et fiables de la manière dont la décision a été prise). Une analyse par décompte de mots-clés menée par les auteurs sur ces mêmes justifications a abouti au même constat, et ils précisent que des annotateurs humains doivent encore confirmer ces résultats. Si la capture d’écran affirme que votre devoir présente une structure limpide et des transitions fluides, cela décrit votre devoir. Cela ne prouve en aucun cas d’où provient votre texte.

• La manière dont les chatbots évaluent les devoirs d’étudiants. Aucun des textes humains testés n’a été présenté comme un travail d’étudiant, et les textes des deux groupes étaient courts : selon notre décompte, la médiane des textes humains s’élevait à 233 mots, et les consignes données aux IA demandaient pour la plupart entre 150 et 300 mots. Une dissertation longue pourrait donner des résultats très différents, et l’étude ne fournit aucun élément permettant d’anticiper dans quel sens.
• Si le fait de reposer la question modifie la réponse. Chaque modèle n’a évalué chaque texte qu’une seule fois ; l’étude ne permet donc pas de savoir à quelle fréquence un même chatbot changerait d’avis lors d’un second essai.
• Si ces conclusions résisteront à l’examen. Il s’agit d’une prépublication, et les auteurs qualifient eux-mêmes leur découpage en trois générations de "rather simplistic" (plutôt simpliste).
• Les performances des modèles futurs. Bon nombre de modèles initialement envisagés par les chercheurs étaient déjà obsolètes ou abandonnés, ce qui explique en partie pourquoi le groupe le plus ancien n’en compte que deux. Ces chiffres décrivent ces 15 modèles précis, et non ceux qui leur succéderont.

1. Déterminez précisément ce qui a été fait. Demandez poliment : de quel chatbot s’agissait-il ? Pouvez-vous voir l’intégralité de la conversation, y compris la consigne exacte qui a été saisie ? S’agit-il de la seule vérification effectuée, ou existe-t-il également un rapport Turnitin ou un autre rapport ? La réponse change totalement la nature de ce à quoi vous devez répondre.
2. Consultez le règlement de votre cours et de votre établissement. Renseignez-vous sur la manière dont les soupçons d’utilisation de l’IA sont traités et sur ce qui est admis comme preuve. Certaines universités restreignent les outils de détection autorisés pour le personnel ou le poids accordé aux résultats de ces outils ; notre article 19 universités qui limitent l’usage des détecteurs d’IA ou leur valeur de preuve : déclarations officielles rassemble ces prises de position officielles. Le fait qu’un chatbot relève ou non de ces règles dépend de la formulation exacte de vos règlements.
3. Apportez les preuves de votre processus d’écriture. Brouillons, notes, sources consultées et historique de modifications de votre fichier. L’article Comment prouver que vous n’avez pas utilisé d’IA : l’historique des versions dans Word et Google Docs explique comment exporter cet historique. Être capable d’expliquer étape par étape comment vous avez construit votre argumentation est un élément qu’aucun verdict de chatbot ne peut percevoir.
4. Si vous citez cette étude, mentionnez les deux aspects. L’affirmation "Chatbots are wrong a third of the time" (les chatbots se trompent un tiers du temps) ne concerne que la génération précédente. Dans ce test, les modèles les plus récents n’ont classé que 0,1 % à 8,6 % des textes humains comme écrits par une machine, alors que la génération précédente se trompait beaucoup plus souvent. Par ailleurs, un taux global s’applique à un vaste ensemble de textes et non à votre devoir pris isolément — c’est tout le sujet de notre article Ce qu’implique un taux de faux positifs de 1 % lorsqu’une université soumet 75 000 travaux.
5. Ne répliquez pas avec une autre capture d’écran. Un autre chatbot affirmant que le texte est « humain » souffre exactement des mêmes limites énoncées plus haut. Vos brouillons prouvent la façon dont votre devoir a été rédigé ; l’avis d’un second chatbot n’a aucune valeur probante.

La réponse d’un chatbot ne constitue pas un rapport et ne comporte aucun passage surligné ; en outre, remanier un devoir faisant déjà l’objet de soupçons ne réglerait rien. L’option d’humanisation de HumanPen a été conçue pour une tout autre situation : un brouillon que vous n’avez pas encore remis, un rapport Turnitin ou iThenticate établi pour celui-ci, et un cadre d’enseignement autorisant la reformulation assistée par outil. Vérifiez impérativement ce dernier point dans le règlement de vos cours. Importez le rapport Turnitin ou iThenticate et reformulez uniquement les passages signalés. Vous récupérez un fichier modifiable au même format.

Cela signifie-t-il que ChatGPT peut désormais détecter les textes rédigés par une IA ? Cette seule étude ne permet pas de l’affirmer. L’article décrit des tests réalisés par API, et non via l’application ChatGPT : GPT-5.5 et 14 autres modèles ont été évalués, chacun soumis à une seule consigne fixe. Dans cette configuration, les modèles les plus récents ont étiqueté à tort 3,6 % des textes humains en moyenne et ont manqué entre 6,1 % et 13,4 % des textes rédigés par des IA, selon la génération qui les avait générés.

Un chatbot plus récent est-il systématiquement plus fiable ? Pas nécessairement. La génération précédente a qualifié davantage de textes humains de « machine » que la plus ancienne (36,5 % contre 13,0 %). De plus, un modèle de la génération précédente, le Qwen 72B, ne l’a fait que pour 4,4 % des textes humains, soit moins que trois modèles de la dernière génération (Claude Opus 4.7 à 6,1 %, MiMo-V2.5-Pro à 7,9 % et DeepSeek-V4-Pro à 8,6 %), bien qu’il y soit parvenu en répondant presque systématiquement « humain ».

Cette étude a-t-elle fait l’objet d’une évaluation par les pairs ? Non. Elle a été déposée sur arXiv en tant que prépublication le 28 septembre 2026. Les auteurs ont rendu publics l’ensemble des textes, les consignes, les réponses brutes de chaque modèle ainsi que leur code d’analyse.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li et Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, soumis le 28 septembre 2026 (prépublication, non évaluée par les pairs) ; consulté le 2 octobre 2026 (tableaux 1 et 5 ; sections 3, 4 et 5 ; annexes A.2 et A.3).
• Données et résultats publiés par les auteurs, hyyuan/detect-llm-generated-texts sur GitHub : taux par modèle extraits de `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, textes humains extraits de `dataset/human-generated-text/human.json` ; consulté le 2 octobre 2026.