Pourquoi les auteurs non natifs de l'anglais sont plus souvent signalés par les détecteurs d'IA

En 2023, une équipe de Stanford - Liang, Yuksekgonul, Mao, Wu et Zou - a testé sept détecteurs de GPT couramment utilisés sur deux ensembles de dissertations. Le premier comprenait 91 dissertations TOEFL issues d'un forum éducatif chinois00130-7), toutes rédigées par des étudiants. Le second comportait 88 travaux d'élèves américains de quatrième, issus du jeu de données ASAP de la Hewlett Foundation. Aucun des deux ensembles ne contenait de texte généré par IA. L'étude a été publiée dans Patterns, une revue de Cell Press.

Sur les dissertations des élèves américains, les détecteurs ont atteint une précision quasi parfaite. En revanche, sur les rédactions TOEFL, le taux moyen de faux positifs s'est élevé à 61,22%. Les sept détecteurs ont unanimement identifié 18 des 91 dissertations (19,78%) comme étant d'origine IA, et 89 des 91 (97,80%) ont été signalés par au moins un détecteur.

Cette différence constitue le résultat principal. Les mêmes sept outils ont nettement mieux performé sur les rédactions américaines que sur les essais TOEFL. Cela ne permet pas de généraliser un taux d'erreur à tous les auteurs multilingues ou à tous les détecteurs actuels. En revanche, cela montre qu'une affirmation d'exactitude globale peut masquer des résultats bien plus problématiques pour certaines populations d'auteurs.

Interprétez ce 61,22% comme un résultat propre à cet échantillon et à ces sept détecteurs de 2023, et non comme votre probabilité personnelle d'être signalé. L'étude alerte sur l'inégalité des erreurs, elle ne constitue pas une prédiction universelle.

Cette découverte a été contestée. Un fournisseur de détecteurs a soutenu que 91 dissertations issues d'un seul forum étudiant étaient trop peu nombreuses et trop spécifiques pour justifier un taux général. Ces limites sont réelles : l'échantillon est un échantillon de commodité, les groupes de comparaison diffèrent à la fois par l'âge et par le contexte linguistique, et les produits détecteurs ont évolué depuis 2023. La conclusion défendable est donc plus nuancée que ce que les titres suggèrent : l'étude a mis en évidence un écart important que les institutions ne devraient pas considérer comme négligeable.

Les institutions sont parvenues à la même prudence d'un point de vue gestion des risques. L'Université Vanderbilt a désactivé le détecteur d'IA de Turnitin en août 2023. Elle a noté qu'un taux de faux positifs de 1% au niveau des documents, même revendiqué, créerait une charge d'examen sérieuse sur environ 75 000 soumissions annuelles. Ce calcul est une illustration, non une prédiction selon laquelle exactement 750 étudiants seraient accusés : tous les travaux ne sont pas éligibles, le taux de base est inconnu, et un signalement ne devient pas nécessairement une accusation. L'essentiel est que même de faibles pourcentages exigent un processus équitable à l'échelle institutionnelle.

Comment renforcer la fiabilité des preuves ? Des études plus vastes, pré-enregistrées, devraient inclure des auteurs de différentes langues maternelles, niveaux de compétence, disciplines et types de devoirs ; comparer des groupes d'âge similaire ; publier les résultats par version de détecteur ; et rapporter à la fois les faux positifs et les faux négatifs. La précision globale ne suffit pas. Les institutions envisageant un déploiement devraient demander si le fournisseur a évalué la population étudiante réelle et si des résultats par sous-groupe sont disponibles, plutôt que d'adopter un taux issu d'un autre corpus.

Pour un rapport individuel, ni le chiffre de Stanford ni une référence fournisseur ne tranchent la question. Les preuves pertinentes sont locales : quel texte a été qualifié, où se situent les surlignages, quelle version du modèle a été utilisée, ce que le devoir autorisait et comment les brouillons de l'étudiant ont évolué. La recherche sur les populations indique au réviseur quel mode de défaillance prendre au sérieux ; elle ne remplace pas l'examen du travail spécifique.

Les premières explications publiques des détecteurs se concentraient sur deux signaux statistiques : la perplexité et la burstiness. Les systèmes commerciaux actuels peuvent combiner de nombreux signaux appris, et leurs mécanismes internes ne sont généralement pas divulgués. Ces deux termes sont donc davantage une clé pour comprendre le problème qu'une description complète de chaque produit actuel.

La perplexité mesure à quel point vos choix de mots sont surprenants pour un modèle de langage : si le mot suivant correspond à celui que le modèle aurait prédit, la perplexité est faible. La burstiness mesure la variation de la longueur et de la structure des phrases dans un passage ; des phrases régulières et uniformes obtiennent un score faible.

Dans un détecteur utilisant ces signaux, une faible perplexité et une faible variation peuvent contribuer à une classification comme texte machine. Il ne s'agit pas d'un test universel, et un même passage peut présenter différentes perplexités selon les modèles de référence. Un classificateur doit néanmoins combiner ses signaux et choisir un seuil à partir duquel étiqueter le résultat.

Un détecteur n'observe ni la paternité ni l'intention. Il analyse des caractéristiques du texte soumis et les compare aux motifs appris à partir de ses données d'entraînement.

Cette distinction est cruciale pour l'écriture en langue seconde. Un vocabulaire actif restreint, la répétition de structures de phrases et le respect strict des modèles académiques peuvent ressembler aux caractéristiques des textes générés. Un meilleur classificateur peut réduire cette erreur, mais aucune architecture ne transforme une ressemblance textuelle en observation directe de l'auteur du passage.

Le seuil compte également. L'abaisser permet de détecter plus de textes générés mais laisse aussi passer plus de textes humains ; l'élever produit l'effet inverse. Un chiffre de précision annoncé décrit un jeu de données à un point de fonctionnement donné. Il ne garantit pas des performances égales selon les niveaux de compétence, les disciplines, les longueurs de document ou les versions ultérieures des modèles.

L'article ne se limite pas à comparer deux groupes. Il manipule la langue dans les deux sens tout en maintenant fixes les dissertations sources et leurs argumentations. Cela rend le mécanisme proposé plus convaincant, même si cela n'isole pas le vocabulaire de tous les autres changements stylistiques apportés par le modèle.

Première direction. Les chercheurs ont pris les dissertations TOEFL unanimement signalées et ont demandé à GPT-4 d'enrichir les choix de mots. La perplexité a augmenté de manière significative (P = 9,36E-05), et le nombre de dissertations unanimement détectées est passé de 18 à 1 sur 91 (1,10%). Mêmes auteurs, mêmes argumentations, mêmes dissertations - seul le vocabulaire a changé.

Deuxième direction, la plus probante. Ils ont pris les dissertations d'élèves américains de quatrième, que les détecteurs avaient jugées presque parfaitement, et ont demandé à ChatGPT de « simplifier les choix de mots comme si elles étaient écrites par un locuteur non natif ». La mauvaise classification est passée d'une moyenne de 5,19% à 56,65%.

La paternité des dissertations sous-jacentes n'a pas changé, mais les classifications si. L'intervention soutient donc un rôle causal de la langue de surface - en particulier la variété lexicale - plutôt qu'une étiquette démographique qui serait d'une manière ou d'une autre visible par le détecteur. Comme GPT-4 et ChatGPT peuvent aussi modifier la syntaxe, le rythme et les tournures de phrase, il serait excessif de dire que l'expérience prouve que le vocabulaire est la seule cause.

La conclusion de l'article elle-même est que les détecteurs « peuvent involontairement pénaliser les auteurs aux expressions linguistiques contraintes », et il met en garde contre leur déploiement dans des contextes d'évaluation ou d'éducation.

Le résultat explique aussi pourquoi demander à un auteur multilingue de paraître plus formel peut se retourner contre lui. Les conseils académiques récompensent souvent les transitions standardisées, le vocabulaire conventionnel et la structure uniforme des phrases. Ces choix peuvent être appropriés pour la clarté, mais ils réduisent exactement la variation que les anciens détecteurs statistiques considéraient comme une preuve d'écriture humaine. La solution n'est pas d'imbiber un travail de vocabulaire ornemental ; c'est de cesser de traiter le détecteur comme un test de paternité.

Le même article rapporte quelque chose qui complique tout usage de ces scores comme preuve. L'équipe a généré des dissertations avec ChatGPT-3.5 - les détecteurs les ont fiablement repérées. Puis ils ont appliqué une seule consigne d'auto-révision, « elevate the provided text by employing literary language » (élevez le texte fourni en employant un langage littéraire), et la détection est passée de 100% à 13%.

Ceci n'est pas présenté ici comme une technique. C'est présenté comme un fait sur l'instrument : une mesure qu'une seule phrase peut déplacer de 87 points de pourcentage constitue une base fragile pour une accusation, et c'est aussi pourquoi personne ne peut honnêtement vous promettre un résultat particulier d'un détecteur. Nous ne le faisons pas.

Ce résultat comporte deux limites. D'abord, il décrit les sept détecteurs et les sorties de modèles testés en 2023, pas tous les produits en 2026. Ensuite, la robustesse face à l'évasion et l'équité envers les auteurs humains sont des propriétés distinctes : un détecteur peut devenir plus difficile à tromper tout en conservant des faux positifs inégaux. Toute évaluation actuelle devrait tester les deux, sur les populations et les genres d'écriture où le score sera réellement utilisé.

Un détecteur peut être utile pour le triage sans être suffisamment fiable pour l'arbitrage. Plus les conséquences sont élevées, plus il faut de preuves indépendantes et d'examen procédural.

Rien de tout ceci n'est un conseil sur la manière de contourner un détecteur. C'est ce qu'il faut faire lorsqu'une statistique est interprétée comme une preuve vous concernant.

• Conservez vos brouillons, dès maintenant. Préservez l'historique des versions dans Word ou Google Docs, les fichiers de plan, les notes de lecture et les retours de votre superviseur. Ces artefacts montrent comment le travail a évolué au fil du temps ; ce sont des preuves plus solides qu'un score de détecteur concurrent.
• Demandez le rapport complet, pas seulement le pourcentage global. Les passages surlignés peuvent révéler si les signalements se concentrent dans les méthodes, les définitions ou le contexte - des sections où un langage conventionnel est attendu. Ne les décrivez pas comme des probabilités au niveau des sections sauf si le rapport fournit réellement ces données.
• Demandez comment ce chiffre est utilisé. Sollicitez la politique pertinente du cours ou de l'institution, le détecteur et sa version, et les éléments de preuve considérés au-delà du simple score. De nombreuses institutions traitent un signalement comme une raison d'examiner, non comme une conclusion.
• Révisez pour le sens et l'appropriation. Remplacez les formulations que vous n'utiliseriez pas naturellement, vérifiez chaque affirmation et chaque citation, et assurez-vous de pouvoir expliquer l'argumentation. Ne déformez pas une prose claire simplement pour créer artificiellement une variation dans la longueur des phrases.

Si une procédure formelle a été engagée, conservez le fichier soumis tel quel et travaillez à partir d'une copie. Établissez une chronologie simple : quand vous avez fait vos recherches, rédigé, reçu des retours et révisé. Demandez suffisamment de temps pour examiner les preuves, et faites-vous accompagner d'un conseiller ou d'un représentant étudiant lorsque le règlement le permet. Le guide séparé sur préparer une réponse à un signalement erroné traite ce processus en détail.

Si vous êtes enseignant, n'attendez pas qu'un étudiant soulève la question des biais. Définissez à l'avance qui examine un signalement, quelles corroborations sont nécessaires, comment le contexte linguistique et le handicap sont pris en compte, et comment l'étudiant reçoit le rapport sous-jacent. Un outil ne peut être qu'un triage optionnel que si le processus humain est capable de le contredire.