Que deviennent les citations, les tableaux et les équations dans un humaniseur IA ?

Turnitin exclut les bibliographies lors du traitement de l'AI Writing Report, et le rapport n'analyse que des phrases de prose : réécrire une liste de références ne change donc rien au chiffre affiché. Cela peut néanmoins vous coûter les références elles-mêmes. Les marqueurs se déplacent quand on fusionne ou scinde des phrases, les champs des gestionnaires de références s'aplatissent en texte inerte, et un examen filmé montre un outil ayant réécrit la liste des références en produisant une citation absente des données d'entrée.

Tout ce qui suit concerne cette deuxième phrase, car c'est celle que personne ne prend en compte.

Il existe deux formes d'outils de réécriture, et leurs échecs ne se ressemblent pas.

Le premier fonctionne avec une zone de texte. Vous collez, il réécrit, vous recollez. L'outil ne voit jamais votre document : chaque question sur les tableaux et les champs revient en réalité à ce que vous avez fait avant et après le collage. Quelle que soit la structure présente dans le fichier, vous l'avez retirée à la main, et vous êtes sur le point de la remettre à la main.

Le second travaille directement sur le fichier. Il ouvre le document, repère les séquences de texte qu'il contient, en réécrit certaines, puis réenregistre le document. Ce type d'outil peut préserver la structure, mais il peut aussi la briser à une échelle que vous ne pourriez jamais atteindre manuellement, car il traite tous les paragraphes d'un seul passage.

Aucune des deux formes n'est sûre par défaut. Ce qui détermine l'issue, c'est le périmètre : quelle partie du document entre dans la réécriture, et si vous avez pu voir cette frontière avant l'exécution.

La description même du mécanisme de détection par Turnitin mérite d'être lue une fois, car elle explique pourquoi rien, du côté du détecteur, ne protège vos citations. Les submissions sont découpées en segments qui se chevauchent ; chaque segment reçoit un score entre 0 et 1 ; une phrase qualifiante récupère les valeurs de tous les segments qui la couvrent ; ces valeurs sont ensuite poolées et agrégées pour former le chiffre affiché sur le rapport (FAQ sur la détection d'écriture IA). Aucune étape de cette séquence ne reconnaît une citation.

La même cécité opère en sens inverse dans un outil de réécriture. Pour un modèle qui réécrit de la prose, `(Smith, 2019)` n'est qu'une suite de caractères logée dans une phrase, sans rien qui signale qu'elle porte une charge structurelle. Fusionnez deux phrases et le marqueur se retrouve planté derrière une affirmation que sa source n'a jamais faite. Scindez-en une, et seule la moitié conserve le marqueur tandis que l'autre devient une affirmation non étayée qui se lit parfaitement bien.

Cette défaillance est invisible à la relecture, car rien n'est agrammatical et rien ne manque. La phrase se tient toute seule. Simplement, elle ne dit plus ce que disait la source. Nous avons traité la manière d'auditer ce lien affirmation par affirmation dans réviser une revue de littérature sans briser la chaîne des preuves.

La seconde défaillance est mécanique plutôt que sémantique. Si vos citations proviennent de Zotero, Mendeley ou EndNote, ce ne sont pas du texte. Ce sont des champs, et un aller-retour en texte brut les transforme en caractères d'apparence identique qui ne se mettent plus à jour. Champs Word, tables des matières et renvois détaille ce que cela coûte dans un long document.

Ce n'est pas hypothétique, et je préfère pointer vers l'enregistrement de quelqu'un d'autre plutôt que de m'appuyer sur ma propre affirmation.

Tadhg Blommerde enseigne à Northumbria University, dispose d'un accès instructeur à Turnitin, et précise dans les descriptions de ses analyses qu'elles ne sont pas sponsorisées et ne contiennent aucun lien d'affiliation.

Sa méthode dans une analyse de février 2025 est ce qui rend le résultat vérifiable. L'essai test n'est pas de sa plume. Il le demande à ChatGPT — "1,500 words in UK English" (1 500 mots en anglais britannique), avec "intext citations and a reference list in the APA style" (des citations dans le texte et une liste de références au style APA) — si bien qu'une donnée d'entrée connue apparaît à l'écran avant que quoi que ce soit d'autre n'intervienne. Ce fichier passe ensuite dans Walter Writes, et il rapporte que l'outil a "even humanized the reference list" (même humanisé la liste des références). Il s'arrête aussi sur une citation dans le résultat avec la phrase qui compte : elle n'était pas dans la version ChatGPT.

Voilà pourquoi la seconde constatation vaut plus que la première. Une référence estropiée est une erreur que vous finiriez par remarquer. Une citation que personne n'a écrite est une source fabriquée installée dans un document sur le point de porter votre nom, et la seule raison pour laquelle on peut affirmer qu'elle est fabriquée, c'est que l'entrée a été produite en vidéo d'abord et a pu être comparée à la sortie ligne par ligne.

Le seul jeu de données ouvert que j'aie trouvé sur ce sujet est accompagné d'un avertissement, et cet avertissement doit voyager avec les chiffres. Le benchmark, HumanizerBench, est exploité par WriteHuman — l'un des douze outils figurant au classement qu'il publie, et l'outil occupant la première place durant le cycle que je m'apprête à citer. Ce n'est pas quelque chose que j'ai découvert ; ils le disent eux-mêmes sur la page À propos et à nouveau dans le pied de page de chaque site. Indépendant, donc, n'est pas un mot qu'on peut lui accoler, quoi qu'en disent ceux qui le citent.

Ce qu'il est, fait inhabituel dans cette catégorie, c'est un benchmark qui remet les fichiers. Chaque entrée et sortie du cycle d'août 2026 se trouve dans un dépôt public sous licence CC BY 4.0. C'est ce qui le rend exploitable malgré son opérateur : vous pouvez contester n'importe quel résumé qui en est donné, celui-ci inclus, en ouvrant le même fichier et en comptant.

Voici donc la partie qui vaut la peine d'être comptée, et la règle est aussi simple qu'elle en a l'air : un titre Markdown est une ligne qui commence par un dièse, et après la réécriture, il est soit toujours là, soit il n'y est plus. Sur les douze outils de ce cycle, quatre ont renvoyé des résultats sans aucun titre, et trois ont restitué tous les titres présents dans les entrées. "These tools all destroy your formatting" (Ces outils détruisent tous votre mise en forme) est une croyance rassurante, et les fichiers publiés ne la corroborent pas. L'écart au sein de cette catégorie couvre toute l'étendue.

Il y a ensuite la limite de la mesure, qui importe plus que n'importe lequel des pourcentages. Ce qui est compté, c'est un caractère dièse au début d'une ligne de texte brut. Tous les outils de ce jeu de données fonctionnent en copier-coller : aucun `.docx` ne change de mains. Les styles, les définitions de numérotation, les objets tableau, les parties de notes de bas de page, les signets de renvois et les champs de table des matières vivent dans une couche différente, et je n'ai trouvé aucun jeu de données public qui approche cette couche.

Nous l'avons donc compté nous-mêmes, sur notre propre production. C'est nous qui nous mesurons nous-mêmes : trois paires avant-après issues de nos propres exécutions, lues avec un script qui ouvre `word/document.xml` plutôt que de faire confiance à ce que le produit rapporte de lui-même. Prenons le plus volumineux des trois : 405 paragraphes non vides, 46 paragraphes portant un style de titre, un tableau de 7 lignes et 14 cellules. Après traitement, les trois comptes étaient identiques.

Deux réserves, et la seconde est la plus importante.

Qu'un titre survive en tant que titre ne signifie pas que son libellé a survécu. Sur ces 46 titres, 18 sont revenus avec des mots différents sous le réglage équilibré, toujours rattachés au même style. Être reformulé et être aplati en texte courant sont deux événements distincts, et les comptes Markdown de la section précédente captent le second.

La limite la plus importante, c'est ce que le corpus ne contenait pas. Aucun champ de table des matières, aucun renvoi, aucune note de bas de page : zéro `fldChar`, zéro ancre, aucun `footnotes.xml` nulle part dans le paquet. Ce sont précisément les éléments les plus susceptibles de se briser en silence, car aucun n'est stocké à côté des mots auxquels il appartient ; un appel de note et la note elle-même résident dans des fichiers distincts à l'intérieur du paquet, reliés seulement par un numéro. La portée honnête de cette mesure se limite donc aux paragraphes, aux styles de titre et à un tableau, sur trois documents que nous avons choisis.

Vous ne pouvez pas reproduire nos chiffres. Les fichiers ne nous appartiennent pas pour publication, et un chiffre issu du corpus propre d'un éditeur vaut à peu près ce qu'on imagine. En revanche, vous pouvez reproduire la procédure, sur le document qui vous importe vraiment, en un après-midi : copiez le `.docx`, renommez la copie en `.zip`, ouvrez `word/document.xml`, comptez les éléments `<w:p>` non vides, comptez combien d'entre eux portent un style de paragraphe dont le nom commence par `Heading`, et recherchez dans le paquet `fldChar` ainsi que `footnotes.xml`. Faites-le avant et après n'importe quel outil que vous envisagez, le nôtre inclus, et le chiffre que vous obtenez concerne votre thèse plutôt que nos trois fichiers.

Quiconque vous affirme que son outil préserve les renvois, nous y compris, devrait se voir demander ce qu'il a compté.

La page modèle de détection d'écriture IA de Turnitin comporte des notes de version, et l'entrée du 9 août 2023 indique que le modèle est désormais capable de traiter du texte de prose longue dans les tableaux. La même entrée précise que les soumissions existantes contenant des tableaux doivent être resoumises avant d'être retraitées.

Deux conséquences en découlent. De la prose logée dans une cellule de tableau peut porter du surlignage IA, donc "it's in a table, it doesn't count" (c'est dans un tableau, ça ne compte pas) est dépassé de trois ans. Cela place aussi les tableaux dans le périmètre d'un outil de réécriture : si la cellule compte pour le score, un outil agissant au niveau du fichier a une raison d'y entrer, cellule par cellule.

Je n'ai pas mesuré ce que font les différents outils à l'intérieur d'une cellule, donc considérez le reste de ce paragraphe comme des pistes à examiner plutôt que comme des résultats. Une cellule qui contenait deux paragraphes vaut la peine d'être rouverte. Une ligne qui s'est agrandie parce que son texte s'est allongé aussi. Et dans un tableau de résultats, la première cellule à vérifier est celle contenant un nombre suivi d'une unité, car c'est le contenu de tableau qui ressemble le plus à une phrase.

Je n'ai aucune mesure à proposer sur les équations, et je préfère le dire plutôt que de combler le vide par un paragraphe péremptoire. Notre corpus n'en contenait aucune.

Ce que je peux vous donner, c'est la frontière qui compte, et elle ne concerne pas vraiment les équations. Elle concerne tout ce dont la valeur réside dans la valeur elle-même. Une phrase citée doit revenir avec les mêmes mots entre guillemets, sinon ce n'est plus une citation. Une taille d'échantillon, une valeur p, un intervalle de confiance, une unité, une date et un nom propre doivent survivre caractère par caractère. La prose peut bouger. Ceux-là, non.

Ce que vous pouvez reformuler dans Méthodes et Résultats, et ce qui doit rester exact répartit correctement un article entre ces deux colonnes.

1. Ouvrez le fichier dans Word, appuyez sur Ctrl+A, puis sur F9. Les champs qui ont survécu se mettront à jour. Ceux qui ont été aplatis resteront inertes, et c'est ainsi que vous les repérez.
2. Comptez vos entrées de références avant et après. Un chiffre qui a changé est le signal le plus audible qui soit, et cela prend dix secondes.
3. Recherchez dans la sortie chaque marqueur dans le texte et vérifiez que la phrase où il se trouve désormais soutient toujours cette affirmation. C'est l'étape lente. C'est aussi celle qui attrape les soutiens fabriqués.
4. Lisez chaque cellule de tableau contenant un nombre. Pas la prose autour. La cellule.
5. Comparez les passages cités. Tout ce qui se trouve entre guillemets doit être octet pour octet identique à la source.

La version complète de ceci, avec la configuration de versioning de fichiers qui la rend reproductible, se trouve dans comment examiner un document Word humanisé avant soumission.

Le postulat derrière HumanPen est que "what got touched" (ce qui a été touché) doit être une réponse que vous donnez, pas une que vous découvrez dans Word après coup.

Le moteur ne réécrit rien de plus petit qu'un paragraphe. Arrêtez une sélection au milieu d'un paragraphe et c'est le paragraphe entier qui sera réécrit, et vous voyez cette frontière tracée avant toute exécution. Vous pouvez définir la frontière vous-même, ou importer un rapport Turnitin ou iThenticate et laisser ses passages signalés la définir, auquel cas seul le texte signalé est réécrit. Les crédits sont comptés sur les mots effectivement réécrits, ainsi un travail limité à quatre paragraphes est facturé comme quatre paragraphes et non comme une thèse. Les résultats éligibles peuvent continuer à faire baisser l'IA gratuitement.

Notre propre FAQ termine cette section par "Review complex documents after download" (Examinez les documents complexes après téléchargement), et je ne retirerais pas cette ligne. Une réécriture d'un document complexe est quelque chose que l'on vérifie. Ce que le périmètre vous offre, c'est une liste beaucoup plus courte de choses à vérifier.

Un humaniseur modifie-t-il ma liste de références ? Cela dépend entièrement du fait que la liste des références était dans le périmètre. Rien dans une bibliographie n'aide votre chiffre IA, car les notes de version de Turnitin indiquent que les bibliographies sont exclues lors du traitement de l'AI Writing Report, donc il n'y a aucune raison qu'elle soit dans le périmètre en premier lieu. Un examen filmé d'un outil montre pourtant une liste de références réécrite malgré tout.

Mes citations dans le texte correspondront-elles toujours à ma bibliographie après ? Les marqueurs survivent généralement en tant que caractères. Ce qui se brise, c'est le lien entre le marqueur et l'affirmation, lorsque des phrases sont fusionnées ou scindées autour de lui. Vérifiez la phrase, pas la parenthèse.

Les tableaux sont-ils réécrits ? Ils peuvent l'être, et Turnitin analyse bien la prose longue à l'intérieur des tableaux, donc un outil a une raison d'y entrer. Les cellules contenant des nombres, des unités et de courts libellés sont celles à inspecter en premier.

Pourquoi ma table des matières s'est-elle brisée ? Presque toujours parce que le document est passé par une étape texte brut. Une TDM est un champ, pas du texte ; aplatir le document en une chaîne de caractères fait disparaître le champ même si les mots sont toujours sur la page.