Humaniser un texte IA sans en changer le sens : ce que dit le mécanisme

L'expression « humanize AI text without changing meaning » cache une hypothèse : celle que le détecteur lit le sens. Or sa propre documentation décrit tout autre chose. Quand un document lui est soumis, Turnitin le découpe en segments qui se chevauchent, classe chaque segment selon une probabilité d'origine humaine ou IA, puis agrège ces probabilités en un score global. Le détecteur analyse des motifs statistiques dans le choix des mots, pas ce que les mots veulent dire. « Ne pas changer le sens » et « ne pas changer les motifs que le détecteur lit » sont donc deux contraintes distinctes. Une réécriture peut conserver toutes les idées d'un paragraphe et pourtant modifier suffisamment les statistiques pour faire bouger le score, car ces deux objectifs ne mesurent pas la même chose.

La FAQ de Turnitin décrit le processus ainsi :

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (« Lorsqu'un document est soumis à Turnitin, les phrases sont extraites et découpées en segments qui se chevauchent pour une analyse prédictive. Chaque segment est classé par le modèle de détection d'IA et reçoit une valeur entre 0 et 1, indiquant la probabilité que le texte soit d'origine humaine ou généré par IA. Chaque phrase éligible dans ces segments hérite du score du segment. Comme les segments se chevauchent, certaines phrases peuvent avoir plusieurs scores, qui sont ensuite regroupés en un score unique. Ces scores par phrase sont ensuite agrégés pour calculer le score global d'IA du document. »)

Voyez cela comme un pipeline. Votre texte entre, est découpé en morceaux qui se chevauchent, chaque morceau reçoit une probabilité, les phrases héritent des scores de leurs segments, les scores qui se chevauchent sont regroupés, puis agrégés en un seul nombre. À aucun moment le modèle n'analyse ce dont parle votre paragraphe. Il travaille sur des caractéristiques statistiques des séquences de mots, et ce sont ces caractéristiques qui produisent le score.

Deux passages de la FAQ peuvent sembler contradictoires, mais ne le sont pas. Le premier :

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (« Notre modèle n'est pas explicitement programmé pour évaluer des signaux spécifiques tels que la "burstiness", la "perplexity", ou d'autres métriques individuelles parfois évoquées dans les discussions publiques. »)

La phrase suivante : « Instead, it learns statistical patterns from our training data. » (« Au lieu de cela, il apprend des motifs statistiques à partir de nos données d'entraînement. »)

Le second provient d'une autre question sur la même page : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (« Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et sont compétents pour reconnaître les séquences de probabilité de mots particulières aux rédacteurs humains. »)

La première affirmation dit que le modèle n'est pas conçu pour calculer deux métriques nommées. La seconde dit qu'il est entraîné sur la probabilité des mots. Ces deux propos sont cohérents : le modèle ne calcule pas un nombre appelé « perplexity » pour le comparer à un seuil, mais il apprend bel et bien à partir de motifs de probabilité des mots. La distinction compte, car beaucoup de conseils de réécriture partent du principe qu'il suffit de faire bouger une métrique nommée. Si le modèle ne calcule pas cette métrique, la déplacer n'agit pas comme on le croit. Nous avons approfondi la question dans ce que mesurent les détecteurs d'IA au-delà de la perplexity et de la burstiness.

Si le détecteur lit des motifs de probabilité des mots et non le sens, alors une réécriture qui préserve le sens ne modifie pas automatiquement le score. Les deux objectifs opèrent sur des axes différents.

Prenons un paragraphe qui dit : « The results indicate a significant correlation between variables X and Y. » On pourrait le réécrire : « The findings show a meaningful link between X and Y. » Le sens est identique. Mais le profil de probabilité des mots de la nouvelle phrase diffère de l'original. Que cette différence fasse monter ou descendre le score dépend de si la nouvelle séquence de mots ressemble plus ou moins à ce que le modèle a appris à associer au texte généré par IA, et on ne peut pas le savoir en lisant simplement la phrase.

C'est pourquoi « without changing meaning » est un objectif qui a du sens pour un humain, mais qui ne correspond pas à ce que mesure le détecteur. Le détecteur se moque complètement que votre réécriture préserve l'argument. Il lit autre chose. Les retouches qui changent vraiment les statistiques, c'est la version manuelle du même problème.

La FAQ de Turnitin liste aussi les cas où des faux positifs peuvent survenir :

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (« Parfois, les faux positifs (qui signalent à tort un texte humain comme généré par IA) peuvent inclure du contenu sans beaucoup de variation structurelle, du texte qui se répète littéralement, ou du texte qui a été paraphrasé sans développer de nouvelles idées. »)

La phrase suivante : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (« Si notre indicateur montre une quantité plus élevée d'écriture IA dans un tel texte, nous vous conseillons de prendre cela en considération lorsque vous examinez le pourcentage indiqué. »)

Le troisième élément de cette liste mérite qu'on s'y attarde, et qu'on le lise avec précision : il dit moins que ce qu'on pense. Turnitin décrit l'état dans lequel se trouve le texte fini, de la même manière que les deux premiers éléments décrivent des états : pas beaucoup de variation structurelle, répétition littérale, idées qui n'ont pas avancé. Rien là-dedans ne concerne les opérations d'édition qui ont mis le texte dans cet état. Remplacer un mot par un meilleur est une retouche ordinaire. Tous les outils de réécriture le font, le nôtre inclus, et rien dans la liste ne s'y oppose. Ce que la liste vous indique, c'est qu'un passage peut ressortir d'une réécriture en disant exactement la même chose qu'avant, et que Turnitin considère les textes dans cet état comme sujets aux faux positifs. C'est une affirmation sur le résultat, ce qui signifie que vous pouvez la vérifier vous-même en relisant le paragraphe. Lorsque le sens ne doit vraiment pas bouger, ce que vous pouvez reformuler et ce qui doit rester exact trace la ligne section par section.

Pour résumer :

• Le détecteur lit des motifs de probabilité des mots via un pipeline de segments qui se chevauchent, pas le sens.
• Le modèle ne calcule pas la « burstiness » ou la « perplexity » comme métriques nommées, mais ses classifieurs sont entraînés sur la probabilité des mots.
• Préserver le sens et modifier les statistiques que lit le détecteur sont deux contraintes distinctes, pas une seule.
• Un texte paraphrasé sans développer de nouvelles idées figure dans la liste même de Turnitin des contenus sujets aux faux positifs.
• Le score d'IA et le score de similarité sont indépendants et n'influent pas l'un sur l'autre.

L'implication pratique est qu'une bonne réécriture fait deux choses à la fois : elle garde les idées intactes et modifie le profil de probabilité des mots dans les passages signalés. Si vous avez un rapport Turnitin, importez-le et travaillez sur les passages spécifiques qui ont été signalés. Les passages éligibles peuvent être relancés sans frais.