Pourquoi la paraphrase fait-elle augmenter votre score IA Turnitin ?

Les outils de paraphrase sont conçus pour réduire votre score de similarité, et ils y parviennent en remplaçant vos mots par d'autres de même sens. Ces mots de remplacement sont généralement des expressions très fréquentes, le genre de langage que les générateurs IA utilisent par défaut. Turnitin lit les modèles de probabilité des mots : quand votre texte réécrit se rapproche de cette distribution, le pourcentage IA augmente. Ce n'est pas un bug. C'est le mécanisme qui fonctionne comme prévu, simplement pas sur la cible que vous visiez.

Le score de similarité et le pourcentage IA sont, selon Turnitin, « completely independent and do not influence each other » (« complètement indépendants et ne s'influencent pas mutuellement »). Ils mesurent des choses différentes, sont calculés par des processus distincts, et rien de ce que vous faites pour l'un n'affecte nécessairement l'autre. Quand ils tirent dans des directions opposées, l'outil de paraphrase que vous avez utilisé pour le premier peut vous faire trébucher sur le second.

Turnitin est clair dans sa FAQ sur la détection : « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (« Le score de similarité et le pourcentage de détection d'écriture IA sont complètement indépendants et ne s'influencent pas mutuellement. ») Le score de similarité indique quelle part de votre texte correspond à d'autres textes dans la base de données. Le pourcentage IA indique quelle part de votre texte ressemble à une production machine. Ce ne sont pas deux lectures d'une même propriété.

Un outil de paraphrase est conçu pour la première cible. Il prend une phrase qui correspond à quelque chose dans la base et la réécrit pour qu'elle ne corresponde plus. Cela réduit votre score de similarité. Mais pour y parvenir, l'outil remplace vos choix de mots originaux par des alternatives tirées des expressions les plus courantes, les plus probables pour chaque sens. Votre formulation d'origine était peut-être singulière. Le remplacement est, par conception, tout le contraire.

Le pourcentage IA, lui, se calcule autrement. Nous avons expliqué ce calcul dans ce que mesurent les détecteurs d'IA : en bref, le détecteur découpe votre texte en segments qui se chevauchent, attribue à chacun un score de probabilité, puis agrège le tout en un chiffre au niveau du document. Les mots choisis par l'outil de paraphrase sont maintenant ceux qui sont évalués. S'ils se regroupent dans la zone haute probabilité, le chiffre monte.

On entend souvent que le détecteur de Turnitin mesure la « perplexité » et la « burstiness ». Ce n'est pas tout à fait exact. La FAQ de Turnitin précise : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (« Notre modèle n'est pas explicitement programmé pour évaluer des signaux spécifiques tels que la « burstiness », la « perplexité » ou d'autres indicateurs individuels parfois évoqués dans les discussions publiques. ») La phrase suivante ajoute : « Instead, it learns statistical patterns from our training data. » (« Il apprend plutôt des modèles statistiques à partir de nos données d'entraînement. »)

Mais cette même page de FAQ, dans une autre section, dit ceci : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (« Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les séquences de probabilité de mots propres aux rédacteurs humains. ») Le modèle ne calcule donc pas un score de perplexité pour l'appeler ainsi. Il lit, selon ses propres termes, la probabilité des mots. La distinction compte car la première citation, isolée, pourrait laisser croire que le détecteur ignore totalement la probabilité des mots. Ce n'est pas le cas. Pourquoi les détecteurs ne s'accordent pas explique comment différents outils arrivent à des chiffres différents pour un même texte, et la modélisation de la probabilité des mots en est au cœur.

Pour la paraphrase, la conclusion est directe. Votre phrase d'origine avait un profil de probabilité de mots façonné par votre vocabulaire, vos habitudes, ce que vous aviez lu juste avant d'écrire. La version paraphrasée a un profil façonné par ce que l'outil a sélectionné — et l'outil pioche au centre de la distribution, pas sur les bords. Le détecteur, entraîné sur la probabilité des mots, voit la phrase réécrite comme plus proche de son modèle de production machine. Pas parce que vous avez utilisé l'IA, mais parce que l'empreinte statistique d'une phrase paraphrasée y ressemble davantage.

C'est là que ça se corse. La FAQ de Turnitin liste les types de texte qui produisent souvent des faux positifs, et la description ressemble à une fiche technique de ce qu'un outil de paraphrase produit :

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Parfois, les faux positifs — c'est-à-dire signaler à tort un texte humain comme généré par l'IA — peuvent concerner un contenu sans grande variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développer de nouvelles idées.)

La phrase qui suit immédiatement est la plus importante : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » Turnitin dit aux enseignants de relativiser les scores IA élevés sur les textes qui correspondent à ce profil.

Un outil de paraphrase, par définition, ne développe pas de nouvelles idées. Il reformule vos idées existantes. Il a aussi tendance à réduire la variation structurelle, car il lisse le style sur l'ensemble du document plutôt que d'introduire de nouvelles formes de phrases. L'outil ne cherche pas à rendre votre texte plus varié. Il cherche à le rendre moins correspondant. Ces deux objectifs ne s'alignent pas, et le second pousse le texte exactement vers le profil que Turnitin dit sujet aux faux positifs.

Nous sommes allés plus loin sur ce qui fait que les textes trop polis déclenchent les détecteurs : le mécanisme est le même. Le lissage est un signal statistique.

Turnitin indique clairement qu'il préfère manquer des textes IA que de signaler à tort des textes humains. La FAQ dit : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. » (« Pour maintenir ce taux faible de 1 % de faux positifs, il est possible que nous manquions certains textes écrits par l'IA dans un document. Nous l'acceptons car nous ne voulons pas signaler incorrectement un texte écrit par un humain comme étant écrit par l'IA. »)

Cette orientation est réelle, et c'est la raison pour laquelle un document entièrement écrit par un humain a une faible probabilité d'être signalé. Mais cela ne protège pas le texte paraphrasé comme on le croit souvent. Le taux de 1 % de faux positifs s'applique aux textes qui ne correspondent pas au profil de faux positif. Les textes qui correspondent à ce profil — celui que Turnitin lui-même décrit dans la citation ci-dessus — ne sont pas ceux sur lesquels ce chiffre de 1 % a été mesuré. Le détecteur est orienté vers la prudence en général, mais les caractéristiques qui déclenchent les signaux sont exactement celles qu'un outil de paraphrase installe.

Si votre texte a été paraphrasé par un outil piloté par l'IA, il existe une autre voie. Turnitin dit qu'il « can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection. » (« peut également identifier les cas où un texte généré par l'IA a pu être modifié par des outils de paraphrase ou de contournement IA (appelés aussi humaniseurs) pour échapper à la détection. ») Ce n'est pas un faux positif. C'est un vrai positif sur un signal différent, et le détecteur possède une capacité nommée pour cela. Paraphrasé avec l'IA et quand même signalé explique ce qui se passe quand l'outil que vous avez utilisé était lui-même un modèle d'IA qui fait la réécriture.

Il y a une différence fondamentale entre un correcteur grammatical qui corrige votre orthographe et un outil génératif qui réécrit vos phrases. Turnitin trace cette ligne explicitement. À propos de Grammarly, la FAQ dit : « Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. » (« D'après les tests que nous avons menés sur des documents écrits par des humains ne contenant aucun contenu généré par l'IA, dans la plupart des cas, les modifications apportées par Grammarly (gratuit et premium) et/ou d'autres outils de correction grammaticale n'ont pas été signalées comme écrites par l'IA par notre détecteur. ») Le qualificatif clé est « in most cases » (« dans la plupart des cas »). L'exemption n'est pas absolue.

Et la FAQ continue : « Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector. » (« Veuillez noter que cela exclut le contenu généré par les fonctionnalités alimentées par l'IA générative de Grammarly, notamment la génération d'ébauches, la paraphrase, le résumé et d'autres fonctionnalités. Le contenu produit à l'aide de ces fonctionnalités sera probablement signalé comme généré par l'IA par notre détecteur. ») Les corrections d'orthographe et de ponctuation sont une catégorie. La paraphrase et la réécriture en sont une autre. C'est dans la seconde que le score IA grimpe.

Turnitin ne publie pas de liste des outils de paraphrase et de contournement sur lesquels il a été entraîné et testé. La FAQ dit : « However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools. » (« Cependant, pour préserver l'intégrité de notre solution et son efficacité dans le maintien de l'honnêteté académique, nous ne sommes pas en mesure de divulguer les noms de ces outils. ») Personne en dehors de Turnitin ne peut donc vous dire quels outils spécifiques sont détectés et lesquels ne le sont pas, et toute affirmation selon laquelle un outil nommé « bat » le détecteur est une affirmation que personne ne peut vérifier face aux tests de Turnitin. Nous ne faisons pas cette affirmation, et nous ne recommandons pas de croire quiconque la fait.

Le pourcentage IA baisse quand le profil de probabilité des mots de votre texte s'éloigne de la distribution que le détecteur associe à une production machine. Cela arrive quand vous introduisez un vocabulaire, des structures de phrases et des idées qu'un générateur n'aurait pas choisis tout seul. Paraphraser sans ajouter de nouvelles idées fait l'inverse. Cela ramène le profil vers le centre.

Si vous avez déjà fait passer votre texte dans un outil de paraphrase et que le score IA a augmenté, la suite n'est pas une nouvelle passe de paraphrase. Une nouvelle passe remplace un ensemble de mots fréquents par un autre ensemble de mots fréquents. Le profil ne bouge pas. Vous devez réécrire les passages signalés avec vos propres choix de mots, vos propres formes de phrases, et idéalement vos propres analyses ou exemples supplémentaires. C'est cela qui déplace la distribution de probabilité que le détecteur lit.

La version pratique, avec le rapport sous les yeux, se trouve dans comment lire un AI Writing Report Turnitin. Le rapport vous montre quels segments sont signalés, et ce sont ces segments où vos choix de mots doivent cesser d'être la moyenne pour devenir les vôtres.

HumanPen est un rééditeur de documents, et le choix de conception pertinent ici concerne ce qui est réécrit et ce qui ne l'est pas. Vous pouvez télécharger le document avec avec son AI Writing Report, et seuls les passages signalés par le rapport sont réécrits. Le reste du document reste tel que vous l'avez écrit.

Pourquoi cela importe dans cet article ? Parce qu'une passe de paraphrase sur l'intégralité du document est le pire scénario pour le mécanisme décrit plus haut. Cela réécrit tout, y compris les passages qui n'étaient pas signalés, et ce faisant, les déplace tous vers le centre haute fréquence. Une réécriture ciblée ne touche que les segments déjà signalés par le détecteur, et ce dans le but de déplacer leur profil de probabilité de mots plutôt que de les lisser davantage.

La facturation ne compte que les mots réellement réécrits. Si un rapport ultérieur signale encore des passages, ceux-ci peuvent être retraités sans frais. Nous ne vous disons pas ce que dira le prochain rapport, car personne ne peut le savoir. Mais le mécanisme est le mécanisme, et une réécriture ciblée fonctionne avec lui plutôt que contre lui.

La paraphrase augmente-t-elle toujours le score IA ? Pas toujours, mais assez souvent pour que le phénomène ait un nom. Turnitin classe le « text that has been paraphrased without developing new ideas » (« texte qui a été paraphrasé sans développer de nouvelles idées ») parmi les profils sujets aux faux positifs. Ce qui détermine ce profil, c'est l'ajout ou non d'une nouvelle analyse, pas les opérations d'édition qui ont produit les phrases. Un texte qui reste dans les mêmes idées conserve un profil de probabilité de mots que le détecteur a été entraîné à associer à une production IA. Que votre score précis augmente dépend de l'aspect de votre texte original et de ce par quoi l'outil l'a remplacé.

J'ai utilisé Grammarly pour corriger l'orthographe. Est-ce que cela augmentera mon score IA ? Turnitin dit que dans la plupart des cas, les modifications apportées par Grammarly et d'autres correcteurs grammaticaux « were not flagged as AI-written by our detector » (« n'ont pas été signalées comme écrites par l'IA par notre détecteur »). Le qualificatif « in most cases » (« dans la plupart des cas ») pèse dans cette phrase. Si vous avez utilisé les fonctionnalités génératives de Grammarly comme la paraphrase, le résumé ou la génération d'ébauches, la FAQ dit que ce contenu « will likely be flagged as AI-generated » (« sera probablement signalé comme généré par l'IA »).

Pourquoi mon score de similarité baisse-t-il mais mon score IA augmente-t-il ? Parce qu'ils mesurent des choses différentes. Turnitin dit que les deux scores sont « completely independent and do not influence each other » (« complètement indépendants et ne s'influencent pas mutuellement »). La paraphrase réduit la similarité en supprimant les textes correspondants. Les mots de remplacement peuvent augmenter le score IA car ils sont souvent des expressions très fréquentes, et le détecteur lit des modèles de probabilité de mots qui se superposent à ceux des textes générés par IA.

Puis-je simplement relancer l'outil de paraphrase pour corriger le score IA ? Le relancer remplace un ensemble de mots courants par un autre ensemble de mots courants. Le profil de probabilité de mots ne bouge pas dans une direction utile. Ce qui déplace le profil, c'est de réécrire les passages signalés avec votre propre vocabulaire, vos propres structures de phrases et vos propres idées supplémentaires.

Turnitin détecte-t-il quel outil de paraphrase j'ai utilisé ? Turnitin dit qu'il a été « trained and tested to detect leading paraphraser and bypasser tools » (« entraîné et testé pour détecter les principaux outils de paraphrase et de contournement ») mais ne divulgue pas lesquels. La FAQ dit que partager une liste « would make it easier for students to evade our system » (« rendrait plus facile pour les étudiants de contourner notre système »). Personne en dehors de Turnitin ne peut vérifier si un outil spécifique figure sur cette liste.