StealthWriter face à Turnitin : ce que dit réellement la documentation

La FAQ de StealthWriter définit le score de son détecteur comme le pourcentage de l'entrée qu'il classe comme naturelle. Turnitin décrit un pourcentage d'écriture IA obtenu par le processus documenté plus bas. Les sources consultées ne donnent aucune règle de conversion entre ces deux libellés : un chiffre issu d'un produit ne peut donc pas être traduit en un chiffre issu de l'autre.

Il n'existe pas de score de détection d'IA universel sur lequel tous les outils convergeraient, et pourquoi un même texte obtient un score différent sur chaque détecteur retrace l'origine de cet écart. Chaque détecteur produit sa propre estimation. Traiter les scores de deux outils comme s'ils mesuraient la même chose, dans la même unité, ne fait que semer la confusion.

Nous ne prétendons pas dire quel outil est le plus précis. Aucun test de précision ou de concordance entre éditeurs n'a été reproduit pour cet article. Chaque résultat doit être lu à l'aune de la définition posée par son propre éditeur.

Turnitin documente un processus précis pour aboutir à son score d'écriture IA :

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Lorsqu'un devoir est soumis à Turnitin, les phrases du texte sont extraites puis découpées en sections qui se chevauchent, en vue de l'analyse de prédiction. Chaque section est classée par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par une IA. Chaque phrase admissible à l'intérieur de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un seul. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score d'écriture IA de l'ensemble du document.)

Le procédé consiste à extraire les phrases, à les découper en unités qui se chevauchent, à noter chaque section, à regrouper les scores des phrases, puis à les agréger en un pourcentage à l'échelle du document. Les pages publiques de StealthWriter consultées pour cet article ne documentent aucune chaîne équivalente de découpage et d'agrégation. Les sources actuelles ne permettent donc pas d'affirmer que StealthWriter emploie la même méthode ni une méthode différente.

La documentation de Turnitin précise aussi que le pourcentage de détection d'écriture IA et le score de similarité sont deux choses distinctes. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Le score de similarité et le pourcentage de détection d'écriture IA sont entièrement indépendants et n'ont aucune influence l'un sur l'autre.) Le score de similarité indique la part de texte correspondant à une autre source trouvée dans le document soumis, lorsqu'on le compare au vaste fonds de contenus que Turnitin utilise pour la vérification de similarité. Un document peut présenter une forte similarité et un faible niveau d'IA, ou l'inverse. Rapport d'écriture IA Turnitin et rapport de similarité : les différences maintient la séparation entre les deux. Les deux chiffres ne s'influencent pas.

Turnitin publie un objectif précis en matière de faux positifs :

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Nous nous efforçons de maximiser l'efficacité de notre détecteur tout en maintenant notre taux de faux positifs — c'est-à-dire le fait d'identifier à tort comme généré par une IA un texte entièrement écrit par un humain — sous la barre de 1 % pour les documents comportant plus de 20 % d'écriture IA.)

La documentation le reformule ainsi : "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Autrement dit, nous pourrions signaler comme écrit par une IA un document entièrement humain sur cent.) Cette reformulation abandonne la condition « plus de 20 % d'écriture IA ». La version qui comporte le seuil de 20 % est la plus précise. Ce que ce seuil implique, et ce qu'il n'implique pas, pour votre propre score est détaillé dans 20 % d'IA, est-ce trop ?.

Pour valider cet objectif, Turnitin décrit son dispositif de test : "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Afin de consolider notre dispositif de test et de diagnostiquer les tendances statistiques des faux positifs, nous effectuons, avant chaque mise à jour ou chaque nouvelle version de modèle, des tests sur plus de 700 000 articles universitaires supplémentaires rédigés avant la sortie de ChatGPT, afin de confirmer encore notre taux de faux positifs inférieur à 1 %.)

Voilà ce que Turnitin dit de son propre système. StealthWriter peut viser d'autres objectifs de précision, suivre d'autres procédures de validation, ou ne pas publier de chiffres comparables. Nous ne pouvons pas établir de comparaison directe de précision. Nous pouvons seulement rapporter ce qu'affirme la documentation de Turnitin.

La longueur du document influe sur la façon dont le détecteur de Turnitin traite le texte. Sur les documents courts, le mécanisme de notation se comporte autrement. La documentation indique :

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Dans les documents plus courts, qui ne comptent que quelques centaines de mots, la prédiction sera le plus souvent « tout ou rien », parce que nous effectuons la prédiction sur une seule section, sans possibilité de chevauchement.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Cela signifie qu'un texte mêlant des passages générés par une IA et du contenu original pourrait être signalé comme entièrement généré par une IA.)

Le mécanisme de chevauchement qui lisse les scores dans les documents longs n'entre pas en jeu lorsque le texte ne forme qu'une seule section. Quelques centaines de mots mêlant texte humain et texte d'IA peuvent donc renvoyer un score de 100 %, l'une des voies décrites dans pourquoi Turnitin dit que votre travail est 100 % IA. C'est un comportement structurel, lié à la brièveté de l'entrée.

Ce comportement sur les entrées courtes est documenté pour Turnitin. Les pages de StealthWriter consultées ne décrivent aucun processus équivalent pour les entrées courtes : cet article n'attribue donc à StealthWriter ni le même mécanisme ni un mécanisme différent.

Turnitin masque les scores chiffrés inférieurs à 20 %. La documentation indique :

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Afin d'éviter la survenue éventuelle de faux positifs, aucun score ni surlignage n'est attribué aux scores de détection d'IA compris entre 1 % et 19 %. Lorsque de l'IA est détectée sous le seuil de 20 % dans le rapport, cela est désormais indiqué par un astérisque (*%) et aucun pourcentage n'est attribué.)

Un document que le modèle de Turnitin estime à 8 % d'IA affichera un astérisque dans le rapport, et non le chiffre 8 %. Aucun surlignage n'est appliqué au texte. La logique est de ne pas faire remonter d'éventuels faux positifs dans une zone de faible confiance, sujet qu'approfondit ce que signifie l'astérisque (*%) sur un score IA Turnitin.

La règle de l'astérisque appartient à Turnitin. Les pages de StealthWriter consultées définissent leur propre score, mais ne documentent pas la façon dont ce même cas de valeur faible serait affiché. N'en déduisez ni une conversion ni une différence d'affichage sans un test distinct et documenté.

Si vous comparez les résultats de StealthWriter et de Turnitin sur un même document, voici le résumé :

• Des définitions différentes, et aucune règle de conversion. StealthWriter définit un pourcentage de naturel, tandis que Turnitin documente un score d'écriture IA. Les sources consultées n'établissent aucune correspondance entre les deux.
• Turnitin note en découpant puis en agrégeant. Les phrases sont extraites, découpées en unités qui se chevauchent, notées, regroupées puis agrégées. Le score d'IA et le score de similarité sont entièrement indépendants.
• Turnitin vise moins de 1 % de faux positifs sur les documents comportant plus de 20 % d'écriture IA, chiffre validé sur plus de 700 000 articles universitaires supplémentaires rédigés avant ChatGPT.
• Les documents courts obtiennent des scores de tout ou rien. Quelques centaines de mots peuvent revenir à 0 % ou à 100 %, même sur un texte mêlé.
• Les scores inférieurs à 20 % s'affichent sous forme d'astérisque. Aucun pourcentage chiffré ni surlignage n'apparaît dans la plage de 1 % à 19 %.

Les passages qui remplissent les conditions peuvent être relancés gratuitement.