Undetectable AI face à Turnitin : ce que dit vraiment la documentation

Le détecteur d’Undetectable AI et la détection d’écriture IA de Turnitin sont conçus par des équipes différentes, à partir de modèles sous-jacents différents. Chacun a été entraîné sur ses propres données et classe les textes selon sa propre méthode. Quand deux détecteurs s’appuient sur des modèles différents, ils produisent des scores différents sur un même texte. Un passage qu’Undetectable AI signale à 70 % d’IA peut recevoir 25 % chez Turnitin, ou l’inverse. Aucun des deux résultats n’est nécessairement faux : ce sont des estimations de probabilité émises par des modèles différents, entraînés sur des jeux de données différents.

Il n’existe pas de score de détection d’IA universel vers lequel tous les outils convergeraient — un point développé dans pourquoi un même texte obtient un score différent sur chaque détecteur. Chaque détecteur produit sa propre estimation. Prendre les scores d’outils différents comme s’ils mesuraient la même chose, dans les mêmes unités, ne peut mener qu’à la confusion.

Nous ne prétendons pas dire quel outil est le plus fiable. Nous décrivons ce que la documentation de Turnitin affirme de son propre système, et pourquoi ce système produit des scores qui ne correspondront pas à ceux d’Undetectable AI.

Turnitin décrit une procédure précise pour aboutir à son score d’écriture IA :

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu’un devoir est soumis à Turnitin, les phrases de la soumission sont extraites puis découpées en sections se chevauchant, en vue de l’analyse de prédiction. Chaque section est classée par le modèle de détection d’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par IA. Chaque phrase retenue au sein de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un score unique. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score d’écriture IA global du document.)

Le procédé consiste à extraire les phrases, à les découper en unités chevauchantes, à noter chaque section, à regrouper les scores des phrases, puis à agréger le tout en un pourcentage à l’échelle du document. D’autres détecteurs, dont Undetectable AI, peuvent découper le texte autrement, retenir d’autres unités de prédiction ou d’autres méthodes d’agrégation. Les deux outils ne produiront donc pas les mêmes chiffres sur un même texte.

La documentation de Turnitin précise aussi que le pourcentage de détection d’écriture IA et le score de similarité sont deux choses distinctes. « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection d’écriture IA sont entièrement indépendants et n’ont aucune influence l’un sur l’autre.) Le score de similarité indique la part de texte identique relevée dans le document soumis, par comparaison avec l’ensemble des contenus que Turnitin utilise pour la vérification de similarité. Un document peut présenter une forte similarité et un faible score IA, ou l’inverse. Rapport d’écriture IA Turnitin et rapport de similarité détaille ce que chacun de ces chiffres mesure. Les deux chiffres n’ont aucune influence l’un sur l’autre.

Turnitin affiche un objectif précis en matière de faux positifs :

« We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing. » (Nous nous efforçons de maximiser l’efficacité de notre détecteur tout en maintenant notre taux de faux positifs — c’est-à-dire le fait d’identifier à tort comme généré par IA un texte entièrement rédigé par un humain — sous 1 % pour les documents contenant plus de 20 % d’écriture IA.)

La documentation le reformule ainsi : « In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents. » (Autrement dit, il peut nous arriver de signaler comme écrit par IA un document rédigé par un humain, à raison d’un document entièrement humain sur 100.) Cette reformulation laisse de côté la précision « plus de 20 % d’écriture IA ». La version qui fixe le seuil à 20 % est plus précise.

« To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate. » (Afin de renforcer notre dispositif de test et d’analyser les tendances statistiques des faux positifs, avant chaque mise à jour ou sortie d’un nouveau modèle, nous effectuons des tests sur plus de 700 000 articles universitaires supplémentaires, rédigés avant la sortie de ChatGPT, afin de confirmer que notre taux de faux positifs reste inférieur à 1 %.)

Voilà ce que Turnitin dit de son propre système. Pour mesurer ce que représente ce un pour cent sur une année de soumissions, voyez ce que signifie un taux de faux positifs de 1 %. Undetectable AI peut viser d’autres seuils de précision, suivre d’autres procédures de validation, ou ne pas publier de chiffres comparables. Nous ne pouvons pas comparer directement la précision des deux outils. Nous pouvons seulement rapporter ce qu’énonce la documentation de Turnitin.

La longueur du document influe sur la façon dont le détecteur de Turnitin traite le texte. Sur les documents courts, le mécanisme de notation se comporte autrement. La documentation indique :

« In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. » (Dans les documents courts, qui ne comptent que quelques centaines de mots, la prédiction sera le plus souvent « tout ou rien », car nous travaillons sur un seul segment, sans possibilité de chevauchement.)

« This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. » (Cela signifie qu’un texte mêlant passages générés par IA et contenu original peut être signalé comme entièrement généré par IA.)

Le mécanisme de chevauchement qui lisse les scores dans les documents longs n’entre pas en jeu lorsque le texte ne forme qu’un seul segment. Quelques centaines de mots mêlant texte humain et texte IA peuvent donc renvoyer un score de 100 %, l’un des mécanismes qui expliquent pourquoi Turnitin affiche 100 % d’IA sur votre travail. C’est un comportement structurel sur les entrées courtes.

Si Undetectable AI attribue un score différent au même document court, c’est en partie parce que les deux outils ne traitent pas les textes courts de la même manière.

Turnitin masque les scores chiffrés inférieurs à 20 %. La documentation indique :

« To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed. » (Afin d’éviter d’éventuels faux positifs, aucun score ni surlignage n’est attribué pour les scores de détection d’IA compris entre 1 % et 19 %. Lorsque de l’IA est détectée sous le seuil de 20 % dans le rapport, cela est désormais indiqué par un astérisque (*%) et aucun pourcentage n’est attribué.)

Un document que le modèle de Turnitin estime à 8 % d’IA affichera un astérisque dans le rapport, et non le chiffre « 8 % ». Aucun surlignage n’est appliqué au texte. L’idée est d’éviter de mettre en avant de potentiels faux positifs dans une zone de faible confiance — un point détaillé dans ce que signifie l’astérisque (*%) sur un score IA Turnitin.

Undetectable AI peut afficher les scores de cette zone sous forme d’un pourcentage complet. D’autres outils peuvent surligner le texte dès que le score n’est pas nul. Turnitin, lui, supprime délibérément le chiffre comme les surlignages sous 20 %. Cette convention d’affichage explique que les deux outils produisent des résultats très différents pour un même document à faible score IA.

Si vous comparez les résultats d’Undetectable AI et de Turnitin sur un même document, voici l’essentiel :

• Des modèles distincts, des scores distincts. Undetectable AI et Turnitin utilisent des modèles de détection différents. Rien ne dit que leurs scores doivent concorder.
• Turnitin note par découpage et agrégation. Les phrases sont extraites, découpées en unités chevauchantes, notées, regroupées, puis agrégées. Le score IA et le score de similarité sont totalement indépendants.
• Turnitin vise moins de 1 % de faux positifs pour les documents contenant plus de 20 % d’écriture IA, un objectif validé sur plus de 700 000 articles universitaires supplémentaires rédigés avant ChatGPT.
• Les documents courts donnent des scores du tout ou rien. Quelques centaines de mots peuvent renvoyer 0 % ou 100 %, même pour un texte mixte.
• Sous 20 %, le score s’affiche sous forme d’astérisque. Aucun pourcentage chiffré ni surlignage n’apparaît dans la plage 1-19 %.

Les passages éligibles peuvent être relancés gratuitement.