Ce que vérifie la détection d’IA de Turnitin : comment le score est construit

La détection d’écriture par IA de Turnitin est une analyse distincte de la vérification de similarité (plagiat). Le score de similarité cherche les textes qui correspondent à des sources existantes. Le score d’écriture par IA cherche des régularités statistiques dans le choix des mots qui ressemblent à un texte généré par machine. La FAQ de Turnitin indique que les deux sont « completely independent and do not influence each other. » (totalement indépendants et sans influence l’un sur l’autre). Le détecteur d’IA découpe votre dépôt en segments de texte qui se chevauchent, classe chaque segment selon la probabilité qu’il ait été écrit par un humain ou par une IA, puis agrège ces scores en un pourcentage à l’échelle du document. Seules les phrases de prose sont analysées : les listes, les puces et les autres structures qui ne forment pas des phrases sont exclues. Enfin, seuls les enseignants et les administrateurs voient le score d’IA, à moins que l’enseignant ne choisisse de partager le rapport PDF.

La FAQ de Turnitin décrit le processus ainsi :

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Lorsqu’un devoir est déposé sur Turnitin, les phrases du dépôt sont extraites et segmentées en sections qui se chevauchent pour l’analyse de prédiction. Chaque section est classée par le modèle de détection d’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par IA. Chaque phrase retenue dans ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent avoir plusieurs scores, qui sont ensuite regroupés en un seul. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score global d’écriture par IA du document.)

Lisez-le comme une chaîne de traitement. Votre texte entre, il est découpé en morceaux qui se chevauchent, chaque morceau reçoit un score de probabilité, les phrases héritent du score de leurs segments, les scores en chevauchement sont regroupés en un seul, puis ces scores sont agrégés en un unique chiffre. Le modèle ne lit pas votre argumentation et ne vérifie pas si vos idées sont originales : il lit des caractéristiques statistiques de vos suites de mots.

Deux déclarations issues de la même FAQ précisent ce que le modèle mesure et ce qu’il ne mesure pas. Premièrement : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (Notre modèle n’est pas explicitement programmé pour évaluer des signaux particuliers tels que la « burstiness », la « perplexity » ou d’autres mesures individuelles parfois évoquées dans les débats publics.) La phrase suivante dit : « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des régularités statistiques à partir de nos données d’entraînement.) Deuxièmement : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (Nos classificateurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les suites de probabilités de mots propres aux rédacteurs humains.)

La première déclaration dit que le modèle ne calcule pas deux mesures citées nommément. La deuxième dit qu’il est entraîné sur la probabilité des mots. Les deux sont cohérentes : le modèle ne calcule pas un chiffre appelé perplexity pour le comparer à un seuil, mais il apprend bien à partir de données de probabilité des mots. La distinction compte, car une bonne part des conseils pour échapper à la détection de l’IA part du principe qu’il suffit de déplacer une mesure nommée. Si le modèle ne calcule pas cette mesure, l’ajuster n’est pas le levier que l’on croit. Ce que mesurent les détecteurs d’IA au-delà de la perplexity et de la burstiness va plus loin.

Seules les phrases de prose comptent. La FAQ l’indique ainsi :

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Ce texte retenu ne comprend que des phrases de prose, c’est-à-dire que nous n’analysons que des blocs de texte rédigés en phrases grammaticales standard et que nous n’incluons pas d’autres types d’écriture comme les listes, les puces (structures courtes qui ne sont pas des phrases) ou d’autres structures qui ne sont pas des phrases.)

La phrase suivante : « This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n’est pas nécessairement celui de l’ensemble du dépôt.)

Cela signifie que si votre document contient beaucoup de listes, de puces ou d’autres contenus non rédigés en prose, le pourcentage d’IA ne s’applique qu’à la partie en prose, pas au document entier. Le pourcentage que vous voyez peut donc porter sur une part de votre texte plus réduite que vous ne le pensez.

Les scores compris entre 1 % et 19 % ne sont pas affichés sous forme de chiffres. La FAQ l’explique ainsi :

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Afin d’éviter l’apparition éventuelle de faux positifs, aucun score ni surlignage n’est attribué aux scores de détection d’IA compris entre 1 % et 19 %. Lorsque de l’IA est détectée en dessous du seuil de 20 % dans le rapport, cela est désormais indiqué par un astérisque (*%) et aucun pourcentage n’est attribué.)

Si votre rapport affiche un astérisque à la place d’un chiffre, le détecteur a trouvé des schémas ressemblant à de l’IA, mais pas assez pour justifier un pourcentage précis. C’est un choix de conception délibéré, destiné à réduire les faux positifs dans la plage basse. La suite se trouve dans Ce que signifie l’astérisque (*%) sur un score d’IA Turnitin.

La FAQ est explicite sur l’accès : « only instructors and administrators are able to see the indicator. » (seuls les enseignants et les administrateurs peuvent voir l’indicateur). Les étudiants ne peuvent pas consulter directement leur propre score d’IA. La FAQ poursuit : « However, with the PDF download feature, instructors can download and share the AI report with students. » (Cependant, grâce à la fonction de téléchargement PDF, les enseignants peuvent télécharger le rapport d’IA et le partager avec les étudiants). Si vous êtes étudiant et que vous voulez connaître votre score, vous devez demander à votre enseignant de partager la version PDF du rapport ; l’étape suivante consiste alors à lire comment lire un rapport d’écriture IA Turnitin.

Pour résumer ce que nous avons vu :

• Le score d’IA et le score de similarité de Turnitin sont deux mesures entièrement indépendantes.
• Le détecteur d’IA découpe le texte en segments qui se chevauchent et classe chacun selon des schémas de probabilité des mots.
• Seules les phrases de prose sont analysées. Les listes, les puces et les structures qui ne forment pas des phrases sont exclues.
• Les scores compris entre 1 % et 19 % n’affichent qu’un astérisque, pas de chiffre, afin de réduire les faux positifs.
• Seuls les enseignants et les administrateurs peuvent voir le score d’IA, mais ils peuvent partager le PDF avec les étudiants.

Si vous avez un rapport d’IA Turnitin et que vous voulez travailler les passages signalés, importez le rapport et traitez-les directement. Les passages qui remplissent les conditions peuvent être relancés gratuitement.