Le mythe de perplexity et burstiness : ce que Turnitin utilise vraiment

Si vous cherchez « comment Turnitin détecte l’écriture par IA », vous trouverez des dizaines d’articles qui répètent la même affirmation : Turnitin utilise perplexity et burstiness pour détecter les textes générés par IA. Cette affirmation apparaît sur des sites comme aihumaniser.pro, blog.aibusted.com et humanizethisai.com, ainsi que dans plusieurs articles chinois sur sohu.com. Ils y définissent les deux mesures, les attribuent à Turnitin et donnent des conseils pour « baisser votre score de perplexity » afin de passer la détection.

Le problème, c’est que cette affirmation est fausse. La propre documentation de Turnitin dit l’inverse. Nous avons lu la FAQ officielle, et elle contredit directement le récit perplexity-burstiness autour duquel les sites concurrents ont bâti leurs conseils. Le mythe s’est tellement répandu que de nombreux étudiants et rédacteurs croient aujourd’hui devoir optimiser une mesure que Turnitin ne calcule pas.

Cela compte, car une stratégie bâtie sur une prémisse fausse mène à de mauvaises décisions. Si vous croyez que Turnitin calcule un score de perplexity, vous risquez de chercher à introduire des mots imprévisibles pour agir sur une mesure qui n’existe pas. Le mécanisme réel est différent.

La FAQ officielle de Turnitin aborde directement la question de perplexity et de burstiness. La documentation indique : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (Notre modèle n’est pas explicitement programmé pour évaluer des signaux précis tels que 'burstiness', 'perplexity' ou d’autres mesures individuelles parfois évoquées dans les débats publics.) La phrase suivante poursuit : « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des régularités statistiques à partir de nos données d’entraînement.)

C’est un démenti sans ambiguïté. Turnitin n’effectue aucun calcul de perplexity sur votre texte. Le modèle ne regarde pas un score de burstiness pour vérifier si la longueur de vos phrases varie assez. Le système ne fonctionne pas en calculant un petit ensemble de mesures nommées pour les introduire ensuite dans une formule.

La documentation va plus loin et explique pourquoi. Turnitin indique : « As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms. » (Par conséquent, ses sorties sont produites par de nombreuses régularités apprises qui agissent ensemble, et non par un petit ensemble de règles transparentes et lisibles par un humain. C’est pourquoi certaines prédictions individuelles ne peuvent pas toujours s’expliquer simplement caractéristique par caractéristique.) Le processus de décision du modèle ne se réduit pas à une liste de mesures. Le classifieur a appris des régularités à partir des données d’entraînement, et ces régularités agissent ensemble d’une manière qui ne s’explique pas comme des caractéristiques isolées.

Il y a un risque à surinterpréter la déclaration officielle. Si Turnitin dit qu’il n’utilise pas la perplexity, et que la perplexity mesure la probabilité des mots, cela signifie-t-il que Turnitin ignore totalement la probabilité des mots ? Non. La même page de FAQ apporte le contre-poids décisif : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les séquences de probabilité propres aux rédacteurs humains.)

Cette phrase empêche une lecture simpliste. Turnitin nie avoir explicitement programmé burstiness et perplexity comme mesures nommées. Il ne nie pas que la probabilité des mots soit au cœur de ce que fait le classifieur. La même documentation confirme que la probabilité des mots est précisément ce sur quoi le classifieur est entraîné. La distinction est celle-ci : calculer une mesure nommée appelée « perplexity », ou apprendre des régularités de probabilité des mots à partir des données d’entraînement.

La perplexity est une mesure de la probabilité des mots. Une perplexity faible signifie que les mots sont prévisibles compte tenu du contexte. Une perplexity élevée signifie qu’ils le sont moins. Le classifieur de Turnitin apprend des régularités de probabilité des mots : ce que mesure la perplexity est donc bien pertinent pour ce que fait le modèle. Ce que Turnitin nie, c’est le calcul explicite d’un score de perplexity unique comme caractéristique nommée. Le modèle fondé sur les transformeurs apprend des régularités statistiques complexes à partir des données d’entraînement, et ces régularités contiennent une information sur la probabilité des mots sans se réduire à une seule mesure nommée.

GPTZero, en revanche, déclare publiquement utiliser perplexity et burstiness comme mesures nommées. C’est une différence réelle entre les deux détecteurs. Les confondre mène à de mauvais conseils. Ce qui marche pour GPTZero ne s’applique pas nécessairement à Turnitin, car les deux outils ont des approches différentes.

Si Turnitin ne calcule ni perplexity ni burstiness, que fait-il réellement ? La documentation décrit un traitement très différent de l’approche par mesures que décrivent les articles concurrents. Turnitin indique : « When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu’un devoir est soumis à Turnitin, les phrases de la soumission sont extraites et découpées en sections chevauchantes pour l’analyse de prédiction. Chaque section est classée par le modèle de détection d’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit humain ou généré par IA. Chaque phrase éligible dans ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un score unique. Ces scores par phrase sont à leur tour agrégés et servent à calculer le score global d’écriture par IA du document.)

Votre devoir n’est pas évalué comme un bloc unique. Les phrases sont extraites puis découpées en sections chevauchantes. Chaque section reçoit un score compris entre 0 et 1. Comme les sections se chevauchent, une même phrase peut apparaître dans plusieurs sections et hériter de plusieurs scores. Ces scores sont regroupés, puis agrégés en un pourcentage final à l’échelle du document.

Ce mécanisme est fondamentalement différent du calcul d’un score de perplexity et d’un score de burstiness que l’on combinerait. Le classifieur évalue le texte au niveau de la section et apprend des régularités statistiques qui distinguent l’écriture humaine de l’écriture générée par IA. Ces régularités contiennent une information sur la probabilité des mots, apprise à partir des données d’entraînement plutôt que programmée comme mesures nommées.

Comprendre le mécanisme réel change les conseils à suivre. Si vous croyez que Turnitin calcule la perplexity, vous risquez d’introduire des mots imprévisibles. Si vous croyez qu’il calcule la burstiness, vous risquez de faire varier la longueur de vos phrases. Aucune de ces deux stratégies ne vise la bonne cible.

Le classifieur de Turnitin apprend des régularités statistiques à partir des données d’entraînement. Il ne calcule pas de score de perplexity pour votre texte. Les régularités apprises sont complexes et ne s’expliquent pas toujours simplement caractéristique par caractéristique, comme le dit la documentation. Il n’existe pas de formule simple pour « battre » le détecteur en optimisant une seule mesure.

Ce que vous pouvez faire, c’est écrire d’une manière qui reflète une réelle paternité humaine. L’écriture humaine comporte des choix de mots et des tournures qui s’écartent des régularités statistiques produites par les modèles d’IA. Le classifieur est entraîné à reconnaître les séquences de probabilité des mots caractéristiques des rédacteurs humains. Un texte écrit avec votre propre voix, avec sa variation naturelle, correspond exactement à ce que le classifieur est conçu pour reconnaître comme humain.

Le mythe de perplexity et burstiness fait dépenser de l’énergie au mauvais endroit. Les rédacteurs passent du temps à optimiser des mesures que Turnitin ne calcule pas. La distinction entre GPTZero (qui utilise réellement perplexity et burstiness) et Turnitin (qui ne les utilise pas) signifie qu’un conseil calibré pour l’un des deux outils peut n’avoir aucun rapport avec l’autre.

Les passages éligibles peuvent être relancés gratuitement. Essayez l’outil HumanPen ici.