Perplexité et burstiness expliquées : quels détecteurs d’IA les utilisent

La perplexité mesure la prévisibilité des mots. Lorsqu’un modèle de langage lit une phrase, il attribue à chaque mot une probabilité qui dépend des mots qui le précèdent. Si le mot suivant est hautement prévisible, la perplexité de ce mot est faible. S’il est inattendu, la perplexité est élevée. La perplexité d’un texte entier correspond essentiellement à la moyenne du degré de prévisibilité des choix de mots sur l’ensemble du texte.

Voici une façon de le comprendre. Si vous écrivez « L’expérience a montré un important », le mot suivant a de fortes chances d’être « résultat », « écart » ou « effet ». Ce sont des mots à forte probabilité. Si le mot suivant est « ananas », c’est un mot de faible probabilité, et la perplexité à cet endroit grimperait en flèche. Un texte qui choisit systématiquement le mot le plus attendu a une perplexité globale faible. Un texte qui fait des choix inattendus a une perplexité plus élevée.

Les textes générés par IA ont tendance à avoir une perplexité faible, parce que les modèles de langage sont conçus pour choisir le mot suivant le plus probable. Ils optimisent la probabilité contextuelle, ce qui fait que leurs choix de mots suivent des schémas prévisibles. L’écriture humaine, à l’inverse, contient souvent des choix de mots moins prévisibles, des verbes inhabituels, des termes spécialisés ou des tournures qu’un modèle de langage n’aurait pas retenues. Cette différence est réelle et mesurable. La question est de savoir si tous les détecteurs d’IA utilisent la perplexité dans leur algorithme, et la réponse est non.

La burstiness mesure la variation de la structure des phrases. Si toutes les phrases d’un paragraphe ont à peu près la même longueur, la même structure grammaticale et le même rythme, la burstiness est faible. Si les phrases varient fortement — certaines courtes et percutantes, d’autres longues et complexes, avec des subordonnées —, la burstiness est élevée.

L’écriture humaine a tendance à avoir une burstiness plus élevée que le texte généré par IA. Nous écrivons par à-coups. Nous mélangeons une phrase déclarative courte avec une plus longue qui contient une incidente. Nous rompons le schéma lorsque nous voulons appuyer un point. Les modèles d’IA produisent des structures de phrase plus uniformes, parce qu’ils optimisent la cohérence statistique. Le résultat est un texte qui se lit bien, mais avec moins de variation structurelle.

La burstiness s’est imposée comme mesure de détection parce qu’elle capte quelque chose de réel dans la façon dont l’écriture humaine et l’écriture par IA diffèrent. Les humains sont irréguliers ; les modèles d’IA sont constants. Un détecteur qui mesure la burstiness regarde si la structure de vos phrases varie assez pour paraître humaine. Comme la perplexité, la burstiness est un concept utile. Et comme la perplexité, ce n’est pas une mesure que tous les détecteurs calculent.

GPTZero est l’exemple le plus connu de détecteur qui utilise publiquement la perplexité et la burstiness comme mesures nommées. Sa documentation décrit la perplexité comme une mesure du caractère imprévisible d’un texte, et la burstiness comme une mesure de la variation au niveau de la phrase. L’algorithme de GPTZero calcule ces deux mesures et les utilise dans sa décision de classification. Si vous cherchez à comprendre le comportement de GPTZero — ou à l’anticiper —, la perplexité et la burstiness sont directement pertinentes.

Turnitin adopte une autre approche. Sa FAQ officielle indique : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (Notre modèle n’est pas explicitement programmé pour évaluer des signaux particuliers tels que 'burstiness', 'perplexity' ou d’autres mesures individuelles parfois évoquées dans les débats publics.) La phrase suivante précise : « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des schémas statistiques à partir de nos données d’entraînement.) C’est une négation directe et explicite du fait que Turnitin calcule ces deux mesures.

Cette distinction compte, parce que les deux outils classent parfois le même texte différemment. Un texte conçu pour avoir une burstiness et une perplexité élevées peut obtenir un score différent sur GPTZero (où ces mesures font directement partie de l’algorithme) et sur Turnitin (où le classifieur a appris des schémas à partir des données d’entraînement sans calculer aucune des deux). Les conseils qui disent « augmentez votre burstiness » ou « baissez votre perplexité » sont calibrés pour un type précis de détecteur. Ils peuvent vous aider avec Turnitin, ou non.

Si Turnitin ne calcule ni la perplexité ni la burstiness, qu’utilise-t-il ? La documentation décrit un classifieur qui apprend des schémas statistiques à partir des données d’entraînement, puis les applique à des segments de votre texte.

Turnitin indique : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data. » (Notre modèle n’est pas explicitement programmé pour évaluer des signaux particuliers tels que 'burstiness', 'perplexity' ou d’autres mesures individuelles parfois évoquées dans les débats publics. Il apprend plutôt des schémas statistiques à partir de nos données d’entraînement.) Le classifieur n’applique ni formule de perplexité ni formule de burstiness. Il applique des schémas intériorisés pendant l’entraînement, des schémas qui portent sur la probabilité des mots mais ne se réduisent pas à un seul score nommé.

La même page de FAQ confirme sur quoi le classifieur se concentre : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les séquences de probabilité de mots propres aux rédacteurs humains.) La probabilité des mots est au cœur de ce que le classifieur de Turnitin a appris, mais le modèle la traite à travers des schémas appris, et non par un calcul explicite de perplexité.

Le mécanisme fonctionne par segments. Turnitin le décrit ainsi : « When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. » (Lorsqu’un devoir est soumis à Turnitin, les phrases du dépôt sont extraites et segmentées en sections chevauchantes pour l’analyse de prédiction. Chaque segment est classé par le modèle de détection d’IA et reçoit une valeur comprise entre 0 et 1, indiquant la probabilité que le texte soit plutôt humain ou généré par IA.) Les segments se chevauchent, les phrases héritent des scores, plusieurs scores sont regroupés, et l’agrégation finale produit le pourcentage au niveau du document. Cette chaîne de traitement ne comporte aucune étape où la perplexité ou la burstiness serait calculée.

Turnitin précise également : « As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms. » (Par conséquent, ses résultats sont produits par de nombreux schémas appris travaillant ensemble, et non par un petit ensemble de règles transparentes et lisibles par un humain. C’est pourquoi les prédictions individuelles ne sont pas toujours explicables simplement, caractéristique par caractéristique.) Le processus de décision du modèle n’est pas quelque chose que l’on peut reconstituer en suivant une poignée de mesures.

La conclusion pratique est simple. Si vous lisez un conseil disant « baissez votre perplexité pour battre Turnitin », ce conseil repose sur une mauvaise compréhension de l’outil. Turnitin ne calcule pas la perplexité. Les astuces sur la burstiness et la perplexité peuvent être pertinentes pour GPTZero, mais elles ne correspondent pas au mécanisme de Turnitin.

Le fond du problème, c’est que le classifieur de Turnitin n’utilise pas ces concepts comme mesures nommées. Il a appris des schémas statistiques à partir des données d’entraînement — des schémas qui contiennent une information sur la probabilité des mots — et les applique à votre texte. Vous ne pouvez pas optimiser une mesure que le classifieur ne calcule pas. Ce que vous pouvez faire, c’est écrire d’une manière qui reflète une réelle paternité humaine, avec une variation naturelle du choix des mots et de la structure, différente des schémas produits par les modèles d’IA.

Nous proposons des relances gratuites pour que vous puissiez tester votre texte et voir où vous en êtes. Essayez ici.