Probabilité des mots et Turnitin : ce que le classificateur lit vraiment

Chaque mot d'une phrase a une probabilité d'apparaître dans ce contexte précis. Quand vous écrivez « L'expérience a montré un résultat », le mot suivant a plus de chances d'être « significatif » que « ananas ». Les modèles de langage estiment ces probabilités à partir du contexte qui précède, et le classificateur de Turnitin fait de même, quoique d'une autre façon.

La probabilité des mots désigne le degré de prévisibilité de chaque mot compte tenu de ceux qui le précèdent. Les modèles de génération de texte ont tendance à retenir l'option la plus attendue, la plus courante au sens statistique. Les rédacteurs humains, à l'inverse, choisissent souvent des mots moins prévisibles : des verbes inhabituels, des noms propres à leur domaine ou des tournures qui rompent le schéma statistique que suivrait un modèle d'IA.

Turnitin l'affirme directement : ses classificateurs sont « trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (entraînés à repérer ces écarts de probabilité des mots et rompus aux séquences de probabilité propres aux rédacteurs humains). Le classificateur ne compte pas des mots-clés. Il compare la distribution de probabilité de vos choix de mots aux schémas qu'il a appris dans des données d'entraînement contenant à la fois des textes humains et des textes générés par IA.

Cela compte, car deux textes peuvent être irréprochables sur le plan grammatical et différer fortement par la probabilité de leurs mots. Un rédacteur humain peut glisser une métaphore inattendue, employer une tournure familière dans une phrase académique ou répéter un mot là où un modèle d'IA aurait utilisé un synonyme. Chacun de ces choix déplace le profil de probabilité que lit le classificateur.

Qu'un devoir arrive sur Turnitin, le processus commence par la segmentation. Les phrases sont extraites, réparties en sections qui se chevauchent, et chaque section est notée séparément par le modèle de détection d'IA. Chaque segment reçoit une valeur comprise entre 0 et 1, qui représente la probabilité que le texte ait été généré par une IA plutôt qu'écrit par un humain.

Turnitin décrit clairement la chaîne de traitement : « Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. » (Chaque segment est classé par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit humain ou généré par IA.) Les phrases situées dans des segments qui se chevauchent héritent de ces notes, et lorsqu'une phrase apparaît dans plusieurs segments qui se chevauchent, ses notes sont regroupées en une seule valeur. Ces notes au niveau de la phrase s'agrègent ensuite en un score global d'écriture IA pour le document.

Au cœur de cette chaîne se trouve un modèle fondé sur les transformers. La documentation d'architecture de Turnitin indique : « Our current system uses a modern deep learning approach based on the transformer architecture. » (Notre système actuel repose sur une approche moderne d'apprentissage profond fondée sur l'architecture transformer.) Le transformer lit les séquences de probabilité des mots à travers les segments et apprend quelles séquences caractérisent l'écriture humaine et lesquelles caractérisent la génération par IA.

Le point essentiel est que le classificateur n'examine pas un mot isolément. Il lit des suites de choix de mots sur des segments entiers de texte. Un mot inhabituel, à lui seul, ne fera guère bouger votre score ; mais un schéma durable de choix de mots à faible probabilité, de ceux qui viennent naturellement aux rédacteurs humains, sera enregistré comme humain. À l'inverse, un schéma durable de choix très probables et statistiquement prévisibles sera enregistré comme typique de l'IA.

Beaucoup d'articles sur la détection de l'IA citent la « perplexité » comme une mesure centrale. La perplexité est, par définition, une mesure de la probabilité des mots. Elle quantifie à quel point un modèle de langage est surpris par une suite de mots donnée. Une perplexité faible signifie que les mots étaient prévisibles ; une perplexité élevée, qu'ils ne l'étaient pas.

C'est ici qu'entre en jeu une nuance décisive. Turnitin nie explicitement calculer la perplexité comme mesure nommée : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (Notre modèle n'est pas explicitement programmé pour évaluer des signaux particuliers tels que « burstiness », « perplexity » ou d'autres mesures individuelles parfois évoquées dans les discussions publiques.) Et de poursuivre : « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des régularités statistiques à partir de nos données d'entraînement.)

Alors, Turnitin vérifie-t-il la perplexité ou non ? La réponse est plus nuancée qu'un oui ou un non. La perplexité est une mesure de la probabilité des mots, et le classificateur de Turnitin est entraîné sur des régularités de probabilité des mots. Mais il ne calcule pas un unique score de perplexité qu'il introduirait ensuite dans une formule. Le transformer apprend des régularités statistiques complexes à partir des données d'entraînement : des régularités qui incluent la probabilité des mots sans se réduire à une mesure nommée.

Turnitin l'explique : « As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. » (Par conséquent, ses résultats sont produits par de nombreuses régularités apprises agissant ensemble, et non par un petit ensemble de règles transparentes et lisibles par un humain.) Ce qu'il faut en retenir concrètement, c'est que dire « Turnitin vérifie la perplexité » est une simplification excessive. Le classificateur apprend les régularités de probabilité des mots dans leur ensemble, et ces régularités pèsent sur le score de chaque segment sans se réduire à une formule que vous pourriez calculer vous-même.

En juillet 2026, Turnitin a profondément modifié son architecture. Sa documentation le confirme : « In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate. » (En juillet 2026, nous avons mis à jour l'architecture de notre modèle afin de consolider un ensemble de plusieurs modèles en un modèle unique. Cette mise à jour améliore et simplifie le rapport d'écriture IA, tout en maintenant un taux de faux positifs inférieur à 1 %.)

Avant ce changement, le système utilisait plusieurs modèles dont les résultats étaient combinés. Un ensemble de plusieurs modèles peut compliquer la façon dont les scores sont agrégés, et différents modèles peuvent pondérer différemment les régularités de probabilité des mots. Passer à un modèle unique signifie que les régularités de probabilité apprises par le classificateur pendant l'entraînement s'appliquent de façon cohérente à l'ensemble du document.

Le taux de faux positifs reste inférieur à 1 % : sur 100 documents entièrement rédigés par un humain, moins d'un est signalé à tort comme généré par une IA. Pour maintenir ce taux aussi bas, le modèle peut laisser passer du texte réellement généré par une IA, un compromis que nous examinons dans la section suivante.

Comprendre que le classificateur lit des séquences de probabilité de mots conduit à plusieurs constats pratiques.

Premièrement, une écriture très lisse et stéréotypée a tendance à ressembler davantage à de l'IA. Turnitin relève lui-même que les faux positifs concernent souvent « content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (un contenu sans grande variation structurelle, un texte qui se répète littéralement, ou un texte reformulé sans développer d'idées nouvelles). Quand un texte est uniforme dans sa structure et emploie des mots courants et prévisibles, il peut ressembler aux schémas de forte probabilité que le classificateur associe à la génération par IA.

Deuxièmement, une écriture porteuse d'une véritable singularité a tendance à paraître plus humaine. Des choix de mots inhabituels, des structures de phrase variées et des formulations originales créent des séquences de faible probabilité associées à une paternité humaine. Il ne s'agit pas d'introduire des fautes, mais d'exprimer ses idées d'une manière qui reflète une voix personnelle réelle plutôt qu'une moyenne statistique.

Troisièmement, Turnitin reconnaît ouvertement qu'une partie du texte généré par IA passera inaperçue. Ils déclarent : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. » (Afin de maintenir ce faible taux de 1 % de faux positifs, il se peut que nous passions à côté d'une partie du texte rédigé par IA dans un document.) Ils donnent un exemple concret : « If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (Si nous estimons que 50 % d'un document ont probablement été rédigés par un outil d'IA, ce document pourrait contenir jusqu'à 65 % d'écriture IA.) Si votre document est signalé avec un pourcentage moyen, la part réelle de texte IA peut être plus élevée.

Cet écart de calibration a deux conséquences. Pour les étudiants : un faux positif est rare, mais possible, surtout avec une prose académique très lisse ou répétitive. Pour les enseignants : le pourcentage affiché doit être lu comme une estimation prudente plutôt que comme une mesure précise. La recommandation est claire : écrivez avec une variation réelle dans le choix des mots et dans la structure, et gardez à l'esprit que le score traduit une évaluation de probabilité, non un comptage définitif. Essayez l'outil HumanPen ici.