Turnitin détecte-t-il LLaMA ? Ce que dit la liste des modèles

Oui. LLaMA est nommément cité dans la liste de modèles que publie Turnitin. Cette liste indique que le modèle de détection d’écriture IA de Turnitin pour les soumissions en anglais est capable de repérer les contenus issus d’un ensemble de modèles qui comprend LLaMA, mais aussi GPT, Gemini, Claude, Mistral, DeepSeek, Nova, Grok et o1-mini. La liste couvre également « tools based on these LLMs as well, » (les outils basés sur ces LLM également), ce qui signifie que les applications et les services bâtis sur les modèles de langage de LLaMA entrent bien dans le périmètre de détection annoncé.

LLaMA est une famille de modèles open source, et cela complique les choses. Il existe en effet une multitude de variantes affinées et de déclinaisons, construites par différentes organisations à partir des modèles LLaMA de base. La clause « tools based on these LLMs » (les outils basés sur ces LLM) employée par Turnitin vise précisément à couvrir ces cas de figure ; la même subtilité liée aux poids ouverts revient dans Turnitin détecte-t-il les textes IA de Mistral. Que chaque variante affinée soit repérée avec la même fiabilité est une autre question, à laquelle la liste elle-même ne répond pas.

Turnitin ne publie pas de tableau récapitulant, modèle par modèle, des résultats de détection de type réussite ou échec. L’entreprise fournit à la place une liste en ligne, séparée par des virgules, au sein de sa documentation. La phrase d’introduction se lit ainsi : « Currently, Turnitin's AI writing detection model for English submissions can detect content from » (actuellement, le modèle de détection d’écriture IA de Turnitin pour les soumissions en anglais peut détecter les contenus issus de), suivie d’une liste où LLaMA apparaît aux côtés d’autres grands modèles de langage. Claude et Gemini figurent sur cette même ligne, et Turnitin détecte-t-il Claude, Copilot ou Gemini s’intéresse à la moitié à poids fermés. La liste se termine en indiquant que la couverture s’étend « tools based on these LLMs as well. » (aux outils basés sur ces LLM également).

L’expression clé, ici, est « can detect content from. » (peut détecter les contenus issus de). Cette formulation nous apprend que le détecteur est entraîné à reconnaître les textes produits par ces modèles. Elle ne promet en revanche aucune détection parfaite. La phrase qui suit immédiatement la liste est tout aussi importante : « We will continue to expand our detection capabilities to other models in the future. » (nous continuerons à l’avenir d’étendre nos capacités de détection à d’autres modèles).

Dans le cas de LLaMA en particulier, le caractère open source de la famille de modèles implique l’existence de nombreux outils dérivés et de variantes affinées. La clause « tools based on these LLMs » (les outils basés sur ces LLM) est justement conçue pour couvrir ces déclinaisons et les faire entrer dans le périmètre de détection annoncé. La sensibilité de cette couverture peut varier, et nous y revenons dans les sections ci-dessous.

Pour comprendre pourquoi la détection n’est pas un simple oui ou non, il est utile de regarder le mécanisme décrit par Turnitin. Lorsqu’un document est soumis, les phrases en sont extraites puis regroupées en sections qui se chevauchent, en vue d’une analyse prédictive. Chaque section est classée par le modèle de détection IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit d’origine humaine ou généré par une IA. Chaque phrase retenue au sein de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite fusionnés en un score unique. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score global d’écriture IA du document.

Concrètement, le pourcentage final inscrit sur votre rapport est l’agrégation d’une multitude de petites prédictions faites au niveau de la phrase. Il ne s’agit pas d’une analyse unique qui classerait l’ensemble du document comme IA ou humain. Chaque phrase pèse dans le total, et le chevauchement des sections permet de lisser les cas limites.

Le modèle de Turnitin n’est pas figé. D’après la documentation : « As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed. » (à mesure que nous faisons évoluer et développer notre modèle pour mieux détecter les LLM plus récents, il est probable que nos capacités de détection changent elles aussi, ce qui modifiera le pourcentage d’IA.. Toutefois, pour un document déjà soumis, le pourcentage d’IA ne changera que s’il est à nouveau soumis pour être traité.)

Cela a une conséquence très concrète. Si vous soumettez un document aujourd’hui et obtenez un certain pourcentage d’IA, ce même document pourrait recevoir un pourcentage différent s’il était soumis de nouveau quelques semaines ou quelques mois plus tard. Le modèle évolue, et ces mises à jour peuvent faire bouger les scores dans un sens comme dans l’autre. Un passage qui paraît humain aujourd’hui pourrait être jugé généré par IA après une mise à jour, ou l’inverse.

Pour un texte issu de LLaMA, cela signifie que le taux de détection que vous observez aujourd’hui ne correspondra pas forcément à celui que vous observerez plus tard. La liste des modèles confirme que LLaMA entre dans le périmètre, mais la sensibilité de cette détection peut varier au fil des améliorations apportées par Turnitin à son modèle.

Turnitin reconnaît volontiers que son détecteur ne repère pas tout. La documentation indique : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (afin de maintenir ce faible taux de 1 % de faux positifs, il est possible que nous laissions passer du texte rédigé par IA dans un document. Cela ne nous pose pas de problème, car nous ne voulons pas signaler à tort comme écrit par IA un texte écrit par un humain. Par exemple, si nous estimons que 50 % d’un document ont probablement été rédigés par un outil d’IA, ce document pourrait en réalité contenir jusqu’à 65 % d’écriture IA.)

C’est un compromis assumé. Turnitin fait passer avant tout un faible taux de faux positifs, ce qui signifie qu’il accepte qu’une partie du texte IA passe à travers les mailles. Un document qui affiche 50 % d’IA pourrait en réalité en contenir jusqu’à 65 %. Le détecteur pèche par excès de prudence : il préfère laisser passer du texte IA plutôt que de signaler à tort un texte humain.

Pour comprendre pourquoi le détecteur fonctionne ainsi, il faut regarder ce qu’il mesure réellement. Le modèle de Turnitin ne s’appuie pas sur les métriques souvent évoquées dans les débats publics sur la détection de l’IA, ce qui est précisément le sujet de Turnitin utilise-t-il la perplexité et la burstiness pour détecter l’IA. La documentation précise : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data. » (notre modèle n’est pas explicitement programmé pour évaluer des signaux particuliers tels que la « burstiness », la « perplexity » ou d’autres métriques individuelles parfois mentionnées dans les discussions publiques. Il apprend plutôt des régularités statistiques à partir de nos données d’entraînement.) Le modèle applique ensuite ce qu’il a appris pour classer le texte. Comme le formule Turnitin : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les séquences de probabilité de mots propres aux auteurs humains.)

Autrement dit, le détecteur s’intéresse aux schémas de probabilité des mots, et non à des signaux de surface comme la variation de la longueur des phrases ou la rareté du vocabulaire. C’est pourquoi un texte IA fortement remanié ou réécrit échappe parfois à la détection, et c’est aussi pourquoi Turnitin détecte-t-il les « humanizers » d’IA dépend de l’ampleur de la réécriture. Si les séquences de probabilité des mots se décalent suffisamment au fil des modifications, le classifieur peut cesser de reconnaître le texte comme généré par IA. Pour les variantes de LLaMA, cela signifie que le détecteur analyse les régularités statistiques du texte lui-même, et non la variante précise qui l’a produit.

Si votre rapport Turnitin signale des passages comme générés par IA, la démarche la plus efficace consiste à ne traiter que les passages concernés plutôt que de réécrire l’intégralité du document — c’est justement l’approche décrite dans ne réécrire que les paragraphes signalés par un rapport Turnitin. Comme Turnitin attribue un score au niveau de la phrase, vous pouvez repérer les segments précis qui ont déclenché la détection et concentrer votre révision sur eux.

Laissez vos citations, vos tableaux et votre mise en forme intacts. Seuls les passages signalés comme IA demandent votre attention. Si vous révisez le texte et le soumettez à nouveau, gardez à l’esprit que le pourcentage d’IA peut bouger sous l’effet des mises à jour du modèle, et pas seulement à cause de vos modifications.

Les passages éligibles peuvent être relancés gratuitement.