Documents courts et le problème du tout ou rien dans Turnitin

Pour comprendre pourquoi les documents courts donnent des scores d'écriture IA peu fiables, il faut d'abord regarder comment Turnitin traite le texte. La documentation l'explique : "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (Lorsqu'un devoir est soumis à Turnitin, les phrases du dépôt sont extraites et découpées en sections qui se chevauchent pour l'analyse de prédiction. Chaque section est classée par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1...)

Dans cette phrase, le mot « overlapping » (chevauchement) porte l'essentiel du sens. Turnitin n'analyse pas votre document comme un bloc continu. Il découpe le texte en segments qui se chevauchent : une même phrase peut donc apparaître dans plusieurs segments. Chaque segment reçoit son propre score de prédiction entre 0 et 1, et le pourcentage final d'écriture IA découle de la combinaison de ces scores individuels.

C'est ce chevauchement qui permet au modèle de produire un pourcentage nuancé plutôt qu'un résultat binaire oui/non. Quand les segments se chevauchent, le modèle peut comparer la façon dont différentes parties de votre texte sont classées. Un paragraphe encadré par des segments à score faible et des segments à score élevé contribue à une prédiction globale plus mesurée. Sans chevauchement, le modèle perd cette capacité de recoupement et le score devient moins précis.

Quand un document est très court, le texte ne suffit pas à créer plusieurs segments qui se chevauchent. La documentation est directe sur la conséquence : "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Dans les documents plus courts, où il n'y a que quelques centaines de mots, la prédiction sera surtout « tout ou rien », parce que nous prédisons sur un seul segment, sans possibilité de chevauchement.)

Un seul segment, cela signifie que le modèle fait une unique prédiction pour l'ensemble du document. Il n'y a pas de moyenne entre segments, parce qu'il n'y a rien à moyenner. Le modèle examine le texte une fois, attribue un score, et ce score détermine si le document est signalé comme généré par IA ou non.

La documentation poursuit : "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Cela signifie qu'un texte mêlant contenu généré par IA et contenu original peut être signalé comme entièrement généré par IA.) C'est le cœur du problème. Si dans un document de 300 mots vous en avez écrit 200 vous-même et 100 avec l'IA, le modèle ne peut pas séparer les deux. Il traite le document comme une seule unité, et si cette unité dépasse le seuil, tout le document est signalé. Le rapport ne peut pas indiquer quelles phrases précises ont été générées par IA, car la prédiction a été faite au niveau du document, et non au niveau de la phrase.

Turnitin fixe un nombre minimum de mots pour les dépôts, et les prérequis techniques précisent un plancher de 300 mots. Les formats de fichier acceptés sont .docx, .pdf, .txt et .rtf, avec un maximum de 30 000 mots et une taille de fichier inférieure à 100MB. Les langues prises en charge sont l'anglais, l'espagnol, le japonais et — depuis le 18 août 2026 — le Modern Standard Arabic. Deux des pages anglaises de Turnitin elle-même ne citent encore que les trois premières : la page sur laquelle vous tombez n'est donc peut-être pas à jour.

Le minimum de 300 mots est une exigence sur le fichier : un fichier "must have at least 300 words of prose text in a long-form writing format." (doit comporter au moins 300 mots de texte en prose dans un format d'écriture long). Une phrase sur la précision l'accompagne souvent — "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (Les résultats montrent que notre précision augmente avec un peu plus de texte, de sorte que les dépôts de moins de 300 mots peuvent donner un score d'écriture IA probablement moins précis) —, mais elle provient d'une note de version datée du 15 décembre 2023 concernant un bug qui laissait passer des dépôts trop courts, et elle décrit les rapports générés pendant cette période. Aujourd'hui, sous le plancher, le modèle ne produit pas une prédiction moins fiable. Il n'en produit aucune.

Même à 300 mots ou un peu plus, le chevauchement peut être minime. Un document de 350 mots ne produira peut-être que deux ou trois segments avec un léger chevauchement : mieux qu'un seul, mais encore très loin de la densité de segments d'un devoir de 2 000 mots. Plus de texte, c'est plus de segments, plus de chevauchement et plus d'occasions pour le modèle de distinguer le contenu généré par IA du contenu original.

Le problème du tout ou rien est le plus visible lorsqu'un document court mélange du texte original et du texte généré par IA. La documentation indique que "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (un texte mêlant contenu généré par IA et contenu original peut être signalé comme entièrement généré par IA). Pour un étudiant qui a rédigé l'essentiel d'un devoir court mais utilisé l'IA pour une partie, cela signifie que le document entier peut recevoir un score d'écriture IA élevé alors que la majorité du texte est originale.

Certains types d'écriture aggravent le problème. La documentation note : "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Il arrive que les faux positifs... concernent un contenu avec peu de variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développer d'idées nouvelles.) Les devoirs courts comme les messages de forum ou les réflexions brèves correspondent souvent à cette description. Ils ont tendance à présenter moins de variation structurelle qu'un mémoire de recherche complet, et peuvent répéter des idées similaires dans des tournures similaires. La documentation conseille : "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si notre indicateur montre une quantité plus élevée d'écriture IA dans un tel texte, nous vous conseillons d'en tenir compte en regardant le pourcentage indiqué.)

Turnitin a aussi repéré et corrigé un schéma précis. Une mise à jour de 2023 notait : "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Depuis le lancement, nous avons observé une incidence plus élevée de faux positifs dans les premières ou dernières phrases d'un document. Ces phrases consistent souvent en un contenu d'introduction ou de conclusion rédigé de façon générique. En conséquence, nous avons modifié notre logique de détection afin de réduire ces faux positifs.) Les documents courts sont touchés de façon disproportionnée par le contenu d'introduction et de conclusion, parce que ces sections représentent une part plus importante du texte total. Le correctif de 2023 a aidé, mais la vulnérabilité structurelle des documents courts demeure.

Les devoirs courts cumulent les difficultés en matière de détection d'IA. Ils ont moins de segments, moins de chevauchement et moins de variation structurelle. Ils sont plus susceptibles de contenir une introduction et une conclusion génériques. Tous ces facteurs rendent le score d'écriture IA moins fiable pour les documents courts que pour les documents longs.

Les messages de forum, les réflexions courtes et les brefs travaux de réponse sont les devoirs de format court les plus fréquents dans l'enseignement supérieur. Si vous en rédigez un, il se peut que le rapport d'écriture IA ne distingue pas votre texte original des parties assistées par IA. Un seul segment mal noté peut faire basculer tout le document dans la catégorie des signalés.

La documentation reconnaît cette limite : "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (Il se peut que notre modèle de détection d'écriture IA ne soit pas toujours précis..., il ne doit donc pas servir de seule base à des mesures défavorables à un étudiant.) Cette déclaration est particulièrement pertinente pour les documents courts, où joue la dynamique du tout ou rien. Si vous recevez un signalement d'écriture IA sur un devoir court, le rapport reflète peut-être les limites de la prédiction à segment unique plutôt qu'un signal clair sur votre texte.

Turnitin déclare également : "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (Nous nous efforçons de maximiser l'efficacité de notre détecteur tout en maintenant notre taux de faux positifs... sous 1 % pour les documents contenant plus de 20 % d'écriture IA.) Cet objectif de faux positifs vaut pour les documents assez longs pour être analysés de façon fiable. Les documents courts se situent hors de la plage optimale, et leur taux de faux positifs peut être plus élevé.

Nous recommandons d'aborder avec prudence les scores d'écriture IA sur les documents courts. Rédigez vous-même votre travail, évitez les formulations génériques en ouverture et en conclusion, et si un rapport a déjà signalé les passages que vous voulez retravailler, vous pouvez réécrire uniquement ces passages et laisser le reste du document tranquille.