20 % d'IA, est-ce trop ? Pourquoi il n'existe pas de seuil absolu

Il n'existe ni seuil sectoriel, ni zone de sécurité reconnue, ni chiffre émanant de Turnitin indiquant ce qui constitue un excès. Chaque établissement définit sa propre pratique, qui varie considérablement : certains considèrent tout signal comme un motif d'entretien avec l'étudiant, d'autres ignorent l'indicateur, et Vanderbilt l'a carrément désactivé.

La réponse honnête à « 20 %, est-ce élevé ? » est donc la suivante : seul le règlement de l'établissement fait autorité, et le chiffre seul ne suffit pas. Tout article qui vous tend un pourcentage de sécurité l'a inventé.

La question masque en réalité trois décisions distinctes. Turnitin définit une règle d'affichage pour son interface. L'établissement définit une règle d'enquête pour le moment où le personnel examine un travail. Une instance disciplinaire applique un standard de preuve pour déterminer s'il y a eu manquement. Un même pourcentage peut intervenir à ces trois niveaux, mais il ne détermine aucun d'eux par lui-même.

Une limite d'affichage à 20 % n'est pas une règle de faute à 20 %. Confondre les deux constitue l'erreur principale derrière la plupart des conseils sur les « scores de sécurité ».

Deux rapports à 20 % ne sont d'ailleurs pas nécessairement comparables. L'un peut être presque entièrement du texte éligible ; l'autre, dominé par des tableaux et des annexes. L'un peut afficher un seul bloc concentré ; l'autre, des passages dispersés. Le pourcentage compresse ces différents cas en un seul chiffre. L'interprétation commence donc par le rapport et la politique de l'établissement, pas par un tableau de couleurs universel.

Il existe une limite documentée, et c'est une règle d'affichage. Depuis juillet 2024, lorsque le résultat Turnitin se situe entre 1 % et 19 %, il affiche un astérisque sans pourcentage chiffré ni surlignage. Turnitin indique que ses tests ont révélé une incidence plus élevée de faux positifs dans la fourchette basse et que masquer le chiffre réduit les mauvaises interprétations.

L'astérisque signale une prudence concernant la fourchette basse du modèle. Il ne signifie pas zéro et n'indique pas à l'établissement quelle conclusion disciplinaire tirer.

Un 20 % visible et un 19 % masqué se situent de part et d'autre de la règle d'interface, mais cette différence d'un point ne crée pas de rupture scientifique. Près de tout seuil, de légères variations du modèle ou du texte peuvent basculer ce que l'utilisateur voit. C'est pourquoi un rapport à 20 % doit être lu avec son contexte plutôt que traité comme catégoriquement différent d'un astérisque.

Les anciens rapports compliquent encore la comparaison. La modification n'était pas rétroactive : une soumission antérieure au 8 juillet 2024 peut donc encore afficher un score chiffré bas qu'une nouvelle soumission masquerait. Conservez la date de création, la version du détecteur si disponible, ainsi que le PDF original ou la capture d'écran dans le dossier du cas.

Lors du lancement du détecteur en avril 2023, Turnitin annonçait un taux de faux positifs au niveau du document de moins de 1 % dans ses conditions d'évaluation. En juin 2023, le directeur produit de l'entreprise a déclaré à Inside Higher Ed qu'un chiffre de faux positifs au niveau des phrases se situait autour de 4 %. Ces chiffres utilisent des unités différentes et ne doivent pas être présentés comme une simple révision de 1 à 4.

Un taux de faux positifs nécessite également un dénominateur et une population de base. L'erreur au niveau des phrases demande à quelle fréquence les phrases humaines sont étiquetées incorrectement ; l'erreur au niveau du document demande à quelle fréquence un document entièrement humain franchit une règle de décision. Aucun des deux ne peut être multiplié par les 200 millions de documents examinés par Turnitin lors de sa première année pour estimer les accusations, car la répartition entre soumissions humaines, assistées par IA, non éligibles et répétées est inconnue.

Vanderbilt a utilisé ses environ 75 000 soumissions annuelles pour illustrer l'échelle institutionnelle : même un taux annoncé faible peut impliquer de nombreux cas nécessitant un examen équitable. Cela n'établit pas que exactement 750 étudiants seraient faussement accusés. Un signalement peut ne jamais devenir une allégation, et un document peut contenir de nombreuses phrases sans devenir un document faux positif.

Le taux de base importe pour une autre raison. Si l'usage prohibé de l'IA est rare dans une évaluation donnée, les faux positifs peuvent représenter une part substantielle de tous les signalements même lorsque la spécificité est élevée. Si l'usage est courant, le même détecteur peut avoir une valeur prédictive positive différente. Sans connaître la prévalence, la sensibilité, la spécificité et le processus d'examen de l'établissement, un pourcentage affiché ne peut répondre à « quelle est la probabilité que cet étudiant ait triché ? »

Le pourcentage du détecteur, le taux de faux positifs et la probabilité de faute sont trois grandeurs différentes. Aucune ne peut se substituer à une autre.

Turnitin a publié une analyse d'erreur plus précise issue de tests mélangeant phrases humaines et phrases écrites par IA : 54 % des phrases faux positifs observées se trouvaient immédiatement à côté d'une phrase écrite par IA, et 26 % supplémentaires étaient à deux phrases de distance.

Dans cette évaluation, quatre faux positifs sur cinq se trouvaient à deux phrases d'un texte IA. Cela décrit un comportement de frontière dans des documents mixtes ; cela n'indique pas où tombent les faux positifs dans un document entièrement humain, et cela ne doit pas être généralisé à toutes les versions ultérieures du modèle.

Cela a une conséquence pratique. Dans un travail contenant quelques passages assistés par IA, les phrases autour sont les plus susceptibles d'être injustement signalées, et un pourcentage ne peut pas dire laquelle est laquelle. La distribution le peut, d'où l'intérêt de lire le rapport lui-même plutôt que son titre. Turnitin indique également une incidence plus élevée de faux positifs dans les phrases d'ouverture et de fermeture d'un document – introductions et conclusions – et a modifié sa façon de les regrouper en conséquence.

C'est pourquoi supprimer ou réécrire chaque phrase surlignée n'est pas une réponse diagnostique solide. Certaines phrases limites surlignées peuvent être humaines ; certains passages non surlignés peuvent être assistés par IA mais manqués. Le rapport identifie des zones pour un examen contextuel. Les preuves de paternité proviennent toujours des brouillons, des sources, des déclarations d'usage autorisé et de la capacité de l'auteur à expliquer le travail.

• Que fait mon établissement de ce chiffre ? Beaucoup le traitent comme une raison de regarder plutôt que comme une conclusion. Turnitin lui-même dit qu'il ne détermine pas la faute.
• Où sont les signalements ? Concentrés dans les méthodes, définitions et le contexte – des passages censés se lire de manière formulaire – cela signifie quelque chose de différent d'une dispersion dans votre argumentation.
• Quelle partie du document a été évaluée ? Le pourcentage ne concerne que le texte continu. Un travail riche en tableaux, listes ou bibliographie peut avoir eu beaucoup moins d'éléments évalués que vous ne le pensez.
• Quel état et quelle date de rapport est-ce que je consulte ? Astérisque, 0 %, score numérique et erreur d'éligibilité signifient des choses différentes, et les rapports antérieurs à juillet 2024 suivent une règle d'affichage plus ancienne.
• Quelles autres preuves sont requises ? Demandez si les examinateurs examinent les brouillons, les sources, l'historique des versions, les écrits antérieurs et l'explication de l'étudiant plutôt que de traiter l'indicateur comme suffisant.

Pour les enseignants, écrivez ce processus avant d'utiliser la fonctionnalité : qui peut voir le rapport, ce qui déclenche une conversation, comment les étudiants reçoivent les preuves, quels aménagements s'appliquent et qui prend la décision finale. Pour les étudiants, demandez ce processus écrit et conservez la soumission originale inchangée. Les deux étapes sont plus utiles que de débattre de savoir si 20 est intrinsèquement « élevé ».