Que signifie un taux de faux positifs de 1 % quand une université soumet 75 000 mémoires

*Un taux de faux positifs est une caractéristique d'une population, pas d'un mémoire individuel. En août 2023, l'Université Vanderbilt a mis des chiffres là-dessus : elle avait soumis 75 000 mémoires à Turnitin en 2022, donc si le détecteur d'IA avait été actif à l'époque, un taux de faux positifs de 1 % aurait signifié « environ 750 mémoires d'étudiants auraient pu être signalés à tort comme contenant du texte rédigé par une IA » (around 750 student papers could have been incorrectly labeled as having some of it written by AI). Elle a désactivé le détecteur. Deux conditions accompagnent cette phrase, et toutes deux disparaissent dans les reprises ultérieures : d'abord, le détecteur n'était pas actif en 2022, d'où le « si » (if) de la formulation ; ensuite, le chiffre de 1 % du prestataire lui-même est assorti d'une restriction que la phrase suivante du même texte balaye.*

Le Bureau de l'apprentissage et de l'innovation de Vanderbilt a publié une note le 16 août 2023, intitulée « Recommandations sur la détection de l'IA et les raisons pour lesquelles nous désactivons le détecteur d'IA de Turnitin » (Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector). La décision y est énoncée clairement : « Vanderbilt a décidé de désactiver l'outil de détection d'IA de Turnitin pour une durée indéterminée. » (Vanderbilt has decided to disable Turnitin's AI detection tool for the foreseeable future.)

Le passage qu'il faut retenir, c'est le calcul lui-même :

"At the time of launch, Turnitin claimed that its detection tool had a 1% false positive rate (Chechitelli, 2023). To put that into context, Vanderbilt submitted 75,000 papers to Turnitin in 2022. If this AI detection tool was available then, around 750 student papers could have been incorrectly labeled as having some of it written by AI." (Au moment du lancement, Turnitin affirmait que son outil de détection avait un taux de faux positifs de 1 % (Chechitelli, 2023). Pour mettre ce chiffre en contexte : Vanderbilt a soumis 75 000 mémoires à Turnitin en 2022. Si cet outil de détection d'IA avait été disponible à l'époque, environ 750 mémoires d'étudiants auraient pu être signalés à tort comme contenant du texte rédigé par une IA.)

Rien de compliqué là-dedans. C'est simplement 1 % de 75 000. Mais ce calcul transforme un pourcentage en nombre de documents, et c'est précisément cette conversion qui rend les taux d'erreur si difficiles à appréhender.

Reprenez maintenant la deuxième phrase en commençant au mot « si » (if). Le détecteur n'était pas actif au moment où ces 75 000 mémoires ont été soumis, c'est exactement ce que signifie l'expression « si cet outil de détection d'IA avait été disponible à l'époque » (if this AI detection tool was available then). Ainsi, 750 ne correspond à aucun décompte réel survenu à Vanderbilt ou ailleurs. C'est simplement à quoi ressemble 1 % du volume annuel réel d'une seule université, une fois écrit en toutes lettres. C'est une affirmation bien plus modeste que celle à laquelle ce chiffre est souvent convoqué, et donc bien plus facile à défendre.

Pour un éditeur de logiciel, un cas sur cent est une spécification technique. Pour une institution, c'est une charge annuelle de travail. Pour vous, ce n'est ni l'un ni l'autre : vous n'avez qu'un seul document, et le taux ne dit rien sur la question de savoir si le vôtre en fait partie.

Ce dernier point fonctionne dans les deux sens, et c'est là que les conclusions abusives foisonnent des deux côtés :

• Cela ne signifie pas que votre signalement est probablement faux. Un taux d'erreur de 1 % sur des textes rédigés par des humains est parfaitement compatible avec le fait que la plupart des documents signalés le soient à juste titre, selon la proportion de textes réellement assistés par IA au départ.
• Cela signifie que l'argument « l'outil est précis à 99 %, donc vous l'avez forcément fait » n'est pas valable. Un taux décrit une population ; il ne peut pas identifier quel membre de cette population se trouve devant vous. Et 1 % d'une année à 75 000 mémoires représente des centaines de documents, donc se retrouver dans cette tranche est banal plutôt qu'exotique. Reste que des centaines de documents ne signifient pas des centaines d'accusations, et c'est précisément dans cet écart que prospèrent la plupart des versions fallacieuses de cet argument.

La bonne posture n'est ni « le détecteur est défectueux » ni « le détecteur a raison ». C'est qu'une statistique de population ne peut pas trancher un cas individuel, et le prestataire le reconnaît par écrit : sa FAQ recommande aux enseignants de ne pas prendre le pourcentage de l'indicateur d'écriture par IA (AI writing indicator) comme « seule base d'action ou comme mesure d'évaluation définitive » (the sole basis for action or a definitive grading measure).

Voici un détail qui compte si jamais vous devez citer le chiffre de 1 % auprès de qui que ce soit.

La FAQ de Turnitin formule la revendication ainsi : l'entreprise s'efforce de maintenir son taux de faux positifs — c'est-à-dire « l'identification erronée de textes entièrement rédigés par des humains comme étant générés par une IA » (incorrectly identifying fully human-written text as AI-generated) — « en dessous de 1 % pour les documents contenant plus de 20 % de texte rédigé par une IA » (under 1% for documents with over 20% of AI writing).

Pour les documents contenant plus de 20 % de texte rédigé par une IA. Cette restriction limite considérablement la portée de l'affirmation, et elle ne survit pas à la reformulation que le prestataire en donne une phrase plus loin, qui dit : « Autrement dit, nous pourrions signaler un document rédigé par un humain comme étant généré par une IA dans le cas d'un document entièrement rédigé par un humain sur cent. » (In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.)

Ces deux phrases ne sont pas équivalentes, et c'est la seconde qui se propage. Si vous utilisez ce chiffre, employez la version assortie de la restriction : d'abord parce qu'elle est exacte, ensuite et surtout parce que quelqu'un en face de vous sait peut-être que cette restriction existe.

La note date d'août 2023. Une partie relève du calcul, qui ne vieillit pas. Une autre relève d'une affirmation sur ce que le prestataire avait publié, ce qui, lui, évolue. Trier ces deux aspects avant de citer quoi que ce soit constitue l'essentiel du travail.

Le calcul peut être repris sans risque, avec le « si » (if) qui l'accompagne. Un pour cent d'un volume important de soumissions donne un nombre élevé de documents, et rien depuis 2023 n'affecte cette vérité arithmétique.

Le souci concernant les auteurs dont l'anglais n'est pas la langue maternelle peut être repris, et il ne repose aucunement sur cette note. Des travaux de recherche l'étayent, et nous avons examiné en détail ce que ces travaux ont réellement mesuré dans Biais des détecteurs d'IA contre les rédactions en anglais non natif.

La plainte relative à la transparence mérite vérification avant reprise. Vanderbilt écrivait que « Turnitin ne fournit aucune information détaillée sur la manière dont il détermine si un texte est généré par une IA ou non » (Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not). La FAQ actuelle décrit bel et bien comment un score est construit : les phrases sont extraites et découpées en segments qui se chevauchent, chaque segment est classifié et se voit attribuer une valeur entre 0 et 1, les phrases éligibles héritent du score de leur segment, les scores qui se chevauchent sont regroupés, et les scores des phrases sont agrégés en un score de document. Affirmez en réunion que rien n'a jamais été publié sur le fonctionnement du système, et quelqu'un pourra placer ce paragraphe sous vos yeux.

Lisez cependant la phrase qui suit dans la note avant de conclure que l'objection a reçu réponse, car l'objection est plus étroite que « dites-nous comment ça marche ». La plainte porte sur le fait que l'outil « recherche des motifs récurrents dans les textes rédigés par IA, mais sans expliquer ni définir quels sont ces motifs » (looks for patterns common in AI writing, but they do not explain or define what those patterns are). Décrire comment les scores de segments sont combinés ne revient pas à décrire les motifs recherchés. Le mécanisme publié et l'objectif publié concernent deux questions différentes, et les deux peuvent être cités avec exactitude le même jour.

Ce que nous ne pouvons pas vous dire, c'est quand ce passage de la FAQ est apparu pour la première fois. Nous n'avons pas pu en dater la publication, donc rien de ce qui précède ne doit être lu comme si le prestataire l'avait publié en réponse à cette note.

Une dernière restriction, et celle-ci appartient à Vanderbilt. La note décrit l'arrivée de la fonctionnalité comme s'étant faite avec « un préavis inférieur à 24 heures, sans option de désactivation à l'époque » (less than 24-hour advance notice, no option at the time to disable the feature). L'expression « à l'époque » (at the time) figure dans la phrase originale. Citez-la sans ces trois mots et vous transformez une déclaration sur les conditions de lancement en une affirmation permanente sur le produit. C'est le même geste que de supprimer « plus de 20 % » (over 20%) du chiffre de 1 %, simplement accompli par l'autre camp de l'argumentation.

1. Citez la date. « En 2023, Vanderbilt a désactivé l'outil et a publié ce raisonnement » (In 2023, Vanderbilt disabled the tool and published this reasoning) est vérifiable et défendable. « Les universités ont abandonné la détection de l'IA » (Universities have abandoned AI detection) ne l'est ni dans un sens ni dans l'autre.
2. Précisez ce que le calcul illustre. Ce chiffre circule parce que chacun peut le refaire avec le volume de sa propre institution, et il établit un point réel : un faible pourcentage génère tout de même une charge de travail que quelqu'un devra examiner équitablement. Ce qu'il ne fait pas, en revanche, c'est estimer le nombre d'accusations. Toutes les soumissions ne sont pas éligibles à un score, personne hors de l'institution ne connaît le taux réel d'usage d'IA, et un signalement ne devient pas automatiquement une mise en cause. Nous démontons tout cela plus en détail dans 20 % d'IA, est-ce trop ?.
3. Ne prétendez pas que cela prouve quoi que ce soit au sujet de votre document. Cela établit que le fait d'être signalé à tort est un phénomène ordinaire à grande échelle, ce qui est une affirmation différente et plus modeste.
4. Vérifiez si votre propre institution a publié quelque chose. Cherchez dans la politique d'intégrité académique et dans ce que publie le centre d'enseignement et d'apprentissage, pas seulement sur la page d'actualités. Dans toute conversation probable, une déclaration locale l'emporte toujours sur une déclaration lointaine.
5. Évitez de l'utiliser en ouverture. Processus et provenance convainquent en premier lieu ; les statistiques sont ce à quoi on recourt quand quelqu'un soutient que le chiffre est par lui-même déterminant.

Si c'est le cas, le rapport qui se trouve devant vous importe plus que tout ce qui précède. Ce dont le pourcentage est une statistique, et pourquoi les surlignages et le chiffre peuvent diverger, constitue un sujet distinct, traité dans Lire le rapport d'écriture par IA ligne par ligne.

HumanPen n'intervient qu'au stade où des passages précis sont marqués et où certains doivent être modifiés : le rapport définit les limites, et les paragraphes non marqués conservent le wording que vous avez déjà.

Rien de tout cela ne répond à un faux positif. Si votre position est que vous avez rédigé le texte, le réécrire n'est pas la bonne démarche, et ce qui a réellement convaincu des jurys est un sujet entièrement différent : les preuves qui ont fait bouger un jury.

Un taux de faux positifs de 1 % signifie-t-il que mon signalement est probablement faux ? Non. C'est un taux calculé sur une population de documents rédigés par des humains et il ne dit rien d'un cas individuel. Cela signifie simplement qu'à l'échelle institutionnelle, les mémoires signalés à tort sont un phénomène ordinaire plutôt qu'un événement exceptionnel.

D'où vient le chiffre de 750 ? Il provient de la note publiée par Vanderbilt le 16 août 2023, qui applique le taux de 1 % aux 75 000 mémoires soumis à Turnitin en 2022. Notez la condition : le détecteur n'était pas actif en 2022, d'où la formulation « si cet outil de détection d'IA avait été disponible à l'époque » (if this AI detection tool was available then). Le chiffre montre à quoi ressemble 1 % du volume de cette université une fois écrit en toutes lettres. Ce n'est pas le relevé de 750 mémoires ayant été signalés à tort, et ce n'est pas une prévision pour l'institution de qui que ce soit.

L'affirmation de 1 % est-elle inconditionnelle ? Non. La cible déclarée par Turnitin est inférieure à 1 % « pour les documents contenant plus de 20 % de texte rédigé par une IA » (for documents with over 20% of AI writing). La reformulation que l'entreprise en donne dans la phrase suivante abandonne cette restriction, ce qui explique pourquoi la version non qualifiée circule.

Les universités ont-elles généralement désactivé la détection d'IA ? Cette source ne permet pas de l'affirmer. Elle documente la décision d'une seule institution en 2023, avec son raisonnement. La question de savoir si votre institution l'utilise est une question locale qui appelle une réponse locale.