Le taux de faux positifs de Turnitin, expliqué

Turnitin formule clairement son objectif dans sa documentation : « We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing. » (« Nous nous efforçons de maximiser l'efficacité de notre détecteur tout en maintenant notre taux de faux positifs — identifier à tort un texte entièrement rédigé par un humain comme généré par IA — en dessous de 1 % pour les documents contenant plus de 20 % de rédaction IA. »)

Voilà le chiffre officiel. Mais remarquez la condition qui l'accompagne : cet objectif ne s'applique qu'aux documents contenant plus de 20 % de texte IA, pas à tous les documents. Turnitin ne prétend pas qu'un document sur cent en général constitue un faux positif. Le taux est défini pour une population spécifique : celle des documents déjà composés à au moins 20 % par de l'IA.

Turnitin reformule ensuite ce chiffre en langage clair pour le rendre concret : environ un document entièrement rédigé par un humain sur cent pourrait être signalé. Cette illustration ne modifie pas l'objectif ; elle reprend la même donnée conditionnelle, et la condition reste attachée. À quoi ressemble l'extrême de cette logique ? C'est une autre question : un score IA Turnitin de 100 % peut-il quand même provenir d'un humain ?

L'objectif de 1 % n'est pas un argument marketing. Turnitin décrit le processus de validation qui le sous-tend : « To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate. » (« Pour renforcer notre cadre de test et diagnostiquer les tendances statistiques des faux positifs, avant chaque mise à jour ou nouveau lancement de modèle, nous effectuons des tests sur plus de 700 000 travaux académiques supplémentaires rédigés avant la sortie de ChatGPT afin de valider davantage notre taux de faux positifs inférieur à 1 %. »)

Trois détails dans cette phrase méritent d'être mis en ordre. Premièrement, le corpus de test est vaste — plus de 700 000 mémoires. Deuxièmement, ces travaux sont antérieurs à ChatGPT, ils sont donc authentiquement humains. Troisièmement, les tests sont exécutés avant chaque mise à jour ou nouveau lancement de modèle, pas une seule fois. Le chiffre de 1 % est re-validé à chaque modification du modèle contre un nouveau corpus de rédaction académique connue comme humaine.

Cela importe quand vous voyez ce chiffre repris sur des sites tiers. Le chiffre officiel est lié à une procédure de test spécifique. Quand quelqu'un affirme que « Turnitin a un taux de faux positifs de 1 % » sans aucune précision, il fait généralement référence aux documents contenant plus de 20 % de texte IA, validés contre des travaux académiques antérieurs à ChatGPT. Cette précision fait partie intégrante de ce que l'affirmation officielle signifie réellement.

L'élément le plus important de la documentation n'est pas l'objectif de 1 % en soi. C'est le compromis que Turnitin accepte explicitement pour l'atteindre. La déclaration complète indique : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (« Afin de maintenir ce taux faible de 1 % de faux positifs, il est possible que nous passions à côté de certains textes rédigés par IA dans un document. Nous sommes à l'aise avec cela car nous ne voulons pas signaler à tort un texte rédigé par un humain comme étant d'origine IA. Par exemple, si nous identifions que 50 % d'un document est probablement rédigé par un outil IA, il pourrait contenir jusqu'à 65 % de texte IA. »)

C'est inhabituel. Un produit de détection déclare publiquement qu'il préfère manquer du texte IA plutôt que de signaler à tort du texte humain. La phrase « We're comfortable with that » (« Nous sommes à l'aise avec cela ») explicite un compromis de la part de l'entreprise. Les faux positifs sont ce contre quoi ils optimisent ; les faux négatifs sont le coût accepté.

La dernière phrase précise la conséquence pratique. Quand le rapport indique qu'un document contient 50 % d'IA, la part réelle pourrait atteindre 65 %. Le pourcentage rapporté peut sous-estimer le contenu IA réel. C'est une propriété conçue du système, pas un bug — et cela découle directement de l'objectif de faux positifs réduits.

Une fois que vous gardez la condition attachée, le « taux de faux positifs » devient un outil plus précis que la version titre. Voici ce que les chiffres documentés impliquent réellement.

Premièrement, le taux cible les documents contenant plus de 20 % de rédaction IA. Les documents en dessous de ce seuil sortent de la condition déclarée, et Turnitin ne fait aucune affirmation séparée à leur sujet. Le chiffre officiel de 1 % n'est pas une revendication globale concernant chaque soumission.

Deuxièmement, les textes IA non détectés font partie de la conception. Puisque le système se règle contre les faux positifs, certains contenus IA passent à travers. Un score rapporté qui n'est pas élevé ne signifie pas de façon fiable que le document est entièrement humain. Cela peut signifier que le contenu IA a été sous-estimé.

Troisièmement, un score rapporté élevé est un signal plus fort qu'un score bas. Si le rapport indique qu'un document est, disons, à 80 % IA, la logique du compromis s'applique toujours — la proportion réelle pourrait être encore plus élevée. Mais la direction de l'erreur est ce qui importe : le biais connu du modèle est la sous-estimation, donc un score élevé est plus difficile à écarter qu'un score bas.

En pratique, cela se lit ainsi : les faux positifs surviennent rarement, les faux négatifs plus souvent, un score bas ne constitue pas une preuve de paternité humaine, et un score élevé est comparativement plus fiable. Rien de tout cela ne contredit les documents. C'est ce qu'implique le compromis documenté. L'éditeur publie également des conseils pour la personne qui lit votre score : ce que votre instructeur doit faire lorsque votre pourcentage d'IA est élevé.

Les recommandations propres à Turnitin placent le score dans un cadre de décision plus large. La documentation indique : « Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student. » (« Notre modèle de détection de rédaction IA peut ne pas toujours être précis (il peut identifier à tort un texte rédigé par un humain, généré par IA ou paraphrasé par IA), il ne doit donc pas servir de seul fondement à des mesures défavorables contre un étudiant. »)

Elle poursuit : « It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred. » (« Il faut un examen approfondi et un jugement humain, combinés à l'application par l'établissement de ses politiques académiques spécifiques, pour déterminer s'il y a eu faute académique. »)

C'est dans ce cadre que sont censés évoluer étudiants et éducateurs. Le pourcentage est un point de données. Le verdict est une décision prise par des humains : l'enseignant, le département, l'institution, appliquant leurs propres politiques académiques. Turnitin affirme elle-même que le score ne doit pas porter seul la décision. L'entreprise gère également un canal pour l'erreur elle-même : comment signaler un faux positif à Turnitin.

Si vous contestez un score, la voie documentée consiste à traiter le chiffre comme un point de données et à en parler avec la personne qui dispose du contexte académique — votre instructeur. C'est l'étape décrite dans les documents officiels, et c'est l'étape la plus cohérente avec le cadrage propre à l'entreprise. Si cela ne résout pas le problème, comment faire appel d'un faux signal de détection d'IA et quelles preuves votre université acceptera décrit la suite.

En gardant tout cela à l'esprit, la conclusion pratique est simple : le score existe pour être interprété, et un chiffre signalé marque le début d'une discussion, pas la fin. Si vous voulez voir comment votre propre brouillon est perçu avant de soumettre, notre nouveau passage gratuit vous permet de vérifier votre texte. Essayez-le ici.