Turnitin publie deux taux de faux positifs différents. Celui des phrases est de 4 %.

Si vous avez devant vous un rapport où quelques phrases sont signalées, les 4 % correspondent à la probabilité que l'une de ces phrases signalées soit en réalité écrite par un humain. Le signalement apposé sur cette phrase particulière peut être erroné, et « environ 4 % » est la fréquence à laquelle cela se produit. C'est un chiffre par phrase, non par document, et l'un ne se déduit pas de l'autre.

La directrice produit de Turnitin, Annie Chechitelli, l'a formulé ainsi en juin 2023 :

« Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content. » (Notre taux de faux positifs au niveau de la phrase est d'environ 4 %. Cela signifie qu'il y a 4 % de chances qu'une phrase précise signalée comme écrite par l'IA soit en réalité écrite par un humain. Le phénomène est plus fréquent dans les documents qui mêlent du contenu écrit par un humain et de l'IA, en particulier aux transitions entre les deux.)

Les 4 % portent sur une phrase déjà signalée. Ils renseignent sur la fiabilité d'un signalement pris isolément, et non sur le nombre de signalements que vous verrez dans un document entier.

Pour les documents, Turnitin publie un taux distinct, plus bas :

« Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing. » (Notre taux de faux positifs au niveau du document — identifier à tort, dans un document, un texte entièrement écrit par un humain comme généré par l'IA — est inférieur à 1 % pour les documents comportant 20 % ou plus d'écriture par l'IA.)

Deux choses sautent aux yeux. D'abord, le taux décrit le cas d'un document entier signalé à tort comme contenant du texte d'IA alors qu'il est entièrement écrit par un humain. Ensuite, le chiffre inférieur à 1 % est expressément conditionné aux documents qui contiennent 20 % ou plus d'écriture par l'IA, c'est-à-dire des documents mixtes où du texte d'IA est réellement présent.

Voici le point qu'il est facile de comprendre de travers, et sur lequel il vaut la peine d'être précis : aucun des deux chiffres publiés ne porte sur un devoir que vous avez écrit en entier vous-même.

Les 4 % sont présentés comme une caractéristique des documents mixtes, « particularly in the transitions between human- and AI-written content. » (en particulier aux transitions entre le contenu écrit par un humain et celui écrit par l'IA). Un devoir sans texte d'IA ne comporte pas de telles transitions : le scénario auquel Turnitin rattache les 4 % ne décrit donc pas votre situation.

Mais le chiffre inférieur à 1 % ne prend pas le relais pour autant. Relisez sa formulation : il est « less than 1% for documents with 20% or more AI writing. » (inférieur à 1 % pour les documents comportant 20 % ou plus d'écriture par l'IA). Ce chiffre est assorti d'une condition, et un document sans écriture par l'IA ne la remplit pas.

Les deux chiffres ont donc un périmètre, et un devoir entièrement humain sort de ce périmètre. Cela vaut la peine d'être su avant que quelqu'un vous brandisse l'un ou l'autre comme s'il tranchait la question.

Turnitin a donné une donnée précise sur l'endroit où apparaissent ces phrases signalées à tort :

« As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing. » (Comme je l'expliquais dans mon article précédent, il existe une corrélation entre ces phrases et leur proximité, dans le document, avec du texte réellement écrit par l'IA. Dans 54 % des cas, ces phrases se trouvent juste à côté d'un texte réellement écrit par l'IA.)

« Ces phrases » désigne les faux positifs : les phrases écrites par un humain qui ont tout de même été signalées. Plus de la moitié se trouvent immédiatement à côté d'un texte écrit pour de vrai par l'IA. Cela concorde avec la déclaration précédente selon laquelle les transitions entre l'écriture humaine et l'écriture par l'IA sont l'endroit où les faux positifs se concentrent.

C'est pour cela que la statistique joue en sens inverse pour vous. Si les signalements sont dispersés dans un devoir où ne figure aucun texte d'IA, le mécanisme que Turnitin décrit ici n'est pas celui qui les produit. C'est un exposé de l'endroit où ses erreurs se regroupent dans les documents mixtes, et rien de plus.

Le même billet affirme clairement qu'un surlignage est un point de départ et non un résultat — et il le dit aux enseignants, c'est-à-dire exactement à ceux que vous voulez voir le lire :

« Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion. » (Considérez les phrases surlignées comme des zones d'intérêt, car elles sont censées se situer à proximité de l'endroit où se trouve de l'écriture par l'IA. Mais dans un faible pourcentage des cas, le modèle d'IA peut se tromper. Utilisez donc cette information pour engager une conversation, et non pour tirer une conclusion.)

Il écarte aussi ce à quoi les étudiants croient le plus souvent être mesurés. Il n'existe aucun chiffre à atteindre :

« Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score. » (Rappelez-vous qu'il n'existe pas de score « bon » ni de score « cible » avec l'indicateur d'écriture par l'IA, tout comme avec le Similarity Score.)

Rien de tout cela ne vous dit si vous avez un problème, parce qu'aucun chiffre publié ne le peut. Ce que cela vous donne, en revanche, c'est un moyen de garder la conversation sur le rapport lui-même plutôt que sur un pourcentage.

• Demandez quels passages, et obtenez le rapport plutôt qu'une capture d'écran. Deux phrases surlignées et un chiffre au niveau du document sont deux objets différents. Les surlignages sont la seule partie à laquelle on puisse attacher un emplacement précis.
• Demandez quel chiffre on vous oppose, et lisez sa condition à haute voix. Le chiffre inférieur à 1 % porte la mention « for documents with 20% or more AI writing » (pour les documents comportant 20 % ou plus d'écriture par l'IA) dans sa propre phrase. Si cette condition ne décrit pas votre devoir, dites-le.
• Emportez avec vous la consigne de Turnitin elle-même. Elle demande aux enseignants de se servir d'un surlignage pour ouvrir une conversation, et non pour parvenir à une conclusion. Cette phrase s'adresse à la personne qui détient votre rapport, et elle est citée plus haut mot pour mot.
• Conservez ce qui montre comment le devoir a été écrit — les brouillons, l'historique des versions, les notes, vos lectures. Voilà qui constitue une preuve de paternité. Un pourcentage n'en est pas une.