Le canal officiel : comment signaler un faux positif à Turnitin

La plupart des conseils sur les faux positifs de Turnitin suivent une seule voie : faites appel auprès de votre professeur, puis saisissez votre département ou le bureau chargé de l'intégrité académique. Cette voie concerne votre note. Mais il existe une seconde voie, que presque aucun autre article ne mentionne, et qui mène directement à Turnitin.

La documentation de Turnitin elle-même prévoit un canal de retours. Ils le disent sans détour : « If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further. » (Si vous trouvez des documents écrits par une IA que nous avons manqués, ou si vous remarquez un travail d'étudiant authentique que nous avons signalé comme généré par une IA, faites-le-nous savoir ! Vos retours sont essentiels pour nous permettre d'améliorer encore notre technologie.)

C'est une invitation directe de l'équipe qui construit le détecteur. Elle demande deux types de retours : les textes écrits par une IA qu'ils ont manqués (faux négatifs) et les textes humains qu'ils ont signalés comme écrits par une IA (faux positifs). Les deux directions comptent, car les deux améliorent le modèle.

Nous le soulignons parce que les conseils pratiques s'arrêtent presque toujours au niveau de l'établissement. Vous faites appel auprès de votre professeur, vous rassemblez des preuves, vous exposez votre cas. Mais le système qui a produit le score veut aussi vous entendre. Un canal concerne votre note, l'autre l'amélioration du système lui-même.

Le canal de retours s'applique dans deux situations, et Turnitin les décrit dans la même phrase. La première : un travail d'étudiant authentique est signalé comme généré par une IA. Si votre propre texte reçoit un score d'écriture IA que vous jugez incorrect, il s'agit d'un faux positif, et Turnitin veut le savoir.

La seconde situation est l'inverse : un texte écrit par une IA que le détecteur a manqué. Si vous êtes enseignant et que vous trouvez un texte généré par une IA que Turnitin n'a pas signalé, ce retour a lui aussi sa place dans le canal.

Comment savoir si votre cas est probablement un faux positif ? Turnitin donne des indications sur les types de texte qui déclenchent le plus souvent des faux positifs : « Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Parfois, les faux positifs… peuvent concerner un contenu avec peu de variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développer de nouvelles idées.) Si le texte signalé correspond à l'une de ces descriptions, ce contexte mérite de figurer dans votre retour.

Turnitin conseille aussi : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d'écriture IA dans ce type de texte, nous vous conseillons d'en tenir compte lorsque vous examinez le pourcentage indiqué.) Autrement dit, si votre texte est structurellement uniforme ou repose beaucoup sur la paraphrase, le score peut être gonflé, et c'est exactement le genre de cas où il est pertinent de le signaler à Turnitin.

Lorsque vous signalez un faux positif à Turnitin, des informations précises les aident à évaluer votre cas. Nous vous suggérons d'inclure les éléments suivants.

Premièrement, identifiez le texte et le score qu'il a reçu. Notez le pourcentage global attribué par Turnitin et, si possible, quelles sections ont été signalées.

Deuxièmement, décrivez les caractéristiques du texte. Si votre écrit correspond à l'un des schémas de faux positifs que Turnitin identifie lui-même, dites-le. Par exemple, si la section signalée est une revue de littérature qui paraphrase plusieurs sources sans analyse nouvelle, indiquez qu'elle correspond à la propre description de Turnitin : « content without a lot of structural variation » (un contenu avec peu de variation structurelle) ou « text that has been paraphrased without developing new ideas. » (un texte paraphrasé sans développer de nouvelles idées).

Troisièmement, donnez du contexte sur le devoir et sur votre façon d'écrire. Le texte a-t-il été fortement remanié ? Avez-vous utilisé des correcteurs grammaticaux susceptibles de normaliser vos formulations ? Ce contexte aide Turnitin à comprendre pourquoi le classifieur a pu mal interpréter votre texte.

Quatrièmement, citez la cible de taux de faux positifs. Turnitin indique : « We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing. » (Nous nous efforçons de maximiser l'efficacité de notre détecteur tout en maintenant notre taux de faux positifs… sous 1 % pour les documents contenant plus de 20 % d'écriture IA.) Vous ne vous plaignez pas d'un système qui prétend être parfait. Vous contribuez à un système qui reconnaît explicitement un taux d'erreur faible, mais réel.

La cible de Turnitin en matière de faux positifs est précise. Ils visent moins de 1 % pour les documents contenant plus de 20 % d'écriture IA, et ils le traduisent en termes simples : « In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents. » (En d'autres termes, nous pourrions signaler comme écrit par une IA un document écrit par un humain sur 100 documents entièrement écrits par des humains.)

Concrètement, dans une classe de 100 étudiants qui rendent tous un travail original, l'un d'eux pourrait être victime d'un faux positif. La cible est basse, mais elle n'est pas nulle. Turnitin est explicite sur ce compromis. Pour maintenir le taux de faux positifs à 1 %, ils acceptent qu'une partie du texte écrit par une IA passe inaperçue : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. » (Afin de maintenir ce faible taux de 1 % de faux positifs, il est possible que nous manquions une partie du texte écrit par une IA dans un document.)

Ils donnent un exemple concret : « If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (Si nous identifions que 50 % d'un document ont probablement été écrits par un outil d'IA, ce document pourrait contenir jusqu'à 65 % d'écriture IA.) Le score annoncé peut sous-estimer la part réelle d'IA, et cet écart est voulu.

C'est pour cela que le canal de retours compte. La cible de 1 % signifie que des faux positifs se produiront. Le système est calibré pour éviter de signaler du texte humain, ce qui signifie que les faux positifs qui surviennent sont attendus. Les signaler aide Turnitin à évaluer si le calibrage fonctionne ou si certains types de texte sont systématiquement mal classés.

Le canal de retours s'inscrit dans un cadre plus large que Turnitin met en avant. Leur documentation indique : « Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student. » (Notre modèle de détection d'écriture IA peut ne pas toujours être précis (il peut se tromper sur du texte écrit par un humain, généré par une IA ou paraphrasé par une IA) et ne doit donc pas servir de seul fondement à des mesures défavorables envers un étudiant.)

Ils poursuivent : « It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred. » (Il faut un examen plus approfondi et le jugement humain, conjugués à l'application par l'établissement de ses politiques académiques propres, pour déterminer s'il y a eu inconduite académique.)

C'est une déclaration directe de l'entreprise qui construit le détecteur. Le score n'est pas un verdict. Turnitin le présente comme un signal qui doit être interprété par un enseignant qui connaît l'étudiant et le contexte : « It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy. » (Il n'est pas destiné à fournir des réponses définitives de manière isolée. Plus important que n'importe quel outil : l'enseignant qui voit le score et prend des décisions en mettant cette information en balance avec sa connaissance personnelle de ses étudiants, de leur travail et de la politique de l'établissement.)

L'usage prévu est clair : « When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended. » (Lorsque les enseignants regardent le score d'écriture IA et l'utilisent comme un simple point de données plutôt que comme une réponse définitive, alors il est utilisé comme prévu.)

Nous voyons le canal de retours comme un prolongement de cette même philosophie. Si le score est un point de données parmi d'autres, signaler un faux positif présumé permet de le contextualiser et, avec le temps, de l'améliorer. Quand vous faites appel auprès de votre professeur, vous réglez la situation immédiate. Quand vous signalez à Turnitin, vous contribuez au calibrage du système pour tout le monde. Les deux démarches comptent et répondent à des objectifs différents. Vérifiez votre rapport Turnitin.