Pourquoi Turnitin signale-t-il mes références ?

Dans les rapports Turnitin actuels, les listes de références et les bibliographies ne sont censées recevoir aucun signalement d’écriture par IA. Le modèle de détection d’écriture par IA exclut les bibliographies de son analyse. Si vos références affichent des surlignages dans un rapport que vous avez sous les yeux en ce moment, il existe trois explications réalistes, et aucune n’est « Turnitin a détecté de l’IA dans votre liste de références. » Les trois sont : le rapport est obsolète (antérieur à août 2023), les surlignages sont des correspondances de similarité et non des signalements d’IA, ou bien le texte signalé est en réalité de la prose située juste à côté de vos références, que le modèle analyse comme de la prose.

Nous allons passer chacune en revue. Mais le point de départ, c’est le changement opéré par Turnitin et la phrase qu’il vous a demandé de suivre.

Pendant les premiers mois qui ont suivi le lancement de la détection d’écriture par IA par Turnitin, en avril 2023, les bibliographies n’étaient pas exclues de l’analyse. Un bug surlignait occasionnellement de l’écriture par IA à l’intérieur des références listées dans une bibliographie. Nous le savons parce que Turnitin l’a documenté dans ses notes de version du modèle de détection d’écriture par IA :

« We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report. » (Nous avons corrigé un bug qui surlignait occasionnellement de l’écriture par IA à l’intérieur des références listées dans une bibliographie. Les bibliographies sont désormais exclues lors du traitement du rapport d’écriture par IA.)

La phrase suivante, sur la même ligne des notes de version, est :

« Resubmit to reprocess existing submissions that contain highlighted reference sections. » (Renvoyez le devoir pour que les soumissions existantes qui comportent des sections de références surlignées soient retraitées.)

C’est cette deuxième phrase que la plupart des étudiants manquent. Le correctif ne s’applique pas aux rapports déjà générés. Si votre enseignant a généré un rapport avant la version d’août 2023 et n’a jamais renvoyé le devoir, c’est l’ancien rapport qui attend dans sa boîte de réception, avec des surlignages sur votre bibliographie. Le rapport ne se met pas à jour tout seul.

Les mêmes notes de version contiennent aussi un changement apparenté sur les tableaux. Avant août 2023, la prose longue à l’intérieur des tableaux n’était pas traitée. Les notes de version de Turnitin disent : « We are now able to process long-form prose text in tables. » (Nous sommes désormais capables de traiter la prose longue dans les tableaux.) Et là encore, la phrase suivante est : « Resubmit to reprocess existing submissions that contain tables. » (Renvoyez le devoir pour que les soumissions existantes qui comportent des tableaux soient retraitées.)

Si votre devoir contient des tableaux et que votre rapport est antérieur à août 2023, le même conseil s’applique. Le correctif a été livré, mais il ne produit d’effet que sur les rapports générés après lui.

Il existe une deuxième confusion, à l’origine des plaintes du type « Turnitin a signalé mes références ». C’est celle que nous voyons le plus souvent.

Turnitin produit deux rapports différents. L’un est l’AI Writing Report. L’autre est le Similarity Report. Ils sont distincts, et lire les deux scores comme si c’était la même chose est l’erreur qui se cache derrière la plupart de ces plaintes. Le Similarity Report montre où votre texte correspond à un texte provenant d’autres sources. L’AI Writing Report montre où le modèle pense que le texte est généré par IA. Tiré de la FAQ sur les capacités de détection d’écriture par IA de Turnitin :

« The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection d’écriture par IA sont totalement indépendants et ne s’influencent pas l’un l’autre.)

Et dans la même FAQ, une ligne plus bas :

« AI writing highlights are not visible in the Similarity Report. » (Les surlignages d’écriture par IA ne sont pas visibles dans le Similarity Report.)

L’inverse est également vrai : les surlignages de similarité ne sont pas visibles dans l’AI Writing Report.

Les listes de références figurent parmi les éléments qui produisent le plus de correspondances de similarité. Vous avez cité des articles publiés. D’autres étudiants ont cité les mêmes articles publiés. Les titres, les noms d’auteurs, les noms de revues et les DOI sont autant de chaînes identiques. Quand vos références apparaissent avec du texte surligné, la première chose à vérifier est le rapport que vous avez sous les yeux. Pourquoi votre texte cité et référencé apparaît encore dans le Similarity Report traite du même effet sur les citations. S’il s’agit du Similarity Report, les surlignages ne sont pas des signalements d’IA : ce sont des textes qui correspondent. La source similaire peut être un autre devoir d’étudiant, un article publié ou un site web. Rien de tout cela n’a de rapport avec la détection d’écriture par IA.

Il y a un troisième mécanisme qui vaut la peine d’être compris. Le modèle d’IA de Turnitin n’analyse pas chaque mot de votre soumission. Il analyse ce que la FAQ appelle « qualifying text » (texte éligible) :

« This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. » (Ce texte éligible n’inclut que des phrases de prose, c’est-à-dire que nous n’analysons que des blocs de texte rédigés en phrases grammaticalement standard et qui ne comportent pas d’autres types d’écriture comme des listes, des puces (structures courtes qui ne sont pas des phrases) ou d’autres structures qui ne sont pas des phrases.)

La phrase suivante sur cette page est :

« This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n’est pas nécessairement celui de l’ensemble de la soumission.)

Concrètement, pour une section de références, cela signifie qu’une liste d’entrées bibliographiques, même formatée comme de la prose, peut très bien ne pas être traitée comme du texte éligible par le modèle. Les entrées sont courtes. Beaucoup ne sont pas des phrases complètes. Le modèle est conçu pour lire de la prose. Une liste de références formatée ressemble davantage à une liste structurée qu’à un paragraphe.

C’est aussi pour cela que le pourcentage affiché sur l’AI Writing Report et la quantité de texte surligné peuvent donner l’impression de ne pas concorder. Un document doté d’une longue bibliographie, d’une liste des figures et d’une table des matières comporte une grande part de texte non éligible. Le pourcentage est calculé sur la prose que le modèle lit réellement. Les surlignages sont placés sur les segments de prose qui ont dépassé le seuil du modèle. Si votre bibliographie compte 40 entrées et que seuls deux de vos propres paragraphes sont signalés, les « 2 % » du rapport représentent 2 % de la prose éligible, et non 2 % du document entier.

Si vous avez un rapport sous les yeux et que vos références semblent signalées, voici ce qu’il faut vérifier, dans l’ordre.

Premièrement, vérifiez la date de génération de votre rapport. Si le rapport est antérieur à août 2023, il a été produit avant la livraison du correctif sur les bibliographies. Le modèle actuel n’a rien d’anormal : le rapport est obsolète. La solution consiste à demander à votre enseignant de renvoyer le devoir. Citer la note de version suffit souvent. La note figure sur la page de documentation de Turnitin et dit « resubmit to reprocess existing submissions that contain highlighted reference sections. » (renvoyez le devoir pour que les soumissions existantes qui comportent des sections de références surlignées soient retraitées).

Deuxièmement, vérifiez quel rapport vous avez sous les yeux. Si les surlignages se trouvent dans le Similarity Report et non dans l’AI Writing Report, ce sont des correspondances de similarité, pas des signalements d’IA. Que votre liste de références corresponde à la liste de références d’un autre devoir est un comportement attendu de la vérification de similarité. Cela ne dit rien sur une éventuelle paternité par IA. Les surlignages d’écriture par IA « are not visible in the Similarity Report, » (ne sont pas visibles dans le Similarity Report), et les surlignages de similarité ne sont pas visibles dans l’AI Writing Report. Les deux sont séparés.

Troisièmement, vérifiez le texte situé juste autour de vos références. Si le texte signalé est une phrase ou deux de prose juste avant ou juste après votre bibliographie (un remerciement, une note méthodologique, une introduction à la section des références), il se peut que le modèle le lise comme de la prose. C’est exactement ce qu’il est censé faire. Le signalement ne porte pas sur vos références, mais sur la prose qui les entoure. Lisez le texte surligné lui-même, pas la section dans laquelle il se trouve. Si vous décidez ensuite de réviser, cette prose surlignée constitue tout le travail : ne réécrire que les paragraphes signalés par un rapport Turnitin.

Pour être complet : Turnitin a également observé en 2023 que les faux positifs étaient plus fréquents dans les premières et les dernières phrases d’un document. Il s’agissait de ce contenu d’introduction ou de conclusion rédigé de façon générique. Extrait des notes de version du 24 mai 2023 :

« Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives. » (Depuis le lancement, nous avons observé une incidence plus élevée de détections de faux positifs dans les premières ou les dernières phrases d’un document. Ces phrases consistent souvent en un contenu d’introduction ou de conclusion rédigé de façon générique. En conséquence, nous avons modifié notre logique de détection afin de contribuer à réduire ces faux positifs.)

Cela compte, parce qu’il arrive que des étudiants trouvent en ligne d’anciens conseils affirmant « Turnitin signale les introductions et les conclusions. » C’était un problème connu, et c’était une amélioration de 2023, pas un problème actuel. Si vous lisez ce conseil dans un message de forum datant de 2023, le correctif est déjà livré. La note de version le dit dans sa propre phrase suivante. Pour les rapports actuels, ce n’est pas un problème ouvert dont il faut se préoccuper.

Le résumé, pour toute personne qui regarde une liste de références signalée en ce moment :

1. Vérifiez la date de génération du rapport. Les rapports antérieurs à août 2023 doivent être renvoyés.
2. Vérifiez si vous regardez l’AI Writing Report ou le Similarity Report. Les signalements de similarité sur les références sont normaux. Les signalements d’IA sur les bibliographies ne le sont pas.
3. Si le rapport est à jour et que les signalements figurent dans l’AI Writing Report, lisez le texte réellement surligné. C’est probablement de la prose à proximité des références, et non les références elles-mêmes.

Le correctif d’août 2023 est documenté sur la page que nous avons indiquée. Si un enseignant doit renvoyer le devoir, les notes de version contiennent la consigne. « Resubmit to reprocess existing submissions that contain highlighted reference sections. » (Renvoyez le devoir pour que les soumissions existantes qui comportent des sections de références surlignées soient retraitées.)