Votre revue de littérature a un score IA élevé ? Voici pourquoi

Les revues de littérature présentent structurellement un risque élevé de scores IA pour des raisons inhérentes au genre lui-même. Une revue de littérature résume et synthétise les recherches existantes, ce qui implique de paraphraser abondamment. Chaque paragraphe reformule ce que d'autres chercheurs ont trouvé, souvent avec des structures de phrase similaires car les matériaux sources suivent des schémas semblables. La FAQ de Turnitin mentionne le « contenu sans grande variation structurelle » et le « texte qui a été paraphrasé sans développer de nouvelles idées » comme caractéristiques sujettes aux faux positifs. Une revue de littérature peut naturellement correspondre à ces deux descriptions sans aucune intervention de l'IA. Le score élevé peut refléter le profil statistique du texte plutôt que son origine. Comprendre cela ne fait pas disparaître le score, mais explique pourquoi une revue de littérature entièrement rédigée par un humain peut recevoir un pourcentage IA élevé.

La FAQ de Turnitin indique :

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Parfois, les faux positifs — qui identifient à tort un texte rédigé par un humain comme étant généré par l'IA — peuvent inclure du contenu sans grande variation structurelle, du texte qui se répète littéralement, ou du texte qui a été paraphrasé sans développer de nouvelles idées.)

La phrase suivante : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée de rédaction par IA dans un tel texte, nous vous conseillons de prendre cela en considération lorsque vous examinez le pourcentage indiqué.)

Trois de ces descriptions correspondent par nature aux revues de littérature. Le « contenu sans grande variation structurelle » décrit une section où chaque paragraphe suit le même schéma : le chercheur X a trouvé Y, le chercheur Z a trouvé W, le chercheur A a confirmé B. Le « texte qui se répète littéralement » évoque les formulations récurrentes qui relient les résumés : « De même », « En revanche », « Sur la base de », « Conformément à ». Le « texte paraphrasé sans développer de nouvelles idées » décrit ce qu'une revue de littérature fait au niveau de la phrase. Vous reformulez des résultats, vous ne générez pas d'arguments originaux, dans la majeure partie du texte. La FAQ indique que ce type de texte est précisément celui qui peut produire des faux positifs. Et Turnitin conseille aux enseignants de prendre cela en considération lors de l'interprétation du score.

Il existe également une raison structurelle pour laquelle les revues de littérature produisent des pourcentages plus élevés que d'autres sections. Turnitin n'analyse que le « texte qualifié », que la FAQ définit comme des « phrases en prose, c'est-à-dire que nous analysons uniquement des blocs de texte rédigés en phrases grammaticalement standard ». La FAQ poursuit : « Ce pourcentage ne correspond pas nécessairement au pourcentage de l'ensemble du document. »

Une section de résultats peut contenir des tableaux, des figures et des équations exclus de l'analyse. Une section méthodologique peut inclure des listes et des puces. Mais une revue de littérature est presque entièrement composée de prose. Chaque paragraphe est du texte qualifié. Cela signifie qu'une plus grande proportion du document est évaluée, et une proportion plus élevée implique davantage de segments produisant des valeurs de probabilité qui alimentent le score global. Une revue de littérature et une section de résultats de même longueur peuvent produire des pourcentages IA différents, en partie parce que la revue de littérature contient plus de texte qualifié pour le détecteur. C'est ce même argument de densité qui explique pourquoi Turnitin a signalé toute ma section méthodologique est une plainte si fréquente.

Les notes de version de Turnitin de mai 2023 décrivent un modèle pertinent pour les revues de littérature :

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Depuis le lancement, nous avons observé une incidence plus élevée de détections faussement positives dans les premières ou dernières phrases d'un document. Souvent, ces phrases consistent en un contenu d'introduction ou de conclusion rédigé de manière générique. En conséquence, nous avons modifié notre logique de détection pour aider à réduire ces faux positifs.)

La phrase suivante : « We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version. » (Nous avons également travaillé à rendre la détection des limites de segments plus précise, ce qui pourrait dans de rares cas entraîner un changement de limites par rapport à une version précédente.)

Il s'agissait d'une amélioration apportée en 2023, et non d'un défaut actuel. Mais le modèle qu'elle décrit — le contenu générique d'introduction et de conclusion — correspond exactement à ce que contiennent souvent les paragraphes d'ouverture et de clôture d'une revue de littérature. Si votre revue commence par « La recherche sur X a considérablement augmenté ces dernières années » et se termine par « En résumé, la littérature suggère que... », ce sont là le genre de formulations génériques historiquement associées aux faux positifs. La logique de détection a été mise à jour pour réduire ce phénomène, mais le schéma sous-jacent existe toujours dans de nombreuses revues de littérature.

Il y a encore une chose à comprendre. La FAQ de Turnitin indique : « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection de rédaction par IA sont complètement indépendants et ne s'influencent pas l'un l'autre.)

Une revue de littérature présente généralement un score de similarité modéré à élevé car elle cite et reproduit des extraits de recherches existantes. Cela est attendu et ne pose pas de problème. Mais certains étudiants supposent qu'un score de similarité élevé signifie que le score IA sera également élevé, ou que réduire le score de similarité diminuera le score IA. Ni l'un ni l'autre n'est vrai. Les deux mesures sont indépendantes. Votre revue de littérature peut avoir un score de similarité de 30 % (provenant de sources correctement citées) et un score IA faible, ou un score de similarité de 5 % et un score IA élevé. Travailler sur l'un n'affecte pas l'autre ; considérer les deux scores comme identiques est l'erreur la plus courante.

Pour résumer ce que nous avons vu :

• Les revues de littérature correspondent au profil sujet aux faux positifs de Turnitin : faible variation structurelle, répétition et paraphrase sans idées nouvelles.
• Les revues de littérature sont presque entièrement en prose, ce qui signifie plus de texte qualifié pour le détecteur.
• Le contenu générique d'introduction et de conclusion était historiquement associé aux faux positifs (corrigé dans une mise à jour de 2023).
• Le score IA et le score de similarité sont indépendants. Réduire l'un ne réduit pas l'autre.
• Turnitin conseille aux enseignants de prendre le type de texte en considération lors de l'interprétation des scores IA élevés sur ce type de contenu.

Si vous disposez d'un rapport Turnitin indiquant quels passages de votre revue de littérature ont été signalés, importez le rapport et travaillez sur ces passages spécifiques. Le reste de votre revue reste verbatim, ce qui importe car réviser une revue de littérature sans rompre la chaîne des preuves est l'écueil lorsqu'on réécrit de manière trop large. Les passages éligibles peuvent être re-traités sans frais supplémentaires.