Pourquoi les bibliographies annotées obtiennent des scores d’IA peu fiables dans Turnitin

Un article d’aide de Turnitin signale des limites connues du modèle avec certains formats 

« The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. » (Le modèle ne détecte pas de manière fiable le texte généré par l’IA lorsqu’il ne se présente pas sous forme de prose, comme la poésie, les scripts ou le code, et il ne détecte pas non plus les écritures courtes ou non conventionnelles, comme les puces, les tableaux ou les bibliographies annotées.)

La phrase suivante  « This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. » (Cela signifie qu’un document contenant plusieurs types d’écriture différents produirait un écart entre le pourcentage et les surlignages.)

Les bibliographies annotées sont nommément citées dans cette liste. Le modèle ne détecte pas de manière fiable le texte généré par l’IA dans ce format. C’est une limite de couverture reconnue dans l’article d’aide, pas un problème de configuration de votre côté. Si votre bibliographie annotée reçoit un score d’IA élevé, ce score vient d’un modèle qui travaille hors de sa plage de couverture fiable.

La bibliographie n’est pas seulement peu fiable  elle est entièrement exclue du traitement. Une note de version de 2023 l’indique 

« We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report. » (Nous avons corrigé un bogue qui signalait occasionnellement de l’écriture par IA à l’intérieur des références listées dans une bibliographie. Les bibliographies sont désormais exclues lors du traitement du rapport d’écriture par IA.)

La phrase suivante  « Resubmit to reprocess existing submissions that contain highlighted reference sections. » (Soumettez à nouveau pour retraiter les envois existants qui contiennent des sections de références surlignées.)

Cela signifie que les entrées de bibliographie, c’est-à-dire les citations elles-mêmes, ne sont pas analysées. Si vous avez soumis un document avant ce correctif et que vous avez vu des surlignages dans votre liste de références, une nouvelle soumission retraiterait le document sans la bibliographie. L’article Pourquoi Turnitin signale mes références et mes citations détaille jusqu’où vont réellement les exclusions. La même note de version traitait aussi le contenu des tableaux 

« We are now able to process long-form prose text in tables. » (Nous sommes désormais en mesure de traiter de longs textes en prose dans les tableaux.)

La phrase suivante  « Resubmit to reprocess existing submissions that contain tables. » (Soumettez à nouveau pour retraiter les envois existants qui contiennent des tableaux.)

Dans une bibliographie annotée, les entrées de citation sont exclues. Les paragraphes d’annotation, c’est-à-dire la prose que vous rédigez sur chaque source, sont le texte éligible qui est traité. Le score que vous voyez ne reflète que la prose des annotations, pas les citations.

Le détecteur ne traite que du texte éligible. La page de FAQ de Turnitin « AI writing detection capabilities » (capacités de détection de l’écriture par IA) l’explique 

« This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. » (Ce texte éligible ne comprend que des phrases de prose, ce qui signifie que nous n’analysons que des blocs de texte rédigés en phrases grammaticales standard et que nous n’incluons pas d’autres types d’écriture comme les listes, les puces, c’est-à-dire de courtes structures qui ne sont pas des phrases, ou d’autres structures qui ne sont pas des phrases.)

La phrase suivante  « This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n’est pas nécessairement celui de l’ensemble de l’envoi.)

Pour les bibliographies annotées, cela crée une dynamique précise. Les entrées de bibliographie, avec leurs citations formatées, leurs retraits suspendus et leurs liens DOI, sont exclues. Les paragraphes d’annotation sont des phrases de prose  ils sont donc du texte éligible. Le pourcentage du rapport ne reflète que la prose des annotations. Si vos annotations représentent 300 mots sur un document de 1 000 mots, le pourcentage couvre ces 300 mots, pas le document entier. Cet écart entre le pourcentage et la longueur du document est la première chose à vérifier en lisant un rapport d’écriture par IA de Turnitin.

La page de FAQ de Turnitin « AI writing detection capabilities » (capacités de détection de l’écriture par IA) formule la limite plus brièvement 

« The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). » (Le modèle ne détecte pas de manière fiable le texte généré par l’IA lorsqu’il ne se présente pas sous forme de prose ou lorsqu’il s’agit de code, et il ne détecte pas non plus les écritures courtes ou non conventionnelles, comme les puces, c’est-à-dire de courtes structures qui ne sont pas des phrases.)

La phrase suivante  « This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. » (Cela signifie qu’un document contenant plusieurs types d’écriture différents produirait un écart entre le pourcentage et les surlignages.)

Une bibliographie annotée est exactement ce type de document mixte. L’écart entre le pourcentage et les surlignages est un comportement connu.

Le pipeline de détection découpe le texte éligible en sections qui se chevauchent 

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu’un devoir est soumis à Turnitin, les phrases de l’envoi sont extraites et découpées en sections chevauchantes pour l’analyse de prédiction. Chaque section est classée par le modèle de détection de l’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt l’œuvre d’un être humain ou qu’il soit généré par l’IA. Chaque phrase éligible de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un seul. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score global d’écriture par IA du document.)

Dans une bibliographie annotée, seules les phrases de prose des annotations passent dans ce pipeline. Les entrées de citation n’y entrent jamais. Les scores de section reflètent l’évaluation de probabilité du texte d’annotation seul. Le pourcentage global est une agrégation de ces scores de phrase issus uniquement des annotations.

La prose des annotations suit généralement une formule prévisible  vous résumez la source, vous évaluez sa crédibilité et vous décrivez sa pertinence. Cette répétition correspond aux schémas que la documentation associe aux faux positifs 

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Il arrive que les faux positifs, c’est-à-dire le fait de signaler à tort comme généré par l’IA un texte écrit par un être humain, portent sur un contenu qui présente peu de variation structurelle, sur un texte qui se répète littéralement, ou sur un texte paraphrasé sans développer d’idées nouvelles.)

La phrase suivante  « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d’écriture par IA dans un tel texte, nous vous conseillons d’en tenir compte lorsque vous examinez le pourcentage indiqué.)

Les annotations présentent souvent peu de variation structurelle, parce que la formule résumé – évaluation – pertinence se répète d’une entrée à l’autre. Les formulations se répètent parce que les étudiants emploient des verbes similaires ("argues", "claims", "demonstrates") d’une annotation à l’autre. Les idées sont paraphrasées à partir de la source sans développer de nouveaux arguments, et la paraphrase à elle seule suffit à pousser le chiffre dans le mauvais sens, comme l’explique l’article pourquoi la paraphrase fait monter votre score d’IA Turnitin. La recommandation de Turnitin elle-même est de mettre le pourcentage en perspective plutôt que de l’accepter tel quel lorsque le texte correspond à ces schémas.

Pour résumer ce que nous avons vu 

• Un article d’aide de Turnitin indique que le modèle ne détecte pas de manière fiable le texte généré par IA dans les bibliographies annotées.
• Les bibliographies sont exclues du traitement. Seule la prose des annotations est analysée.
• Le pourcentage ne reflète que la prose des annotations, pas l’envoi complet.
• La prose des annotations tend à correspondre aux schémas de faux positifs  peu de variation structurelle, formulations répétitives et idées paraphrasées.
• Turnitin conseille  « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d’écriture par IA dans un tel texte, nous vous conseillons d’en tenir compte lorsque vous examinez le pourcentage indiqué.)
• Si vous aviez un ancien envoi avec des références surlignées, une nouvelle soumission retraitera le document sans la bibliographie.

Si vous recevez un rapport d’IA Turnitin sur une bibliographie annotée et que vous souhaitez traiter les passages signalés, importez le rapport et travaillez dessus. Les passages qui remplissent les conditions peuvent être relancés gratuitement.