Pourquoi Turnitin signale-t-il mes références et mes citations ? Ce que les exclusions couvrent réellement

L’AI Writing Report de Turnitin exclut les bibliographies et n’analyse que la prose rédigée en phrases grammaticales standard : votre liste de références ne fait donc ni monter votre pourcentage d’IA, ni office de dilution. La couleur qui apparaît sur une bibliographie appartient presque toujours au Similarity Report, et là, une entrée de référence qui correspond à une autre est précisément ce qu’un style de citation partagé doit produire.

Restent trois questions plus étroites, que la réponse habituelle escamote. Pourquoi certains rapports d’IA portent-ils quand même de la couleur sur les entrées de référence ? Si une bibliographie annotée relève du même cas qu’une simple liste de références. Et qui, si la couleur vient du côté similarité, détient réellement la commande qui la ferait changer.

Le fil qui traverse ces trois questions, c’est que ces exclusions ne sont pas des faits concernant votre document. Ce sont des étapes de fabrication d’un rapport, appliquées au moment où il est fabriqué. Changez le moment et vous changez le rapport, sans toucher un seul mot du fichier.

La page de Turnitin consacrée au modèle de détection de l’écriture par IA publie des notes de version datées. L’entrée du 9 août 2023 indique :

« We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report. » (Nous avons corrigé un bogue qui signalait occasionnellement de l’écriture par IA dans les références listées dans une bibliographie. Les bibliographies sont désormais exclues lors du traitement de l’AI Writing Report.)

La phrase qui suit immédiatement est celle qui disparaît chaque fois que cette note est citée : « Resubmit to reprocess existing submissions that contain highlighted reference sections. » (Soumettez à nouveau pour retraiter les soumissions existantes qui contiennent des sections de références surlignées.) L’exclusion s’applique donc pendant la production d’un rapport. Un rapport qui existait déjà le 9 août 2023 a gardé les surlignages qu’il avait, et les a gardés jusqu’à ce que quelqu’un soumette à nouveau le travail.

La même note a traité les tableaux de la même manière. « We are now able to process long-form prose text in tables » (Nous sommes désormais en mesure de traiter la prose longue dans les tableaux), suivi de « Resubmit to reprocess existing submissions that contain tables. » (Soumettez à nouveau pour retraiter les soumissions existantes qui contiennent des tableaux.) Deux changements, tous deux conditionnés à une nouvelle soumission que personne n’effectue automatiquement.

Pour la plupart des personnes qui tiennent un rapport généré cette année, tout cela n’explique rien. Ce à quoi cela sert, c’est à installer une habitude : avant d’essayer d’expliquer ce que montre un rapport, découvrez quand il a été produit, parce que les règles en vigueur à ce moment-là sont les règles de cette date. Deux rapports sur le même fichier, générés à un an d’intervalle, ne sont pas deux lectures d’une même mesure. Nous avons décortiqué la version générale de ce problème dans comparer deux rapports Turnitin après une nouvelle vérification.

Cela explique aussi pourquoi tant de conseils qui circulent sur les bibliographies signalées sonnent à la fois sûrs d’eux et datés. Beaucoup ont été écrits à partir de captures d’écran de 2023.

Deux questions reviennent sans arrêt et elles n’ont qu’une réponse. Est-ce que ma bibliographie a fait monter mon pourcentage d’IA ? Et est-ce qu’une bibliographie plus longue le ferait baisser ?

Turnitin appelle texte éligible ce que le modèle examine, et ses FAQ sur la détection indiquent qu’il « only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures » (n’analyse que les blocs de texte rédigés en phrases grammaticales standard et ne comprenant pas d’autres types d’écriture tels que des listes, des puces — structures courtes qui ne sont pas des phrases — ou d’autres structures qui ne sont pas des phrases), la conséquence étant énoncée dans la phrase suivante : « This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n’est pas nécessairement le pourcentage de l’ensemble de la soumission.) Une entrée de référence n’est pas une phrase grammaticale standard, et les bibliographies sont de toute façon retirées avant le traitement. La liste de références n’est donc ni au numérateur ni au dénominateur.

Cela tue deux projets d’un coup. Supprimer vos références avant la soumission ne change pas ce que le rapport analyse, et cela fait rendre un travail incomplet pour régler un problème que vous n’aviez pas. Gonfler la bibliographie ne dilue rien, parce que la dilution exige que les mots ajoutés soient au dénominateur, et ce n’est pas le cas.

Si vous voulez voir à quoi correspond réellement le dénominateur dans un document rempli de tableaux et de listes, comment lire un AI Writing Report de Turnitin déroule un exemple chiffré.

Le mot bibliographie porte beaucoup de choses dans tout cela, et les propres pages de Turnitin contiennent deux affirmations distinctes sur les contenus en forme de référence, que l’on a tendance à fondre en une seule.

Un article d’aide de Turnitin indique : « The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. » (Le modèle ne détecte pas de façon fiable le texte généré par IA sous forme de non-prose, comme la poésie, les scripts ou le code, et ne détecte pas non plus l’écriture courte ou non conventionnelle comme les puces, les tableaux ou les bibliographies annotées.)

Lisez cela à côté de la note de version. La note décrit une règle de traitement : les bibliographies sont retirées avant l’exécution du modèle. L’article d’aide décrit une limite de fiabilité : pour certains types d’écriture, le résultat du modèle n’est pas quelque chose que Turnitin garantit. Ce ne sont pas la même garantie, et la seconde est bien plus faible.

La distinction mord le plus fort sur les bibliographies annotées, parce que les annotations sont des phrases de prose que vous avez écrites, placées sous des entrées que vous n’avez pas écrites. Si votre bibliographie annotée revient avec de la couleur dessus, ce n’est pas le même événement que de la couleur sur une simple liste de références, et la note de version n’est pas le document qui le couvre.

La description publiée par Turnitin du calcul énonce une chaîne d’opérations. Les phrases sont extraites, regroupées en segments qui se chevauchent, chaque segment reçoit une valeur entre 0 et 1, chaque phrase éligible hérite du score des segments qui la couvrent, et ces scores de phrases mutualisés sont agrégés en un chiffre pour le document. Une citation n’est une entrée à aucune étape de cette chaîne.

Le chevauchement a une conséquence que l’on suit rarement jusqu’au bout. Une phrase proche de la bordure d’un segment se trouve dans deux segments, et porte donc plus d’un score hérité. Le surlignage de votre phrase porteuse de citation est en partie emprunté aux phrases qui l’entourent, ce qui explique que la correction, s’il en existe une, ne se trouve jamais au niveau du crochet. Nous avons retracé ce qui en découle et ce qui n’en découle pas dans réécrire une seule phrase signalée fait-il baisser le score.

Cela signifie aussi que plusieurs modifications tentantes n’ont rien sur quoi agir. Renuméroter, remplacer un marqueur entre parenthèses par un exposant, ajouter une phrase d’introduction devant l’affirmation, déplacer l’attribution en fin de phrase : rien de tout cela ne change la propriété évaluée, parce que rien de tout cela ne change la prose.

Pour la version de cette question qui commence par « mais quel rapport est-ce que j’ai entre les mains », pourquoi Turnitin a-t-il signalé mes références parcourt les différentes branches.

Maintenant l’autre cas. Quelqu’un vous a transféré un pourcentage, la couleur est sur votre bibliographie, et l’on vous a demandé de faire baisser le chiffre. Ce qui le ferait bouger n’est pas dans votre fichier.

Les rapports de similarité sont produits avec des filtres d’exclusion, dont la bibliographie fait partie, et les citations en sont un autre. La personne qui a configuré le rapport a choisi lesquels étaient actifs, et ce choix ne voyage pas avec un pourcentage collé dans un courriel. Deux rapports sur un même fichier non modifié peuvent différer beaucoup pour cette seule raison. Les deux rapports côte à côte traite des filtres et de l’endroit où trouver leur état ; pourquoi votre texte cité et référencé correspond encore traite de ce qui arrive aux passages attribués quand personne ne les a activés.

C’est aussi l’argument contre la manœuvre évidente. Une entrée de référence correspond aux entrées de référence des autres parce que le guide de style vous a tous invités à produire la même chaîne. Une entrée réécrite jusqu’à ce qu’elle ne corresponde plus est une entrée qui ne suit plus le style, et si un outil le fait sur toute la liste d’un coup, vous ne le remarquerez qu’au moment où la personne qui corrige le remarquera. Ce qui arrive aux citations et aux tableaux dans un outil de réécriture contient un cas documenté exactement de cela.

La réponse utile au courriel est donc une question plutôt qu’une révision : quelles exclusions étaient actives sur ce rapport, et où se trouve la couleur en dehors de la bibliographie. La seconde partie est la seule qui demande jamais une réponse de votre part.

Rien de tout cela ne nécessite un compte, un recours ou un expert. Il faut le PDF réel plutôt que la capture d’écran d’un chiffre, et environ cinq minutes.

1. Trouvez d’abord la date de génération. Toute exclusion et toute version du modèle décrite quelque part correspond à l’ensemble qui était en vigueur lorsque ce fichier a été produit, et non à celui que décrit aujourd’hui le site d’aide.
2. Regardez l’indicateur d’IA avant de regarder quoi que ce soit de coloré. Turnitin n’attribue ni score ni surlignage dans la plage de 1 % à 19 %, et affiche un astérisque à la place ; si vous avez un astérisque devant vous, rien de ce qui est surligné ne provient du rapport d’IA.
3. Suivez un passage coloré et voyez ce qu’il vous propose. Une correspondance qui mène à une source nommée avec son propre pourcentage, c’est le Similarity Report. Le surlignage d’IA n’y apparaît pas et ne mène nulle part.
4. Demandez quels filtres d’exclusion étaient actifs. Bibliographie et citations sont deux interrupteurs séparés, aucun des deux états n’est visible sur un chiffre transféré, et la personne qui a lancé le rapport le sait.
5. S’il s’agit du rapport d’IA, lisez la prose surlignée et arrêtez de compter les lignes. Le pourcentage est calculé sur le texte éligible et les surlignages se trouvent dans un document qui contient aussi tout le reste : les deux ne se réconcilieront pas à l’œil.

Couché sur le papier, c’est une liste de questions sur le rapport plutôt que sur votre écriture, ce qui est à peu près la bonne proportion pour ce problème précis.

L’outil HumanPen réécrit des documents, et la décision de conception pertinente ici porte sur le périmètre plutôt que sur le résultat. Soit vous sélectionnez vous-même les passages, soit vous téléversez le document avec son AI Writing Report et laissez les passages signalés définir le périmètre. Seuls les passages repris du rapport sont réécrits ; le reste du document est conservé à l’identique.

Pour le sujet de cet article, cela a une conséquence précise. Une liste de références n’a aucune raison d’entrer dans le périmètre d’une réécriture, puisqu’elle est hors du calcul d’IA des deux côtés. Un outil qui l’atteint quand même dépense votre risque pour quelque chose qui n’aurait pas pu aider votre chiffre.

La facturation ne compte que les mots réellement réécrits : un rapport qui signale un cinquième du document coûte environ un cinquième d’un passage complet. Les passages éligibles peuvent être relancés gratuitement.

Ce que nous ne vous dirons pas, c’est ce que votre prochain rapport indiquera. Notre propre page indique que HumanPen vise à préserver le sens, la structure, la terminologie, les citations, la mise en page et les styles tout en ne réécrivant que le langage nécessaire, puis elle dit de relire les documents complexes après le téléchargement. Les deux moitiés sont à prendre au sérieux.

Mon rapport d’IA a de la couleur sur les entrées de référence elles-mêmes. Est-ce seulement possible ? Cela l’était, avant que la note de version de Turnitin datée du 9 août 2023 annonce qu’un bogue signalant de l’écriture par IA à l’intérieur des bibliographies avait été corrigé et que les bibliographies étaient désormais exclues lors du traitement du rapport. La note ajoute que les soumissions existantes doivent être soumises à nouveau avant d’être retraitées ; un ancien rapport a donc gardé ses surlignages. Si votre rapport est récent, vérifiez si ce que vous avez en main n’est pas plutôt le Similarity Report.

Une liste de références plus longue diluera-t-elle mon pourcentage d’IA ? Non. Le pourcentage est calculé sur la prose éligible, et Turnitin indique que le résultat est « not necessarily the percentage of the entire submission » (pas nécessairement le pourcentage de l’ensemble de la soumission). Des mots qui ne sont pas au dénominateur ne peuvent rien diluer.

Ma bibliographie annotée est surlignée. Est-ce couvert par la même exclusion ? Pas par la même affirmation. La note de version concerne l’exclusion des bibliographies du traitement. Un article d’aide de Turnitin liste séparément les bibliographies annotées parmi les types d’écriture dans lesquels le modèle ne détecte pas de façon fiable l’écriture par IA, ce qui est une affirmation sur la fiabilité et non une règle sur ce qui est retiré. Les annotations sont aussi de la prose que vous avez écrite, ce qu’une simple liste de références n’est pas.

Changer de style de citation modifie-t-il l’un des deux chiffres ? Pas du côté de l’IA, car rien dans la description publiée de ce calcul ne lit les citations. Du côté de la similarité, la façon dont un rapport classe une correspondance attribuée dépend d’une étape de reconnaissance aux limites documentées, et pourquoi votre texte cité et référencé correspond encore les passe en revue.

Que devrais-je demander avant de répondre à un courriel à ce sujet ? Le rapport complet au format PDF plutôt qu’une capture, la date à laquelle il a été généré, de quel rapport il s’agit, et quels filtres d’exclusion étaient actifs. Ces quatre réponses règlent l’essentiel avant que quiconque ait à discuter de votre écriture.