Turnitin détecte-t-il le copier-coller ?

Turnitin utilise deux systèmes indépendants. Le Similarity Report détecte le copier-coller. Il compare le texte que vous soumettez à une base de données de contenus publiés, d’autres travaux d’étudiants et de sources web, et il signale les chaînes de caractères correspondantes. Si vous avez copié depuis une source présente dans la base de données, le Similarity Report le montrera. L’AI Writing Report ne détecte pas le copier-coller. Il analyse les motifs de probabilité des mots dans la prose pour estimer si un texte a été généré par IA. Un texte humain copié depuis un livre ou un article ne déclenche pas le détecteur d’IA, parce que l’écriture humaine a des motifs de probabilité différents de ceux du texte généré par IA.

Ces deux scores ne s’influencent pas l’un l’autre. Nous allons voir comment fonctionne chaque système et ce que cela signifie si vous avez collé du texte venant d’ailleurs.

Le Similarity Report est celui qui fait précisément ce que la plupart des gens veulent dire quand ils demandent si Turnitin détecte le copier-coller. Il prend le document que vous soumettez et le compare à la collection de contenus de Turnitin. Cette collection comprend des œuvres publiées, des pages web et d’autres travaux d’étudiants déjà soumis à Turnitin, et ce à quoi votre manuscrit est comparé détaille tout cela. Lorsque le système trouve dans votre document une chaîne de texte qui correspond à une chaîne de la base de données, il met la correspondance en évidence et la compte dans le pourcentage de similarité.

Le mécanisme, c’est la correspondance de chaînes. Si vous avez collé un paragraphe d’un site web, une phrase d’un livre numérisé et indexé, ou une section du travail d’un ami déjà soumis, le Similarity Report trouvera la correspondance à condition que la source soit dans la base de données. Le rapport vous montre exactement quelles chaînes ont correspondu et de quelle source elles proviennent.

La FAQ sur les capacités de détection de l’écriture par IA de Turnitin énonce cette séparation directement :

« The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection de l’écriture par IA sont totalement indépendants et ne s’influencent pas l’un l’autre.)

La phrase suivante sur cette même page est :

« The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking. » (Le score de similarité indique le pourcentage de texte correspondant trouvé dans le document soumis lorsqu’il est comparé à la vaste collection de contenus de Turnitin servant à la vérification de similarité.)

Cette deuxième phrase décrit exactement ce que fait le Similarity Report. Il trouve du texte correspondant. Il n’évalue pas si ce texte a été écrit par un humain ou par une IA. Il ne se soucie pas de savoir qui l’a écrit. Ce qui l’intéresse, c’est de savoir si la même chaîne existe quelque part dans la base de données. C’est aussi pourquoi le texte cité et entre guillemets apparaît toujours dans le Similarity Report alors que vous avez tout fait correctement.

L’AI Writing Report fonctionne selon un principe totalement différent. Il ne compare pas votre texte à une base de données de chaînes. Il fait passer votre texte dans un modèle qui attribue des scores de probabilité à des segments de prose. La FAQ décrit le mécanisme ainsi :

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu’un travail est soumis à Turnitin, les phrases de la soumission sont extraites et segmentées en sections qui se chevauchent pour l’analyse de prédiction. Chaque section est classée par le modèle de détection d’IA et reçoit une valeur entre 0 et 1, qui désigne la probabilité que le texte soit probablement humain ou généré par IA. Chaque phrase éligible dans ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent avoir plusieurs scores, qui sont ensuite regroupés en un seul score. Ces scores de phrase sont encore agrégés et servent à calculer le score global d’écriture IA du document.)

L’expression clé est « the probability of the text being likely human or AI-generated. » (la probabilité que le texte soit probablement humain ou généré par IA). Le modèle regarde comment les mots sont choisis et enchaînés. Le texte généré par IA tend à produire des mots hautement prévisibles compte tenu du contexte précédent, parce que les modèles de langage choisissent les tokens suivants les plus probables. L’écriture humaine tend à être moins prévisible dans ses choix de mots. C’est cette différence de motifs de probabilité que le modèle lit.

C’est pourquoi le texte humain copié ne déclenche pas le détecteur d’IA. Si vous collez dans votre travail un paragraphe d’un livre publié, ce paragraphe a été écrit par un humain. Ses motifs de probabilité des mots ressemblent à de l’écriture humaine, pas à du texte généré par IA. Le modèle le classe comme humain. L’AI Writing Report ne le signale pas.

L’inverse est également vrai. Si vous générez un paragraphe avec un outil d’IA et le collez dans votre travail, l’AI Writing Report peut le signaler, parce que les motifs de probabilité de ce paragraphe ressemblent à une sortie d’IA. Mais le Similarity Report ne le signalera pas, parce que cette chaîne exacte n’existe probablement pas dans la base de données de contenus publiés de Turnitin. L’IA a généré du texte neuf. Elle n’a pas copié depuis une source existante.

C’est la distinction fondamentale. Le Similarity Report repère le texte qui existe déjà ailleurs. L’AI Writing Report repère le texte qui donne l’impression d’avoir été généré par une machine. Le copier-coller est un problème de similarité. La génération par IA est un problème de probabilité. Ce qui entre dans cette probabilité est une autre question, et si Turnitin utilise la perplexité et la burstiness est la forme sous laquelle la plupart des gens la posent.

Il y a une deuxième couche dans le fonctionnement de l’AI Writing Report, et elle compte dans les scénarios de copier-coller. Le modèle n’analyse pas tout ce qui se trouve dans votre document. La FAQ dit :

« The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). » (Le modèle ne détecte pas de façon fiable le texte généré par IA sous forme de texte non prosaïque ou de code, et il ne détecte pas non plus l’écriture courte ou non conventionnelle comme les puces, c’est-à-dire de courtes structures qui ne sont pas des phrases.)

La phrase suivante est :

« This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. » (Cela signifie qu’un document contenant plusieurs types d’écriture différents produirait un écart entre le pourcentage et les passages mis en évidence.)

La FAQ précise aussi ce qui est analysé :

« This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. » (Ce texte éligible ne comprend que des phrases en prose, ce qui signifie que nous n’analysons que des blocs de texte écrits en phrases grammaticalement standard et que nous n’incluons pas d’autres types d’écriture comme les listes, les puces, c’est-à-dire de courtes structures qui ne sont pas des phrases, ou d’autres structures qui ne sont pas des phrases.)

La phrase suivante est :

« This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n’est pas nécessairement le pourcentage de l’ensemble de la soumission.)

Concrètement, voilà ce que cela veut dire. Si vous avez copié-collé une liste à puces, un tableau de données ou un bloc de code, il se peut que le modèle d’IA ne les lise même pas. Il filtre le contenu qui n’est pas de la prose avant de lancer son analyse. Le Similarity Report, à l’inverse, lit tout. Il repérera une liste collée ou un bloc de code collé aussi facilement qu’un paragraphe collé, parce qu’il effectue une recherche de correspondance de chaînes sur l’ensemble du document.

Donc, lorsque vous collez du contenu qui n’est pas de la prose depuis une source, le résultat est asymétrique. Le Similarity Report le repère. L’AI Writing Report non, parce qu’il ne le voit jamais.

En réunissant les deux mécanismes, on explique le scénario sur lequel les étudiants s’interrogent le plus souvent. Vous avez trouvé un paragraphe sur un site web ou dans un livre. Vous l’avez collé dans votre travail. Vous vous inquiétez à la fois du score de similarité et du score IA. Voici ce qui se passe.

Le Similarity Report signalera le paragraphe collé, à condition que la source soit dans la base de données. La chaîne correspond. Le pourcentage monte. La source est identifiée. Le rapport fait son travail.

L’AI Writing Report ne signalera pas le paragraphe collé, à condition que le texte original ait été écrit par un humain. Le modèle lit le paragraphe comme de la prose, attribue des scores de probabilité à ses segments et constate que les choix de mots paraissent humains. Le paragraphe est classé comme écrit par un humain. Aucun signalement d’IA.

Cela reste vrai même si le texte collé est long. Le modèle d’IA ne se soucie pas de l’origine du texte. Ce qui l’intéresse, c’est la façon dont le texte se lit. Un paragraphe copié d’un article de revue des années 1990 a les motifs de probabilité des mots de la prose académique humaine des années 1990. Ce n’est pas à quoi ressemble un texte généré par IA.

La FAQ rend l’indépendance explicite. Turnitin dit : « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection de l’écriture par IA sont totalement indépendants et ne s’influencent pas l’un l’autre.) Un score de similarité élevé dû à du texte collé ne fait pas monter le score IA. Un score IA élevé dû à du texte généré ne fait pas monter le score de similarité. Ils sont calculés par des systèmes différents qui cherchent des choses différentes, et c’est pourquoi les deux scores ne doivent pas être lus comme une seule et même chose.

Si vous avez collé du texte venant d’ailleurs et que vous avez les deux rapports sous les yeux, voici comment les lire.

Si le texte collé apparaît dans le Similarity Report, c’est normal. Le système a trouvé la correspondance. Vous devez soit paraphraser le texte avec vos propres mots, soit le mettre entre guillemets avec une citation, soit le supprimer. Les guillemets avec citation sont le seul cas où du texte collé est légitime. Turnitin affichera quand même la correspondance, mais votre enseignant pourra voir qu’elle est correctement attribuée.

Si le texte collé a été écrit par un humain et que vous consultez l’AI Writing Report, vous ne devriez pas y voir de signalement. Si vous en voyez un et que le texte provient réellement d’une source humaine, c’est un faux positif. Le modèle d’IA est un estimateur de probabilités, pas une certitude. Il peut se tromper. Mais l’explication la plus courante est que le texte collé n’est pas ce qui a été signalé. Lisez le texte réellement mis en évidence. Il se peut que ce soit votre propre rédaction, juste à côté de la section collée, et non la section collée elle-même.

Si vous avez généré du texte avec un outil d’IA et que vous l’avez collé, la situation s’inverse. Le Similarity Report ne le signalera probablement pas, parce que la chaîne est nouvelle. L’AI Writing Report peut le signaler, parce que les motifs de probabilité sont ceux que le modèle est entraîné à reconnaître.

Le résumé pour tous ceux qui se demandent si Turnitin détecte le copier-coller :

1. Le Similarity Report détecte le copier-coller. Il compare des chaînes de texte à une base de données. Si la source est dans la base de données, le texte collé apparaîtra comme correspondance.
2. L’AI Writing Report ne détecte pas le copier-coller. Il analyse les motifs de probabilité des mots dans la prose. Le texte humain copié se lit comme humain et n’est pas signalé.
3. Les deux scores sont indépendants. Un score de similarité élevé ne provoque pas un score IA élevé, et inversement.
4. Si vous avez collé du contenu qui n’est pas de la prose, comme des listes, du code ou des tableaux, le Similarity Report peut le repérer alors que le modèle d’IA ne l’analysera peut-être même pas, parce qu’il ne lit que des phrases en prose.
5. Si vous avez collé du texte généré par IA, l’AI Writing Report peut le signaler même si le Similarity Report ne le fait pas, parce que la chaîne est nouvelle mais que les motifs de probabilité sont reconnaissables.

La distinction n’a plus rien de subtil dès que vous savez ce que chaque système cherche. La similarité cherche des chaînes qui existent déjà. La détection d’IA cherche des motifs de probabilité dans la prose. Le copier-coller est un problème de chaînes. La génération par IA est un problème de motifs.