Comment fonctionne la détection d'IA de Turnitin ?
Le taux de détection d'IA de Turnitin ne correspond pas à une analyse unique qui étiquetterait votre document comme étant issu de l'IA ou humain. Il s'agit d'un processus qui fonctionne phrase par phrase : extraction, segmentation, classification et agrégation. Nous expliquons ici le mécanisme, les types de textes que le modèle peut analyser (et ceux qu'il ne peut pas), qui a accès au score, et pourquoi les scores faibles apparaissent sous forme d'astérisque.
L'équipe HumanPen
· 5 min de lecture
En bref
Turnitin calcule votre taux d'IA en découpant votre travail en phrases, regroupées en segments qui se chevauchent, puis attribue à chaque segment un score de probabilité entre 0 et 1. Ces scores sont combinés et agrégés pour former un pourcentage unique pour l'ensemble du document. Le modèle n'analyse que le texte rédigé, pas le code ni les listes à puces. Seuls les enseignants et les administrateurs peuvent voir le score, mais ils peuvent télécharger et partager un PDF avec vous. Si le score se situe entre 1 % et 19 %, le rapport affiche un astérisque au lieu d'un pourcentage.
Comment fonctionne le mécanisme de détection
Tout commence lorsque vous soumettez votre travail. Turnitin décrit le processus ainsi : « When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu'un travail est soumis à Turnitin, les phrases sont extraites et découpées en sections qui se chevauchent pour l'analyse. Chaque segment est classifié par le modèle de détection d'IA et reçoit une valeur entre 0 et 1, indiquant la probabilité que le texte soit généré par un humain ou par l'IA. Chaque phrase éligible dans ces segments hérite du score du segment. Comme les segments se chevauchent, certaines phrases peuvent avoir plusieurs scores, qui sont ensuite combinés en un score unique. Ces scores sont agrégés pour calculer le score global d'écriture par IA du document.)
Plusieurs éléments sont à noter. D'abord, l'unité d'analyse est la phrase, pas le document entier. Ensuite, les segments se chevauchent : une même phrase peut appartenir à plusieurs segments et porter plusieurs scores qui sont combinés. Enfin, le pourcentage final est une agrégation de tous ces scores au niveau des phrases. Il ne s'agit pas d'un jugement unique, mais de nombreuses petites évaluations combinées.
C'est pourquoi deux documents avec le même pourcentage peuvent avoir des distributions de texte signalé différentes. L'un peut avoir quelques phrases fortement signalées, tandis que l'autre en a beaucoup légèrement signalées. L'agrégation lisse ces différences en un seul nombre.
Ce que le modèle analyse et ce qu'il ignore
Tout dans votre document n'est pas analysé. Turnitin indique : « The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). » (Le modèle ne détecte pas de façon fiable le texte généré par l'IA sous forme de contenu non rédigé ou de code, ni les écrits courts ou non conventionnels comme les listes à puces.)
Cela signifie que les blocs de code, les listes à puces, les listes numérotées et autres éléments non rédigés sont exclus de l'analyse de détection d'IA. Seules les phrases rédigées, c'est-à-dire les paragraphes de texte continu, sont soumises au modèle. Turnitin ajoute : « This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. » (Cela signifie qu'un document contenant plusieurs types d'écriture peut présenter un écart entre le pourcentage et les passages surlignés.)
Si votre travail combine de longs paragraphes rédigés avec des listes à puces et des extraits de code, le pourcentage ne reflète que les parties rédigées. Les surlignages ne couvrent que le texte rédigé. Cela peut prêter à confusion si vous comparez le texte surligné à la longueur totale du document et que les chiffres ne correspondent pas. Le pourcentage est calculé sur la base du texte éligible, pas du document complet.
Qui peut voir le score d'IA
Les étudiants ne peuvent pas voir directement l'indicateur ni le rapport de détection d'écriture par IA. Turnitin précise : « The AI writing detection indicator and report are not visible to students. » (L'indicateur et le rapport de détection d'écriture par IA ne sont pas visibles pour les étudiants.) Et : « Please note, only instructors and administrators are able to see the indicator. » (Veuillez noter que seuls les enseignants et les administrateurs peuvent voir l'indicateur.)
Cela ne signifie pas que vous ne pouvez jamais voir votre propre score. Turnitin ajoute : « However, with the PDF download feature, instructors can download and share the AI report with students. » (Cependant, grâce à la fonction de téléchargement PDF, les enseignants peuvent télécharger et partager le rapport IA avec les étudiants.) Ainsi, pour voir votre score, il faut passer par votre enseignant. S'il choisit de télécharger le PDF et de vous le transmettre, vous pourrez voir le pourcentage, les surlignages et tout astérisque. S'il choisit de ne pas le partager, vous n'y aurez pas accès via l'interface Turnitin. La connexion Turnitin pour les étudiants explique ce que la vue étudiant contient ou non.
Si vous avez besoin de consulter votre rapport pour le réviser, demandez à votre enseignant s'il peut télécharger et partager le PDF. Beaucoup sont disposés à le faire, surtout si vous expliquez que vous souhaitez traiter les passages signalés avant la soumission finale.
Pourquoi les scores faibles apparaissent comme un astérisque
Si le score d'IA se situe entre 1 % et 19 %, le rapport n'affiche pas de pourcentage. Il affiche plutôt un astérisque (%). Turnitin explique : « To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed. » (Pour éviter les faux positifs, aucun score ni surlignage n'est attribué pour les scores de détection d'IA entre 1 % et 19 %. Lorsque l'IA est détectée en dessous du seuil de 20 % dans le rapport, elle est désormais indiquée par un astérisque (*%) et aucun pourcentage n'est attribué.)
L'astérisque signifie que le détecteur a repéré quelque chose, mais pas assez pour s'engager sur un chiffre précis. Aucun surlignage n'apparaît non plus dans cette plage. Le score est trop faible pour que Turnitin justifie de pointer des passages spécifiques comme étant générés par l'IA. C'est une approche conservative conçue pour réduire les faux positifs.
Si vous voyez l'astérisque, le détecteur a repéré des motifs semblables à l'IA dans votre texte rédigé. Mais la confiance était inférieure au seuil où Turnitin accepte d'attribuer un pourcentage ferme. Pour la plupart des étudiants, l'astérisque n'est pas un sujet d'inquiétude. Que signifie l'astérisque (*%) sur un score d'IA Turnitin explique quoi répondre si un enseignant vous pose la question.
Que faire avec votre rapport d'IA
Si votre enseignant vous partage le rapport PDF et que vous voyez un pourcentage supérieur à 20 %, examinez les passages surlignés. Ce sont les segments spécifiques que le modèle a classifiés comme probablement générés par l'IA. Concentrez votre révision sur ces sections, dans l'ordre décrit par réécrire uniquement les paragraphes signalés par un rapport Turnitin. Gardez vos citations, tableaux et blocs de code intacts, car ils ne font pas partie de l'analyse d'IA.
Si vous voyez l'astérisque, il n'y a pas de passages surlignés à traiter. Le score est en dessous du seuil de signalement. Vous pouvez toujours relire votre texte rédigé pour repérer les formulations génériques ou trop conventionnelles, mais il n'y a pas de signalement spécifique à contester.
Si votre pourcentage est suffisamment élevé pour vous inquiéter, vous ou votre enseignant, révisez les passages signalés et soumettez à nouveau. Gardez à l'esprit que le modèle évolue avec le temps, donc une nouvelle soumission peut produire un score différent même avec le même texte, c'est pourquoi comparer deux rapports vaut mieux que comparer deux scores.
Les passages éligibles peuvent être relancés sans frais supplémentaires.