Signalé par l'IA ? Ce qu'il faut peser avant de rendre en retard

Un signalement d'IA provoque une anxiété immédiate. Vous vous demandez peut-être si vous devez retenir votre travail et tout réviser. Avant de prendre cette décision, il est utile de comprendre ce que la documentation dit de ce score.

Turnitin l'affirme : « Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors. » (Nous devons donc souligner que le pourcentage de l'indicateur d'écriture par IA ne doit pas être utilisé comme seule base d'action ni comme mesure d'évaluation définitive par les enseignants.)

La documentation est directe sur ce point. Le pourcentage n'est pas une mesure définitive. Il n'est pas la seule base d'action. Si votre enseignant voit un pourcentage d'IA, la documentation lui demande de ne pas en faire un facteur décisif pour la note finale.

La documentation poursuit : « It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy. » (Il n'est pas destiné à fournir des réponses définitives de manière isolée. Plus important que tout outil, il y a l'enseignant qui voit le score et prend ses décisions en mettant cette information en balance avec sa connaissance personnelle de ses étudiants, de leur travail et de la politique de l'établissement.)

Cela signifie que le score s'inscrit dans un contexte. Votre enseignant est censé le mettre en balance avec ce qu'il sait de vous, de votre travail et des règles de votre établissement.

La documentation précise comment le score doit être utilisé.

« When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended. » (Lorsque les enseignants examinent le score d'écriture par IA et l'utilisent comme un point de données unique plutôt que comme une réponse définitive, alors il est utilisé comme prévu.)

Un point de données unique. C'est l'expression qu'emploie Turnitin pour décrire son propre indicateur. Si vous paniquez parce que vous avez vu un pourcentage, rappelez-vous que la documentation elle-même le présente comme une information parmi d'autres, non comme une conclusion.

Cela compte au moment de décider si vous devez rendre votre travail en retard. Le score ne prouve pas que votre travail a été généré par l'IA. Il indique que certaines parties du texte ressemblent à une écriture générée par l'IA. L'enseignant est censé mettre cela en balance avec d'autres facteurs. Avant même de supposer que le chiffre est trop élevé, consultez le pourcentage d'IA considéré comme acceptable sur Turnitin.

Si vous avez écrit le texte vous-même et qu'un signalement est quand même apparu, la documentation reconnaît que cela peut arriver.

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Il arrive que des faux positifs – c'est-à-dire un texte écrit par un humain signalé à tort comme généré par l'IA – concernent un contenu peu varié sur le plan structurel, un texte qui se répète littéralement, ou un texte reformulé sans développer d'idées nouvelles.)

Demandez-vous si votre texte correspond à l'une de ces descriptions. S'il est structurellement uniforme, s'il répète certaines formulations, ou s'il reformule des sources sans apporter d'analyse personnelle, la documentation indique que les faux positifs sont plus probables dans ces cas.

La documentation continue : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d'écriture par IA dans ce type de texte, nous vous conseillons d'en tenir compte lorsque vous examinez le pourcentage indiqué.)

C'est important pour votre décision. Si le texte signalé présente ces caractéristiques, le pourcentage peut être gonflé. La documentation elle-même recommande la prudence dans l'interprétation du score pour ce type de contenu.

La longueur de votre document influe sur le fonctionnement de la détection. Pour les textes plus courts, la documentation décrit une limite précise.

« In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. » (Dans les documents plus courts, qui ne comptent que quelques centaines de mots, la prédiction sera le plus souvent « tout ou rien », car nous effectuons la prédiction sur un seul segment, sans possibilité de chevauchement.)

Et : « This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. » (Cela signifie qu'un texte mêlant contenu généré par l'IA et contenu original pourrait être signalé comme entièrement généré par l'IA.)

Si votre travail ne compte que quelques centaines de mots, la détection n'a peut-être pas assez de segments pour produire un résultat nuancé. Un document en partie original et en partie généré par l'IA pourrait être signalé comme entièrement généré par l'IA. C'est une limite documentée de l'outil, ce n'est pas une propriété de votre écriture.

Si vous envisagez de rendre en retard un document court, gardez cela à l'esprit. Le pourcentage sur un document court peut être moins précis que sur un document plus long — à la limite, vous obtenez Turnitin qui annonce que votre travail est de l'IA à 100 %.

Turnitin documente son objectif de faux positifs, et la condition qui l'accompagne est importante.

« We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing. » (Nous nous efforçons de maximiser l'efficacité de notre détecteur tout en maintenant notre taux de faux positifs – c'est-à-dire le fait d'identifier à tort un texte entièrement écrit par un humain comme généré par l'IA – sous 1 % pour les documents comportant plus de 20 % d'écriture par IA.)

Et : « In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents. » (Autrement dit, il se peut que nous signalions comme écrit par l'IA un document écrit par un humain sur 100 documents entièrement écrits par des humains.)

L'objectif est inférieur à 1 % pour les documents comportant plus de 20 % d'écriture par IA. Cela signifie que l'objectif s'applique précisément aux documents dont une part importante est générée par l'IA. Pour les documents comportant moins d'écriture par l'IA, le comportement en matière de faux positifs peut différer.

La documentation reconnaît également que des faux positifs se produisent, à raison d'environ un document sur 100 entièrement écrit par des humains. Ce n'est pas un taux nul. Si votre texte est entièrement de votre main, il existe une possibilité documentée de signalement erroné. Ce que signifie un taux de faux positifs de 1 % lorsqu'une université soumet 75 000 copies chiffre la fréquence à laquelle cela tombe sur quelqu'un.

Voici ce que la documentation suggère de mettre dans la balance.

Premièrement, le score n'est pas la seule base d'action. La documentation le dit directement. Un pourcentage d'IA ne détermine à lui seul ni votre note ni l'issue.

Deuxièmement, le score est un point de données unique. C'est une information que votre enseignant est censé mettre en balance avec d'autres connaissances.

Troisièmement, vérifiez si votre texte présente des caractéristiques de faux positif. S'il manque de variété structurelle, s'il se répète ou s'il reformule sans idées nouvelles, la documentation reconnaît un risque plus élevé de faux positif.

Quatrièmement, tenez compte de la longueur du document. Les documents courts de quelques centaines de mots se heurtent à une prédiction de tout ou rien qui peut signaler un contenu mixte comme entièrement généré par l'IA.

Cinquièmement, l'objectif de faux positifs est inférieur à 1 % pour les documents comportant plus de 20 % d'écriture par l'IA. Pour un texte entièrement écrit par un humain, le taux documenté de faux positifs est d'environ un sur 100.

Avant de décider de rendre en retard, parlez à votre enseignant. Demandez-lui s'il peut partager avec vous le rapport d'IA au format PDF. La documentation confirme que les enseignants peuvent le télécharger et le partager. Voir quelles sections sont signalées vous aidera à comprendre ce que le pourcentage reflète réellement.

L'objectif n'est pas de paniquer et de tout réécrire. L'objectif est de comprendre ce que signifie le score, quelles sont ses limites, puis de prendre une décision éclairée. Si vous révisez votre texte, ne réécrire que les paragraphes signalés par un rapport Turnitin est la version qui vous coûte le moins de temps.