J'ai peaufiné mon devoir avec Notion ou QuillBot, et le voilà signalé comme IA

Si votre devoir est passé par un correcteur grammatical et qu'il a été signalé comme IA, la question n'est pas de savoir si l'outil est « sûr » en général. C'est de savoir quelle fonction de l'outil vous avez utilisée. La FAQ de Turnitin répond directement pour un produit : les corrections d'orthographe, de grammaire et de ponctuation de Grammarly ne sont pas signalées « in most cases, » (dans la plupart des cas), mais le contenu produit par les fonctions génératives de Grammarly — rédaction de brouillons, reformulation, résumés et autres — « will likely be flagged as AI-generated. » (sera probablement signalé comme généré par IA). Pour Notion, QuillBot et les autres outils, Turnitin ne publie pas de liste outil par outil. La FAQ indique que son détecteur a été entraîné et testé pour repérer les principaux outils de reformulation et de contournement, mais qu'il ne peut pas divulguer lesquels. La frontière est claire en principe, même si la liste des outils ne l'est pas : corrections et réécriture générative sont deux catégories différentes, et le détecteur ne les lit pas de la même manière.

La FAQ contient une réponse détaillée sur Grammarly en particulier. Le passage concerné est long, et chaque proposition compte :

« No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector. » (Non. Notre détecteur n'est pas réglé pour cibler les modifications d'orthographe, de grammaire et de ponctuation apportées par Grammarly, mais plutôt les autres contenus d'IA écrits par des LLM tels que GPT-3.5. D'après les tests que nous avons menés sur des documents écrits par des humains ne contenant aucun contenu généré par IA, dans la plupart des cas, les modifications apportées par Grammarly (gratuit & premium) et/ou d'autres outils de vérification grammaticale n'ont pas été signalées comme écrites par IA par notre détecteur. Veuillez noter que cela exclut le contenu généré par les fonctions d'IA générative de Grammarly, notamment la rédaction de brouillons, la reformulation, le résumé et d'autres fonctions. Le contenu produit à l'aide de ces fonctions sera probablement signalé comme généré par IA par notre détecteur.)

Lisez cette phrase en deux moitiés. La première est une exemption : le détecteur n'est pas réglé pour repérer les corrections d'orthographe, de grammaire et de ponctuation, et dans les cas testés elles n'ont pas été signalées. Le qualificatif « in most cases » (dans la plupart des cas) y fait un vrai travail, car il signifie que l'exemption n'est pas une garantie. La seconde moitié est la limite : les fonctions génératives forment une autre catégorie, et leur contenu sera probablement signalé. Nous avons décortiqué le passage entier dans Turnitin détecte-t-il Grammarly comme de l'écriture IA ?.

Grammarly est le seul outil que la FAQ de Turnitin nomme produit par produit. Pour Notion, QuillBot et tout le reste, aucune déclaration publique n'existe. Voici ce que la FAQ dit :

« Our AI writing detector has been trained and tested to detect leading paraphraser and bypasser tools. However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools. » (Notre détecteur d'écriture IA a été entraîné et testé pour détecter les principaux outils de reformulation et de contournement. Toutefois, pour préserver l'intégrité de notre solution et son efficacité dans le maintien de l'honnêteté académique, nous ne sommes pas en mesure de divulguer les noms de ces outils.)

Nous ne pouvons pas — et ne voulons pas — vous dire qu'un outil précis est sûr ou risqué, car Turnitin ne publie pas la liste, et nous ne faisons pas métier d'affirmer quoi que ce soit sur la détection. Ce que nous pouvons dire, c'est que la FAQ sur Grammarly pose un cadre : d'un côté les corrections (orthographe, grammaire, ponctuation), de l'autre les opérations génératives (rédiger, reformuler, résumer). Si l'outil que vous avez utilisé possède les deux types de fonctions, le bouton sur lequel vous avez cliqué compte plus que l'application ouverte. C'est pour la même raison que Turnitin détecte-t-il les humaniseurs d'IA ? n'a pas non plus de réponse sous forme de liste.

Il y a un piège. La FAQ cite le texte qui a été « paraphrased without developing new ideas » (reformulé sans développer de nouvelles idées) parmi les contenus que les faux positifs peuvent concerner. Le passage complet :

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Il arrive que des faux positifs — c'est-à-dire du texte écrit par un humain signalé à tort comme généré par IA — concernent un contenu présentant peu de variation structurelle, un texte qui se répète littéralement, ou un texte qui a été reformulé sans développer de nouvelles idées.)

Et la phrase suivante : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d'écriture IA dans un tel texte, nous vous conseillons d'en tenir compte lorsque vous examinez le pourcentage indiqué.)

Concrètement, un outil de reformulation peut créer un double problème. D'abord, s'il fait partie des outils que Turnitin a été entraîné à détecter, son résultat peut être signalé directement. Ensuite, même sans trace détectable d'un outil précis, le texte obtenu peut correspondre au profil d'écriture autour duquel se concentrent les faux positifs : structure uniforme, répétition littérale, ou reformulation qui déplace les mots sans apporter de fond. Le premier risque est la détection. Le second est la ressemblance.

Un élément ajoute à la confusion : le score d'IA et le score de similarité sont indépendants. Turnitin l'énonce : « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection de l'écriture IA sont totalement indépendants et ne s'influencent pas l'un l'autre.) Un outil de reformulation peut faire baisser votre score de similarité, parce que le texte ne correspond plus mot pour mot aux sources existantes, et en même temps faire monter votre score d'IA, parce que le résultat ressemble désormais à un texte généré par IA ou reformulé. Ces deux mouvements ne sont pas contradictoires. Ils viennent de deux systèmes distincts qui lisent des signaux différents.

Nous avons vu ce schéma assez souvent pour lui consacrer un article : ce qui se passe quand la reformulation fait baisser la similarité mais monter le score d'IA.

Pour résumer ce que nous avons vu :

• Les corrections d'orthographe, de grammaire et de ponctuation de Grammarly ne sont pas signalées « in most cases, » (dans la plupart des cas), mais ses fonctions génératives — reformulation, résumé, rédaction de brouillons — le seront probablement.
• Turnitin ne divulgue pas les autres outils qu'il détecte : personne ne peut donc vous fournir de « liste sûre » vérifiée.
• La fonction utilisée compte plus que le nom de l'application : corriger et réécrire de façon générative sont deux catégories différentes.
• Le texte reformulé sans développer de nouvelles idées figure dans la propre liste de Turnitin des contenus exposés aux faux positifs.
• Le score d'IA et le score de similarité sont indépendants : un outil de reformulation peut donc faire baisser l'un et monter l'autre.

Si votre devoir est déjà signalé, la question utile n'est pas « si l'outil est en cause », mais « which passages are flagged and why. » (quels passages sont signalés et pourquoi). Importez votre rapport Turnitin et travaillez sur les passages précis qui ont été signalés. Les passages remplissant les conditions requises peuvent être relancés gratuitement.