CNKI vs VIP vs Turnitin : comprendre les écarts de détection d’IA

Deux détecteurs d’IA peuvent afficher des résultats radicalement différents pour un même manuscrit, tout simplement parce qu’ils ne s’appuient ni sur les mêmes données d’entraînement, ni sur les mêmes périmètres linguistiques, méthodes de prétraitement ou seuils de classification. Le pourcentage donné par un outil ne constitue en rien une mesure universelle.

L'équipe HumanPen

· 10 min de lecture

En résumé : aucun détecteur ne constitue une norme universelle

Vous ne devez vous fier qu’au seul système officiellement désigné par votre établissement d’enseignement supérieur ou votre revue : aucun des autres chiffres n’a de valeur administrative, et le pourcentage d’un détecteur isolé ne représente en aucun cas une mesure objective et universelle de l’écriture par IA. Il n’existe aucun référentiel universel ni aucune échelle étalonnée commune à ces plateformes. L’étude à l’origine de cette analyse n’a pas mené de comparaison contrôlée sur un même fichier entre CNKI, VIP et Turnitin ; elle ne peut donc pas déterminer quel système serait « correct », « plus strict » ou « plus précis ».

Si notre analyse générale examine pourquoi les détecteurs d’IA divergent d’une plateforme à l’autre (y compris des comparaisons entre systèmes comme CNKI et Wanfang), l’écart triangulaire spécifique entre CNKI, VIP et Turnitin illustre bien la manière dont des choix d’ingénierie distincts aboutissent à des résultats profondément contradictoires. Lorsque trois systèmes affichent des pourcentages aussi disparates — par exemple 3 % sur CNKI, 67 % sur VIP et encore un autre chiffre sur Turnitin —, ils ne mesurent pas la même grandeur sous-jacente avec des marges d’erreur variables. Ils exécutent en réalité des classifications statistiques distinctes, fondées sur des corpus d’entraînement divergents, des modèles linguistiques différents et des définitions techniques propres de ce qui constitue une phrase éligible.

Lors d’une évaluation académique ou du dépôt d’un mémoire, multiplier les pré-vérifications sur divers moteurs commerciaux indépendants et chercher à concilier leurs résultats ne fait qu’engendrer de la confusion, sans rien changer aux exigences institutionnelles que vous devez respecter. La seule note ayant une valeur institutionnelle est celle générée par la plateforme officielle imposée par votre université ou votre faculté, évaluée selon ses propres directives explicites.

Première distinction : détection de similarité et classification d’écriture par IA

L’angoisse provient souvent d’une confusion entre les rapports de similarité traditionnels et les rapports de classification d’écriture par IA. Même si tous deux affichent un pourcentage, leur fonctionnement technique n’a presque rien en commun.

La vérification traditionnelle de similarité — souvent appelée détection de plagiat ou de duplication — repose sur une comparaison indicielle. Le logiciel découpe votre texte en chaînes de caractères ou en n-grammes, puis parcourt une base de données d’articles de revues indexés, de thèses d’étudiants et de pages web pour repérer des séquences identiques. Le score de similarité indique ainsi la proportion de votre texte qui partage une formulation identique ou quasi identique avec des sources externes publiées.

À l’inverse, la classification d’écriture par IA n’interroge aucune base de données de référence. Elle ne cherche ni l’invite (prompt) que vous avez saisie, ni le serveur sur lequel un modèle a produit un paragraphe. Un détecteur d’IA utilise plutôt un classifieur d’apprentissage automatique pour analyser les propriétés stylistiques et statistiques de votre texte — telles que la probabilité des tokens et la variabilité de la structure des phrases.

Comme ces deux mécanismes fonctionnent de manière totalement indépendante, leurs résultats divergent fréquemment sur un même document :

  • Un travail peut présenter un score de similarité de 2 % (indiquant l’absence de tout emprunt textuel direct à la littérature existante) et un score de classification IA de 60 % (si le modèle juge son rythme de phrase et ses termes de transition caractéristiques des grands modèles de langage).
  • Inversement, un document peut afficher un score de similarité de 35 % (en raison de textes de loi dûment cités, de protocoles biomédicaux standardisés ou de longues citations en bloc) tout en obtenant un score de classification IA de 0 % (parce que le texte a été intégralement rédigé par des humains).

Interpréter un pourcentage de détection d’IA à travers le prisme d’un rapport de duplication classique conduit à des révisions erronées. Vous ne pouvez pas vous affranchir d’un signalement d’IA en « attribuant » vos sources par des citations, pas plus qu’un faible score de duplication ne garantit un faible score de probabilité d’IA.

Pourquoi les outils ne sont pas d’accord : quatre divergences techniques

Lorsque des détecteurs commerciaux attribuent des scores divergents à un même brouillon, quatre différences structurelles expliquent cette variation.

1. Corpus d’entraînement et périmètre linguistique principal

Les détecteurs sont des outils de reconnaissance de motifs statistiques entraînés sur des corpus spécifiques. Leur fiabilité dépend en grande partie du degré de correspondance entre votre texte, le genre et la langue de leurs données d’entraînement.

CNKI (中国知网) et VIP (维普) ont été conçus pour des textes académiques en chinois, afin d’évaluer la syntaxe, les conventions et les formules de transition propres aux écrits universitaires en langue chinoise.

Le système de détection d’écriture par IA de Turnitin a été principalement développé autour de l’anglais et fonctionne sur un ensemble précis de langues prises en charge. Selon le guide Using the AI Writing Report de Turnitin, pour "generate an AI Writing Report and percentage," (générer un rapport AI Writing Report et un pourcentage), un fichier "must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish." (doit être rédigé dans une langue prise en charge : anglais, espagnol, japonais, arabe, allemand, néerlandais, turc). Le chinois ne fait pas partie des langues prises en charge par la détection d’IA de Turnitin. Un rapport Turnitin authentique ne produit aucun pourcentage d’IA pour un texte en chinois. Si vous disposez d’un « score Turnitin » pour un manuscrit en chinois, ce chiffre ne peut pas être un pourcentage authentique de détection d’IA de Turnitin : il s’agit soit du score de similarité traditionnel (correspondance textuelle avec des sources indexées), soit d’un score obtenu à partir d’un résumé en anglais ou d’une traduction, soit d’un résultat fourni par un revendeur tiers non autorisé utilisant un tout autre service.

2. Prétraitement du texte, segmentation et tokenisation

Avant qu’un algorithme ne calcule la moindre probabilité, il doit analyser le texte brut pour le découper en unités distinctes. Or, les règles régissant cette analyse varient considérablement d’un fournisseur à l’autre.

  • Différences de tokenisation : le texte anglais utilise des frontières de mots naturelles (les espaces), tandis que le texte chinois nécessite une segmentation algorithmique des mots (分词) ou une évaluation caractère par caractère. La façon dont un outil traite les termes spécialisés, les citations en chinois classique ou les notations alphanumériques engendre immédiatement des divergences dans les représentations de caractéristiques sous-jacentes.
  • Règles de segmentation : sur son blog expliquant ce que les responsables universitaires doivent savoir sur la détection d’écriture par IA, Turnitin indique que "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis." (les phrases du document soumis sont extraites et segmentées en sections qui se chevauchent pour l’analyse prédictive). Les plateformes chinoises appliquent quant à elles leur propre logique d’analyse pour déterminer où commence et où finit un segment.
  • Traitement des éléments non rédigés : selon qu’un détecteur analyse ou écarte les tableaux, les expressions mathématiques, les extraits de code, les remerciements et les bibliographies, le dénominateur du calcul s’en trouve modifié. Si un fournisseur inclut le texte méthodologique standardisé et formulé alors qu’un autre le supprime, leurs pourcentages globaux à l’échelle du document divergeront nettement.

3. Seuils de décision et modèles d’agrégation

Un score de détection n’est pas un comptage absolu ; c’est le résultat de l’application d’un seuil de probabilité.

Au sein du classifieur, chaque segment de texte analysé reçoit un score de probabilité. Pour afficher un rapport, le fournisseur doit définir une frontière de décision : à quel niveau de confiance un segment est-il signalé comme produit par une IA ? Un système calibré avec un seuil conservateur ne signalera le texte que si le modèle affiche un degré de confiance très élevé, ce qui limite les faux positifs et produit un score global faible pour le document (comme 3 %). À l’inverse, un système calibré avec un seuil plus sensible signalera des segments avec un niveau de confiance plus bas, ce qui donnera un score considérablement plus élevé (comme 67 %) sur exactement le même manuscrit.

En outre, les métriques à l’échelle du document reposent sur des définitions mathématiques différentes qui ne sont que partiellement rendues publiques. Par exemple, Turnitin publie les grandes lignes de sa méthode : des scores de segments sont générés, les phrases individuelles héritent de ces scores, et le pourcentage global du document reflète la part de texte éligible signalée. De son côté, CNKI définit sa métrique comme la probabilité estimée que le contenu de l’article ait été généré par une IA ("文章内容存在AI生成的概率大小").

Comme chaque plateforme définit et agrège son score selon des formules différentes et seulement en partie publiées, le « pourcentage » d’un outil ne peut pas être mathématiquement converti en un « pourcentage » issu d’un autre.

4. Variations dans le document téléversé

En pratique, nombre d’écarts constatés proviennent de différences dans le fichier réellement téléversé. Les utilisateurs soumettent fréquemment un brouillon contenant uniquement le corps du texte sur une plateforme, tout en téléversant un document complet — avec page de garde, résumé, table des matières et bibliographie — sur une autre. Modifier la structure du document altère les limites d’analyse ainsi que le nombre total de caractères, ce qui génère des résultats incohérents, y compris au sein de l’outil d’un même fournisseur.

Blogs d’éditeurs et mythe du détecteur « le plus sévère »

Sur Baidu, Bing ou les forums commerciaux, les résultats des moteurs de recherche regorgent d’articles promotionnels prétendant établir un classement des systèmes de détection. Beaucoup avancent des affirmations chiffrées péremptoires, soutenant qu’une plateforme donnée dépasse systématiquement une autre de trente pour cent, qu’un outil spécifique repère toutes les traductions, ou qu’un service précis constitue le seul système faisant autorité.

Ces affirmations ne s’appuient presque jamais sur de la documentation technique de référence, des méthodologies évaluées par les pairs ou des échantillons contrôlés. Dans la plupart des cas, elles émanent de revendeurs tiers, d’intermédiaires ou de services de réécriture automatisée cherchant à orienter les étudiants inquiets vers des pré-vérifications payantes ou des logiciels commerciaux de réécriture.

Les enquêtes journalistiques et les publications spécialisées dans l’éducation ont souligné à plusieurs reprises que les outils commerciaux de détection d’IA donnent fréquemment des résultats instables d’un test ou d’une plateforme à l’autre, alimentant ainsi l’anxiété commerciale plutôt que d’offrir un étalon scientifique fiable. Les étudiants qui testent leurs brouillons sur différents services tiers non autorisés se retrouvent souvent pris dans un engrenage marketing, où de prétendus « classements » inter-plateformes servent avant tout à vendre des prestations non vérifiées ou des crédits de vérification supplémentaires.

En l’absence de référence empirique complète et contrôlée maintenant toutes les variables constantes entre ces plateformes propriétaires, affirmer qu’un outil en particulier représenterait la « véritable » norme relève du positionnement commercial, et non d’un fait avéré.

Guide de décision : que faire lorsque les chiffres divergent

Si vous obtenez des scores contradictoires sur différentes plateformes de détection, ne cédez pas à la panique et ne commencez pas à réécrire au hasard. Suivez plutôt ces étapes pratiques :

  1. Renseignez-vous sur la plateforme de détection officiellement utilisée par votre établissement ou votre département. Les universités et départements universitaires n’évaluent pas les travaux sur la moyenne de plusieurs outils commerciaux. Comme les règlements internes autorisent parfois chaque faculté à choisir son propre outil de détection d’AIGC, consultez les avis officiels de votre département ou de votre université pour savoir quel outil précis est utilisé, comment les soumissions sont traitées et si les pré-vérifications sont reconnues.
  2. Lisez attentivement le règlement et la procédure en vigueur dans votre établissement. Déterminez si votre établissement utilise le score d’IA comme un simple indicateur de pré-filtrage ou comme une preuve formelle. De nombreux règlements universitaires précisent explicitement qu’un pourcentage automatisé ne peut constituer le seul motif d’une constatation de manquement à l’intégrité académique, et exigent une évaluation par l’enseignant, une confirmation par le directeur de recherche ou une commission disciplinaire avant toute décision.
  3. Conservez l’historique complet de votre rédaction et toutes vos preuves de travail. La défense la plus solide face à un signalement injustifié reste la traçabilité authentique de votre processus d’écriture. Conservez : les versions de fichiers horodatées et l’historique des révisions (par exemple dans Word, WPS ou votre gestionnaire de versions) ; vos premiers plans, cahiers de laboratoire, données expérimentales brutes et retranscriptions d’entretiens ; vos bases de données de gestion bibliographique montrant la constitution progressive de vos sources ; le rapport PDF officiel complet et d’origine de la vérification, mentionnant l’horodatage de la soumission et les passages signalés.
  4. Consultez les directives institutionnelles relatives aux outils, plutôt que de courir après des scores chiffrés. L’autorisation d’utiliser des outils de réécriture, de paraphrase ou d’humanisation ne relève pas d’une règle universelle ; ce qui est permis dépend exclusivement de votre établissement, de votre cursus et des consignes propres à chaque travail. Les auteurs doivent toujours se référer aux politiques d’intégrité académique de leur université pour connaître le niveau d’aide à la rédaction autorisé. En outre, aucun outil ni aucune méthode de réécriture ne peut promettre ou garantir un résultat précis sur un détecteur ou une réduction de score. Se fier aveuglément à des substitutions automatisées de formulation peut introduire des erreurs factuelles, dénaturer la terminologie scientifique et corrompre les citations, ce qui nuit à la qualité académique fondamentale de votre manuscrit lors de l’évaluation par les pairs.

Foire aux questions

Puis-je utiliser un score faible obtenu sur CNKI ou Turnitin pour contester un score élevé sur VIP (ou inversement) ? En règle générale, non. Les commissions d’évaluation universitaires examinent les travaux uniquement dans l’environnement logiciel officiellement désigné. Présenter un score non officiel issu d’un autre outil commercial n’a que très peu de valeur probante, car les établissements savent que les différents détecteurs appliquent des métriques et des seuils incomparables. Pour soutenir un recours, il convient de vous appuyer sur les preuves matérielles de votre processus de rédaction — comme l’historique des versions, vos brouillons et vos notes de recherche — plutôt que sur le rapport d’un éditeur concurrent.

Si je traduis un article du chinois vers l’anglais, le score de détection d’IA restera-t-il identique ? Non. La traduction automatique modifie en profondeur la suite des tokens, la syntaxe et la longueur des phrases. Traduire un texte change complètement de domaine linguistique, faisant basculer l’analyse de modèles calibrés pour le chinois vers des modèles calibrés pour l’anglais. Un score de 5 % en chinois ne préjuge en rien d’un score de 5 % en anglais.

Dois-je payer plusieurs pré-vérifications sur des plateformes tierces avant de soumettre mon travail ? Payer pour multiplier les vérifications préalables sur des plateformes commerciales tierces est déconseillé. Au-delà du coût financier cumulé, soumettre des travaux de recherche non publiés à des plateformes en ligne non autorisées expose vos documents à des risques d’interception, de contamination des métadonnées ou d’archivage involontaire dans des bases de données.

Un score d’IA de 0 % garantit-il que mon article sera accepté sans réserve ? Non. Un score de 0 % indique uniquement que le classifieur en question n’a décelé aucun signal statistique dépassant son seuil dans les sections analysées de ce fichier précis. Il ne certifie en rien la paternité du document, ne valide pas l’exactitude des faits et n’évalue pas la qualité scientifique de la recherche. L’intégrité académique se mesure à la valeur scientifique et à l’authenticité de la démarche d’auteur, et non à un pourcentage automatisé.

Sources et références

  • Guide Turnitin sur l’utilisation du rapport AI Writing Report : https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
  • Article du blog Turnitin sur la détection d’écriture par IA : https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
  • Portail de détection AIGC de la China National Knowledge Infrastructure (CNKI) : https://aigc.cnki.net/
  • Accès à la vérification de mémoires de VIP Information (CQVIP) : http://vpcs.cqvip.com/

CONTINUER LA LECTURE