CNKI・VIP・TurnitinでAI検出スコアが大きく乖離する理由
まったく同じ原稿であっても、AI検出ツールごとに判定スコアが大きく異なるのは珍しくありません。これはツールの精度の優劣ではなく、学習データ、対応言語、前処理(形態素解析やトークン化)、そして判定しきい値が根本から異なるためです。特定のツールが算出したパーセンテージは、普遍的な測定基準ではありません。
HumanPen チーム
· 10 分
結論:絶対的な基準となるAI検出ツールは存在しない
信頼すべきなのは、学位授与機関(大学・大学院)や投稿先ジャーナルが公式に指定している単一のシステムだけです。それ以外のツールが出す数値には一切の行政的・制度的な効力はなく、特定の検出ツールが示すパーセンテージも、AI執筆の客観的かつ普遍的な測定値ではありません。これらのプラットフォーム間には、統一されたベンチマークも標準化された基準も存在しません。なお、本稿の分析ではCNKI、VIP、Turnitinの間で同一ファイルを用いた厳密な対照実験を実施したわけではないため、どのシステムが「正しい」「より厳しい」「より正確」であるかを断定するものではありません。
検出ツール全般のメカニズムの違い(CNKIと万方などの比較を含む)については、なぜプラットフォーム間でAI検出ツールの判定が食い違うのかで詳しく解説していますが、CNKI、VIP、Turnitinの3者間で見られる極端な乖離は、エンジニアリング上の設計の違いがいかに正反対の出力を生むかを端的に示しています。同一の論文に対してCNKIが3%、VIPが67%、Turnitinがさらに別の数値を返したとしても、それは同一の対象を測定して生じた誤差ではありません。異なる学習コーパス、対象言語に応じた言語モデル、そして判定対象となる文の定義そのものが異なる独立した統計的分類処理を実行した結果に過ぎないのです。
学位審査や卒業論文の提出において、独自の判断で複数の商用チェックツールに原稿を通し、それらの数値を突き合わせて一喜一忧することは、混乱と不安を増やすだけで提出要件の達成には何の役にも立ちません。制度上意味を持つスコアは、大学や学部が指定した公式プラットフォームが、定められた規定に基づいて算出した単一のレポートだけです。
第1の明確な区別:類似度判定(剽窃チェック)とAI執筆判定は別物
学生や研究者がパニックに陥る大きな原因の1つに、従来の類似度レポート(Similarity Report:コピペ率)とAI執筆判定レポート(AI Writing Report:AI率)の混同があります。どちらも結果はパーセンテージで表示されますが、裏で動いている技術的仕組みには共通点がほとんどありません。
従来の類似度チェック(重複チェックや剽窃検出とも呼ばれます)は、インデックス照合処理です。ソフトウェアは原稿を文字列やn-gramに分解し、インデックス化された学術論文、過去の学生論文、ウェブページのデータベースから、一致する文字列を検索します。類似度スコアが示しているのは、外部に存在する既出の公開情報と同一、あるいは極めて近い文言が原稿内にどれだけ含まれているかという割合です。
これに対して、AI執筆判定は参照データベースを一切検索しません。あなたが入力したプロンプトを突き止めようとするわけでも、段落を生成したサーバーを特定しようとするわけでもありません。AI検出ツールが行うのは、機械学習分類器を用いて、トークンの出現確率や文構造のばらつきといった、テキスト内部の文体・統計的特徴量を解析することです。
この2つの仕組みは完全に独立して動いているため、同一の原稿であってもスコアが正反対になるケースが頻繁に発生します。
- 既存の文献からの直接的な借用がないため類似度スコアは2%である一方、文のリズムや接続表現が大規模言語モデルに典型的な特徴を示していると判定され、AI検出スコアが60%に達することがあります。
- 逆に、適切に引用された法令条文、生物医学の標準プロトコル、あるいは長文の直接引用などが含まれるために類似度スコアが35%に達していても、人間が自力で執筆した自然な文章であるため、AI検出スコアは0%となることもあります。
従来の剽窃チェックの感覚でAI検出パーセンテージを捉えると、修正の方向性を根本から誤ることになります。出典を引用して「帰属を明示」したところでAI判定のフラグを解除することはできませんし、類似度スコアが低いからといってAI検出スコアも低くなるとは限りません。
ツール間で判定が食い違う理由:4つの技術的差異
同一の原稿に対して商用検出ツールの判定が大きく分かれる場合、その背景には4つの構造的な技術差が存在します。
1. 学習コーパスと主たる対応言語の範囲
AI検出ツールは、特定のコーパスで学習された統計的パターン認識システムです。その信頼性は、判定対象のテキストが学習データのジャンルや言語とどれだけ一致しているかに大きく左右されます。
CNKI(中国知網)およびVIP(維普)は中国語のアカデミックテキストを前提に構築されており、中国語の学術論文に典型的な構文、慣例的表現、接続語などを評価するように設計されています。
TurnitinのAI執筆検出システムは主に英語を中心に開発されており、特定のサポート言語でのみ機能します。Turnitinの公式ガイドAI Writing Reportの利用ガイドによると、"generate an AI Writing Report and percentage,"(AI Writing Reportおよびパーセンテージを生成する)には、ファイルが"must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish."(サポート対象の言語(英語、スペイン語、日本語、アラビア語、ドイツ語、オランダ語、トルコ語)で記述されている必要があります)と定められています。中国語はTurnitinのAI検出のサポート対象言語ではありません。正規のTurnitinレポートが中国語テキストに対してAIパーセンテージを出力することはありません。もし読者の手元に中国語原稿に対する「Turnitinの数値」がある場合、その数値は正規のTurnitin AI検出パーセンテージではあり得ません。それは従来の類似度スコア(既出の文献インデックスとの照合結果)か、英語の要約や英訳版から生成されたスコア、あるいはまったく別のサービスを流用した非公認の転売仲介業者が出力した数値のいずれかです。
2. テキストの前処理・セグメンテーション・トークン化
アルゴリズムが確率を計算する前に、まず生のテキストを個別の構成単位へと分割する必要があります。この分割を制御するルールは、ベンダーごとに大きく異なります。
- トークン化の違い: 英語のテキストには単語間の自然な境界(空白スペース)が存在しますが、中国語のテキストはアルゴリズムによる分かち書き(分詞)や文字単位の処理を必要とします。専門用語、古典中国語の引用、英数字の表記などをツールがどのように処理するかによって、基盤となる特徴量表現に即座に乖離が生じます。
- セグメンテーション(文の切分)ルール: Turnitinは、大学教育関係者が知っておくべきAI執筆検出の知識を解説した公式ブログの中で、"sentences from the submission are extracted and segmented into overlapping sections for prediction analysis."(提出物から文が抽出され、予測分析のために重複するセクションへと分割される)と述べています。一方、中国のプラットフォームは独自の構文解析ロジックを用いてセグメントの開始位置と終了位置を決定しています。
- 本文以外の要素の扱い: 表、数式、コードスニペット、謝辞、参考文献リストなどを検出対象として分析に含めるか、それとも除外するかによって、計算の分母そのものが変化します。あるベンダーが定型的な実験手法の記述を計算に含め、別のベンダーがそれを除外した場合、ドキュメント全体で算出される最終パーセンテージには大きな開きが生じることになります。
3. 判定しきい値とドキュメント全体の集計モデル
検出スコアは絶対的な文字数のカウントではなく、確率の判定しきい値に基づいて出力された結果です。
分類器の内部では、解析された各テキストセグメントに確率スコアが付与されます。レポートを表示するにあたり、ベンダーは判定境界(どの程度の信頼度レベルに達したらAI生成としてフラグを立てるか)を設定しなければなりません。保守的な判定境界を採用しているシステムは、モデルの確信度が極めて高い場合にのみテキストにフラグを立てるため、誤検知(偽陽性)が抑えられ、文書全体のスコアは低くなります(例:3%)。一方、より感度の高い境界を設定しているシステムは、より低い確信度でもセグメントにフラグを立てるため、まったく同じ原稿であっても大幅に高いスコア(例:67%)が出ることになります。
さらに、文書全体を集計する指標の計算定義自体が各社で異なっており、その詳細は一部しか公開されていません。たとえばTurnitinはその手法の概要を公開しており、セグメントごとのスコアを生成し、個々の文がそのスコアを継承した上で、フラグが立てられた判定対象テキスト(qualifying text)の割合として文書全体のパーセンテージを算出します。一方、CNKIはその指標を「文章内容存在AI生成的概率大小」(記事内容にAI生成が存在する確率の大きさ)と定義しています。
各プラットフォームが一部しか公開されていない独自の計算式に基づいてスコアを定義・集計している以上、あるツールが出した「パーセンテージ」を別のツールの「パーセンテージ」へと数学的に換算することは不可能です。
4. 実際にアップロードされた文書の範囲の差異
実際のところ、スコアの乖離の多くは「実際に何をアップロードしたか」の違いから生じています。あるプラットフォームには本文のみを抽出し整えた原稿を送信し、別のプラットフォームには表紙、要約、目次、参考文献を含めた完全なファイルをアップロードしてしまうケースが頻繁にあります。文書の構造が変われば、構文解析の境界や総文字数が変化するため、同一ベンダーのツール内であっても結果に食い違いが生じることになります。
業者の宣伝記事と「どの検出ツールが最も厳しいか」という誤解
Baidu、Bing、各種商用フォーラムの検索結果には、AI検出ツールのランキングを謳うプロモーション記事が溢れています。そうした記事の多くは、「あるプラットフォームは別のツールより常に三十パーセント高いスコアを出す」「特定のツールはあらゆる翻訳を見破る」「このサービスだけが唯一信頼できるシステムである」といった断定的な主張を並べています。
しかし、こうした主張が公式のエンジニアリング資料、査読付きの検証論文、あるいは厳密に対照されたサンプルセットを引用していることは滅多にありません。そのほとんどは、不安を抱える学生を有料の事前チェックサービスや商用のリライトソフトへ誘導することを目的に、サードパーティの転売業者、論文代行業者、自動言い換えツール企業が作成したものです。
調査報道や教育ジャーナリズムは、商用AI検出ツールがテストの実行回やプラットフォームごとに不安定な結果を出しやすく、科学的に校正された基準を提供するというよりも、商業的な不安を煽る道具になっている実態を繰り返し指摘しています。非公認のサードパーティ製サービスで原稿を何度もテストする学生は、真偽不明のサービスや追加のチェック枠を購入させるためのマーケティング戦略、いわば「ランキング」を利用した不安の連鎖に巻き込まれがちです。
これらの独自開発プラットフォーム間で全変数を統制した包括的な実証ベンチマークが存在しない以上、特定のツールが「真の」基準であるという主張は、確立された事実ではなく単なる商業的ポジショニング(宣伝文句)に過ぎません。
スコアが食い違ったときの冷静な判断チェックリスト
異なる検出プラットフォームで矛盾するスコアが出たとしても、パニックに陥って闇雲にリライトを始めてはいけません。以下の実践的なチェックリストに沿って冷静に対処してください。
- 所属する大学や学部が公式に採用している検出プラットフォームを確認する: 大学や学部が、複数の商用ツールの平均値で提出物を評価することはありません。教育機関の方針によっては、学部ごとに独自のAIGC検出ツールの選定が認められている場合もあります。学部や大学からの公式通知を確認し、どのツールが使用されているか、提出物がどのように処理されるか、そして事前チェックが公式に認められているかを把握してください。
- 所属機関の公式な規定と審査手順を精読する: その機関がAIスコアを「一次スクリーニングの参考指標」として扱っているのか、それとも「証拠基準」としているのかを確認してください。多くの学術ガイドラインには、自動算出されたパーセンテージ単体を学術的不正行為認定の唯一の根拠とすることはできないと明記されており、何らかの処分を下す前に教員による評価、指導教員の確認、または査問公聴会を実施することが義務付けられています。
- 執筆履歴と証拠トレースを完全に保存しておく: 不当なAI疑惑に対する最も確実な防御策は、執筆過程の真正な記録です。以下を必ず保管しておいてください:タイムスタンプ付きのファイルバージョンと編集履歴(Word、WPS、またはGitなどのバージョン管理システム);初期のアウトライン、実験ノート、生の実験データ、インタビュー記録;文献を収集・整理した文献管理ソフトのライブラリ;提出時のタイムスタンプやハイライトされた判定箇所マップを含む、公式チェックによる改ざんのない原本PDFレポート。
- 特定の数値を追い求めるのではなく、ツールの使用に関する所属機関のガイドラインを確認する: リライト、言い換え、またはヒューマナイザー(人為化)ツールの使用が許可されているかどうかについて、一律の国際基準は存在しません。何が認められるかは、所属する大学、専攻プログラム、および課題の規定に完全に依存します。執筆者は必ず大学のアカデミック・インテグリティ規定を確認し、許容される推敲支援の範囲を把握してください。さらに、特定の検出結果やスコアの低下を約束・保証できるツールやリライト手法は一切存在しません。自動的な言い換え置換に盲目的に頼ると、事実誤認が生じたり、学術用語が歪められたり、引用が破損したりして、専門家の査読において原稿本来の学術的品質を損なう恐れがあります。
よくある質問(FAQ)
CNKIやTurnitinで出た低いスコアを使って、VIPでの高いスコアに対して異議申し立てを行うことはできますか?(またその逆は可能ですか?) 原則としてできません。教育機関の審査委員会は、自らが指定したソフトウェア環境の下でのみ提出物を評価します。異なる検出ツールが比較不可能な指標としきい値を用いていることは教育機関側も把握しているため、別の商用ツールによる非公式なスコアを提示しても証拠としての重みはほとんどありません。異議申し立てを正当に裏付けるのは、他社ツールのレポートではなく、バージョン履歴、下書き、文献ノートといった「自身の執筆プロセスの客観的証拠」です。
中国語の論文を英語に翻訳した場合、AI検出スコアは変わりませんか? 変わりません(同じスコアにはなりません)。機械翻訳はトークンの並び順、構文、文の長さを根本から変化させます。テキストを翻訳すると対象となる言語ドメインが完全に切り替わり、分析は中国語用に調整されたモデルから英語用に調整されたモデルへと移行します。中国語でのスコアが5%だったからといって、英語でも5%になると予測することはできません。
提出前に、費用を払って複数のサードパーティ製ツールで事前チェックを行うべきですか? おすすめできません。度重なる金銭的負担もさることながら、未発表の研究論文を非公認のオンラインプラットフォームにアップロードすることには、原稿の漏洩、メタデータの汚染、意図せぬリポジトリへの無断登録といった重大なセキュリティリスクが伴います。
AIスコアが0%であれば、論文は何の疑いもなく確実に受理されますか? いいえ。0%というスコアは、そのファイルの分析対象部分において、その分類器が設定したしきい値を超える統計的シグナルを検出しなかったことのみを示しています。真の執筆者であることを証明するものでも、事実の正確性を保証するものでも、研究の質を評価するものでもありません。学術的健全性は、自動算出されたパーセンテージではなく、学術的な価値と本物の執筆実績によって判断されます。
出典・参考文献
- Turnitin公式ガイド『Using the AI Writing Report』:https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
- Turnitin公式ブログ『AI Writing Detection: What Academic Leaders Need to Know』:https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
- 中国知網(CNKI)AIGC検出ポータル:https://aigc.cnki.net/
- 維普資訊(CQVIP)論文チェックポータル:http://vpcs.cqvip.com/
続きを読む