論文の箇所によって AI 判定率が異なるのはなぜ?Turnitin の検出パイプラインを解説
AI Writing Report を開いてみたら、ある箇所は 60%、別の箇所は 0%——あるいは 3 ページの一部だけハイライトされて 5 ページは何もない。最初に思うのは「レポートが壊れてる」でしょう。でも違います。Turnitin は文書を下から順に評価し、全体のパーセンテージは集計結果です。つまり、長さや文章の密度が異なる箇所は自然と違う数値になります。この記事では、公式の仕組み、ハイライトの実際の意味、AI パーセンテージと類似性スコアがなぜ一致しないのかを順に説明します。
HumanPen チーム
· 5 分
結論から言うと
同じ論文でも箇所によって AI スコアが異なるのは、Turnitin が文書を一文ずつ評価し、その個別スコアを集計して全体のパーセンテージを出すからです。Turnitin 自体のガイドによると、文章を抽出して重複するセクションに分割し、各セクションを評価、各文章がスコアを受け取り、それらが集約されて最終的な数値になります。短く密度の高い箇所と、長く会話調の箇所が Submission Breakdown で同じ見た目になるとは限りません——これはレポートの故障ではなく、仕組みが想定通りに動いている結果です。
検出ツールは実際に論文をどう読んでいるのか
公式の「Using the AI Writing Report」ガイドには、検出の仕組みがこう書かれています:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis."(論文が Turnitin に提出されると、文章が抽出され、予測分析のために重複するセクションに分割されます)
"Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."(各セクションは AI 検出モデルによって分類され、0 から 1 の値が割り当てられます。これは、その文章が人間によるものか AI 生成のものかの確率を示します)
Turnitin 自身のブログからは、より細かい仕組みが見えます:
"The submission is first broken into segments of text that are roughly a few hundred words (about five to ten sentences). Those segments are then overlapped with each other to capture each sentence in context."(提出文書はまず数百語(およそ 5〜10 文)のセクションに分割されます。その後、これらのセクションは互いに重複するように配置され、各文章が文脈の中で捉えられます)
つまり、あなたが見ているレポートは、文章レベルの個別スコアから組み立てられ、それが箇所別ビューにまとめられ、最終的に上部の单一パーセンテージに集約されているのです。
なぜ箇所によって結果が異なるのか
公式ガイドにはこう続きます:
"Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(これらのセクション内にある各対象文章は、そのセクションのスコアを引き継ぎます。セクションは重複しているため、一部の文章は複数のスコアを持つことがあり、それらは一つのスコアに統合されます。これらの文章スコアはさらに集計され、文書全体の AI 作成スコアの算出に使用されます)
この仕組みから、3 つの結果が導かれます:
- 箇所のスコアは、そこに含まれる文章の特徴で決まります——短くて定型文的な文章が多い箇所と、長くて変化に富んだ文章の箇所では、スコアの出方が違います。
- 箇所の長さも関係します:Submission Breakdown では、文書のどの領域にどれだけ多くの対象テキストがフラグ付きだったかに応じて色がつきます。5 ページの箇所は、1 ページの箇所よりも目立つハイライトになることがあります——たとえ文章単位のパターンが似ていてもです。
- 重複による統合のため、2 つの箇所の境界にある文章はブレンドされたスコアを持つことがあります——つまり、ハイライトの正確な境界線が、そのまま判定の境界線というわけではありません。
これらはどれ一つとしてレポートの誤りではありません。Turnitin が公式に説明している通り、集計が正常に機能している結果です。
AI パーセンテージと類似性スコアは独立している
よくある誤解の一つが、AI「スコア」と類似性パーセンテージを同じものの 2 つの測定値のように比べてしまうことです。Turnitin のガイドには、この分離が明確に書かれています:
"The percentage generated by Turnitin's AI writing detection model is different from and independent of the similarity score."(Turnitin の AI 作成検出モデルによって生成されるパーセンテージは、類似性スコアとは異なり、かつ独立しています)
"AI writing highlights are not visible in the Similarity Report."(AI 作成のハイライトは Similarity Report には表示されません)
類似性 40% で AI スコア 0% の箇所があっても矛盾しません:一方は一致したテキストを数えたもの、他方は検出モデルが文章単位で下した判断です。文書の箇所によって AI パーセンテージが異なるのも、AI パーセンテージと類似性パーセンテージが互いに異なるのと理由——別々の質問に答えているからです。
Submission Breakdown とハイライトの読み方
公式ガイドには、レポート上部のインタラクティブなバーについてこうあります:
"The overall percentage of text likely detected as AI is detailed in the Submission Breakdown."(AI として検出された可能性のあるテキストの全体パーセンテージは、Submission Breakdown で詳しく確認できます)
"The bar is interactive and allows you to select each highlight to bring the corresponding text and page of the submission into focus."(このバーはインタラクティブで、各ハイライトを選択すると、提出文書の対応するテキストとページがフォーカスされます)
自分のレポートを読むときの、2 つの実践的なポイント:
- ハイライトの色は 2026 年 8 月に変更されました:Turnitin は AI 生成と AI 言い換えの 2 カテゴリを単一の青色に統合したため、新しいレポートでは、以前 2 色で表示されていたものが 1 色になっています。
- 対象となるのは散文のみ——リスト、箇条書き、表、詩、スクリプト、コードは計算に含まれません。公式ガイドにはこうあります:「The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, etc.」(このモデルは、詩、スクリプト、コードなどの非散文形式の AI 生成テキストを reliably 検出できません。また、箇条書きや表などの短形式・非定型の書き方も検出できません)
つまり、「空」の箇所は、テキストがないわけではなく——対象となる散文がないのです。レポートは箇条書きや表については何も示しません。元々カウントしていないからです。
パニックになる前に知っておくべき 3 つの状態
指示状態に関する Turnitin のガイドには、単純な数値では読めないパーセンテージについてこうあります:
"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores above 0% and below the 20% threshold in the report. When this occurs, it is now indicated with an asterisk (%) and no percentage is attributed."(偽陽性の潜在的な発生を避けるため、AI 検出スコアが 0% より大きく 20% の閾値より小さい場合、レポートにはスコアもハイライトも表示されません。この場合、アスタリスク(%)で示され、パーセンテージは表示されません)
"0% detected as AI … our testing has found that there is a higher incidence of false positives when the percentage is between 0 and 19."(AI として 0% 検出……テストにより、パーセンテージが 0 から 19 の間に偽陽性の発生率が高いことが分かっています)
これが箇所レベルの差異の読み方を換えます:0% を示す箇所は、真のゼロなのか、それともレポートが表示しない 20% 未満のスコアなのか——レポート自体では区別できません。これは偶然ではなく、設計上の仕様です。
まとめ
Turnitin の AI レポートで箇所によってパーセンテージが異なっても、それは検出パイプラインが Turnitin の公式文書通りに動いているだけです:文章ごとに個別にスコアが出され、重複するセクションでスコアが統合され、全体の数値は集計結果です——文書全体に一律の判定を下すものではありません。箇所が異なるのは、そこに含まれる文章の特徴と長さが違うからです。AI パーセンテージは類似性スコアとは独立しており、ハイライトは対象となる散文にのみ付くため、箇条書きや表、コードは計算から完全に除外されます。自分のレポートを読むときは:ハイライトを各段落に貼られた確定ラベルではなく、調査のための手がかりとして捉えてください。
続きを読む