文献レビューの AI スコアが高かった理由

文献レビューは、ジャンルに組み込まれた構造的な理由から、AI スコアが高くなりやすい。文献レビューは既存研究を要約・統合するため、パラフレーズが中心になる。各段落は他研究者の発見を言い換えるだけで、元資料が類似パターンに従っているため文章構造も似通ってしまう。Turnitin の FAQ では、「構造のバリエーションが少ない内容」「content without a lot of structural variation」や「新しい見解を展開せずにパラフレーズされた文章」「text that has been paraphrased without developing new ideas」を、誤検出されやすい特徴として挙げている。文献レビューは本質的にこの両方に該当し得る。AI が使われていなくてもだ。高スコアは、文章の統計的プロファイルを反映しているに過ぎず、出所を示すわけではない。この事実を知ってもスコアが消えるわけではないが、完全に人間が書いた文献レビューが AI 高パーセントを示し得る理由はこれで説明がつく。

Turnitin の FAQ にはこうある：

Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.（時に誤検出（人間が書いた文章を AI 生成と誤って判定すること）には、構造のバリエーションが少ない内容、文字通り繰り返しのある文章、新しい見解を展開せずにパラフレーズされた文章が含まれる場合があります）

If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.（このような文章で AI 記述の割合が高いと表示された場合は、示されたパーセントを参照する際にその点を考慮に入れるよう推奨します）

この説明のうち 3 つは、文献レビューの構造そのものに当てはまる。「構造のバリエーションが少ない内容」とは、どの段落も同じパターン（研究者 X は Y を発見、研究者 Z は W を発見、研究者 A は B を確認）で進む部分を指す。「文字通り繰り返しのある文章」とは、要約をつなぐ決まり文句の繰り返しを指す。「同様に」「対照的に」「これを踏まえて」「これと一致して」といった表現だ。「新しい見解を展開せずにパラフレーズされた文章」とは、文献レビューが行レベルでやっていることそのものだ。大半の文章で、新たな論証を立てるのではなく、発見を言い換えているに過ぎない。FAQ は、この種の文章がまさに誤検出を生みやすいと述べている。そして Turnitin は、教育者に対し、スコアを読む際にこの点を考慮するよう求めている。

文献レビューでパーセントが高くなるのには、構造的な理由もある。Turnitin が分析するのは「対象となる文章」qualifying text だけで、FAQ ではこれを「標準的な文法構造で書かれた文章のブロック、つまり散文の文」prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences と定義している。続けて FAQ はこう述べる。This percentage is not necessarily the percentage of the entire submission.（このパーセントは、必ずしも提出物全体のパーセントとは限りません）

結果セクションには分析から除外される表、図、数式が含まれることが多い。方法セクションにもリストや箇条書きが入ることがある。しかし文献レビューはほぼ全文が散文だ。どの段落も分析対象になる。つまり、文書の中でスコア計算の対象となる割合が高く、その分多くのセグメントが確率値を算出して総合スコアに反映される。同じ分量でも、文献レビューと結果セクションでは AI パーセントが異なり得る。これは、方法セクション全体が検出されたという Turnitin がメソドロジーセクション全体をフラグした という不満がこれほど多い理由でもある。

Turnitin の 2023 年 5 月のリリースノートには、文献レビューに関連するパターンが記されている：

Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives.（リリース以降、文書の冒頭数文または末尾数文で誤検出の発生率が高いことが確認されています。これらの文章は、一般的に書かれた序論または結論の内容であることが多くあります。その結果、これらの誤検出を減らすため、検出ロジックを変更しました）

We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version.（また、セグメント境界の検出をより正確にする改良も実施しており、まれに従来バージョンと比較して境界が変化する場合があります）

これは 2023 年の改良であり、現在の欠陥ではない。ただしここで述べられているパターン、すなわち「一般的な序論と結論の内容」は、文献レビューの冒頭段落と結び段落がしばしば含むものだ。文献レビューが「近年、X に関する研究は大きく成長した」と始まり、「まとめると、文献は～を示唆している」と終わる場合、これらは歴史的に誤検出と関連してきた定型構築だ。検出ロジックはこれを減らすよう更新されたが、根本的なパターンは依然として多くの文献レビューに残っている。

もう一つ理解しておくべきことがある。Turnitin の FAQ はこう述べる：The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.（類似性スコアと AI 文章検出パーセントは完全に独立しており、互いに影響し合うことはありません）

文献レビューは既存研究を参照・引用するため、類似性スコアは中程度から高くなるのが普通だ。これは想定通りで問題ではない。しかし学生の中には、類似性スコアが高ければ AI スコアも高くなる、あるいは類似性スコアを下げれば AI スコアも下がると考える者がいる。どちらも誤りだ。両測定は独立している。文献レビューは（適切に引用された資料からの）類似性 30％で AI スコアが低くあり得るし、類似性 5％で AI スコアが高くあり得る。一方を処理しても他方には影響しない。最もよくある失敗は、この二つのスコアを同じものと捉えてしまう ことだ。

ここまでの内容をまとめると：

• 文献レビューは Turnitin の誤検出されやすいプロファイル（構造のバリエーションが少ない、繰り返し、新たな見解なしでのパラフレーズ）に一致する。
• 文献レビューはほぼ全文が散文であり、検出器がスコア計算する対象文章の割合が大きい。
• 一般的な序論と結論の内容は、歴史的に誤検出と関連（2023 年更新で対応済み）。
• AI スコアと類似性スコアは独立している。一方を下げても他方は下がらない。
• Turnitin は教育者に対し、このような内容で高い AI スコアが出た場合は文章の種類を考慮するよう求めている。

文献レビューのどの段落が検出されたかを示す Turnitin レポートを持っているなら、レポートを読み込んで その箇所だけに対処できる。残りのレビューは原文のまま保たれる。これは重要だ。広く書き直すと、引用の連鎖を壊さずに文献レビューを修正する という局面で失敗するからだ。対象箇所は無料で再処理可能。