Turnitin が参考文献を AI 判定するのはなぜか

現在の Turnitin のレポートでは、参考文献一覧や文献リストが AI ライティングの判定を受けることは本来ありません。AI ライティング検出のモデルは、文献リストを分析対象から除外しています。いま目の前にあるレポートで参考文献にハイライトが付いているなら、現実的な説明は三つあります。そしてそのどれもが「Turnitin があなたの参考文献一覧に AI を検出した」という話ではありません。三つとは、レポートが古い（2023年8月より前）、ハイライトは AI 判定ではなく類似性の一致である、あるいは判定されたテキストは実は参考文献の脇にある地の文で、モデルに地の文として読まれている、のいずれかです。

三つとも順に見ていきます。ただし出発点は、Turnitin が行った変更と、同社が対応を求めたあの一文です。

2023年4月に Turnitin が AI ライティング検出を公開してから最初の数か月、文献リストは分析対象から除外されていませんでした。文献リストに挙げられた参考文献の中に、AI ライティングを示すハイライトが入ってしまうバグがありました。このことは Turnitin が AI ライティング検出モデルのリリースノート に記録しています。

「We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.」（文献リストに挙げられた参考文献の中に AI ライティングのハイライトが入ることのあったバグを修正しました。現在は AI ライティングレポートの処理において文献リストを除外しています。）

同じリリースノートの同じ行にある、次の文はこうです。

「Resubmit to reprocess existing submissions that contain highlighted reference sections.」（参考文献のセクションにハイライトがある既存の提出物は、再提出して再処理してください。）

この二番目の文こそ、ほとんどの学生が見落としているものです。修正は、すでに生成されたレポートには適用されません。2023年8月のリリース前に教員がレポートを生成し、その後一度も再提出していないなら、受信トレイに残っているのは文献リストにハイライトが付いたままの古いレポートです。レポートが自動的に更新されることはありません。

同じリリースノートには、表（テーブル）に関する関連する変更も載っています。2023年8月より前は、表の中の長文の地の文は処理されませんでした。Turnitin のリリースノートにはこうあります。「We are now able to process long-form prose text in tables.」（表の中の長文の地の文を処理できるようになりました。）そしてまた、次の文はこうです。「Resubmit to reprocess existing submissions that contain tables.」（表を含む既存の提出物は、再提出して再処理してください。）

表を含む文書のレポートが 2023年8月より前のものなら、同じ対処が当てはまります。修正は配信されていますが、効果が出るのは修正後に生成されたレポートだけです。

Turnitin に参考文献を検出された、という相談を生む二番目の勘違いがあります。私たちが目にする中ではこれがいちばん多いものです。

Turnitin は二種類のレポートを生成します。一つは AI Writing Report、もう一つは Similarity Report です。この二つは別物であり、二つのスコアを同じものとして読んでしまうこと が、こうした相談のほとんどの根っこにある誤りです。Similarity Report は、あなたの文章が他の資料の文章とどこで一致しているかを示します。AI Writing Report は、モデルがどこを AI 生成と判断したかを示します。Turnitin の AI ライティング検出機能の FAQ から引用します。

「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似性スコアと AI ライティング検出の割合は完全に独立しており、互いに影響しません。）

そして同じ FAQ の、一行下にはこうあります。

「AI writing highlights are not visible in the Similarity Report.」（AI ライティングのハイライトは Similarity Report には表示されません。）

逆もまた同じです。類似性のハイライトは AI Writing Report には表示されません。

参考文献一覧は、類似性の一致が最も起きやすい箇所の一つです。あなたは公開済みの論文を引用しました。他の学生も同じ公開済みの論文を引用しました。タイトル、著者名、誌名、DOI はどれもまったく同じ文字列です。参考文献にハイライトが付いているとき、まず確認すべきは自分がどのレポートを見ているかです。引用文や引用文献が Similarity Report に残り続ける理由 では、引用における同じ現象を扱っています。Similarity Report であれば、そのハイライトは AI 判定ではなく、一致したテキストです。類似元は他の学生のレポートかもしれませんし、公開論文やウェブサイトかもしれません。それらは AI ライティング検出とは何の関係もありません。

三つ目の仕組みも知っておく価値があります。Turnitin の AI モデルは、提出物のすべての語を分析するわけではありません。分析するのは、FAQ が「qualifying text」（判定対象テキスト）と呼ぶものです。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この判定対象テキストには地の文の文のみが含まれます。つまり、標準的な文法的文として書かれたテキストのまとまりだけを分析の対象とし、箇条書き、箇条書きの項目（文になっていない短い構造）など、文以外の書き方は含みません。）

そのページの次の文はこうです。

「This percentage is not necessarily the percentage of the entire submission.」（この割合は、必ずしも提出物全体に対する割合ではありません。）

参考文献セクションにとっての実際的な意味はこうです。文献の記述一覧は、地の文のような書式になっていたとしても、モデルに判定対象テキストとして扱われない可能性があります。個々の記述は短く、多くは完全な文ではありません。モデルは地の文を読むように作られています。書式の整った参考文献一覧は、段落より構造化されたリストに近いものです。

これが、AI Writing Report に表示される割合とハイライトされたテキストの量が釣り合わないように見える理由でもあります。長い文献リスト、図のリスト、目次がある文書には、判定対象にならないテキストが多く含まれます。割合は、モデルが実際に読む地の文を母数として計算されます。ハイライトは、モデルのしきい値を超えた地の文の箇所に置かれます。文献リストに 40 件の記述があっても、自分の文章のうち二つの段落だけが検出されているなら、レポートの「2%」は判定対象テキストの 2% であり、文書全体の 2% ではありません。

いまレポートを前にして、参考文献が検出されているように見えるなら、次の順で確認してください。

一つ目は、レポートが生成された日付です。レポートが 2023年8月より前のものなら、文献リストの修正が配信される前に作られたものです。現在のモデルに問題があるわけではありません。レポートが古いだけです。対処法は、教員に再提出を依頼することです。リリースノートを引用すれば十分なことがほとんどです。その記述は Turnitin 自身のドキュメントページにあり、そこには「resubmit to reprocess existing submissions that contain highlighted reference sections.」（参考文献のセクションにハイライトがある既存の提出物は、再提出して再処理してください。）とあります。

二つ目は、自分がどのレポートを見ているかです。ハイライトが AI Writing Report ではなく Similarity Report にあるなら、それは AI 判定ではなく類似性の一致です。あなたの参考文献一覧が別のレポートの参考文献一覧と一致するのは、類似性チェックでは想定された挙動です。それは AI が書いたかどうかについては何も示しません。AI ライティングのハイライトは「are not visible in the Similarity Report,」（Similarity Report には表示されない）のであり、類似性のハイライトは AI Writing Report には表示されません。この二つは別物です。

三つ目は、参考文献のすぐ周りのテキストです。検出されたのが文献リストの直前か直後の一文か二文の地の文（謝辞、方法に関する注記、参考文献セクションへの導入）なら、モデルはそれを地の文として読んでいる可能性があります。それはモデルが本来すべきことです。判定は参考文献に付いているのではなく、その近くの地の文に付いています。読み取るべきは、その箇所が属するセクションではなく、ハイライトされたテキストそのものです。そのうえで書き直すなら、そのハイライトされた地の文だけが作業対象です。Turnitin のレポートが検出した段落だけを書き直す

補足すると、2023年に Turnitin は、文書の最初と最後の数文で誤検出が多いことも確認しています。それは、ありきたりに書かれた導入や結論の部分でした。2023年5月24日のリリースノートから引用します。

「Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives.」（公開以降、文書の最初の数文や最後の数文で誤検出が多いことが確認されています。そうした文の多くは、ありきたりに書かれた導入や結論の内容です。そのため、これらの誤検出を減らすために検出ロジックを変更しました。）

これが関係するのは、ネット上で「Turnitin は導入と結論を検出する」という古い言説を学生が目にすることがあるからです。それは既知の問題でしたが、2023年の改善であって、現在の話ではありません。2023年のフォーラム投稿でその言説を見かけたなら、修正はすでに配信済みです。リリースノートは次の文でそう述べています。現在のレポートについては、未解決の問題として気にする必要はありません。

いま検出された文献リストを前にしている人への要点です。

1. レポートの生成日を確認します。2023年8月より前のレポートは再提出が必要です。
2. AI Writing Report と Similarity Report のどちらを見ているかを確認します。参考文献に対する類似性の判定は想定内です。文献リストに対する AI 判定は想定外です。
3. レポートが最新で、判定が AI Writing Report にあるなら、実際にハイライトされているテキストを読みます。おそらくそれは参考文献そのものではなく、その近くの地の文です。

2023年8月の修正は、リンク先のページに記載されています。教員による再提出が必要な場合、その手順はリリースノートに載っています。「Resubmit to reprocess existing submissions that contain highlighted reference sections.」（参考文献のセクションにハイライトがある既存の提出物は、再提出して再処理してください。）