Turnitinで注釈付き書誌のAIスコアが信頼できなくなる理由

Turnitinのヘルプ記事は、特定の形式についてモデルの既知の限界を次のように述べています。

「The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.」（このモデルは、詩、脚本、コードといった散文ではない形式のAI生成テキストを確実に検出できるわけではありません。また、箇条書き、表、注釈付き書誌のような短い形式・非定型の文章も検出できません。）

続く一文はこうです。「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」（つまり、複数の異なる文章タイプを含む文書では、パーセンテージとハイライトの間に食い違いが生じるということです。）

このリストには注釈付き書誌がはっきりと名を挙げられています。モデルはこの形式のAI生成テキストを確実に検出できるわけではありません。これはヘルプ記事で認められている適用範囲の限界であって、ご自身の側の設定の問題ではありません。注釈付き書誌に高いAIスコアが出た場合、そのスコアは確実に扱える範囲の外で動いているモデルによるものです。

書誌は信頼できないだけではありません。処理から完全に除外されています。2023年のリリースノートには次のようにあります。

「We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.」（書誌に掲載された参考文献の中で、ときおりAIによる文章がハイライトされてしまう不具合を修正しました。AI執筆レポートの処理では、書誌は除外されるようになりました。）

続く一文はこうです。「Resubmit to reprocess existing submissions that contain highlighted reference sections.」（ハイライトされた参考文献部分を含む既存の提出物は、再提出すると再処理されます。）

つまり、書誌の条目、すなわち引用そのものは分析されないということです。この修正より前に文書を提出して、参考文献一覧にハイライトが付いていた場合、再提出すれば書誌を除いた形で再処理されます。Turnitinが参考文献や引用を指摘するのはなぜかでは、この除外が実際にどこまで及ぶかを確認しています。同じリリースノートは表の中身にも触れています。

「We are now able to process long-form prose text in tables.」（表の中にある長文の散文テキストを処理できるようになりました。）

続く一文はこうです。「Resubmit to reprocess existing submissions that contain tables.」（表を含む既存の提出物は、再提出すると再処理されます。）

注釈付き書誌では、引用の条目は除外されます。注釈の段落、つまりそれぞれの文献について書いた散文こそが、処理される判定対象テキストです。表示されるスコアは注釈の散文だけを反映しており、引用は反映していません。

判定器が処理するのは判定対象テキストだけです。Turnitinの「AI writing detection capabilities」（AI執筆検出の機能）FAQページでは、次のように説明されています。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この判定対象テキストには散文の文だけが含まれます。つまり、標準的な文法的な文として書かれたテキストのまとまりだけを分析し、箇条書きのように文になっていない短い構造や、その他の文ではない構造は含みません。）

続く一文はこうです。「This percentage is not necessarily the percentage of the entire submission.」（このパーセンテージは、提出物全体のパーセンテージとは限りません。）

注釈付き書誌では、ここからはっきりした構図が生まれます。書式設定された引用、ぶら下げインデント、DOIリンクといった書誌の条目は除外されます。注釈の段落は散文の文なので、判定対象になります。レポートのパーセンテージは注釈の散文だけを反映します。1000語の文書のうち注釈が300語なら、パーセンテージはその300語を対象とし、文書全体を対象とするわけではありません。パーセンテージと分量のこの差は、TurnitinのAI執筆レポートを読むときに最初に確認すべき点です。

Turnitinの「AI writing detection capabilities」（AI執筆検出の機能）FAQページでは、この限界がより短い形で述べられています。

「The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures).」（このモデルは、散文ではない形式やコードの形をしたAI生成テキストを確実に検出できるわけではありません。また、箇条書きのように文になっていない短い構造を含む、短い形式・非定型の文章も検出できません。）

続く一文はこうです。「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」（つまり、複数の異なる文章タイプを含む文書では、パーセンテージとハイライトの間に食い違いが生じるということです。）

注釈付き書誌は、まさにこの種の混在文書です。パーセンテージとハイライトの食い違いは、既知の挙動です。

判定の処理は、判定対象テキストを重なり合う区間に分割します。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文がTurnitinに提出されると、提出物から文が取り出され、予測分析のために重なり合う区間に分割されます。それぞれの区間はAI判定モデルによって分類され、その文が人間によるものかAIによるものかの確率を示す0から1の値が与えられます。これらの区間に含まれる判定対象の文は、区間のスコアをそのまま受け継ぎます。区間は重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文ごとのスコアはさらに集約され、文書全体のAI執筆スコアの算出に使われます。）

注釈付き書誌では、この処理を通るのは注釈の散文の文だけです。引用の条目が入ることはありません。区間のスコアは、注釈テキストだけについての確率評価を反映しています。全体のパーセンテージは、注釈だけから得られたそれらの文スコアを集約したものです。

注釈の散文は、たいてい決まった型に従います。文献を要約し、信頼性を評価し、関連性を述べる、という順です。この繰り返しは、ドキュメントが誤判定に関連付けているパターンに一致します。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤判定、つまり人間が書いたテキストを誤ってAI生成と指摘することが起きる場合、そこには構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、新しい考えを展開せずに言い換えられたテキストが含まれることがあります。）

続く一文はこうです。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのようなテキストで私たちの指標がAIによる文章の割合を高く示している場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めします。）

注釈は構造的な変化に乏しくなりがちです。要約・評価・関連性という型がすべての条目で繰り返されるからです。表現が繰り返されるのは、学生が注釈ごとに似た動詞（"argues"、"claims"、"demonstrates"）を使うためです。考えは文献から言い換えられただけで新しい主張は展開されず、言い換えそれ自体が数値を望ましくない方向に押し上げがちであることは、言い換えでTurnitinのAIスコアが上がる理由で説明しています。テキストがこうしたパターンに当てはまる場合、パーセンテージを額面どおりに受け取るのではなく考慮に入れるよう、Turnitin自身が案内しています。

ここまで見てきたことをまとめます。

• Turnitinのヘルプ記事は、モデルが注釈付き書誌のAI生成テキストを確実には検出できないと述べています。
• 書誌は処理から除外されます。分析されるのは注釈の散文だけです。
• パーセンテージが反映するのは注釈の散文だけで、提出物全体ではありません。
• 注釈の散文は誤判定のパターンに当てはまりがちです。構造的な変化の少なさ、表現の繰り返し、言い換えられた考えです。
• Turnitinは次のように勧めています。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのようなテキストで私たちの指標がAIによる文章の割合を高く示している場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めします。）
• 以前の提出物で参考文献にハイライトが付いていた場合、再提出すれば書誌を除いた形で文書が再処理されます。

注釈付き書誌についてTurnitinのAIレポートを受け取り、指摘された箇所に対応したい場合は、レポートを取り込むかたちでその箇所に取り組んでください。条件を満たす箇所は、無料で再実行できます。