Turnitin は感想文を AI と判定するのか？誤検知の仕組み

感想文では学生に自らの経験について書かせますが、構造が画一的になりやすい傾向があります。経験を紹介し、起きたことを描写し、そこから学んだことを引き出す――この内省的な書き方のせいで、文章のパターンが学生同士で似通ってしまいがちです。Turnitin のドキュメントでは、誤検知を引き起こす文章として以下を挙げています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（「誤検知――人間が書いた文章を誤って AI 生成と判定するケース――には、構造のバリエーションが少ない内容、文字通り繰り返しがある文章、新たな展開なく言い換えられただけの文章が含まれる場合があります」）

続く一文：「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（「このような文章で AI 生成の指標が高く出た場合は、表示されたパーセンテージを解釈する際にその点を考慮に入れるようお勧めします」）

感想文は往々にしてこれらの特徴をすべて備えています。構造のバリエーションが少ないのは、内省的な構成が決まりきった展開をたどるから。表現が繰り返されるのは、成長や困難、学びを語る際に学生が似た語彙を使うから。そしてアイデアは、必ずしも新たな論点を展開せず、教材の内容を言い換えるにとどまることが多いからです。だからといって、その文章が AI 生成だというわけではありません。Turnitin 自身が「誤検知を起こしうる」と注意を促す文章のプロファイルに一致しているに過ぎないのです。この点は、AI 検知ツールが何を測っているか を知れば納得しやすいでしょう。

感想文のスコアが高くなる理由を理解するには、検出器の動作を確認する必要があります。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（「論文が Turnitin に提出されると、文章が抽出され、予測分析のために重複するセクションに分割されます。各セクションは AI 検出モデルによって分類され、0 から 1 の値が与えられます。これは、その文章が人間によるものか AI 生成のものかの確率を表します。これらのセクション内にある条件を満たす文章は、そのセクションのスコアを引き継ぎます。セクションは重複するため、一部の文章は複数のスコアを持つことがあり、それらは一つのスコアに統合されます。これらの文章スコアがさらに集約され、文書全体の AI 生成スコアが算出されます」）

各文章に確率スコアが付き、それらが統合・集約されて文書レベルのパーセンテージになります。感想文のように文章パターンが一貫している場合、すべてのセクションで高いスコアが出やすく、それらが積み重なって全体として高いパーセンテージになるのです。

検出器は提出された文章のすべてを処理するわけではありません。処理されるのは 条件付きテキスト（qualifying text） だけです。

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)."（「本モデルは、散文以外の形式やコードにおける AI 生成テキストを確実に検出することはできず、箇条書き（短文・非文章構造）のような短形式・非定型の文章も検出しません」）

続く一文：「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」（「つまり、複数の筆致が混在する文書では、パーセンテージとハイライト表示の間に乖離が生じることがあります」）

同じドキュメントでは、対象となる文章の定義も明確にされています。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."（「この条件付きテキストは散文の文章のみを含みます。つまり、標準的な文法構造で書かれた文章のブロックのみを分析対象とし、リスト、箇条書き（短文・非文章構造）、その他の非文章形式は含みません」）

続く一文：「This percentage is not necessarily the percentage of the entire submission.」（「このパーセンテージは、必ずしも提出文書全体の比率を表すものではありません」）

感想文の場合、文章のほとんどが散文なので、条件付きテキストが文書の大半を占めます。そのため、書式が混在する文書に比べれば乖離の懸念は小さく、表示されるパーセンテージは実際の散文部分の比率にほぼ等しくなります。

感想文は短いことが多く、500 語程度も珍しくありません。ドキュメントはまさにこのケースへの注意を促しています。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（「数百語しかない短い文書では、予測はほぼ『すべてまたは無』になります。重複の余地がない一つのセクションだけで判定するからです」）

続く一文：「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（「つまり、AI 生成部分と自作部分が混在する文章でも、全体が AI 生成としてフラグされる可能性があるということです」）

短い感想文では、検出器が判定できるセクションが一つしかないことがあります。重ね合わせによる平滑化が効かないため、その唯一のセクションで高いスコアが出れば、論文全体がフラグされます。自作と AI 支援の下書きが混在する文書が 100% AI 生成と報告されるケースもあり得るのです。これが、Turnitin が「100% AI」と判定する理由 の一つです。短文では、長文が享受できる平均化の影響が働かないのです。

Turnitin のドキュメントは、スコアの適切な使い方とその限界を明確に述べています。

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."（「当社の AI 生成検出モデルは必ずしも正確とは限りません（人間が書いた文章、AI 生成、AI による言い換えを誤って判定する場合があります）。そのため、学生に対する不利益措置の唯一の根拠として使用するべきではありません」）

続く一文：「It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.」（「学術的な不正行為が行われたかどうかを判断するには、さらなる精査と人間の判断、そして各機関の学術規定の適用を組み合わせる必要があります」）

別の Turnitin 情報源も、この姿勢を裏付けています。

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."（「このツールは、単独で決定的な答えを出すことを意図したものではありません。どのツールよりも重要なのは、スコアを目にし、生徒やその作品、機関の方針についての個人的な知識とこの情報を天秤にかけながら判断を下す教育者です」）

続く一文：「When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.」（「教育者が AI 生成スコアを、決定的な回答ではなく単一のデータポイントとして活用するとき、初めて意図通りの使い方がなされていると言えます」）

感想文で高い AI スコアが出たとしても、それは単一のデータポイントに過ぎず、証明にはなりません。ドキュメントはモデルが文章を誤って判定する可能性を認め、機関の方針と併せて人間の判断を求めています。もしあなたがスコアについて説明を求められたなら、フラグされたが自分で書いた場合の対応 が、その準備方法を解説しています。

ここまでの内容をまとめます。

• 感想文は、Turnitin のドキュメントに記載された誤検知パターン（構造のバリエーションが少ない、表現の繰り返し、アイデアの言い換え）に複数該当します。
• Turnitin の助言：「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（「このような文章で AI 生成の指標が高く出た場合は、表示されたパーセンテージを解釈する際にその点を考慮に入れるようお勧めします」）
• 検出器は文章をセクションに分割し、各セクションにスコアを付けます。短文ではセクションが一つしかないため、二極化した結果になります。
• 短い感想文（数百語）は、二値判定のリスクが最も高くなります。
• スコアを不利益措置の唯一の根拠とするべきではありません。これは人間の判断を要する単一のデータポイントです。

感想文の Turnitin AI レポートを受け取り、フラグ付部分に対処したい場合は、レポートをインポート して対応しましょう。該当箇所は無償で再実行可能です。