Turnitin で創作作品が AI 判定されてしまう理由

創作作品が Turnitin の AI 検出で誤判定されるのには、Turnitin 自体が公式に認めている理由がいくつかあります。対象となるのは「qualifying text（対象テキスト）」だけで、これは通常の文法構造に従った散文の文章に限定されます。Turnitin のヘルプ記事の 1 つには、同社のモデルは「詩、脚本、コードといった非散文形式の AI 生成テキストは確実に検出できない」と明記されています。短い創作作品にはもう 1 つ問題があって、FAQ によると数語程度のドキュメントでは「セグメントが 1 つしかなく、オーバーラップの機会がないため、prediction はほぼすべて 0 か 100 かのどちらかになる」と説明されています。FAQ では誤判定を招く特徴として「構造のバリエーションがほとんどないコンテンツ」や「文字どおり繰り返しのあるテキスト」も挙げられています。反復モチーフや一定の文章構造を使った創作作品は、完全に人間が書いていてもこのプロフィールに一致してしまうのです。

FAQ には、モデルが何を分析するかがこう定義されています。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."（この対象テキストは散文の文章のみを含み、つまり当社が分析するのは標準的な文法構造で書かれたテキストブロックであって、リスト、箇条書き（短文の非文章構造）、その他の非文章構造など他の形式の記述は含みません。）

その次の文には「このパーセンテージは、必ずしも提出物全体の割合ではありません」とあります。

Turnitin のヘルプ記事の 1 つには、モデルが確実に検出できないテキスト形式がより詳しくリストされています。

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies."（同モデルは、詩、脚本、コードといった非散文形式の AI 生成テキストを確実に検出できず、また箇条書き、表、注釈付き書誌目録などの短形式・非定型の記述も検出しません。）

これはファイル形式の境界ではなく、テキスト内容の境界です。Turnitin の 現在のファイル要件 では .docx、.pdf、.txt、.rtf が受理されますが、受理されたファイルでも対象となる長文散文と、詩や脚本形式の対話、非定型の構造が混在していることがあります。ヘルプ記事 の 1 つには、そうした創作形式は確実に検出されないと記載されていますが、そのようなセクションが常にすべて除外されるとは書いていません。FAQ には、長文散文とみなされないテキストは含まれないとあり、パーセンテージが提出物全体を表すとは限りません。

創作作品の課題は短めであることが多くあります。500 語のフラッシュ・フィクションなどは、FAQ が言う「数語程度」の範囲に収まります。そこにはこうあります。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数語程度しかない短いドキュメントでは、セグメントが 1 つしかなくオーバーラップの機会がないため、予測はほぼ 0 か 100 かのどちらかになります。）

その次の文には「つまり、AI 生成と独自の内容が混在するテキストでも、完全に AI 生成と判定されることがあります」とあります。

Turnitin の 現在のファイル要件 では別の境界線が引かれており、AI Writing Report とパーセンテージを生成するには、長文形式の散文テキストが最低 300 語含まれている必要があります。

その基準を満たさない場合、AI レポートまたはパーセンテージの必須要件を満たしません。それでも数語程度しかない提出物の場合、現在の FAQ によると予測はほぼ 0 か 100 かのいずれかになり、AI 生成と独自の内容が混在するテキストが完全に AI 生成と判定されることがあります。Turnitin が作品を 100% AI と判定する理由 では、その振り幅をセグメントごとに追っています。

FAQ には、偽陽性（人間が書いたテキストを誤って AI 生成と判定すること）を招きやすいテキストの特徴がリストされています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（偽陽性、つまり人間が書いたテキストを誤って AI 生成と判定するケースには、構造的な変化がほとんどないコンテンツ、文字どおり反復するテキスト、新たなアイデアを発展させずに言い換えられたテキストなどが含まれることがあります。）

その次の文には「そうしたテキストで AI 執筆の割合が高く出ている場合は、表示されたパーセンテージを参考にされることをお勧めします」とあります。

これら特徴のいくつかは、創作ライティングでよく使われる技法と重なっています。あえて反復を修辞技法として用いる作品は「文字どおり反復するテキスト」に一致します。一貫した語り口と一定のリズムを持つ作品は「構造的な変化がほとんどないコンテンツ」に一致します。公式のアドバイスは、パーセンテージを決定的なものと捉えず「参考にすること」です。スタイル上の癖 1 つが同じように読まれてしまうのが、アンダッシュは AI の特徴か の問いの背後にあります。

検出モデルは、テキストを重複するセグメントに分割し、それぞれに確率スコアを割り当てます。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."（論文が Turnitin に提出されると、提出物から文章が抽出され、予測分析のために重複するセクションに分割されます。各セグメントは AI 検出モデルによって分類され、0 から 1 の値が与えられ、そのテキストが人間によるものか AI 生成のものかの確率を示します。）

長いドキュメントではセグメントが重複するため、1 つの文が複数のスコアを受け取り、それらが統合されます。この統合によって個々の予測エラーが平滑化されます。短い創作作品ではオーバーラップのない 1 セグメントしかないことがあり、そのため予測が 0 か 100 になります。AI 検出器がパープレキシティとバースティネス以外に何を測定しているか で、各セグメントが何に基づいてスコアされるかを取り上げています。

ここまでの内容をまとめると。

• パーセンテージは対象となる長文散文に基づいて算出され、提出物全体の割合を必ずしも表すものではありません。
• Turnitin のヘルプ記事の 1 つには、詩、脚本、注釈付き書誌目録が、モデルが確実に検出できないテキスト形式としてリストされています。
• 数語程度しかない対象ドキュメントの場合、Turnitin によるとオーバーラップがないため予測はほぼ 0 か 100 かのどちらかになります。
• 対象となる長文散文が 300 語未満の提出物は、AI レポートまたはパーセンテージの現在の要件を満たしません。
• FAQ では、構造のバリエーションがほとんどない場合や反復がある場合、パーセンテージを「参考にすること」を指導者に勧めています。
• 意図的な反復や一貫した語り口といった創作技法は、偽陽性を招きやすい特徴に一致することがあります。

創作作品の Turnitin レポートを受け取り、判定された箇所に対処したい場合は、レポートをインポート して対応します。対象となる箇所は無料で再実行できます。