プロンプト指示では AI 検出率を確実に下げられない理由

プロンプトは AI モデルに処理されるテキスト指示です。「もっと人間らしく」「burstiness と perplexity を加えて」と指示しても、モデルが生成するのは新しい単語の確率パターンを持った文章です。検出器が見ているのは、その出力結果だけです。モデルが選んだ単語の組み合わせが、学習済みの AI 生成テキストの傾向とどれだけ異なっているかで判定されます。しかし、指示を工夫したところで、モデルがどの単語を選ぶかはコントロールできません。そして、その単語選択のパターンこそが、検出器が認識する対象そのものです。

Turnitin の FAQ にはこうあります。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文が Turnitin に提出されると、文章は重複するセクションに分割されて解析され、それぞれ 0～1 のスコアが付与されます。このスコアが統合されて、最終的な AI 作成率が算出されます）

検出器が見ているのは、文章中の単語列の統計的特徴だけです。プロンプトが何だったか、人間が生成したものなのか AI が生成したものかは関係ありません。最終的な単語列のパターンだけが判断基準になります。

よくある指示に、「burstiness を上げる」「perplexity を変える」といったものがありますが、Turnitin の FAQ はこう答えています。

"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."（当社のモデルは、burstiness や perplexity といった特定の指標を直接評価するよう設計されていません）

続けてこうあります。「代わりに、学習データから統計的パターンを学習しています」

同じページにはこうも書かれています。「当社の分類器は、単語の確率の違いと、人間ならではの単語確率列を検出するよう学習されています」と。

「burstiness を上げろ」と指示すれば、実際に burstiness が増加して検出確率が下がるとは限らないわけです。burstiness を表現するために使った単語の組み合わせ自体が、逆に AI っぽいパターンに近づけば意味がありません。この疑問（Turnitin が実際に perplexity や burstiness を使っているかは Turnitin は perplexity と burstiness を使っているのか ）を詳しく見ています。

さらに本質的な問題があります。AI 生成と判定されたテキストを AI にリライトさせる場合、それは「AI ツールで修正されたテキスト」になります。Turnitin の FAQ にはこうあります。

"Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection."（さらに、検出回避のために AI による言い換えツールやバイスパス（人間化）ツールで修正された箇所も識別可能です）

つまり、検出器は単に AI 生成テキストを探すだけでなく、リフレーザーやパスバーで修正された文本も対象にしています。ある AI の文章を別の AI に指示してリライトさせた場合、それは機能的にはパラフレーズ出力そのものです。そのようなテキストを検出するよう検出器は学習されています。実際、別の AI でパラフレーズしても Turnitin に検出された という解説があります。

Turnitin の FAQ には、誤検出（False Positive）が起きやすい例も挙がっています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（構造的な変化に乏しい内容、明らかに繰り返しがある文章、そして新しいアイデアを生み出さずにパラフレーズされた文章は、誤って AI 生成と判定されることがあります）

続きにはこうあります。「そのようなテキストで AI 率が高く出た場合は、表示されるパーセンテージを解釈する際に考慮に入れることを推奨します」

注目すべきは 3 つ目の例です。「新しいアイデアを生み出さずにパラフレーズされた」とは、内容を深めずに単語だけを入れ替える状態を指します。このようなテキストは、構造的にも単語の組み合わせも機械的なパラフレーズに近づきます。つまり、表面的な単語を変えただけの AI リライトは、むしろ False Positive のプロフィールに近づけかねません。実際に統計を変えるリライト方法 では、この手作業によるアプローチを紹介しています。

ここまでを整理すると、以下のようになります。

• プロンプトは AI モデルに処理されるため、出力されるのは AI 固有の単語確率パターンです。検出器が見るのは指示そのものではありません。
• モデルは burstiness や perplexity を指標として計算しているわけではないため、その「調整」を指示しても検出結果に影響するとは限りません。
• Turnitin はパラフレーザーやパスバーで修改されたテキストも検出します。これは「AI が AI をリライト」した結果そのものです。
• 新しいアイデアを加えず単語だけ入れ替えるリライトは、False Positive のプロフィールに近づく可能性があります。
• スコアを変えるのは、より良いプロンプトを書くことではなく、検出された箇所の単語確率プロフィールそのものを変化させることです。

どの箇所が検出されたかはレポートで確認できますので、レポートをアップロード して該当箇所を重点的に修正してください。当該箇所なら再チェックは無料で受けられます。