意味を変えずに AI テキストを人間らしく：その仕組みが示すこと

「意味を変えずに AI テキストを人間らしく」というフレーズには、ある前提が隠されています。検出器がそもそも意味を読んでいるという前提です。しかし Turnitin 自身のドキュメントが説明しているのは、そうではないプロセスです。提出されたテキストは重複するセグメントに分割され、各セグメントは人間か AI 生成かの確率を割り当てるモデルで分類され、それらの確率がプールされて文書レベルのスコアに集約されます。検出器が読んでいるのは単語の選択における統計パターンであり、単語の意味ではありません。つまり「意味を変えない」ことと「検出器が読むパターンを変えない」ことは別々の制約なのです。意味を変えずにリライトしても、統計が十分に変わればスコアは変動します。二つの指標が測っているものが違うからです。

Turnitin の FAQ はこのように説明しています：

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文が Turnitin に提出されると、提出文から文が抽出され、予測分析のために重複するセクションに分割されます。各セグメントは AI 検出モデルによって分類され、0 から 1 の値が割り当てられます。これはテキストが人間らしいか AI 生成かの確率を表します。これらのセグメント内の対象となる文は、セグメントのスコアを継承します。セグメントは重複するため、一部の文は複数のスコアを持つことがあり、それらは単一のスコアにプールされます。これらの文のスコアはさらに集約され、文書全体の AI 執筆スコアの算出に使用されます。）

これをパイプラインとして捉えてください。テキストが入力され、重複する部分に切り分けられ、各部分に確率が割り当てられ、文はセグメントからスコアを継承し、重複するスコアはプールされ、プールされたスコアが一つの数値に集約されます。このプロセスのどこにも、段落が何について書かれているかを解析する段階は含まれていません。モデルが扱っているのは単語シーケンスの統計的特徴であり、それらの特徴がスコアを生み出しているのです。

FAQ には、一見矛盾しているように読めるが実際にはそうではない記述が二つあります。一つ目はこれです：

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions."（当社のモデルは、公の議論で時に言及される「バースティネス」「パープレキシティ」などの個別指標を明示的に評価するようにプログラムされているわけではありません。）

その次の文はこう続きます：「代わりに、トレーニングデータから統計パターンを学習します。」

二つ目は、同じページの別の質問からのものです：「当社の分類器はこれらの単語の確率の違いを検出するようにトレーニングされており、人間らしい文章特有の単語の確率シーケンスに優れています。」

一つ目の記述は、モデルが二つの特定の指標を計算するように作られているわけではないと述べています。二つ目は、モデルが単語の確率パターンから学習していると述べています。これらは矛盾しません。モデルは「パープレキシティ」という数値を計算して閾値と照合するわけですが、単語の確率パターンから学習しているのです。この違いが重要なのは、多くのリライトのアドバイスが特定の指標を動かせばよいという前提に立っているからです。しかしモデルがその指標を計算していないなら、それを動かすことは人々が考えるほど効果的ではありません。パープレキシティやバースティネスを超えて AI 検出器が何を測っているかで詳しく解説しています。

検出器が意味ではなく単語の確率パターンを読むのであれば、意味を保つリライトが自動的にスコアを変えるリライトになるわけではありません。二つの目標は別々の軸で動いています。

例えば、「結果は変数 X と Y の間に有意な相関があることを示している」という段落があるとします。「所見は X と Y の間に意味のある関連性を示している」とリライトできます。意味は同じです。しかし、新しい文の単語の確率プロファイルは元の文とは異なります。その違いがスコアを上げるか下げるかは、新しい単語のシーケンスが AI 生成テキストとしてモデルが学習したパターンにより近いか遠いかによりますが、文を読むだけでは分かりません。

だからこそ、「意味を変えずに」というのは人間には意味のある目標ですが、検出器が測るものには対応していません。検出器は議論が保たれているかどうかには無関心です。全く別のものを読んでいるのです。実際に統計を変える編集は、これと同じ問題を手作業で行うバージョンです。

Turnitin の FAQ には、誤検知に含まれる可能性のあるテキストも記載されています：

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（時折、誤検知（人間が書いたテキストを AI 生成として誤ってフラグ付けすること）には、構造的な変化に乏しいコンテンツ、文字通り自分自身を繰り返すテキスト、新しいアイデアを発展させずに言い換えられたテキストが含まれることがあります。）

その次の文：「そのようなテキストで AI による執筆の割合が高いと表示された場合は、表示されたパーセンテージを考慮に入れることをお勧めします。」

リストの三つ目は注意深く読む必要があります。よく読むと、人々が思うほど多くのことは述べていません。Turnitin が説明しているのは完成したテキストの状態です。最初の二つの項目が状態を説明しているのと同じように：構造的な変化があまりない、文字通りの繰り返し、アイデアが動いていない。そこにはどの編集操作でテキストがその状態になったかについては何も書かれていません。一つの言葉をより良い言葉に置き換えるのは普通の編集です。あらゆるリライトツールがそれを行っており、我々も例外ではありません。リストのどの項目もそれに反対していません。リストが教えてくれるのは、段落がリライトの後でも元と同じことを言っているまま出てくることがあり、Turnitin はその状態のテキストを誤検知の起こりやすいものとみなしているということです。それは結果についての主張であり、つまり段落を読み直すことで自分で確認できます。意味が本当に動いてはいけない場合、言い換えられる箇所と正確に残すべき箇所がセクションごとに線引きします。

これまでの内容をまとめると：

• 検出器は意味ではなく、重複するセグメントのパイプラインを通じて単語の確率パターンを読む。
• モデルは「バースティネス」や「パープレキシティ」を名前の付いた指標として計算するわけではないが、分類器は単語の確率から学習している。
• 意味を保つことと、検出器が読む統計を変えることは別々の制約であり、一つではない。
• 新しいアイデアを発展させずに言い換えられたテキストは、Turnitin 自身が誤検知の起こりやすいコンテンツのリストに載せている。
• AI スコアと類似性スコアは独立しており、互いに影響しない。

実務的な意味合いは、良いリライトは二つのことを同時に行うということです：アイデアをそのまま保ちつつ、フラグが付いた箇所の単語の確率プロファイルを変えること。Turnitin のレポートをお持ちの場合は、インポートしてフラグが付いた特定の箇所に取り組んでください。対象となる箇所は無料で再実行できます。