なぜAIヒューマナイザーは数か月で効かなくなるのか ── その仕組み

先学期は効いていたヒューマナイザーが、今は効きません。ツールが劣化したのではなく、検出器の側が広がったのです。しかもそれは、公開された時系列に沿って起きています。このページでは、その仕組み、なぜ「効かなくなる日」を前もって知ることができないのか、そしてなぜ手作業のやり方だけがどんなツールより長持ちするのかを説明します。

HumanPen チーム

· 5 分

簡単な答え

一度は効いたヒューマナイザーが、数か月後に効かなくなることはあります。ツールが劣化したのではなく、検出器が広がったのです。Turnitin自身のリリース履歴には、検出対象が時代とともに、言い換えられた後のAIテキストや回避された後のAIテキストへと拡張されてきたことが記録されています。そして同社は、どのツールを検出しているのかを公表しようとしません。だからこそ、ツールの提供元を含めて誰も、前もって「いつ効かなくなるか」を告げることはできません。効かなくなったことは、起きてからしか分かりません。

このページはその仕組みについてのページであり、永久に使えるツールを探すページではありません。そんなものは存在しませんし、永久に使えると約束する人は、提供元側が意図的に「分からないまま」にしているものを売っていることになります。

効かなくなるとは、実際にはどういうことか

効かなくなる、といっても一つの現象ではありません。同じ名前で呼ばれている体験が三つあり、それぞれ別の問題です。

一つ目は、スコアが下がらなくなることです。以前は低く戻ってきたテキストが、今は同じ水準で戻ってきます。あるいは、より高く戻ってきます。

二つ目は、スコアが下がるどころか上がることです。指摘されたテキストをツールに通すと、数字が逆方向に動くことがあります。検出器が今や、まさにその種の書き直しが残す統計的な指紋を探すようになっているからです。

三つ目は、テキストは指摘されたまま戻ってくるのに、もう自分の文章に見えなくなることです。ツールが変えすぎた結果、仕上がりが典型的な機械的な文章として読めるものになってしまいます。そしてそれこそが、検出器が訓練されている形なのです。

三つとも実際に起きていることであり、三つとも根底にある話は同じです。検出の標的が動いたのです。

なぜ起きるのか ── 検出器が広がったから

この仕組みは逸話ではなく、記録に残っています。Turnitin自身のリリースノートに、検出範囲が二段階で拡張されたことが記されています。

2023年12月、同社は自社の検出器が、別のツールによって書き直された後であっても、AIが生成した可能性が高いテキストを対象とするようになったと記録しました。これが記録に残る最初の拡張です。

2025年8月、同社はAI Writing Reportの「AI-generated only」区分に、AI回避ツールによって修正された可能性のあるAI生成テキストの割合を含めると発表しました。これで二つ目の抜け道が塞がれました。生成後にテキストを「人間らしくする」とうたうツールの抜け道です。

発表が二度続き、向かっている先は一つです。「ツールを通ったテキスト」という区分が、検出器の探す対象に組み込まれ続けています。ヒューマナイザーの出力は、定義上、ツールを通ったテキストです。まさにその区分を捕らえるように、検出器は訓練されているのです。

なぜ誰にも効かなくなる日を予測できないのか

検出器が広がっているなら、「自分のツールはいつ効かなくなるのか」と問いたくなるのは自然なことです。正直な答えは、前もって分かる人はいないというものです。そして同社は、意図的にそういう状態を保っています。

Turnitinは、主要な言い換えツールと回避ツールを検出できるよう自社の検出器を訓練し、テストしたと述べています。ただし、それらのツール名は開示できないとしています。リストを共有すれば、学生がシステムをすり抜けやすくなるからです。その次の文では、プロダクトチームが検出能力の拡張に絶えず取り組んでいると述べています。

ここから二つの帰結が生じます。第一に、検出対象のツールの集合は仕様上秘密です。したがって、どの提供元も自社のツールが今は検出されていないと確認することはできません。第二に、「constantly working to expand(絶えず拡張に取り組んでいる)」とは、境界線があなたの予定ではなく提供元の予定で動くということです。朝には問題なかったツールが、次のモデル更新の後には検出されるということが起こります。誰にも予測できません。リストを見ることを許されていた人が、誰もいなかったからです。

だからこそ、保証というものは構造的に成立しません。「これは永久に通ります」と約束する提供元は、自分がアクセスできない、秘密の、動き続けるリストに依存するものを約束していることになるからです。

そうではないということ ── スコアは評決ではない

ツールが効かなくなるのは腹立たしいことですが、ツールの失敗とスコアの意味は分けて考える価値があります。

Turnitin自身のドキュメントは、AIライティング指標のパーセンテージを、対応を決める唯一の根拠として、あるいは教員による決定的な評価尺度として使うべきではないとしています。ツールが効かなくなった後にあなたのテキストが指摘されたとしても、その指摘はテキストの形についての統計的なシグナルであって、あなたについての判断ではありません。スコアが高いという状況は、公式のガイダンスが「それだけで評決として扱うべきではない」としている状況そのものです。

この区別が大事なのは、その後に何をするかが変わるからです。別のツールを追いかける代わりに、レポートを読み、どの箇所がスコアを背負っているのかを突き止め、そこを手直しできます。別のツールではなく、自分自身の書き直しで。

実際に残るもの

ツールが仕様上いつか使えなくなるのだとすれば、何が残るのでしょうか。

秘密のリストに依存しない部分、つまり、まずレポートを読むこと、最も強く指摘された箇所を自分で書き直すこと、そして文章の形 ── 構造、反復、新しい論点 ── を自分の書き方に忠実な仕方で変化させることです。これらは、ツールがその文書に触れたかどうかに関わらず効く、同じ手立てです。

そして、ツールにはどうしてもできないことが一つあります。持っていない情報を付け加えることです。あなたの専門分野、あなたのデータ、あなたの主張です。ヒューマナイザーは渡されたテキストを並べ替えるだけで、あなたが伝えていない詳細を足すことはできません。自分自身の具体性を帯びたテキストは、読んだときの印象が違います。そしてその違いは、検出の更新によって消し去れるものではありません。統計的な形ではなく、実際の中身だからです。

このページは、手作業での書き直しが決して指摘されないと約束するものではありません。ここで述べているのは、手作業のやり方だけが、その寿命を検出器の秘密のリストに依存しないアプローチだということ、そしてそれはツールの信頼性とは別種の信頼性だということです。

要点

ヒューマナイザーが効かなくなるのは、検出器が広がるからです。しかもそれは公開された時系列に沿って、意図的に秘密にされたリストに向けて起きています。効かなくなる日を予測できる人はいません。あなたにも、提供元にも。ツールが効かなくなっても、それは評決ではありません。公式のガイダンスは、スコアを対応を決める唯一の根拠として使うべきではないとしています。そして長持ちする手立ては、どんなツールにも依存しないものです。レポートを読み、指摘された箇所を自分で書き直し、あなたしか知らないことをテキストに担わせることです。

続きを読む