Notion や QuillBot で推敲したのに、AI 判定されてしまった

文法チェックに通しただけで AI 判定された場合、問うべきはそのツールが一般的に「安全か」ではありません。どの機能を使ったかです。Turnitin の FAQ はある製品について直接答えています。Grammarly によるスペル・文法・句読点の修正は「in most cases,」（ほとんどの場合）指摘されないが、Grammarly の生成機能（下書き生成、書き換え、要約など）が作った文章は「will likely be flagged as AI-generated.」（おそらく AI 生成として指摘される）ということです。Notion、QuillBot など他のツールについては、Turnitin はツールごとの一覧を公表していません。FAQ は、検出器は主要な書き換えツールや回避ツールを検出できるよう訓練・テストされているが、どれかは明かせないとしています。ツール一覧がなくても、原理としては線ははっきりしています。修正と生成的な書き直しは別のカテゴリで、検出器の読み取り方も違うということです。

FAQ には Grammarly に絞った詳しい回答があります。該当箇所は長く、どの節も意味を持ちます。

「No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.」（いいえ。当社の検出器は、Grammarly が行うスペル・文法・句読点の修正を狙ったものではなく、GPT-3.5 のような LLM が書いた別の AI 文章を対象としています。AI 生成物を含まない、人が書いた文書で行ったテストでは、Grammarly（無料版 & 有料版）や他の文法チェックツールによる変更は、ほとんどの場合、当社の検出器に AI が書いたとは判定されませんでした。ただしこれは、下書き生成、書き換え、要約など Grammarly の生成 AI 機能が作った文章には当てはまりません。これらの機能で作られた文章は、当社の検出器によっておそらく AI 生成と判定されます。）

この文は前後に分けて読んでください。前半は除外規定です。検出器が狙っているのはスペル・文法・句読点の修正ではなく、テストした範囲ではそれらは指摘されなかったということです。ここでの「in most cases」（ほとんどの場合）という但し書きは実質的な意味を持ちます。除外は保証ではないということだからです。後半は境界線です。生成機能は別のカテゴリで、そこから出た文章はおそらく指摘されるとしています。この一節全体は Grammarly は AI 文章として検出されるのか で詳しく分解しました。

Turnitin の FAQ が製品名を挙げているのは Grammarly だけです。Notion、QuillBot、その他については公表された見解がありません。FAQ が述べているのは次の点です。

「Our AI writing detector has been trained and tested to detect leading paraphraser and bypasser tools. However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools.」（当社の AI 文章検出器は、主要な書き換えツールや回避ツールを検出できるよう訓練・テストされています。ただし、自社ソリューションの健全性と、学術的公正さを保つ上での実効性を守るため、これらのツール名を公表することはできません。）

特定のツールが安全か危険かを、私たちが断言することはできませんし、するつもりもありません。Turnitin が一覧を公表していない以上、検出について断定するのは私たちの仕事ではないからです。言えるのは、Grammarly の FAQ が枠組みを示しているということです。修正（スペル、文法、句読点）が片側、生成的な操作（下書き作成、書き換え、要約）が反対側です。使ったツールに両方の機能があるなら、どのアプリを開いたかより、どのボタンを押したかのほうが問題になります。同じ枠組みゆえに、Turnitin は AI 人間化ツールを検出するのか にも、ツール一覧という答えはありません。

ここには落とし穴があります。FAQ は、誤判定に含まれうる文章として「paraphrased without developing new ideas」（新しい考えを展開せずに書き換えられた）文章を挙げています。該当箇所の全文は次のとおりです。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤判定、つまり人が書いた文章を誤って AI 生成と指摘することは、構造的な変化に乏しい内容、文字どおりの繰り返しになっている文章、あるいは新しい考えを展開せずに書き換えられた文章に起こることがあります。）

さらに続く文があります。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのような文章で当社の指標が AI 文章の割合を高く示した場合、表示されたパーセンテージを見る際には、その点を考慮に入れることをお勧めします。）

つまり、書き換えツールは二重の問題を生みうるということです。第一に、Turnitin が検出できるよう訓練されたツールのひとつであれば、その出力は直接指摘されうる。第二に、特定のツールの痕跡として検出されなくても、できあがった文章が誤判定の集まりやすい書き方の特徴に当てはまる可能性がある。均一な構造、文字どおりの繰り返し、実質を加えず語順を入れ替えただけの書き換えです。前者は検出のリスク、後者は類似のリスクです。

混乱に拍車をかけるのが、AI スコアと類似度スコアは独立しているという点です。Turnitin は次のように述べています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似度スコアと AI 文章検出のパーセンテージは完全に独立しており、互いに影響しません。）書き換えツールは、類似度スコアを下げる一方（既存の文献と語句レベルで一致しなくなるため）、AI スコアを上げることがあります（出力が AI 生成文や書き換え文に似るため）。この二つの動きは矛盾しません。別々のシステムが別々のシグナルを読んだ結果です。

このパターンは何度も見てきたので、書き換えで類似度が下がり AI スコアが上がるときに起きること という記事を別に書きました。

ここまでの内容をまとめます。

• Grammarly のスペル・文法・句読点の修正は「in most cases,」（ほとんどの場合）指摘されないが、生成機能（書き換え、要約、下書き生成）はおそらく指摘される。
• Turnitin は他にどのツールを検出するか公表していないため、検証済みの「安全なツール一覧」を出せる人はいない。
• アプリ名より使った機能が問題。修正と生成的な書き直しは別のカテゴリである。
• 新しい考えを展開しない書き換え文は、Turnitin 自身の誤判定リスク一覧に入っている。
• AI スコアと類似度スコアは独立しているため、書き換えツールは一方を下げつつ他方を上げうる。

すでに指摘されている場合に意味のある問いは、「ツールが悪かったのか」ではなく、「which passages are flagged and why.」（どの箇所が、なぜ指摘されたのか）です。Turnitin のレポートを取り込む と、指摘された箇所だけに取り組めます。条件を満たす箇所は無料で再実行できます。