Turnitin の検出システムは時間とともに変わる:スコアへの影響とは
1 月に AI 率 20% だった論文が、8 月には 40% になることもあります。文章そのものは変わっていません。変わったのは検出システムです。Turnitin の FAQ には、モデルの進化に伴い検出機能も「will also change(変化する)」と記載されています。この仕組みを理解しておけば、再提出でスコアが変動する理由もわかるでしょう。
HumanPen チーム
· 4 分
結論を簡潔に
同じ論文でも、提出日が異なれば AI スコアは変わり得ます。Turnitin の FAQ には次のように記載されています:「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.(より新しい LLM を検出できるようモデルを改良し続ける限り、検出機能も変化する可能性があり、それによって AI パーセンテージが影響を受けます)」FAQ は続けてこう述べています:「However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.(ただし、提出済みの文書については、再提出して再処理しない限り AI パーセンテージは変わりません)」つまり、一度レポートが生成されれば、その内容は固定されます。しかし、同じ文章を後で再提出すると、新しいレポートにはアップデートされたモデルの機能が反映されます。1 月に 20% だったスコアが 8 月には異なる値になるのは、文章そのものが変わったからではなく、モデル自体が変化したからです。
FAQ に記載の検出機能の変化について
FAQ ではこの点について明確に述べています:
"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."(モデルを継続的に改良して新しい LLM をより適切に検出できるようにするにつれ、検出機能も変化し、AI パーセンテージに影響を与える可能性があります。ただし、提出済みの文書について、AI パーセンテージが変化するのは、再度提出して処理された場合のみです。)
注意すべき点が 2 つあります。1 つ目は、Turnitin 自体が検出機能は固定的ではないと認めていることです。モデルは新しい言語モデルを検出するために進化し続けており、その進化が AI パーセンテージに影響します。2 つ目は、変化が再提出時にのみ適用される点です。既存のレポートは再処理されません。3 か月前のレポートがあれば、そのスコアは凍結されたままです。そのスコアは現在のモデルではなく、処理時点のモデルを反映しています。だからこそ、Turnitin の再チェック後もフラグが残る理由 では、2 つの数値を比べるのではなく 2 つのレポートを比較するよう提案しています。
リリースノートが確認:過去のレポートは更新されない
AI 執筆検出モデルページの 2025 年 10 月、2026 年 2 月、2026 年 5 月の 3 つのリリースノートには、すべて同じ文言が記載されています:
"This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted."(このリリースは、以前に生成された AI 執筆レポートをさかのぼって更新しません。このアップデートによって生成された AI 執筆スコアを表示するには、既存の提出物を再提出する必要があります。)
これは FAQ の記述と整合しています。各モデルアップデートは検出精度を向上させますが、過去のレポートをさかのぼって再計算することはありません。アップデートの方向性も明記されています:「We have updated our AI writing detection model to improve recall while maintaining a low false positive rate.(AI 執筆検出モデルを更新し、偽陽性率を低く保ちつつリアコールを向上させました)」リアコールの向上とは、AI 生成テキストに対する感度が高まることを意味します。以前は低いスコアだった論文が、アップデート後に高いスコアになるのは、新しいモデルが旧モデルが見逃していたパターンを検出できるようになったからです。これが、論文を編集した後に AI スコアが上昇する現象 の説明の一つとなっています。
2026 年 7 月のアーキテクチャ変更
FAQ には重要な直近の変更について次のように記載されています:「In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate.(2026 年 7 月、モデルアーキテクチャを更新し、複数モデルのアンサンブルを単一モデルに統合しました。このアップデートにより AI 執筆レポートが改善・簡素化され、偽陽性率は 1% 未満に維持されています)」
これはリリースノートページではなく FAQ からの情報です。FAQ によれば、複数モデルのアンサンブルが単一モデルに統合されました。このようなアーキテクチャの変更は、同じ文章でもスコアが大幅に変わる可能性を示唆しています。複数モデルのアンサンブルは複数のモデルから予測を集約する一方、単一モデルは独自の予測を行います。統合によってスコアリング経路が変更されたため、境界線に近いセグメントの分類も変化した可能性があります。
バイパスツール検出の推移
モデルの機能は時間とともに特定の方向に拡大してきました。2023 年 12 月、Turnitin は「AI word spinners(AI 単語スピナー)」と呼ぶものの検出機能を追加しました。2025 年 8 月には、AI バイパサーツールで修正されたテキストを「AI-generated only」カテゴリに含めるよう検出器が更新されました。これらの追加により、パラフレーズツールやバイパサーツールで処理されたテキストは、これらのアップデート後に生成されたレポートで検出される可能性が高くなりました。Turnitin は AI 人間化ツールを検出するか では、ベンダーが何を保証し、何を保証していないかが詳しく説明されています。
再提出への影響
ここまでの内容をまとめると:
- Turnitin の FAQ によれば、新しい LLM を検出できるようモデルが進化するにつれて、検出機能も「will also change(変化する)」
- リリースノートは、アップデートが過去のレポートに遡って変更を加えないことを確認している
- 最近のアップデートの方向性は、偽陽性率を低く保ちつつリアコールを向上させること
- 2026 年 7 月のアーキテクチャ変更で、複数モデルのアンサンブルが単一モデルに統合された
- 同じ文章でも、モデルアップデート後に再提出すると異なる AI スコアになる可能性がある
Turnitin のレポートを持っていて、フラグの付いた箇所を修正したい場合は、レポートをインポート して直接対応できます。対象となる箇所は無料で再実行可能です。
続きを読む