TurnitinはOpenAIの推論モデルo1やo3を検出できるのか?
推論モデルは文章を出力する前に「思考」を行いますが、最終的に生成されるテキストは依然として自己回帰型モデルによるものです。その論理的な緻密さや均一性こそが、文章のパープレキシティ(困惑度)を低く抑え、検知器にとって最も識別しやすい特徴となってしまいます。
HumanPen チーム
· 7 分
TurnitinはOpenAI o1やo3で書かれた論文を検出できるのか?
検出されます。提出されたテキストが標準的な判定条件を満たしている限り、TurnitinはOpenAI o1、o1-preview、o1-mini、o3-miniによって生成された論文や学術的散文を一貫して高い精度で検出します。
「OpenAIの推論モデルは回答前に複数ステップの内部的な思考の連鎖(Chain of Thought)を経るため、人間らしい思考を模倣しており、自動検知を回避できる」という噂が広まっています。しかし、この誤解はモデルの生成プロセスと最終的な出力物を混同しています。Turnitinは、モデルが裏でどのように推論したかを評価するわけではありません。ページ上に現れる可視テキストの統計的特性を評価しているのです。最終的な文章は自己回帰型のTransformerデコーダーによって生成されるため、大規模言語モデルに特有の低いパープレキシティや規則的な文構造がそのまま現れます。
o1の出力がAIフラグを回避する主なケースは、独立した数式、ソースコード、短い箇条書きなど、判定対象外の要素で構成されている場合です。Turnitinは設計上、どのモデルであってもこうした形式をAIスコアリングの対象から除外しているのであり、推論モデルが検知をすり抜ける特殊な性質を持っているからではありません。
隠された思考プロセスと最終出力:検知器が実際に見ているもの
推論モデルがなぜ検知されるのかを理解するには、生成サイクルを「内部的な思考」と「表面的なテキスト出力」という2つの明確な段階に分けて考える必要があります。
- 内部思考トークン(潜在的な思考の連鎖):推論段階において、o1やo3などのモデルは内部で膨大な推論シーケンスを生成します。制約条件を評価し、初期の論理的前提を修正しながら構成を練り上げます。OpenAIはこの段階を隠れ推論トークンとしてカプセル化しており、最終的なAPIレスポンスやチャット画面に返されることはなく、提出される学生のレポートに現れることもありません。
- 可視出力トークン(出力テキスト):内部の探索が完了すると、モデルはユーザーに提示される最終的なテキストを生成します。この出力は標準的な自己回帰トークンサンプリングによって生成され、その仕組みはGPT-4oをはじめとする他の最新言語モデルと全く同じです。
Turnitinが受け取るのは、この最終的なテキスト層のみです。提出システムには、プロンプトの内容、モデルのバージョン、生成にかかった時間、内部推論トークンなどの記録は一切残りません。Word文書やPDFが処理キューに入ると、検知器は生のテキストを抽出し、その単語の並びを解析します。
検知器はテキストを個々の文に分割し、Transformerベースの分類器にかけます。このニューラルネットワークは、トークンの選択や構文パターンが、機械生成テキストに典型的な統計的パターンと一致するかどうかを評価します。出力前にどれほど目に見えない推論が行われていたとしても、生成された文が一般的な言語モデルの確率分布に従っているという事実は変わりません。
なぜ論理的な厳密さがかえって統計的な予測可能性を高めるのか
高度な推論モデルが抱えるパラドックスは、その最大の強みである「段階的で厳密な論理的一貫性」こそが、言語検知器にとって統計的な予測可能性を下げてしまうどころか、むしろ高めてしまうという点にあります。
AI分類器は主に2つの指標でテキストを評価します。パープレキシティ(前の単語から見て次の単語がどれだけ出現しやすいか)と、バースティネス(文章全体におけるパープレキシティや文の長さの変動の度合い)です。標準的なモデルが文章を生成する場合、創造的なプロンプトや自由な連想によって、出現確率の低い単語が紛れ込むことがあります。それに対して強化学習によって訓練された推論モデルは、論理的な誤りを最小限に抑え、曖昧さを排除するように最適化されています。そのため、極めて定型的な表現、直接的な構文の接続、標準的な接続詞を自然と選んでしまうのです。
人間が書く文章は、本質的に不規則で変化に富んでいます(高いバースティネス)。学生が自分で書いた本物の論文では、リズムが予測不能に変化します。繊細な理論を説明する入り組んだ複文のあとに、率直な所見や口語的な表現、あるいは独特な比喩が続くこともあります。人間の書き手は、一般的な言語コーパスと照らし合わせた際に高いパープレキシティを示す、不揃いな文法指纹や文体の癖、独特な語の組み合わせを残すものです。
一方で推論モデルは、メトロノームのように均一なリズムで文章を生成します。すべての主張は整然と結びついた前提によって裏付けられ、文の長さは構文的な平均値周辺に集中し、語彙の選択は最初から最後まで予測可能な状態を保ちます。人工的な規則性を検出する分類器にとって、この揺るぎない構造的規律こそが、機械によって書かれたことを示す最も明確な兆候の1つなのです。
理系の数式導出と文系の論述:判定対象テキストのルールが適用される境界
「OpenAI o1はTurnitinに検知されない」という誤解が広まった発端は、主に理系分野の講義にあります。実験の計算やプログラミング課題をo1に解かせたところ、AI判定スコアが0%になったという報告が相次いだためです。
この結果は、Turnitinが公式に規定している判定基準、いわゆる「判定対象テキスト(qualifying text)」のルールによって説明がつきます。TurnitinのAI検知器がスコアを算出するには、標準的な段落形式で書かれた最低300語の連続した文章が必要です。さらに、前処理の段階で数式、LaTeXマークアップ、生のソースコード、箇条書きリスト、参考文献などは解析対象から除外されます。学生がo1-miniを使って微分方程式を解いたりPython関数を生成したりした場合、Turnitinはそれらの箇所を丸ごと無視するため、フラグの立たないレポートが出力されるのです。
しかし、同じモデルに長文の論述を書かせると結果は一変します。社会学のレポート、文献レビュー、哲学の論文、科学論文の導入部などでは、出力されるテキストは標準的な説明文の段落で構成されます。こうした文章は判定条件をすべて満たすため、そのままニューラル分類器へと送られます。
この標準的な解析にかけられると、o1やo3によって生成されたテキストは、GPT-4oと同等の高い確率で検知されます。推論モデルは検知されないという体験談は、提出物にそもそも判定対象となる文章が含まれていなかったケースがほとんどです。
「検知されないAIモデル」という神話
モデルの性能が大きく飛躍するたびに、「自動検知はもはや時代遅れになった」という主張が必ず繰り返されます。この言説はGPT-3の登場時に始まり、GPT-4でも繰り返され、OpenAIのoシリーズがリリースされた際にも再び現れました。
実際のところ、AI検知は固定されたフィルターではなく、継続的なエンジニアリングの調整作業として機能しています。Turnitinは定期的に分類の重みを更新し、新しくリリースされた基盤モデルに対して検知器の精度を検証しています。Transformerモデルは共通の基本アーキテクチャや訓練コーパスを持っているため、最新モデルの出力テキストであっても、多様な学生が書く文章とは明確に異なる固有の統計的クラスタリングを示し続けます。
o1に対してくだけた文体で書くよう指示したり、意図的な句読点の誤りを加えたり、段落の長さを変化させたりするといった、検知を回避するための一般的なプロンプト戦略は、往々にして逆効果となります。こうした制約はモデルの論理的推論力を低下させるだけでなく、不自然で作為的な文体の痕跡を生み出し、複数の文を跨いで分析する分類器によって依然としてフラグを立てられてしまいます。
現在利用可能な言語モデルの中に、統計的分類を根本から免れる長文の説明文を生成できるものは存在しません。教育機関による審査への対策としてモデルの新しさに依存することは、言語モデルのテキスト生成の仕組みに対する誤解に基づいています。
草稿で予想外のスコアが出た場合:的を絞った修正手順
課題の提出や事前のセルフチェックで予想外のAI判定率が出てしまった場合、パニックになって文書全体を書き直そうとするよりも、体系的に対処するほうがはるかに効果的です。
- 文書の編集履歴を保存する:Google Docsの変更履歴、Wordの変更履歴の記録、Overleafのコミットログなど、使用している執筆プラットフォームの完全なバージョン履歴を必ず保持してください。連続的な修正のタイムスタンプや執筆途中の草稿は、自力で学術的な取り組みを行ったことを証明する客観的な証拠となります。
- 指摘された箇所を特定する:診断レポートを確認し、分類器によってフラグが立てられた具体的な文や段落を特定します。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。
- 人間の文脈で論述を再構成する:フラグが立った段落を修正する際は、抽象的な一般論を、一次資料の引用、授業での議論で得た直接的な気づき、自分自身の分析的な視点に置き換えます。文の区切りを手作業で再構築し、自分自身の執筆リズムを反映させましょう。
原稿全体を大雑把な自動パラフレーズツールにかけることは避けてください。無差別な書き換えは、専門用語の質を落とし、引用の対応関係を乱し、表のレイアウトを崩すだけでなく、予測可能な別の機械的パターンを生み出してしまうことが多いためです。
よくある質問
OpenAI o1には、Turnitinがスキャンするための電子透かし(ウォーターマーク)が埋め込まれていますか? 埋め込まれていません。Turnitinは暗号化された透かしを抽出したり、文書の隠しメタデータを読み取ったりしてAIテキストを特定しているわけではありません。その検知器は、可視テキストそのものの統計的な確率分布を評価しています。電子透かしがなくても、自己回帰モデルの文構造だけで検知には十分な統計的シグナルとなるのです。
o1-miniは標準のo1モデルと検知され方に違いがありますか? 連続した文章においては、どちらのモデルも同様に高い確率で検知されます。o1-miniはコーディングや定量的なタスクに特化してファインチューニングされていますが、一般的な学術段落を書かせると、語彙がより限定され、予測可能性がさらに高くなる傾向があり、結果として分類器に同様に検知されやすくなります。
構成案の作成やリサーチだけにo1を使用した場合、レポートにフラグは立ちますか? フラグは立ちません。Turnitinが評価するのは、提出された文書内の最終的な記述テキストのみです。AIモデルを使ってアイデア出しを行ったり、論証の構成案を練ったり、数学的な概念を整理したりしても、自分自身の言葉で実際の段落を執筆していれば、AIフラグが立つことはありません。
ある学生がo1を使ってゼロパーセントと報告した一方で、別の学生が九十パーセントになったのはなぜですか? その違いは、ほぼ間違いなくテキストの形式や学問分野の性質に起因します。コードの抜粋、数式、短い箇条書きが大半を占める提出物は、Turnitinの判定対象テキストの判定フィルターによって除外され、AIフラグは立ちません。一方、標準的な人文学や社会科学の段落で構成された提出物は、完全に評価の対象となり、フラグが立てられます。
続きを読む