AI 文章人間化ツールを使えば、引用・表・数式はどうなる?
たいていの人は「リスク=数値」という前提で問いを立てるが、それは違う。検出率は本文のみで算出され、参考文献は含まれない。真のリスクは、あなたが提出するファイルそのものだ。
HumanPen チーム
· 11 分
結論を一言で
Turnitin は AI 文章検出レポートの処理時に参考文献を除外し、レポートも本文の文のみを分析対象とする。そのため、参考文献リストを書き換えても検出率の数字は変わらない。ただし参考文献そのものは失われ得る。文章の結合や分割が起こればマーカー位置がずれ、文献管理ツールのフィールドはただのテキストに固定化され、ある公開レビューでは入力に含まれていない引用が出力で新たに生成される事例が確認されている。
以下で詳しく説明するのはまさにこの二つ目の文であり、これが最も見過ごされがちな点だ。
「同じもの」と呼ばれているが、実は全く別物
文章書き換えツールには大きく分けて二つのタイプがあり、それぞれ異なる失敗をする。
一つ目はテキストボックス型。テキストを貼り付けて書き換え、結果を戻し貼りする。このタイプはドキュメント自体を扱わないため、表やフィールドに関する懸念はすべて「貼り付け前後にあなたが何をしたか」に帰着する。ファイル内にあった構造は手作業で剥がされ、再び手作業で組み直すことになる。
二つ目はファイル直接処理型。ドキュメントを開き、内部のテキストを実行単位で特定し、一部を書き換えてから再度ファイルとして出力する。このタイプは構造を保護することもできれば、逆に手作業では到底起こし得ない規模で構造を破壊することもある。なぜなら、すべての段落を一括して処理するからだ。
どちらのタイプもデフォルトでは安全ではない。結果を分けるのはスコープ、つまりドキュメントのどこまでが書き換え対象か、そして処理前にその境界をユーザーが確認できるかどうかだ。
文章が動けば引用マーカーもずれる
Turnitin の検出メカニズムに関する公式説明は一読の価値がある。なぜなら、引用が検出器側で保護されない理由がそこに示されているからだ。提出データは重複するセグメントに分割され、各セグメントに 0〜1 のスコアが付与される。条件を満たす文は、それをカバーする全セグメントのスコアを合計・集約してレポートの数値が算出される(AI writing detection FAQs)。この過程のどこにも「引用」を識別するステップは存在しない。
この「無識別」は書き換えツールでも同様に働く。文章を書き換えるモデルにとって、`(Smith, 2019)` は単なる文字列であり、それが文の論理構造を支えているかどうかは判別できない。二つの文を結合すれば、マーカーは本来の典拠が主張していない内容の直後に残される。逆に一文を分割すれば、片方にマーカーが残り、もう片方は典拠のない主張として完結してしまう。
この種の失敗は校正では発見できない。文法的には正しく、欠落もないからだ。文はそれ自体で完結している。ただし、典拠が実際に述べている内容とは一致しなくなる。この「主張と典拠の結び付き」をどう監査するかについては、証拠の連鎖を断たずに文献レビューを修正する で詳述した。
二つ目の失敗は意味論的ではなく機械的な問題だ。Zotero、Mendeley、EndNote などの文献管理ツールから出力された引用は「テキスト」ではない。フィールドであり、プレーンテキストを経由することで、見た目は同一でも更新されない文字列に固定化される。この現象が長文ドキュメントに与える影響については、Word のフィールド・目次・相互参照 で解説している。
参考文献リストを書き換えたツールの実例
これは仮定の話ではなく、第三者の記録を参照する方が正確だ。
Tadhg Blommerde は Northumbria University の講師で、Turnitin のインストラクター権限を保有している。彼のレビュー動画の説明欄には、スポンサーシップおよびアフィリエイトリンクがないことが明記されている。
2025 年 2 月に公開された レビュー で採用された手法こそが、検証可能性を担保している。検証に用いた論文は彼自身の執筆ではなく、ChatGPT に「イギリス英語で 1,500 語」「APA 形式の文中引用と参考文献リストを含む」と指示して生成させたものだ。つまり、他のツールが処理する前に既に入力データが画面に存在している。そのファイルを Walter Writes で処理したところ、彼は「参考文献リストまで人間化した」と報告している。さらに出力側の引用で止め、決定的な指摘を加えている:その引用は ChatGPT 版には存在しなかった、と。
だからこそ、一つ目の発見より二つ目の方が重要だ。引用の破損はいずれ気づくエラーだが、誰も書いていない引用は、名前を署して提出しようとしているドキュメントに載っている偽の典拠だ。これが偽造だと判明するのは、入力データが動画内で事前に作成され、出力と行単位で比較可能だったからに他ならない。
公開ベンチマークが測定したもの、そして測定していないもの
現時点で確認できる唯一のオープンデータセットには重要な免責事項が付随しており、その免責は数値とともに提示される必要がある。HumanizerBench は WriteHuman が運営するベンチマークであり、公開されているリーダーボードに掲載された 12 ツールの一つであって、私が引用しようとしているサイクルでは 1 位に位置している製品だ。これは私が独自に推測したわけではない。運営元自身が About ページ およびサイト全ページのフッターで明言している。つまり、誰がどう言おうとも「独立系」とは呼べない。
しかしこのカテゴリーにおいて特筆すべきは、ファイルを公開している点だ。2026 年 8 月サイクルの入出力データはすべて、CC BY 4.0 の下で 公開リポジトリ に置かれている。運営元が誰であれ、これが有用である所以はここにある:誰の要約にせよ(私を含め)、ファイルを開いて数え直すことで異議を唱えることができる。
ここで数える価値のある部分を示そう。ルールは至って単純だ:Markdown の見出しとは「#」で始まる行であり、書き換え後にそれが残っているかどうかを確認する。このサイクルの 12 ツールのうち、4 ツールは見出しが一つも残っていない出力を返し、3 ツールは入力の見出しをすべて保持していた。「これらのツールはすべて書式を破壊する」という通説は心地よいが、公開ファイルはその説を裏付けていない。このカテゴリー内でのばらつきがまさに全範囲に及んでいるのが現実だ。
次に、測定の限界について。これはどのパーセンテージよりも重要だ。ここで数えられているのは、プレーンテキストの行頭に「#」があるかどうかだけだ。このデータセットの全ツールが「貼り付け入力・貼り付け出力」型であり、.docx ファイルが一貫して扱われていない。スタイル、番号付け定義、表オブジェクト、脚注部品、相互参照ブックマーク、目次フィールドは別のレイヤーに存在し、このレイヤーに踏み込む公開データセットは皆無だ。
DOCX レイヤーで私たちが数えたこと
そこで私たちは自社の出力で数えた。これは自社を自分で測定した結果であり、自社レポートをそのまま信用するのではなく、`word/document.xml` を直接開いて解析するスクリプトを用い、処理前後 3 組のデータを読み取った。最大のサンプルでは、空でない段落が 405 個、見出しスタイルが付与された段落が 46 個、7 行 14 セルの表が 1 個。処理後、これらの数値はいずれも同一だった。
ただし二つの条件付きであり、二つ目の方が重要だ。
見出しが見出しとして残存することは、文言が保持されたことを意味しない。46 個の見出しのうち 18 個は、balanced 設定で文言が変更されながらも、同じスタイルに紐付いたままだった。「言い換え」と「本文への格下げ」は別事象であり、前節の Markdown 数値が検出しているのは後者だ。
より重大な限界は、コーパスに含まれていなかった点だ。目次フィールド、相互参照、脚注が一切存在しない:`fldChar` はゼロ、アンカーもゼロ、パッケージ内に `footnotes.xml` も存在しない。これらは最も静かに破損する部分であり、関連するテキストの隣に保存されていないためだ。脚注マーカーと脚注本文はパッケージ内の別ファイルに存在し、番号だけで接続されている。したがって、この測定の正直な適用範囲は「段落・見出しスタイル・表 1 個、3 文書のサンプル」となる。
私たちの数値を再現することはできない。該当ファイルは公開権限がないし、ベンダー独自のコーパスからの数値は推して知るべきものだろう。ただし手順自体は再現可能だ。実際に私が欲しいドキュメントに対して、午後だけで実施できる:.docx をコピーし、拡張子を .zip に変更し、`word/document.xml` を開き、空でない`<w:p>`要素を数え、そのうちスタイル名が `Heading` で始まる段落スタイルを持つものを数え、パッケージ内から `fldChar` と `footnotes.xml` を検索する。自社を含む検討中の任意のツールで処理前後にこれを実施すれば、得られる数値は「私たちの 3 ファイル」ではなく「あなたの論文」について語ることになる。
相互参照が保持されると主張するツール(自社を含む)には、何を数えたのかと問うべきだ。
表も検出器の範囲内にある
Turnitin の AI writing detection model ページにはリリースノートが掲載されており、2023 年 8 月 9 日のエントリーで、モデルが表内の長文テキストを処理可能になったと記載されている。同エントリーには、表を含む既存の提出データは再度提出し直す必要がある旨も追加されている。
ここから二つのことが言える。第一に、表セル内のテキストも AI 検出のハイライト対象となり得るため、「表内だから対象外」という認識は 3 年遅れだ。第二に、これは表も書き換えツールの範囲内に入ることを意味する:セルのスコアが算出に影響するなら、ファイル処理型ツールにはセル単位で入る動機が生じる。
セル内で各ツールがどのように振る舞うかは測定していないため、以下の記述は「発見」ではなく「確認すべき箇所」として読むべきだ。二つの段落を保持していたセルは再度開いて確認する価値がある。テキストの増加で高さが変わった行も同様だ。そして結果の表で最初に確認すべきセルは、数値と単位が記載されたセルだ。表の中でこれが最も「文」に近い内容だからだ。
数式・数値・引用文
数式については測定データを提供できない。確信のない推測で穴を埋めるよりも、その旨を明言する方が良い。私たちのコーパスには数式が含まれていなかった。
代わりに、より本質的な境界線を示そう。実は数式に限定されない話だ。これは「値そのものが価値を持つもの」に関する原則だ。引用文は引用符内の単語が同一でなければ引用とは言えない。サンプルサイズ、p 値、信頼区間、単位、日付、固有名詞はすべて文字単位で保持されなければならない。文章は移動し得る。これらはできない。
論文をこの二つのカテゴリに適切に分類する方法は、Methods と Results で言い換えてよいこと、そのまま残すべきこと で整理している。
10 分で完了する確認チェック(この順序で)
- Word でファイルを開き、Ctrl+A → F9 を押す。 保持されたフィールドは更新される。プレーンテキスト化されたフィールドは何も起こらず、これで発見できる。
- 参考文献の総数を、処理前後で数える。 数値の変動は最も明確なシグナルであり、所要時間は 10 秒だ。
- 出力内のすべての文中引用マーカーを検索し、そのマーカーが位置する文が依然として元の主張を裏付けているかを確認する。 これは時間がかかる作業だが、偽の典拠を発見する唯一の手順だ。
- 数値を含む表セルをすべて読む。 周囲の文章ではない。セルそのものだ。
- 引用部分を差分比較する。 引用符内のテキストはソースとバイト単位で同一でなければならない。
ファイルバージョン管理の設定を含めた完全版は、提出前に人間化 Word ドキュメントを確認する方法 で詳述している。
私たちの境界線
HumanPen の前提は、「どこが処理されたか」をユーザーが後から Word で発見するのではなく、事前に応えられる状態にすることだ。
エンジンは段落より小さい単位では処理しない。選択を段落の途中で止めても、段落全体が処理対象となり、その境界は実行前に確認できる。境界はユーザーが設定することも、Turnitin または iThenticate のレポートをインポートしてフラグ付き箇所に基づいて設定することも可能だ。この場合、フラグ付きテキストのみが処理対象となる。クレジットは実際に処理された単語数でカウントされるため、4 段落に限定された処理は論文全体ではなく 4 段落分として課金される。対象結果は AI 検出率をゼロに下げるまで無料で継続可能だ。
当社の FAQ にはこのセクションの最後に「ダウンロード後に複雑なドキュメントを確認する」と記載されており、この行を削除するつもりはない。「複雑なドキュメントの書き換え」はチェックが必要だ。スコープを決めることで得られるのは、チェック項目が大幅に減ることだ。
よくある質問
人間化ツールは参考文献リストを変更しますか? 完全にスコープ次第だ。参考文献リストは AI 数値に影響しない。Turnitin のリリースノートによれば、AI 文章レポートの処理時に参考文献は除外されるため、そもそもスコープに含める理由がない。にもかかわらず、あるツールの公開レビューでは参考文献リストの書き換えが確認されている。
文中引用と参考文献リストの対応は保たれますか? マーカーは文字としては通常残る。問題は、そのマーカーが示す「主張」との結び付きだ。文章の結合や分割により、この関係が切れることがある。確認すべきはブラケットではなく、文そのものだ。
表も処理されますか? あり得る。Turnitin は表内の長文テキストも分析するため、ツールには入る動機がある。まず確認すべきは、数値・単位・短いラベルを含むセルだ。
目次が壊れるのはなぜですか? ほぼ確実に、ドキュメントがプレーンテキストフェーズを経たためだ。目次はフィールドであり、テキストではない。ドキュメントを文字列に平坦化すれば、フィールドは消滅する。単語はページに残っていても。
続きを読む