AI検出器が偽陽性を出したとき、自分の書いたものがオリジナルであることを証明する方法
あなたが何かを書いたことを証明できるツールは存在しない。あなたにできることは、「私がこれを書いた」という説明が「これは生成された」という説明よりも単純なものになるような証拠の連鎖を組み立てることである。
HumanPen チーム
· 16 分
短い答え
あなたがあるテキストのオリジナルの著者であることを証明できるツールは存在しない。あなたにできることは証拠の連鎖を構築することである。文書が時間をかけて編集されたことを示すバージョン履歴、ノートやアウトラインや注釈付き資料などのソースマテリアル、指導教員のメールからライティングセンターの利用記録までの執筆プロセスの記録、そして自分のテキストがなぜ今の見た目をしているのかの説明。これらは単独ではどれも AI 利用を否定できない。だが組み合わされば、スコアを審査している人に、スコアそのもの以外に目を向ける材料を与える。そしてツールを作った会社は、三つの異なるヘルプドキュメントで、スコアを学生に対する処分の唯一の根拠として使うべきではないと述べている。それはあなたの主張ではない。彼らの主張である。
本記事の残りでは、四つの証拠の層、それぞれが何を示し何を示さないか、そして過剰な主張をせずにそれらを対話にどう持ち込むかを整理する。Turnitin 自身が自社のスコアについて述べていることにも一つのセクションを割く。なぜなら、それらの発言はその場にあるべきものであり、あなたが作るものではないからである。
これと否定の違いは、「私は AI を使っていない」と「この文書がどうやって存在するに至ったか、その過程はここにある」の違いである。前者は主張である。後者は証拠である。レビュアーに何か手がかりを与えるのは後者だけである。
ツールはオリジナル性を証明しない。そしてそれはツールが測定しているものではない
AI ライティング検出器はテキストを分類する。文書を受け取り、分割し、各セグメントに確率を割り当て、それらを一つの数値に集約する。その数値が表しているのは、文章の統計的な性質である。誰が書いたか、どうやって作られたか、ファイルが提出される前に何が起きたかは表していない。
これをはっきりさせておく価値がある。なぜなら、"how do I prove my work is original"(自分の書いたものだとどう証明すればいいのか)という問いが、Turnitin と対称的なツール、つまりあなたのドラフトを受け取って「はい、あなたがこれを書きました」と出力する何かがあるかのように答えられることが多いからである。そのようなツールは存在しない。オリジナル性のための分類器は存在しない。オリジナル性とはプロセスと来歴に関する主張であり、プロセスと来歴は別のスコアではなく記録で確立するものである。
したがって、作業は逆検出を見つけることではない。作業は、執筆プロセスを可視化する資料を集め、それを Turnitin 自身が自社のスコアが何を決着づけ何を決着づけないかについて述べた発言と対にすることである。まず何をすべきかの一般論についてはフラグされたが自分で書いたものだった場合で先に述べた。本記事はより広い枠組みである。
第一層:バージョン履歴
バージョン履歴とは、文書が時間とともにどう変化したかのタイムスタンプ付きログである。Word は OneDrive の自動保存と変更履歴によってこれを保持する。Google Docs は標準で保持しており、デフォルトで有効である。Overleaf は Git 風のページ履歴を保持する。三つとも、編集がいつ起きたか、各リビジョンが大体どの程度の規模かを記録する。
バージョン履歴が示せること:
- 文書が異なる日付の複数のセッションにわたって編集されたこと。
- 修正には小さなもの(一段落、一文)もあれば、大きなものもあったこと。
- ファイルがより以前の状態で存在し、提出の数週間前からあったこともあること。
- 編集が、フィードバックのやり取りや指導教員のコメント、あるいは自分自身の推敲の回りに集中していること。
これが示せないこと:
- すべての文が人間によって書かれたこと。
- いかなる段階でも AI ツールが使われなかったこと。
- 最終的なテキストが中間ドラフトと行単位で一致すること。
バージョン履歴の価値は、AI の利用を否定することではない。否定しない。価値は、文書が時間をかけて書かれたことと整合する履歴を持つことを示す点にある。貼り付けられたブロックには履歴がない。書かれた論文には履歴がある。その違いは AI スコアには見えない。なぜならスコアは最終的なテキストしか見ないからである。
Word または Google Docs で書いた場合は、面談の前にバージョン履歴をエクスポートしておく。Overleaf で書いた場合は、ページ履歴が同じ役割を果たす。日付が見える状態でリビジョンのリストをスクリーンショットに撮り、タイムライン上の三つか四つのバージョンを選んでそれぞれで何が変わったかを書き留めておく。そして変更履歴を使っていた場合は、マークが見えるままのコピーを残しておく。マーク付きのバージョンは、編集プロセスを行の中に示すものである。
第二層:ソースマテリアル
ドラフトが存在する前には、他のものがあった。読書から得たノート。アウトライン。注釈付き PDF。自分の書き込みが入った参考文献リスト。図書館データベースの検索履歴。これらは生成の痕跡ではなく、研究の痕跡である。それらの日付がたどる道筋は、単一のテキスト出力のようには見えない。
持っていくべきもの:
- まだ手元にある最も初期のドラフト。粗削りであっても構わない。 荒なドラフトは執筆プロセスの証拠である。その日付は、文書が最終版より前に存在していた証拠である。
- 作業中に作成したノート、アウトライン、注釈付き PDF。 資料の文章にハイライトを引き、余白にメモを書き込んでいたなら、その書き込みは、自分が執筆の前に資料と向き合っていた証拠である。
- 整形する前の、作業中の状態の参考文献リスト。 週をまたいで資料を見つけながら育った参考文献リストは、一息で生成されたものとは違って見える。
これらはどれも検出器の結果ではない。どれも数値を出さない。これらがしているのは、執筆をタイムラインを持った文脈に置くことである。そしてそのタイムラインは、文書の前に始まり文書の後に終わる方向に走る。生成された論文には「前」がない。
第三層:執筆プロセス
第三の層は、文書そのものの外部に存在する執筆プロセスの記録である。
- 指導教員やフィードバックをくれた人とのメールのやり取り。 特定の日付にドラフトを送り、コメントを受け取ったのなら、そのやり取りはタイムライン上の一つの点を固定する。また、文書の制作中に別の人によるレビューが行われていたことも示す。
- ピアレビューの記録やライティングセンターの利用記録。 ライティングのチューターにドラフトを持っていったり、クラスメイトとドラフトを交換したりしていたなら、それらのセッションには日付があり、時にはメモもある。それらは、執筆が社会的なプロセスを経た証拠であり、ほとんどの学術執筆は実際そうやって進められる。
- これに向かって蓄積されてきた、より以前の課題。 この論文がプロポーサルや注釈付き参考文献一覧や、別に提出した方法セクションから育ったものであれば、それら以前の提出物は同じ執筆の軌跡の一部である。
この層がすることは、文書を他の人や他の日付に結びつけることである。文書が単独で存在し、以前のやり取りとのつながりがないと、疑いをかけられやすい。メールのやり取りやチュートリアル、以前の提出物の連鎖の中に位置する文書は、それを作った人間から切り離しにくい。
第四層:自分のテキストを説明できる
第四の層は、自分のテキストがなぜ今の見た目をしているかを説明する能力である。ここで Turnitin 自身の偽陽性に関するガイダンスが関係してくる。
AIライティング検出 FAQは、偽陽性を出しやすいテキストの特性を次のように説明している:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤検知、つまり人間が書いた文章をAI生成と誤って判定してしまう例は、構成の変化が乏しい文章、同じ内容がそのまま繰り返される文章、新しい考えを加えずに言い換えただけの文章で起きることがあります。)
あなたの文脈で重要なのは次の一文である:
"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そうした文章で指標がAIによる執筆の割合を高めに示した場合は、表示されたパーセンテージを見るときにその点を考慮に入れることをおすすめします。)
その対象範囲を読んでみよう。構造的な変化に乏しいコンテンツ。文字通り繰り返すテキスト。新しいアイデアを展開せずに言い換えられたテキスト。これらは学術執筆の大部分を占める。文献レビューは要約し統合するもので、性質上言い換えである。方法セクションは標準的な手順を、手順が同じであるがゆえに反復的であるべき言葉で記述する。緒言と結論は、中間に位置する具体的な作業を枠づけるがゆえに、意図的に一般化されることが多い。
フラグされた箇所がその領域にあるのなら、ツールを作った会社は、まさにその理由でスコアを割り引くよう、スコアを読んでいる人に伝えていることになる。あなたではない。会社である。あなたがやるべきなのは、自分のフラグされた箇所のうちどれがそれらの特性に当てはまるかを特定し、そう述べることだ。「方法セクションは標準的なプロトコルを記述しており、プロトコルがそうである以上、言葉は反復的になる」と。それは言い訳ではない。Turnitin 自身が挙げた特性への直接的な一致である。
Turnitin が自社のスコアについて述べていること
その場にあるべき発言がもう一組あり、そのどれもあなたのものではない。
AI Writing Report ガイドはこう述べている:
"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."(当社のAI執筆検出モデルは常に正確とはかぎらず、人間が書いた文章、AIが生成した文章、AIで言い換えた文章を取り違えることがあります。そのため学生に不利益な措置をとる唯一の根拠にすべきではありません。)
その直後の文は、この引用が使われるたびに漏れ落ちる一文である:
"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."(学術不正があったかどうかは、さらに詳しく調べ、人が判断し、各機関の具体的な規程に照らして初めて決まります。)
両方を一緒に読むこと。一つ目は、この数値を単独で使うなと言っている。二つ目は、その代わりに何が起きるべきかを言っている。さらなる精査、人間の判断、機関自身のポリシー。それは、数値を手にしている人に対し、結論を出す前にもっと作業をせよと製造元が伝えているのである。
AI Writing Report のレビューをどうすべきかというタイトルの別のページは、違った言い方をしている:
"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(これ単体で最終的な答えを出すためのものではありません。どんなツールよりも大切なのは、スコアを見たうえで、学生のこと、その課題のこと、学内規程を踏まえて判断する教員です。)
次の文がそれを完成させる:
"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."(教員がAI執筆スコアを最終的な答えではなく判断材料の一つとして使うなら、それは意図どおりの使い方です。)
これは製造元が自社のスコアを単一のデータポイントと呼んでいるのである。評定ではない。決定的な回答ではない。あなたが構築している証拠の連鎖は、その単一のデータポイントを複数のデータポイントに変えるものであり、それこそが製造元が正しいと言う使い方である。
これらの発言は三つの異なる Turnitin ヘルプドキュメントに現れる。学生の防御ではない。ツール製作者が、自社の数値が何を意味するかについて引いた自らの境界である。
偽陽性率がカバーするものとしないもの
Turnitin の FAQ は精度目標を次のように述べている:
"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."(AIによる執筆が20%を超える文書について、人間だけで書かれた文章をAI生成と誤って判定する誤検知率を1%未満に保ちながら、検出器の効果を最大にすることを目指しています。)
次の文はそれを言い直している:
"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."(言い換えると、完全に人間が書いた文書100本のうち1本を、AIが書いたものとして表示してしまう可能性があります。)
条件に注意。1% 未満という目標は、AI ライティングが 20% を超える文書に適用される。それはインジケーターが実際の数値とハイライトを示すバンドである。20% 未満では、現在の表示ルールが数値を星印に置き換える。したがって偽陽性の保証は、ツールが数値を確定するバンドをカバーし、星印のバンドには及ばない。
同じページはトレードオフを説明している:
"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."(この1%という低い誤検知率を保つために、文書内のAIが書いた文章を見落とすことがあります。人間が書いた文章を誤ってAI扱いしたくないので、それは許容しています。たとえば文書の50%がAIツールによって書かれた可能性が高いと判定した場合、実際には65%までAIによる執筆が含まれていることもあります。)
その方向を読み取ること。モデルは偽陽性を避けるよう調整されており、その調整のコストは過少報告である。高いスコアは、注意へ偏らせる調整にもかかわらず、モデルが主張へ確定していることである。低いスコアは、「何も起きなかった」と「モデルが捉えそこねた何かが起きた」の両方と整合する。どちらの方向も、文書を誰が書いたかの問いを決着させない。20% が何を意味するか、閾値がどこにあるかは20% の AI は高すぎるかで述べた。
レポートを見る権利があなたにはある
スコアについて何かを説明する前に、レポートを見る必要がある。Turnitin の FAQ はこう述べている:
"Please note, only instructors and administrators are able to see the indicator."(この指標を見られるのは教員と管理者だけであることにご注意ください。)
同じページはさらにこう述べている:
"The AI writing detection indicator and report are not visible to students."(AI執筆検出の指標とレポートは、学生には表示されません。)
それは絶対的に聞こえる。次の文がそれを変える:
"However, with the PDF download feature, instructors can download and share the AI report with students."(ただしPDFダウンロード機能を使えば、教員はAI Reportをダウンロードして学生と共有できます。)
だから誰もレポートをくれないなら、PDF を求めること。割合のスクリーンショットではない。完全なレポートである。なぜなら完全なレポートは、ハイライトがどこにあるか、何語が分析されたか、スコアが実際の数値か星印か、レポートがいつ生成されたかを示すからである。それらはすべて、あなたが何かを説明する前に必要な情報である。
数値のスクリーンショットが伝えるのは一つのことだけである。レポートの PDF は、その数値がそもそも数値なのかどうかを伝える。Turnitin の Using the AI Writing Report ページはインジケーターの取りうる七つの状態を挙げており、そのうち画面にパーセンテージを出すのは二つだけである。0% と、20 から 100 までのいずれか。残り五つは、星印、レポートの読み込み中、処理エラー、要件を満たさなかったファイル、提出時に検出がオフになっていた、である。どれも議論の対象になる数値ではない。それらの状態の読み方についてはTurnitin AI ライティングレポートの読み方で述べた。
面談の準備
スライドデッキはいらない。必要なのは、タイムラインを載せた一枚のページと、フラグされた各箇所に説明を対にした短いリストである。
- 水平な線を引く。 最も初期のドラフトの日付を左に、提出日を右に書き込む。
- バージョン履歴の日付を線上に置く。 全部ではなく、五つか六つ。何かが変わったものを。
- 指導教員のメール、ピアレビューセッション、ライティングセンターの利用を同じ線上に置く。 これらはバージョン履歴を、ファイルの外部で起きた出来事に固定する。
- Turnitin レポートの生成日を線上に置く。 これはスコアが出された日付であって、提出した日付ではない。二つは時に異なる。
- 線の下に、AI レポートのハイライトされた各箇所と自分の説明を並べてリストにする。 「方法セクション、標準プロトコル、意図的に反復的。」「文献レビュー、三つの資料を統合、構造的変化が少ないのは統合とはそういうものだから。」これらは、Turnitin 自身が偽陽性の傾向として挙げた特性へ直接対応する。
- Turnitin の三つの引用を持っていく。 印刷し、それぞれが載っているページも添える。唯一の根拠とするべきではないという発言とその次の文は Using the AI Writing Report に、guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report。単一のデータポイントであるという発言とその次の文は How should I review the AI Writing report? に、guides.turnitin.com/hc/en-us/articles/27139000787853-How-should-I-review-the-AI-Writing-report。偽陽性の特性とその次の文は Turnitin's AI writing detection capabilities FAQs に、guides.turnitin.com/hc/en-us/articles/28477544839821-Turnitin-s-AI-writing-detection-capabilities-FAQs。これらはあなたの言葉ではない。ツール製作者の言葉である。
そのページは二つのことをする。レビュアーにスコア以外に目を向けるものを与え、あなたが否定しに来たのではなくレビューに参加しに来たことを示す。
やってはいけないこと
証拠の連鎖が AI 利用を否定するとは主張しないこと。 否定しない。バージョン履歴は文書が時間をかけて編集されたことを示す。ソースマテリアルは研究が行われたことを示す。プロセスの記録は他の人が関わっていたことを示す。これらはどれも逆検出の結果ではない。示せる以上を主張すれば、相手側に簡単な反論を与え、あなたが持ち込んだ他のすべてを弱める。
ツールのスコアを防御として持ち込まないこと。 別の AI 検出器に論文を通して「0% AI」を得ても何も証明しないし、Turnitin を作った会社は、いかなるスコアも唯一の根拠にすべきでないと明言している。別のスコアを持ち込んでスコアと戦うのは、製造元がレビュアーに使うなと伝えたのと同じ論理を使うことである。
Turnitin の引用の意味を過剰に主張しないこと。 唯一の根拠とするべきではないという発言は、スコアを唯一の根拠にすべきでないと言っている。スコアが間違っているとは言っていない。単一のデータポイントであるという発言は、スコアが一つの入力だと言っている。スコアが無意味だとは言っていない。それらをあるがままに提示すること。製造元が、自社の数値をどう使うべきかについて引いた自らの境界として。結論はレビュアーに引かせること。
立ち位置
HumanPen は文書の書き換えツールである。論文を書き換えツールに通せば AI スコアが消えるとは言わない。我々は将来のスコアについて主張しないからである。言えるのはツールが何をするかである。文書を AI ライティングレポートと一緒にアップロードすれば、レポートがフラグした箇所だけが書き換えられる。文書の残りはそのまま残る。出力は、最終的なものになる前にあなたがレビューする。
元の文書のまま面談に臨み、証拠の連鎖に語らせるなら、それが一つの道である。事前にフラグされた箇所を修正するなら、それがもう一つである。どちらも正当である。先に来るのは面談である。
よくある質問
AI を使っていないことを証明できるか? いいえ。あなたの執筆プロセスについて否定を証明できるツールは存在しない。あなたにできることは、「私がこれを書いた」という説明がより単純なものになるような証拠の連鎖を組み立てることである。バージョン履歴、ソースマテリアル、プロセスの記録、そして自分のテキストがなぜ今の見た目をしているかの説明。それらが組み合わされば、レビュアーにスコア以外に目を向ける材料を与える。
バージョン履歴がない場合は? 最も強力な単独のタイムライン証拠を失うが、すべてを失うわけではない。以前のドラフトのファイル更新日付、指導教員に送ったメールの添付、クラウド同期のバックアップフォルダは、いずれもタイムスタンプを保持している。バージョン履歴のパネルほど綺麗ではないが、同じ筋書きを語る。
教授は割合のスクリーンショットしか送ってくれなかった。何を求めればよいか? 完全な AI ライティングレポートの PDF である。Turnitin の FAQ は、学生はインジケーターを見られないと言っているが、同時に、PDF ダウンロード機能を通じてインストラクターがレポートをダウンロードし共有できるとも言っている。スクリーンショットではなく PDF を求めること。レポートは、ハイライトがどこにあるか、何語が分析されたか、スコアが実際の数値か星印かを示してくれる。
フラグされた箇所がすべて文献レビューにあるが、それは重要か? はい、重要である。Turnitin の FAQ は、"content without a lot of structural variation"(構成の変化が乏しい文章)および "text that has been paraphrased without developing new ideas"(新しい考えを加えずに言い換えただけの文章)を偽陽性に関連する特性として挙げている。文献レビューは統合し要約するものであり、両方に該当する。FAQ の次の文はこう述べている。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そうした文章で指標がAIによる執筆の割合を高めに示した場合は、表示されたパーセンテージを見るときにその点を考慮に入れることをおすすめします。)これは企業が、まさにその理由でスコアを割り引くようレビュアーに伝えているのだ。
Turnitin のヘルプページからの引用を面談に持ち込めるか? はい。スコアを唯一の根拠とすべきでないという発言、単一のデータポイントであるという発言、偽陽性の特性に関する発言は、Turnitin のヘルプドキュメントに公開されている。それらはツール製作者の言葉であり、あなたのものではない。URL と一緒に印刷して持ち込むことは、言い換えるよりも効果的である。
続きを読む