AI はアイデア出しにしか使っていない:それでもエッセイはフラグされるのか

ブレインストーミングやアウトライン作りに AI を使い、本文は自分で書く学生は多い。問題は、検出器がその違いを見分けられるかである。答えは仕組みに帰着する。検出器が読むのは最終的な文章であって、あなたの作業工程ではない。テキストが AI らしい統計的なパターンを持っていれば、AI の関わり方にかかわらずフラグされうる。

HumanPen チーム

· 4 分

短い答え

検出器が読むのは最終的なテキストであり、プロセスではない。AI を使ってアイデアを整理し、各文は自分で書いたとしても、検出器が評価するのはあなたが書いた文である。それらの文が、モデルが AI 生成テキストに関連付ける語の確率パターンを持っていれば、エッセイはフラグされうる。検出器は、AI がブレインストーミング、アウトライン作成、整理のいずれを手伝ったかを見分けることはできない。あなたの作業工程を見ないからである。見るのは散文だけである。Turnitin の FAQ は、テキスト区間を執筆方法ではなく語の確率で分類するプロセスを説明している。したがって答えは、あなたがどう AI を使ったかではなく、あなたが作った最終テキストが、モデルが機械の執筆に結び付ける統計的なパターンを持つかどうかにかかっている。

検出器が実際に読むもの

Turnitin の FAQ は検出のパイプラインをこう説明している。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(論文が Turnitin に提出されると、提出物から文が抽出され、予測分析のために重なり合う区間に分割される。各区間は AI 検出モデルによって分類され、0 から 1 までの値が与えられる。これはテキストが人間によるものか AI 生成によるものかの確率を示す。各区間内の条件を満たす文は、その区間のスコアを引き継ぐ。区間は重なり合うため、一部の文は複数のスコアを持つことがあり、それらは一つのスコアにまとめられる。これらの文スコアはさらに集約され、文書全体の AI ライティングスコアの算出に使われる。)

検出器は文を抽出し、区間に分け、各区間を確率で分類し、結果を集約する。その過程で、計画、ブレインストーミング、整理のために AI ツールを使ったかを確かめることは一度もない。テキストそのものに、執筆プロセスに関するメタデータは存在しない。モデルは語の並びを読み、それを分類する。

条件を満たす散文だけが分析される

FAQ は何が分析されるかも指定している。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(この条件を満たすテキストには散文の文のみが含まれる。つまり、標準的な文法的な文として書かれたテキストブロックだけを分析し、リスト、箇条書き(短い非文構造)、その他の非文構造のような別の種類の書きものは含めない、ということである。)

AI を使ってアウトラインや箇条書きを生成し、本文は自分で書いた場合、AI 生成のアウトラインは条件を満たすテキストには含まれない。検出器が分析するのは提出物の散文の文だけである。アウトライン、箇条書き、その他の非散文の内容は AI 分析から除外される。その意味で、アウトライン作りに AI を使うことは、ドラフト作りに AI を使うよりも安全である。アウトラインそのものは分析されないからである。ただし、そのアウトラインに基づいて自分が書いた散文はすべて分析される。AI を使ったアウトライン作りが申告すべきものかどうかは別の問題である:文書を書き換えツールに通すことは申告すべき内容を変えるか

自分で書いたテキストがフラグされるとき

すべての言葉を自分で書いたとしても、特定の執筆上の特徴がフラグを引き起こすことがある。FAQ はこう挙げしている。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤検知(人間が書いたテキストを誤って AI 生成とフラグすること)には、構造的な変化に乏しい内容、文字通り同じことを繰り返すテキスト、新しいアイデアを展開せずに言い換えられたテキストが含まれることがある。)

その次の文である。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そのようなテキストにおいてインジケーターがより多くの AI ライティングを示す場合、示されたパーセンテージを見る際にはそれを考慮に入れるよう推奨する。)

自分で書いた散文が AI のアウトラインが提案した構造に忠実に従っていると、構造的な変化が少ない、あるいは反復的なパターンになりうる。テキストは人間が書いたものであるが、その統計的なプロファイルは、モデルが AI 生成テキストに関連付けると学んだものに似てしまうことがある。これがプロセスと成果物の間の溝である。書いたのはあなただが、検出器が読むのは成果物であり、プロセスが人間のものであっても、成果物は AI のようなパターンを持つことがある。プロセスを見る唯一の Turnitin 機能が Clarity である:Turnitin Clarity が、あなたが論文をどう書いたかについて記録するもの

スコアがすべてではない

Turnitin の FAQ はさらにこう述べている。

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors."(したがって、AI ライティングインジケーター上のパーセンテージは、処分の唯一の根拠として、あるいは教員による決定的な評定の尺度としては使うべきではないことを強調しておきたい。)

もしあなたがアイデア出しにしか AI を使っておらず、エッセイがフラグされたのなら、この声明は指導教員と話す根拠を与える。自分のプロセスを説明し、ノートやドラフトを示し、スコアは一つのデータポイントであって決定的な評定ではないという公式のガイダンスを指し示すことができる。検出器は「AI が考えるのを手伝った」と「AI がこれを書いた」を区別できない。テキストしか読まないからである。人間のレビュアーなら区別できる。フラグされたが自分で書いたものだった場合は、彼らの前に何を出すかを用意することについてのものである。

あなたにとってこれが意味するもの

ここまで扱った内容をまとめると次のとおりである。

  • 検出器が読むのは最終的なテキストであり、あなたの作業工程ではない。アイデア出しに AI を使っても、テキストが検出されなくなるわけではない。
  • 条件を満たす散文だけが分析される。AI 生成のアウトラインや箇条書きは AI 分析から除外される。
  • 自分で書いた散文が AI が提案した構造に忠実に従っていると、構造的な変化が少なくなることがあり、それは偽陽性が出やすい特性である。
  • AI スコアは、Turnitin 自身の FAQ によれば、処分の唯一の根拠として使うべきではない。
  • フラグされた場合、執筆プロセスとバージョン履歴は、指導教員との対話に関連する証拠になりうる。

どの箇所がフラグされたかを示す Turnitin レポートがあるなら、レポートを取り込んでその特定の箇所に取り組むこと。対象となる箇所は、追加料金なしで再実行できる。

続きを読む