教員が知っておきたい、Turnitin の AI スコアとの付き合い方

Turnitin の AI スコアは、つい過大に読み取ってしまいがちです。パーセンテージは一見すると測定値のように見えますが、Turnitin 自身のドキュメントは、教員に対して「数ある材料の一つ」として扱うよう求めています。それだけで対応を決める根拠にも、成績評価の決定的な尺度にもならない、ということです。この記事では公式のガイダンスを整理します。この数値は何のためのものか、どんな文章の特徴が誤検知を招きやすいのか、そしてスコアと、学生についてあなたが知っていることをどう天秤にかけるべきなのか。

HumanPen チーム

· 4 分

Turnitin が教員に伝えていること

Turnitin はこの点を、一度きりではなく繰り返し述べています。AI ライティングの検知に関する FAQ には、こうあります。"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors."(したがって、AI ライティング指標のパーセンテージは、教員が対応を決める唯一の根拠や、決定的な評価尺度として用いるべきではないという点を、私たちは強調せざるを得ません。)

別の公式ページも、言い回しは違えど同じ趣旨を述べています。このモデルは"may not always be accurate,"(常に正確とは限りません)。だからこそ"should not be used as the sole basis for adverse actions against a student,"(学生にとって不利益となる対応を下す唯一の根拠として用いるべきではありません)とされているのです。そして、不正かどうかの判断には"takes further scrutiny and human judgment."(より踏み込んだ精査と、人による判断が必要になります)。

Turnitin の資料全体を通じて、言っていることは一貫しています。数値は判断そのものではない、ということです。判断を下すのは教員です。なお、AI のパーセンテージが高く出たときに教員はどうするよう求められているのかについては、提供元がAI の割合が高いと出たとき、教員に求められる対応として別にまとめています。

スコアだけでは答えにならない

レポートの確認方法を説いた Turnitin のガイダンスは、実にあっさりと言い切っています。AI スコアは"is not meant to provide definitive answers in isolation."(それ単体で決定的な答えを出すためのものではありません)。

同じページには、その理由も書かれています。"More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(どんなツールよりも大切なのは、スコアを見て判断を下す教員の存在です。教員はこの情報を、学生一人ひとりについての自身の理解、学生のそれまでの成果、そして所属機関の方針と突き合わせながら判断します。)

そして最後に、想定されている使い方が示されます。"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."(教員が AI ライティングのスコアを、決定的な答えではなく一つのデータとして捉え活用するなら、それは想定どおりの使い方です。)この一文が、スコアの読み方をそのまま言い表しています。

どんな文章が誤検知を招きやすいのか

Turnitin は、誤検知(人間が書いた文章が AI によるものと判定されること)を招きやすい文章の種類も挙げています。"content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(構成の変化に乏しい文章、同じ表現を繰り返す文章、新しい考えを発展させずに言い換えただけの文章)の三つです。

その続きの一文こそ、覚えておきたいところです。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そのような文章で AI による執筆の割合が高く示された場合、表示されたパーセンテージを見る際にはその点を考慮に入れることをお勧めします。)

つまり実際のところ、構成に抑揚がなかったり、自分の言い回しを繰り返していたり、新しい視点を加えずに出典を言い換えていたりする学生のレポートは、AI が書いたわけではなくても高いスコアが出ることがあります。Turnitin 自身も、そのようなスコアは割り引いて考えるよう勧めています。言い換えによって Turnitin の AI スコアが下がるどころか上がってしまうことがあるのも、このためです。

この数値を実際にどう使うか

まずは公式の基本線から出発しましょう。スコアは"should not be used as the sole basis for action."(対応を決める唯一の根拠として用いるべきではありません)。パーセンテージが高いという一事だけで、不正の証拠になるわけではありません。

Turnitin 自身の整理では、文章量が多いほど予測の信頼性は増し、短い文書は最も弱いケースだとされています。FAQ でも、わずか数百語の文書では"the prediction will be mostly 'all or nothing'."(予測はおおむね all or nothing、つまりゼロか百かのいずれかに寄ります)と注意を促しています。したがって短い提出物では、数値をいっそう慎重に扱う必要があります。

スコアが高く見えるときは、数値だけでなく本文そのものを見てください。構成に抑揚がない、同じ表現が繰り返されている、新しい考えを加えずに言い換えている。こうした特徴が当てはまるなら、それはまさに Turnitin が別の重みで扱うよう求めているパターンです。この三つのうち最初の点については、小論文の構成が Turnitin の AI スコアに与える影響で解説しています。逆にスコアが低く見えるときは、1% から 19% の範囲が数値ではなくアスタリスクで表示されることを思い出してください(Turnitin の AI スコアでアスタリスク (*%) が意味するもの)。パーセンテージが出ていないのは、強いシグナルがないという意味であって、問題なしと太鼓判を押されたわけではありません。

学生にとってはどういうことか

学生の立場で実践的に押さえておきたいのは、スコアは判決ではなく、教員の判断とセットで扱われるものだという点です。Turnitin のリリースノートも同じ一文を繰り返しています。AI ライティングのスコアは"should not be used as the sole basis for adverse actions against a student."(学生にとって不利益となる対応を下す唯一の根拠として用いるべきではありません)。

担当教員からスコアのことを持ち出されたら、話の焦点は文章そのものに置くのが建設的です。構成、繰り返し、新しい考えのない言い換え。これらは Turnitin が誤検知を招きやすいと名指ししている特徴だからです。スコアは「調べてみるべき」という合図であって、不正があったという宣言ではありません。そのやり取りを学生の側からどう進めるかについては、自分で書いたのに AI と判定されたとき、どう備えるかをご覧ください。