Turnitin のスコアは成績なのか — 類似性スコアが本当にしていること、していないこと

レポートに類似性 40% と表示され、それを頭の中で成績に換算しようとしていませんか。やめてください。Turnitin 自身の立場は、類似性スコアは一致したテキストの割合であって、盗作の判定でも成績でもないというものです。正しい数字も間違った数字もありません。この記事では、スコアが教員の確認作業の中で果たす役割、成績が実際にはどこから生まれるのか、そして成績とスコアが食い違うときに何を尋ねればよいのかを整理します。

HumanPen チーム

· 4 分

短い答え

類似性スコアは、提出したテキストのうち Turnitin のデータベースと一致した割合です。Turnitin はそれが「does not determine whether plagiarism has occurred,」(盗作が起きたかどうかを判定するものではない)と明言しており、AI 指標の FAQ にも同じ表現が AI の割合について書かれています。どちらの数字も成績ではありません。成績は、教員が課題の基準と所属機関の方針を作品に当てはめることで生まれます。レポートはその確認作業への入力のひとつであって、出力ではありません。

スコアが実際に測っているもの

Turnitin の Similarity 製品ページは、それを正確に定義しています。

「The Similarity Report's similarity score is the percentage of text in a submission that matched against other sources.」(Similarity Report の類似性スコアとは、提出物のテキストのうち他の資料源と一致した割合のことです。)

そして同じページには、学生がほとんど目にしない一文が続きます。

「There is no 'right' or 'wrong' number to receive as a score.」(スコアとして受け取る数字に、正しいも間違っているもありません。)

Warwick 大学の公式ガイダンスは、教員の側から同じことを述べています。「The score received does not automatically determine that plagiarism has been committed – there is no 'score' to aim for.」(得られたスコアは、盗作が行われたと自動的に決めるものではない。目標とするべき「スコア」は存在しない。)」レポートがあるのは、採点者が提出された論文と疑わしい資料源を照合し、「学術的な判断」を働かせて見解にたどり着けるようにするためです。その数字が表しているのは比較であって、評決ではありません(類似性レポートの読み方を扱ったガイドで、この仕組みをさらに詳しく解説しています)。

AI の割合も同じ位置づけです

ページ上にあるもうひとつの数字についても、Turnitin は同じことを述べています。

「Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors.」(したがって、AI ライティング指標の割合を、対応を決める唯一の根拠や決定的な評価尺度として教員が用いるべきではないことを、強調しておかなければなりません。)

「Not... a definitive grading measure」(決定的な評価尺度ではない)— AI の割合も、単独で何かを決める評価材料ではありません。AI レポートと類似性レポートの違いを扱ったガイドでは、この二つの割合が互いに独立していることを説明しています。ここで押さえたいのは、どちらも成績ではないという点です。

成績は実際にはどこから生まれるのか

教員は、課題の指示、ルーブリック、そして所属機関の学術的公正の方針に照らして評価します。類似性レポートと AI レポートはその確認作業に材料を提供します。Turnitin の資料はこれらを、シグナルを出す道具であり「one piece of an investigative puzzle」(調査パズルの一片)だと説明しています。しかし成績を書き込むのは教員であり、成績簿に、課題の基準を目の前にして書き込むのです。

学生にとっての実践的な帰結は二つあります。

  • スコアが高くても、自動的に悪い成績になるわけではありません。 正しく引用された引用文も一致として検出されますし、引用の多い分野もあります。教員が参考文献一覧や引用箇所を除外していることもあります(フィルタと除外の設定については、ガイドで解説しています)。
  • スコアが低くても、自動的に良い成績になるわけではありません。 レポートは材料のひとつにすぎません。内容、論証、指示への適合は、それぞれ単独で評価されます。

同じスコアが授業によって扱いが変わる理由

普遍的なルールがないので、決まった計算式もありません。同じ 40% でも、ある課題ではありふれたもの(引用の多い文献レビュー)で、別の課題では問題視される(資料源の使用が許されない数学の証明)ことがあります。所属機関がその課題固有のしきい値を設定していることさえあります。Turnitin の立場は、解釈は教員の仕事だというものです。レポートは「provide a summary of matching or highly similar text」(一致した、あるいは非常によく似たテキストの概要を提供する)ものであり、教員はそれを「as a tool within their review process to make their own determination if any academic misconduct has occurred.」(学術上の不正があったかどうかを自ら判断するための、確認プロセス内の道具として)用います。成績についての問いに答えるのは常に課題自身のルールであって、レポートではありません。

スコアと成績が食い違うときにすべきこと

  • レポートではなく、課題の資料から始めてください。 課題の指示、ルーブリック、示されている機関のしきい値が、この課題においてスコアが何を意味するかを決めます。
  • 割合より先にフィードバックを確認してください。 教員は作品にコメントを付けます。レポート内の教員コメントについてのガイドでは、そのコメントがどこにあり、スコアとどう合わせて読めばよいかを解説しています。
  • 二つを切り離す質問をしてください。 「この課題の成績と類似性スコアは、どう関係しているのですか」は妥当な質問です。「なぜ成績がスコアより低いのですか」は、二つが同じ尺度にあることを前提にしていますが、そうではありません。
  • AI 指標が話題に上っている場合も、同じ切り分けが当てはまります。AI の割合は「should not be used as the sole basis for action」(対応を決める唯一の根拠として用いるべきではない)と公式にされています。したがって、実際に指摘された段落に軸足を置いた話し合いのほうが、数字に軸足を置いた話し合いより踏み込めます(AI の指摘を受けたあとの対話については、そちらのガイドで扱っています)。

まとめ

Turnitin のスコアは成績ではありません。類似性スコアは一致したテキストの割合であり、Turnitin は、それが盗作の有無を判定するものではないこと、正しい数字も間違った数字もないことを明示しています。AI の割合は、明示的に決定的な評価尺度ではないとされています。成績は、教員が課題の指示、ルーブリック、機関の方針を当てはめることで生まれ、レポートはその確認作業の材料のひとつにすぎません。スコアと成績が食い違うときは、課題の資料を読み、フィードバックを読み、そして二つを切り離したままにする質問をしてください。