ディスカッションボードの投稿がAI判定されたとき:まず何が判定を引き起こしたのかを突き止める
十二週間、毎週同じ形の課題、クラスメートへの返信が二件、一回につき二百語。学位課程でここまで頻繁に、しかもここまで短い形で提出するものは他にありません。そしてこの二つの事実が、問題の性質を変えてしまいます。
HumanPen チーム
· 12 分
端的に言うと
Turnitinが公開しているファイル要件では、AI Writing Reportが作成される前に、提出物に長文形式の散文が最低300語含まれている必要があります。対象となる文章の定義は「individual sentences contained in paragraphs that make up a longer piece of written work, such as an essay, a dissertation, or an article.」(エッセイ、学位論文、記事といった、より長い作品を構成する段落に含まれる個々の文)です。220語の週次投稿はこの下限を下回ります。受け付けるファイル形式は.docx、.pdf、.txt、.rtfであり、コースサイトのテキストボックスはこれに当たりません。つまり、ディスカッション投稿に数値が付いたなら、そこに至るまでに何かが起きています。何が起きたのかを突き止めるのが最初の一歩です。よくある三つの答えは、それぞれまったく異なる対応を求めるからです。
以下ではまずこの問いを扱い、その後に週次の掲示板でしか起こらない問題を扱います。第九週にもなると、あなたは自分自身の過去の投稿八件を相手に書くことになります。
ファイル要件の全文
TurnitinのAI Writing Reportガイドの「File requirements」(ファイル要件)という見出しの下に、要件の全項目が挙げられています。
- ファイルサイズは100 MB未満でなければならない
- ファイルには長文形式の散文が最低300語含まれていなければならない
- ファイルは30,000語を超えてはならない
- ファイルは対応言語(英語、スペイン語、日本語、アラビア語)で書かれていなければならない
- 受け付けるファイル形式:.docx、.pdf、.txt、.rtf
ここで重要なのは二行だけで、どちらもたいてい読み飛ばされます。
300語という行は、レポートが存在するかどうかの下限であって、精度に関する警告ではありません。同じガイドにはインジケーターが表示しうる状態が挙げられており、その一つが「File didn't meet the requirements」(ファイルが要件を満たさなかった)で、次のように説明されています。「The submission does not meet the file requirements needed to successfully process it for AI writing detection.」(その提出物は、AI執筆判定のために正常に処理するのに必要なファイル要件を満たしていない)。これは低いスコアとは異なる結果です。そもそもパーセンテージではありません。300語のラインについては公式の記述がもう一つあり、日付とともに読む価値があります。2023年十二月15日のTurnitinリリースノートにはバグ修正が記録されています。そのバグは「allowed submissions that did not meet the file requirements (less than 300 words) to be processed and given an AI writing detection score」(ファイル要件を満たさない提出物(300語未満)が処理され、AI執筆判定のスコアを与えられていた)というもので、同記述は「this issue has now been resolved」(この問題はすでに解決済み)としています。バグが有効だった十二月6日から15日までの間に出たレポートについて、同じ記述は「submissions that contain less than 300 words may result in an AI writing score that is likely less accurate」(300語未満の提出物は、精度が低い可能性のあるAI執筆スコアになることがある)と付け加えています。公式の記述は二つ、状況は二つです。300語未満では通常レポートは出ません。そして万一出た場合、提供元はそれを精度が低いと評価しています。精度の側面は短い文書におけるTurnitinのAIスコアの精度でさらに掘り下げています。
ファイル形式の行こそ、あなた自身のコースについて何かを教えてくれる部分です。コースサイトに打ち込まれたディスカッション投稿は、.docxでも.pdfでもありません。この特定のレポートに採点されるには、まずファイルになる必要があります。誰か、あるいは何かがそれを行ったのであり、その方法が、出てきた数値がそもそも何を表しているのかを決めます。
言語の行は適用範囲を示す記述
対応言語の行には四つ、英語、スペイン語、日本語、アラビア語が挙げられています。アラビア語は2026年八月18日に追加されました。それ以前は三つでした。この四言語以外の文章は、このレポートが扱いが下手なのではありません。このレポートがそもそも扱わないものです。
この行は、エッセイよりもディスカッションボードにおいて大きな意味を持ちます。あなたの課程が別の言語で教えられている場合や、語学科目の掲示板が学習対象の言語で運用されている場合、そこに書かれた投稿はAI Writing Reportの対象外になります。したがって、それに付されたパーセンテージはこのレポート由来ではありません。となれば、次のセクションの表の二行目に直行です。TurnitinのAI判定が対象とする言語とTurnitinは英語以外の提出物のAIを検出できるかでは、その一覧の内側にあるものと外にあるものを検討しています。
同じガイドは適用範囲についてもう一行付け加えています。「Please note that only our English AI detector includes AI paraphrasing and AI bypasser detection capabilities.」(英語のAI検出器のみが、AIによる言い換えとAI回避の検出機能を備えていることにご注意ください)。これは提供元が自社製品の範囲を述べたものであり、まさにそのように、それ以上でも以下でもなく読むべきです。ここではどのツールがどれほど機能するかについて一切の結論を出しませんし、この記述を前提に計画を立てるべきでもありません。これを読む意味は、提供元が何を探していると自ら述べているかを知ることにあります。
もう一つ触れておくべき経路があります。生成文とは無関係の話です。投稿を母語で下書きし、貼り付ける前に英語に翻訳する、というものです。それが検出器にどう映るかは別の問題で、機械翻訳はAIとして判定されるかで検討しています。また、第二言語で書くと判定されやすいというより広い主張については、非母語話者の文章がAIと判定されることでドキュメントと照合しています。
その数値を生んだ可能性のある三つのこと
| 起きたこと | 見え方 | 尋ねるべきこと |
|---|---|---|
| 複数週の投稿が一つの文書に書き出され、まとめて提出された | 学期全体を覆う単一のパーセンテージが、一つの投稿についてのもののように示される | ファイルに含まれていたのはどの週か、そしてファイルを見せてもらえるか |
| TurnitinのAI Writing Reportではない、別の検出器が動いた | 背後にTurnitinのレポートがない数値。ブラウザ拡張や別の連携機能の中に表示されることもある | どのツールがそれを出したか |
| 人が投稿を読んで、生成された文章のようだと思った | 数値はなく、メッセージだけ | 尋ねることはありません。これは報告書ではなく対話です |
一行目こそ見落とされがちで、それが対応を根本から変えます。十一週間分が一つのファイルにまとめられたなら、そのスコアはあなたの十一週間分の文章をまとめたものについての判断です。第九週の二番目の段落について議論するのは、見当違いの対象について議論していることになります。
自分がどの行にいるかを突き止める、筋の良い方法があります。TurnitinのFAQは「the AI writing detection indicator and report are not visible to students」(AI執筆判定のインジケーターとレポートは学生には表示されない)と述べ、別の箇所で「only instructors and administrators are able to see the indicator.」(インジケーターを見られるのは教員と管理者のみ)としています。さらに「However, with the PDF download feature, instructors can download and share the AI report with students.」(ただしPDFダウンロード機能を使えば、教員はAIレポートをダウンロードして学生と共有できる)とも述べています。したがってPDFを求めるのは、文書化された仕組みに裏付けられた妥当な依頼であり、その答えであなたの行が決まります。TurnitinのAI Writing ReportのPDFが存在するなら、あなたは一行目のケースです。あるいは自分が思っていたより長い提出物だったということです。誰も出せないなら、二行目か三行目のケースです。
二行目だと分かった場合は、同じ文章が検出器ごとに異なるスコアになる理由で、同じ段落に対して二つのツールが二つの答えを出す理由を扱っています。
週次の掲示板にしか存在しない問題
ここからは、長さとは無関係の部分です。
コースのディスカッションでは、十二週間にわたって毎週同じ形の問いが投げかけられます。章を読み、課題に答え、クラスメート二名に返信する。あなたは一貫した人間で、読み物への向き合い方も一貫しています。だから第九週にもなると、投稿は書き出しの手法、段落数、本文への入り方と抜け方を共有するようになります。
TurnitinのFAQはその特徴を次のように名付けています。
「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」(誤検出(人が書いた文章を誤ってAI生成と判定すること)には、構造的な変化に乏しい内容、文字どおり同じことを繰り返す文章、新しい考えを発展させずに言い換えられた文章が含まれることがある)
そしてその次の文です。教員が判断材料にする権利のある文です。
「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」(そのような文章でインジケーターが高いAI執筆率を示す場合、表示されたパーセンテージを見る際にはその点を考慮に入れることをお勧めします)
エッセイは一度しか書かれません。週次のディスカッションボードは、学位課程の中で、予定に沿って構造的に似た文章を書くよう求められる唯一の課題です。しかもその類似性は課題設計の特徴であって、あなたが決めたことではありません。
対策は小さなもので、文章の書き方の対策ではありません。毎週どのように書き出したかを一行でメモしておきます。投稿の内容ではなく、入り方として使った手法です。実際に互いに異なる手法の短いリストを挙げます。
- 課題テキストを読んでも答えられなかった質問
- 課題テキストの特定の一文または数値と、そのページ
- 課題の二つのテキストが食い違っている箇所
- 自分の仕事、実習、実験室での経験のうち、課題テキストに反するもの
- 筆者が二通りの意味で使っていると思う用語
そのうえで、同じ手法を四週以内に繰り返さないようにします。かかる時間は一分ほどで、完全に自分の管理下にあり、副作用として投稿の質が上がります。そしてそれこそが教員が本当に気にしている点です。
同じことを繰り返すのは別のレポートの話
この二つを混同して、的外れな方を書き直す人がいます。
第三週の投稿の段落を第九週の投稿で再利用したなら、それは一致する文章です。Turnitinは二つの数値は一切関係しないと明言しています。
「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」(類似度スコアとAI執筆判定のパーセンテージは完全に独立しており、互いに影響しない)
つまり週をまたぐ自己反復は類似度の側の問題です。そして自分の過去の投稿が比較対象に含まれるかどうかは、所属機関が提出物をリポジトリに追加するかどうかによります。これは機関の設定であって、Turnitinに関する事実ではありません。リポジトリの問題はTurnitinはあなたの論文を保存するかで扱っており、二つの指標がそれぞれ何を測るかはAIレポートと類似性レポートの違いにまとめています。
実践的に言えば、AIの数値を動かすために繰り返しの段落を言い換えるのは、見当違いのレポートを狙っていることになります。
この形式の利点、ほとんど誰も使っていないもの
ここからは良い知らせです。しかも本当に良い知らせです。
ディスカッションボードは、何もしなくても週を追うごとにあなたの文章の見本を蓄積してくれる、唯一の課題形式です。第九週にもなれば、日付の付いたあなたの文章が八つ、自分が管理していないシステムの中にあります。誰かが何かを議論するより前に書かれ、他人が決めた予定に沿って書かれたものです。
これは、ほとんどの学生が最終エッセイのために用意できるより良い記録です。Microsoft自身のドキュメントでも、バージョン履歴は「only works for files stored in OneDrive or SharePoint in Microsoft 365」(Microsoft 365のOneDriveまたはSharePointに保存されたファイルでのみ機能する)とされています。つまり六週間ノートパソコンの中にあった.docxには、履歴が一切ありません。各ツールでその記録がどこに残るかは、Word、Google Docs、Overleafでバージョン履歴を残す方法で確認しました。ディスカッションボードはこの問題全体を偶然回避しています。
これについて一つやっておくべきことがあります。第十一周になってからではなく、今やってください。毎週の投稿を、日付を付けて一つの文書にコピーしていきます。週に十秒です。学期末に所属機関がコースへのアクセスを閉じれば、そのコーパスも一緒に消えます。そして実際に必要になる瞬間は、たいていコースが終わった後です。
二つは同時に成立します。これがこの形式の奇妙な形です。あなたの文章を反復的に見せている投稿の並びが、同時に、その一年であなたが作ることになる書き方の最良の証拠にもなっています。
一つを書き直すなら
ツールの話の前に、率直な注意点が二つあります。
一つ目。二百語の投稿には、範囲を切り分けるほどの中身がありません。短い投稿一つを扱うときに役立つのは、もう一人の目と十分間であって、ソフトウェアではありません。
二つ目。ここにはどちらの方向の数値も約束するものはありません。Turnitinは自社のモデルについて「may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」(常に正確とは限らず(人が書いた文章、AI生成の文章、AIで言い換えた文章を誤って判定する可能性がある)、学生に不利益な措置を取る唯一の根拠として使うべきではない)と述べています。
ソフトウェアが力を発揮するのは、まとめて提出されたケースです。一つの文書に十一週間分、そのほとんどは問題なく、四つの段落が指摘されている、という形です。HumanPenというツールはこの形のために作られています。範囲に入っていない箇所には一切手を付けません。範囲はあなたが決めます。手作業で箇所を指定するか、TurnitinやiThenticateのAIレポートを渡して、指摘された箇所で一覧を埋めるかです。第二週と第五週は、入力したとおりのまま残ります。単位は段落なので、部分的にしか該当しない段落は全体が取り込まれ、まずあなたに提示されます。課金されるのは書き直した語数であり、ファイルではありません。DOCX、PPTX、TXTはいずれも取り込め、TXTは改行とインデントを保持します。これはディスカッション投稿が初めから持っている形です。戻ってきた後も指摘されたままの箇所は、条件を満たせば無料で再度処理できます。
同ツールのFAQでは、複雑な文書はダウンロード後に目を通すよう案内しています。ディスカッションボードでは、この確認に明確な対象があります。投稿は対話の一巡です。書き直した版が課題に答えていない、あるいは返信していたクラスメートとのつながりが消えているなら、どんな数値も、失ったものに見合いません。
よくある質問
投稿が180語です。TurnitinはそもそもAIスコアを出せるのですか。 公開されている要件は、長文形式の散文が最低300語というものです。それ未満では、レポートのガイドはパーセンテージではなく「File didn't meet the requirements」(ファイルが要件を満たさなかった)という状態を説明しています。ディスカッション投稿が何らかの判定に至るまでに、所属機関のシステムが何をするかは、教員に尋ねるべきことであり、一般的なガイドが答えられることではありません。
毎週投稿しなければならない二件の返信はどうですか。 五十語の返信は、単体では下限を大きく下回ります。そもそも何かに含まれたかどうかは提出物の組み立て方によります。これは上の質問と同じです。尋ねる価値はあります。クラスメートを引用する返信は、他人の言葉を判定対象の中に持ち込むことになるからです。
同じ300語の下限は類似性レポートにも当てはまりますか。 いいえ。ここで引用した要件は、AI Writing Report固有のファイル要件によるものです。類似性の側は挙動が異なる別のレポートであり、AIレポートと類似性レポートのそれぞれの違いにまとめています。
週をまたいで自分の文体をやめるべきでしょうか。 いいえ。やろうとしてもできません。変えるべきは読み物への入り方であって、あなたの文体ではありません。Turnitinの誤検出リストが述べているのは構造的な同一性と文字どおりの反復であって、文体に一貫性があることではありません。書き方を変える価値があるかどうかは、AI判定を避けるために書き方を変えるべきかで論じています。
スコアが数値のないアスタリスクで返ってきました。 それは表示の規則であって、結果ではありません。0%超、20%のしきい値未満のスコアは、パーセンテージも割り当てられたハイライトもないアスタリスクで表示されます。詳しくはTurnitinのAIスコアのアスタリスクの意味で説明しています。
検出器が投稿に低いスコアを付けました。それで決着ですか。 いいえ、どちらの方向でも決着しません。提供元自身の記述は、モデルが人が書いた文章、AI生成の文章、AIで言い換えた文章を誤って判定する可能性があり、不利益な措置の唯一の根拠にすべきではないというものです。誰が文書を書いたのかを確定できるツールはありません。
続きを読む