キャップストーン・プロジェクトとAI判定：段階的な提出、共有ドキュメント

キャップストーンが科目の課題エッセイと違う点は三つあり、それぞれに固有の結果があります。複数回提出されるため、自分の中間レポートがリポジトリに入り、最終レポートの比較対象になりえます。複数人で書かれるため、AI執筆のパーセンテージは誰も一人では書いていない文書に対する数値であり、著者の欄を持ちません。そして最後に全員のセクションを一つの声にまとめる人は、Turnitin自身のドキュメントが誤検知を招きやすいと名指ししている、あの通し修正をしていることになります。

この三つのうちどれも、年度末にファイルを書き直せば解決するものではありません。二つは何か月も前に別の人が選んだ設定で決まり、有効な手立ては編集ではなく質問です。

ここにはスコアを予測する内容はありません。Turnitinはパイプラインの形と一連のファイル要件を公表していますが、閾値は公表していません。私たちも公表しません。

Turnitinには、キャップストーンがもつ形にそのまま合う機能があります。Multipart assignment（マルチパート課題）と呼ばれるもので、ガイドに載っている説明はプロジェクトの工程表のようです：

「Multipart assignments let instructors connect two or more assignment parts into one larger assignment workflow. Use Multipart assignments when students need to complete a larger project in stages, such as an outline, annotated bibliography, first draft, and final draft.」（Multipart assignmentsを使うと、教員は二つ以上の課題部分を一つの大きな課題の流れにまとめられます。アウトライン、注釈付き文献リスト、初稿、最終稿のように、学生が大きなプロジェクトを段階的に仕上げる必要がある場合に使ってください。）

焦点になるのは次の文です：

「A Multipart assignment is a connected set of assignment parts. Each part has its own title, instructions, dates, settings, and submissions, but the parts are grouped together as one assignment experience.」（Multipart assignmentとは、つながった課題部分の集まりです。各部分には固有のタイトル、指示、期日、設定、提出があり、それらが一つの課題としてまとめられています。）

設定はそれぞれ別、提出もそれぞれ別です。そして画面のあなた側から見ると、そのまとまりに必ずしも気づかないとTurnitinは述べています。「Students see each part of a Multipart assignment as a separate assignment in their LMS or Turnitin, as they normally would.」（学生はMultipart assignmentの各部分を、LMSやTurnitin上の別々の課題として、普段どおりに見ます。）学生向けガイドも同じことを繰り返します。あなたの部分は「appear in your assignment list as separate assignments」（課題一覧では別々の課題として表示されます）、そして「each part of a Multipart assignment has its own submission」（Multipart assignmentの各部分には固有の提出があります）。

つまり、七週目に中間レポートを、二十二週目に最終レポートを提出するなら、それは一つのファイルが改訂されているのではなく、二組の設定を持つ二つの提出です。多くの人が頼りにしている「再提出すれば前のものが上書きされ、二つは互いに照合されない」という保護は、同じ課題への再提出についての規則です。それがいつ適用され、いつ適用されないかは自分の前のドラフトは再提出と一致するのかで詳しく見ました。要点だけ言えば、痛手になるのは二度目の提出ではなく、二つ目の課題のほうです。

七週目のファイルがそもそもリポジトリに入っているかどうかは設定であり、それはあなたの二つ上の階層で決められます。Turnitinのアカウント設定ガイドには、管理者が教員に委ねられる内容が挙げられています：

「Enable instructor standard repository options: Chosen instructors will be able to set the assignment option to either store student papers within the standard paper repository or not store the papers in any repository.」（教員向け標準リポジトリのオプションを有効にする：選択された教員は、学生の論文を標準論文リポジトリに保存するか、どのリポジトリにも保存しないかを課題のオプションとして設定できるようになります。）

拡張オプションが有効な場合は、教員が標準リポジトリと機関リポジトリを選ぶ形になります。また、管理者が「Submit all papers to the standard repository」（すべての論文を標準リポジトリに提出する）を選択すれば、その選択肢ごと取り除くこともできます。同じページはこれを次のように説明しています。「All student papers submitted to the account will be stored in the standard paper repository.」（アカウントに提出されたすべての学生の論文は、標準論文リポジトリに保存されます。）

つまり、一つのモジュールの提出時点が同じ規則に従う必要はなく、しかもこれらの設定はどれもアップロード画面からは見えません。

これが教えてくれるのは、やるべき有用的なことが一つだけだということです。そしてタイミングがすべてです。最終提出のあとではなく、中間提出の前に尋ねてください。中間部分が提出物をリポジトリに保存するのかどうかを指導教員に尋ねるメール一本は、六週目なら一分で書けて、二十三週目には答えようがありません。

Multipart構造についてもう一つ触れておきます。自分の大学にも備わっていると思い込みがちだからです。Turnitinは、この機能が使えない連携先を挙げています。Google Classroom、Sakai、Manaba、In Campusです。キャップストーンがそのいずれかで運用されている場合、各部分は単なる別々の課題になり、両者をつなぐものはありません。それはリポジトリの問題には何も影響しませんが、教員が採点中にあなたの提出を行き来できるかどうかには全面的に影響します。

できれば避けてほしい失敗のパターンがあります。グループが最終レポートで高い類似率を見つけ、その出所が中間提出の自分の文献レビューだと突き止め、そして一週間かけて、その文献レビューが一致しないように書き直す、というものです。

これには二つの問題があります。

第一に、類似スコアとAIのパーセンテージは同じ測定ではなく、互いに影響しません。Turnitinははっきりと述べています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似スコアとAI執筆判定のパーセンテージは完全に独立しており、互いに影響しません。）自己一致は類似の出来事です。それはAIの数値については何も語らず、直してもその数値は動きません。AI Writing ReportとSimilarity Reportの違いでは、高い・低いの四通りの組み合わせがなぜすべて起こりうるのかを検討しています。

第二に、そしてこれが効いてくる点ですが、自分の文献レビューを、以前の自分と一致しないように書き直すことは、Turnitinが自社の誤検知を説明するときに挙げる特徴へとテキストを押しやります：

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤検知、つまり人間が書いたテキストをAI生成と誤って判定することが起こる場合、そこには構造的な変化に乏しい内容、文字どおり自分自身を繰り返すテキスト、あるいは新しい考えを展開せずに言い換えられたテキストが含まれることがあります。）

その直後の文こそ、覚えておくべき文です：

「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのようなテキストでAI執筆の割合が高く示された場合、示されたパーセンテージを見る際には、その点を考慮に入れるようお勧めします。）

以前の自分と似なくなることだけを目的に書き直され、その背景に新しい読み込みのない文献レビューは、あの文のなかの特定の一項目に近い場所にあります。つまり、背後に新しい考えが育たないまま言い換えられたテキストです。あなたは、教員側に解決策のある類似の数値を、解決策のないテキストの特徴と取り替えようとしていることになります。

ここでの実際の答えは、教員側の解決策です。以前の提出をレポートから除外するのは、教員が持っていてあなたが持っていない操作権限です。

この仕組みを見ると、グループの文書がなぜあのような振る舞いをするのかが分かります。Turnitinの説明はおおよそ次のとおりです。提出物は重なり合うセクションに分割されます。各セクションには、ゼロからイチまでの確率が一つ与えられます。対象テキストに含まれる文は、その文を覆っているセクションのスコアを引き継ぎます。複数のスコアが一つにまとめられ、それらが上へ向かって集計され、最終的に文書全体の数値が一つ出てきます。

これをパイプラインとして読めば、一つのことが明らかです。そのどこにも、その部分を誰が打ち込んだかという欄がありません。単位は文書です。著者が五人入り、パーセンテージが一つ出てくる。そしてそのパーセンテージは、五人に割り戻すことはできません。すでにこの渦中にいる人向けに、この問題の一般的な形をAIを使っていないのにグループ課題がAI判定されたで扱っています。

ただし、レポートのなかでスコアにない次元を持っているものが一つあります。強調表示には位置があります。強調された箇所は、あるページの、あるセクションの、ある見出しの下にあります。そして、その見出しを誰が書いたかはチームが知っています。

それが役に立つには、二つの条件がそろう必要があります。一つはレポートそのもので、これは自分では入手できません。Turnitinは「The AI writing detection indicator and report are not visible to students」（AI執筆判定のインジケーターとレポートは学生には表示されません）と述べ、さらに「with the PDF download feature, instructors can download and share the AI report with students」（PDFダウンロード機能を使えば、教員はAIレポートをダウンロードして学生と共有できます）とも述べています。ですから求めるべきはPDFであって、数値のスクリーンショットではありません。TurnitinのAI執筆レポートの読み方では、手に入れたあとに何を見ているのかを解説しています。

もう一つは、その時点で作られた、誰が何を書いたかの記録です。日付入りのセクション担当表を二週目に作り、セクションの入れ替えに合わせて更新していく。地味ですが、学期に一度、十分ほどで済む作業です。同じ表を二十三週目に、圧力のなかで作ると、それは申し立てのあとに作られた文書になります。そしてその場にいる全員が、それを知っています。

Turnitinが分析するのは、同社がqualifying text、つまり対象テキストと呼ぶものだけです。それは、長文形式のなかにある標準的な文法にかなった散文の文と定義されています。また同社は、そのパーセンテージは「is not necessarily the percentage of the entire submission」（必ずしも提出物全体のパーセンテージというわけではない）とも述べています。この定義の完全版と除外対象は、Turnitinにおける対象テキストとは何かにあります。

では、キャップストーン・レポートが実際に何でできているかを思い出してください。要求事項の表。番号付きの試験手順。コードのリスト。図のキャプション。ガントチャート。付録に入ったインタビューの実施計画。そのうち文の段落にあたる部分はごくわずかです。

つまり、背景、文献レビュー、考察、結論の四つが、測定のほとんど全部を背負っていることになります。

これが書式の問題ではなくグループの問題である理由はここにあります。多くのチームでは、この四つのセクションは均等に割り振られません。英語を流暢に書ける人、あるいは他のメンバーが成果物を作るあいだに「文章の部分」と名乗り出た人に集まります。つまり、文書レベルのパーセンテージはほぼ一、二人が書いたテキストだけで計算され、それが五人の名前のある文書の性質として報告されるのです。

会議の前に知っておく価値があります。あの部屋での最初の質問はたいてい「これは誰が書いたのか」だからです。そして、数値を生んだ部分についての正直な答えは、著者リストより短いかもしれません。

どんなグループ文書にも一人います。締め切りの一週間前に五つのファイルを預かり、一つの文書として読めるようにする人です。

その人がすることの一部は必要な作業で、リスクはまったくありません。三章の「参加者」が五章の「回答者」にならないよう、定義済みの用語をそろえる。手法の時制を直す。誰かが図を一つ挿入したあとに番号を振り直す。引用を一つのスタイルに統一する。見出しのレベルをそろえる。これらは誰の文の形にも触れません。

注意が必要なのは、継ぎ目が目立つからといって、文書全体を一つの声にならして回る作業です。

Turnitinが誤検知について挙げているリストに戻ってください。構造的な変化に乏しい内容は、その最初の項目です。五人が書いた文書には、構造的な変化が構造上備わっています。しかもそれは、五人が書いたからこそ備わっている変化です。声をならす作業は、それを取り除く作業です。

つまり実務的にはこうです。用語、書式、参考文献はそろえ、文のリズムには手をつけない。キャップストーン・レポートがチームで書かれたように聞こえるのは問題ありません。実際にそうなのですから。継ぎ目は採点者が減点する欠点ではありませんし、それを隠す努力は、むしろ残しておきたい一つの次元に費やされることになります。

文書が共有エディタ上にあるなら、手をつけないでいる第二の理由があります。誰がどのセクションを書いたかという記録は、一人がすべての段落を編集した瞬間に役立たなくなります。そうした記録が実際に何を保持しているのかは、ツールごとにWord、Google Docs、Overleafでバージョン履歴を残す方法で検証しています。

外部パートナー、つまり企業、病院、自治体が関わるキャップストーンは、上で述べたどのシステムの外にもいる読者を一人追加します。これによって、早めに片づけておく価値のある三つのことが生じます。

その会話のなかで、レポートを持っている人は誰もいません。 学生にはAI執筆のインジケーターが見えません。学外の人にも見えません。パートナーから「AIのチェックはしたのか、何と言っていたのか」と尋ねられたら、答えにたどり着く道は、教員がPDFをダウンロードすることだけです。大学を通して尋ねてください。大学を迂回して尋ねないでください。

パートナーに渡すファイルは、提出するファイルと同じではないかもしれません。 納品版では、たいてい内省的なセクションや採点基準の付録が落とされ、大学が見ることのない資料が追加されます。二つのファイル、二つの語数です。それが問題になる境界は一つです。Turnitinは30,000語を超える提出物にはAI執筆レポートを生成しません。付録付きでまとめたキャップストーン・レポートがこの線の近くに着地することは、思われているより多いのです。ファイル要件を外れた提出物は、きれいな結果として戻るのではなく未処理として戻ります。この違いについてはTurnitinは学位論文全体をチェックできるのかで検討しました。

プロジェクトの資料が機密なら、リポジトリの問題は事務的な問題ではなくなります。 提出物が保存されるかどうかは、前に引用した設定です。教員が課題ごとに選べるようにも、アカウント内のすべての論文が無条件に保存されるようにも設定できます。後からの削除は、あなたがするものではありません。Turnitinはそれを、上へ向かう申請として説明しています。「instructors have the ability to request the deletion of any submissions in their assignments. Administrators can approve or reject requests.」（教員は自分の課題の提出物について削除を申請できます。管理者がその申請を承認または却下します。）ですから、パートナーのデータが付録に入っているなら、それは最初のアップロードの前に指導教員とするべき会話であって、最後の提出のあとに出す申請書ではありません。

パートナー組織が何を求め、何を受け入れるのかは、私たちには分かりません。誰にも分かりません。それについて自信ありげな答えを公表している人がいれば、その人はあなたに代わって推測しているだけです。分かるのは大学側のことだけで、大学側は名前のついたスイッチの集まりです。

上の引用はすべてTurnitin自身のヘルプページからのものです。したがって、Turnitinを使っている大学については成り立ち、それ以外には成り立ちません。あなたの大学が別の仕組みを使っているなら、持ち出せるのはベンダーの用語ではありません。三つの質問です。指導教員かプログラムの管理者への一通のメールに収まります：

• このモジュールの各提出時点は、それぞれ別の預け入れですか。それとも一つのものの版ですか。
• 提出物を保存するかどうかを決めるのは誰で、その決定はどの階層で行われますか。
• 後から何かを取り下げる必要が出た場合、手続きはどうなっていて、誰が承認しますか。

どんなシステムにも、別の名前でこの三つへの答えがあります。うまくいかなくなる原因は、機能の名前を知らなかったことである場合がほとんどありません。いくつかの提出を一つの出来事だと思い込んだことです。

これらはすべて、キャップストーンの始めなら安く済み、終わりでは不可能です。

• どの部分が提出物を保存するかを確認する。 モジュール内のすべての提出時点を一通のメールで指導教員に尋ねます。最初の提出の前に。
• セクションの担当表を残す。 セクション、担当者、着手日、最後に大きく変更した日。共有ドライブに置き、進みながら更新し、あとから作り直さない。
• 共有文書の所有者を決めておく。 多くの共同編集ツールでは、ファイルを作った人が履歴について他の人にない権限を持っています。
• 節目ごとに版へ名前をつける。 エディタの呼び方は何でも構いません。日付と二語のメモのついた名前付きの版は、自動で作られた百の版より価値があります。
• 最終週の前に、そろえるときの規則を決めておく。 用語リスト、引用スタイル、図の番号、見出しレベル。これを二週目に書き出しておけば、二十二週目に誰も何もならす必要がなくなります。
• 最終提出が30,000語を超えるかどうかを早めに確認する。 分割できるだけの余裕を持って。前夜に未処理のレポートを見つけることのないように。

ここまでの話が予防的な助言でなくなっている段階にいる場合は、判定されたが、自分で書いたが対応の組み立て方を扱っています。また、あなたのモジュールがファイルのアップロードではなくTurnitinのブラウザ上の執筆空間を使っているなら、その空間が何を記録するのかはまったく別の話題です。Turnitin Clarityが記録するもので扱っています。

書き直しは、上の三つの問題のどれにも答えになりません。中間レポートをどの課題が保存したかは変えられませんし、パーセンテージに著者の欄を足すこともできません。そして、文書がどう組み立てられたかの記録の代わりにもなりません。

それが役に立つ場所は狭く、具体的です。PDFのレポートを手に入れていて、いくつかの箇所が強調されていて、他の四人が書いて確認した文書の残りには触れずに、その箇所だけを書き直したい場合です。この最後の部分こそ、グループ文書を違うものにしている制約です。ツールが書き直したものは、文書に戻す前に人間が確認する必要があります。そしてキャップストーンでは、その人間はツールを実行した人ではないことも多いのです。

この制約に合わせて作られているのがHumanPenというツールです。文書をレポートと一緒にアップロードすると、レポートの強調箇所が範囲を決め、そこに含まれなかった部分は書かれたとおりにそのまま戻ります。扱う最小単位は段落なので、部分的な一致は段落全体に広げられ、実行する前にあなたへ示されます。料金はファイルの大きさではなく、実際に書き直された語数に応じます。条件を満たす箇所は、無料で再実行できます。

これは範囲と費用についての記述です。次のレポートが何を示すかについての記述ではありません。私たちはそうした記述をしません。著者が五人の文書で役に立つのは、チームが戻す前に読み直すべき段落の短い一覧です。

AIのパーセンテージは、私たちの誰がAIを使ったのかを指導教員に伝えますか。 いいえ。仕組みについてのTurnitin自身の説明には、著者の欄がありません。提出物は分割され、各部分が採点され、その結果がまとめられて文書レベルの数値に集計されます。強調表示は文書のなかに位置を持っています。それがレポートのなかで人と結びつけうる唯一のものですが、それもチームが誰が何を書いたかをすでに知っている場合に限ります。

中間レポートと最終レポートの両方がシステムにあります。問題でしょうか。 それはAIの問題ではなく類似の問題で、答えは中間提出が保存されたかどうかによります。それは教員が管理する課題の設定であり、管理者が有効にした選択肢のなかから選ばれます。中間提出を出す前に尋ねてください。すでに自己一致が起きているなら、教員に持ち込んでください。以前の提出を除外するのは、レポートの教員側にある操作だからです。

最終レポートが付録込みで45,000語あります。どうなりますか。 Turnitinのファイル要件は、AI執筆レポートを生成するには提出物が30,000語を超えてはならないとしています。上限を超えるとパーセンテージは出ず、インジケーターはきれいな結果ではなく、提出物を処理できなかったことを示します。

最後に一人が文書全体を編集して、読み心地をそろえました。それは失敗だったでしょうか。 自動的にはそうではありません。用語、参考文献、書式に関する部分についてはなおさらです。注意すべきなのは、全員の文を一つの声にならす部分です。「content without a lot of structural variation」（構造的な変化に乏しい内容）は、Turnitin自身の誤検知の要因リストの最初の項目です。そして五人が書いた文書には、その変化が最初から備わっているのです。

スコアについて議論する代わりに、バージョン履歴を見せてもいいですか。 見せることはできますし、持っていくのは妥当です。ただ、それだけでは何も決まりません。Turnitinは自社のスコアについて「should not be used as the sole basis for adverse actions against a student」（学生に対する不利益な処分の唯一の根拠として使うべきではない）と述べ、別の箇所では「a single data point rather than a definitive response」（決定的な回答というより、一つのデータポイント）と表現しています。あなたのバージョン履歴も、同じ意味でもう一つのデータポイントです。それぞれにどれだけの重みがあるかは大学が決めることであり、その大学の学術的誠実性に関する手続きに定められています。読むべきなのはその文書です。