ケーススタディがAI判定された? SWOT、Five Forces、そして二種類の同一性
三十人が同じ企業を同じ四つのフレームワークで分析し、よく似た三十本の文書を書き上げました。この「似ている」には二種類あり、関係するレポートは別々です。そして一方に効く手当ては、他方には効きません。
HumanPen チーム
· 12 分
短い答え
学年全員が似た文書を提出したとき、最初に浮かぶ心配はたいてい盗作です。しかしこの反射は、見るべきでないレポートを指しています。あなたが手にしているのはおそらく二つの数字で、しかもその二つは同じものを測っていません。
フレームワークは文章に二つのことをします。一つは、固定された語彙を固定された順番で渡してくることです。だから自分の段落がクラスメートの段落に似るのです。もう一つは、レポートを並行する枠の集まりに変えることです。だから自分の五つの段落が互いに似てしまいます。
AI執筆率という数字が反応するように作られているのは、後者だけです。Turnitinが公開しているAIスコアリングの説明は、提出ごとの処理になっています。ファイルは重なり合うセグメントに分割され、セグメントごとに確率が付き、文のスコアはまとめて集計されます。その中には、自分の文書を他人の文書と比べる工程はありません。他人の作品との比較はもう一つの数字、つまり類似度スコアの側で行われるもので、これは「Turnitin's comprehensive collection of content」(Turnitinの包括的なコンテンツ収集)に対して定義されています。そしてベンダーは両者が「completely independent and do not influence each other」(完全に独立しており、互いに影響しません)と述べています。
何かに手をつける前に知っておきたい三つ目のことがあります。そしてそれは多くの人を驚かせる点です。フレームワークを多用するケーススタディでは、あなたが書いたものの大部分はそもそも採点対象になっていません。この割合は散文の文について計算されます。この定義では、SWOTのマス目も、箇条書きのPESTELも、Five Forcesの見出し一覧も、散文の文ではありません。
二種類の同一性、二つの別のレポート
何かを決める前にこの二つを分けておく価値があります。学生は最初の心配を、決まって二つ目のレポートに持ち込むからです。
| 学年内での同一性 | 文書内での同一性 | |
|---|---|---|
| どんな姿か | 三十人の学生が「サプライヤーの交渉力は中程度」と書いています | 自分の五つの力についての段落が、同じ形と同じ長さになっています |
| 現れうる場所 | Similarity Report | AI Writing Report |
| 仕組み | テキストをコンテンツの収集と照合します | ファイル内の単語確率パターンをセグメント単位で分類します |
| 何が表示されるかを決める人 | 除外フィルターと閾値を設定した人 | 誰も決められません。モデルはそのまま動きます |
類似性の側には、フレームワークの言葉に特有の細かい点が二つあります。第一に、フレームワークのラベルは短いことです。Turnitinの除外フィルターのガイドには、小さな一致に関する設定が記されています。「By default, the threshold is 8 words, meaning that only matches 8 words or longer appear in the Similarity Report. You can increase this number, but 8 words is the minimum allowed value.」(既定では閾値は8語であり、Similarity Reportに表示されるのは8語以上の一致だけです。この数値は引き上げられますが、8語が許容される最小値です。)自分のフレームワークの文字列を、これに照らして数えてみてください。「Threat of new entrants」は四語です。「Bargaining power of buyers」も四語です。「強み、弱み、機会、脅威」は五語です。この設定はクラシック版のレポートでは利用できず、どちらに切り替える権限もあなたにはありません。八語というのは誰かがフィルターを有効にした時点での既定値であって、誰が有効にしたかに関わらず適用される下限ではありません。とはいえ、ベンダーが何語以上の一致をノイズとして扱うかは、これで分かります。
第二に、AIの側では、モデルは共通のフレーズを探してすらいません。FAQでは、分類器が「are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers」(単語確率のこうした違いを検出するよう訓練されており、人間の書き手に特有の単語確率の並びに精通しています)とされ、また別の箇所では、モデルが「is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions」(公の議論で時に言及される 'burstiness,' や 'perplexity,' 、その他の個別指標といった特定のシグナルを評価するよう明示的にはプログラムされていません)とされています。両方の数字が目の前にあるなら、TurnitinのAI執筆レポートと類似性レポートの違いに切り分けの全体が載っています。
マス目の大部分は、その数字の中に入っていません
何が分析対象になるかについては、FAQに明確な記述があります。
「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」(この判定対象テキストには散文の文だけが含まれます。つまり、標準的な文法的文として書かれたテキストの塊のみを分析し、箇条書き(文になっていない短い構造)やその他の文ではない構造など、別の種類の記述は含みません。)
そして、その割合が何に対する割合なのかについては、次のように書かれています。
「As noted previously, this percentage is not necessarily the percentage of the entire submission. If text within the submission is not considered long-form prose text, it will not be included.」(前述のとおり、この割合は必ずしも提出物全体に対する割合ではありません。提出物の中のテキストが長文の散文テキストと見なされない場合、それは含まれません。)
では、ごく普通のMBAのケースレポートを一通り眺めて、この定義を生き残る部分に印をつけてみましょう。
| レポートの部分 | 典型的な形 | 判定対象の散文か |
|---|---|---|
| SWOTの四つマス | 名詞句の箇条書きが入った四つの箱 | いいえ。箇条書きと文でない構造は除外されます |
| 六つの見出しの下に箇条書きで配置したPESTEL | 断片 | いいえ。理由は同じです |
| 各セルに完全な文が入った表形式のPESTEL | 表のセルの中の文 | 2023年8月のリリースノートでは「We are now able to process long-form prose text in tables」(表内の長文の散文テキストを処理できるようになりました)とされ、既存の提出物は再処理のため再提出が必要になるとされています |
| 五つの力を、評価付きの見出しとその下の段落で書いたもの | 段落 | はい |
| 4Pのセクション。Pごとに見出しがあり、その下に段落があります | 段落 | はい |
| 財務の図表、比率の表、付録 | 数値とラベル | いいえ |
| 参考文献一覧 | 書誌情報 | 2023年8月のリリースノートでは、書誌情報が「are now excluded when processing the AI writing report」(AI執筆レポートの処理時に除外されるようになりました)とされています |
| あなたの提言とその根拠 | 段落が続く形 | はい |
この表から導かれる帰結は二つありますが、画面上の数字はどちらも教えてくれません。
同じ分析を違う配置で書いたなら、あなたの割合とクラスメートの割合は比べられません。同じPESTELの中身でも、一方が箇条書きで、もう一方が表の中の完全な文であれば、評価の対象となる文字量が違うのです。
そして、マス目の多いレポートでは、判定対象の散文として残る部分がごく小さくなりえます。これが問題になるのは、少ない文字量についてFAQが次のように述べているからです。「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」(数百語程度の短い文書では、重ね合わせの機会がないまま単一のセグメントについて予測することになるため、予測はほぼ 'all or nothing' になります。)散文テキストが300語に満たない場合、AI執筆レポートは作成されません。3,000語のケーススタディの大半が図表と箇条書きなら、あなたが見ている割合は、つなぎのコメント部分などごく一部だけについて計算されたものかもしれません。除外全般についてはTurnitinのAIはどんな内容を読み飛ばすのかにまとまっています。ここで言いたいのは、フレームワーク型のレイアウトは、ほぼどんな課題形式よりも分母を変えてしまうということです。
なぜつなぎの散文は均一になるのか
Turnitinは、誤検出が乗りやすいテキストの特徴を公表しています。
「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」(誤検出——人間が書いたテキストをAI生成と誤って判定すること——に含まれうるのは、構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、あるいは新しい考えを発展させずに言い換えられたテキストです。)
フレームワークの散文がこの説明に当てはまるのは、正直な理由からです。そしてそれは書き手とは無関係な理由です。
語彙は出典によって固定されています。Harvard Business SchoolのInstitute for Strategy and Competitivenessは、五つの力をまさに次の名称で公開しています。Threat of New Entrants、Bargaining Power of Suppliers、Bargaining Power of Buyers、Threat of Substitute Products or Services、Rivalry Among Existing Competitorsです。Michael Porterがこれらを初めて示したのは1979年のHarvard Business Reviewの論文でした。これらの文字列を書き換える自由はあなたにはありませんし、採点者も書き換えてほしいとは思っていません。
順序は教義ではなく慣例です。ISCのページ自身、代替品を最初に、新規参入を四番目に挙げており、それは上の段落の順序とは違います。固定されているのは、各ブロックを締めくくる文のほうです。特徴的な動きは、固定された枠の中の判定です。力、評価、そして根拠の句が一つ。これを五回繰り返せば、構造が同一で名詞だけが入れ替わった五つの文が並びます。それは「content without a lot of structural variation」(構造的な変化に乏しい内容)というのと、ほぼ同じ説明です。
これらが特別な事例として文書化されているかどうかも、私は確認しました。
何を数えたか。 2026年8月27日、私はAI Writing Reportを定義する三つのTurnitinページのレンダリング後の本文を読みました。Using the AI Writing Report(6,492文字)、AI執筆検出の機能に関するFAQ(30,987)、そしてAI writing detection modelのリリースノート(9,233)です。三つすべてを横断して検索した結果は次のとおりです。`SWOT` 0 · `PESTEL` 0 · `PESTLE` 0 · `Porter` 0 · `case study` 0 · `business` 0 · `marketing` 0 · `discipline` 0 · `genre` 0。`framework`の唯一のヒットは、ベンダーが自社のテスト用フレームワークを説明している箇所です。同じテキストでの感度確認は、`prose` 13 · `qualifying` 15 · `bibliograph` 4でした。`subject area`は三回出現し、いずれもFAQページで、いずれも訓練サンプルを説明する箇所です。一度は「academic writing across geographies and subject areas」(地域や分野をまたぐ学術的な文章)として、あとの二回は「less common subject areas such as anthropology, geology, sociology, and others」(人類学、地質学、社会学など、より一般的でない分野)という繰り返しの並びの中です。
つまり、ビジネススクール向けの特別扱いはどちらの方向にも存在しません。モデルはケーススタディと実験レポートを見分けませんし、ドキュメントも見分けるとはうたっていません。
フレームワークと分析の間に距離を置く
ケーススタディのフレームワーク部分は、本来なら差し替えがきくはずです。それがフレームワークというものの存在理由です。分析のほうは、あなたにしか書けないはずの部分です。ところが多くのレポートでは、この二つが同じ段落に、同じ文体で置かれています。文書が均一になるのは、そのためです。
この二つを分ける具体的な手立ては次のとおりです。
- 判定と根拠は、違う文の形に分けます。 評価の文が固定された枠なら、それ一つにとどめ、次の文まで同じ枠で書かないことです。短く平坦な評価の行のあとに、長めの議論の段落を続けるほうが、同じ形の混合文を五つ並べるより違って読めます。
- 数値、日付、出典は名前で示します。 サプライヤーの力を、自分のExhibit 4に名前が挙がっている二社の契約製造業者と、うち二社目が買収された年に結びつける文は、「サプライヤーの力は業界の集中度が高いため強い」にはない情報を持っています。後者の文は、何も読んでいない人がどんな業界についてでも書けます。
- その会社に対してフレームワークがどこで破綻するかを書きます。 法定独占のある規制市場では代替品の力がほとんど無意味だと説明する段落は、分析です。それを「低」と評価して次に進むのは、書類の穴埋めです。
- 一つの箱を捨て、その省略を一文で正当化します。 同じだけ重要でない力を同じ長さで扱うことは、ベンダーが説明する平坦な構造そのものです。そして、一文の価値しかない力に、一ページの価値がある力と同じ語数を費やしてしまいます。
- 提言をフレームワークより先に書き、それからそれを支えているかを確認します。 フレームワークから組み立てたレポートは、箱の内容を言い直すだけの結論で終わりがちです。2023年のTurnitinのリリースノートは、誤検出が文書の最初と最後の文に集中していること、それらが「written in a generic way」(紋切り型の書き方をされている)ことを指摘し、検出ロジックはこれを減らすよう変更されました。しかし根底にある書き方の習慣はどこにも行っていません。なぜ序論と結論はAI判定されやすいのかに、リリースノートの全文があります。
その後で割合がどう動くかは、私は申し上げません。正直な人なら誰も言いません。上のリストが示しているのは、ケーススタディのどの段落があなたのもので、どの段落がフレームワークのものかという線引きです。そしてこの線は、検出器が関わるかどうかに関わらず、引いておく価値があります。
書き直すなら、どのブロックから手をつけるか
レポートが返ってきて、何かを変えなければならないとしましょう。順番が大事です。ケーススタディは、書き直しで壊しやすい文書の代表格だからです。
- 割合ではなく、ハイライトを読みます。 ハイライトがどこに付いているかを見れば、モデルがつなぎのコメントに反応したのか、提言に反応したのかが分かります。数字にはそれが分かりません。
- フレームワークのラベルはそのままにしておきます。 それらは専門用語です。Porterを正しく適用したかを見ている採点者は、五つの名前が並んでいることを期待しています。
- 図表、比率、数値はそのままにしておきます。 それらは判定対象の散文ではありません。しかも、文書の中でミスが致命傷になる部分です。
- まず分析の段落から始めます。 そこは書き直しが正当に手をつけてよい部分です。そしてレポートが均一に仕上がっていたなら、そこは最初から薄かった部分でもあります。
- 手をつけた箇所はすべて校正し直します。 変わった段落は、自分の図表の数値と突き合わせて確認し直す必要が出てきます。文書全体を一括で処理するのが高くつくのは、書き直しそのものではなく、この確認の手間のためです。
五番目の項目こそが、ツールにおいて対象範囲が何より重要な理由です。HumanPenというツールは、貼り付けた抜き書きではなくファイルそのものを扱います。DOCXを上げると編集可能なDOCXが戻り、構造、用語、引用、レイアウト、スタイルはそのままです。表と図表であふれたレポートにとって、これは「作業が一つで済む」か「午後いっぱい書式を直す」かの違いになります。自分で対象箇所を指定してもよいですし、TurnitinやiThenticateからすでに手元にあるAIレポートをこのツールに向けて、判定済みの箇所を選ばせてもかまいません。どちらの場合も、そこだけを書き直し、ほかは一切触れません。扱う最小単位は一段落で、拡張された選択範囲は承認のためにまず画面に提示されます。だから、読み直す羽目になる段落がいくつなのかが事前に分かります。条件を満たす箇所は、無料で再実行できます。
よくある質問
三十人が同じSWOTを書きました。それはAIとして表示されますか。 その仕組みでは表示されません。AI執筆率は、自分のテキストを重なり合うセグメントに分けて提出ごとに分類するものだと説明されており、他の提出物との比較ではありません。またFAQは「no separate repository for AI writing detection」(AI執筆検出のための独立したリポジトリはありません)としています。他人の作品と共有しているテキストは類似性の側の話であり、それは独自のフィルターを持つ別の数字です。
SWOTのマス目そのものは採点されますか。 箇条書きやその他の文でない構造は、分析の対象外だと文書化されています。表の中の完全な散文の文は別の話です。2023年8月のリリースノートによれば、表内の長文の散文は現在処理されるようになっており、既存の提出物は再処理のため再提出が必要です。つまり、同じPESTELでも、配置の仕方によって分母に入ったり入らなかったりします。
私のケーススタディは100%で返ってきました。実際の散文は900語しかありません。 この組み合わせは、短いテキストに関するFAQ自身の但し書きと照らして読む価値があります。「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」(数百語程度の短い文書では、重ね合わせの機会がないまま単一のセグメントについて予測することになるため、予測はほぼ 'all or nothing' になります。)マス目の多いレポートは、総語数から想像されるより判定対象の散文がずっと少ないことがあります。短い文書とTurnitinのall-or-nothing問題に、セグメントの仕組みの説明があります。
フレームワークを使うのをやめるべきでしょうか。 いいえ。おそらく採点基準がそれを求めています。変えられるのは比率です。箱に名前を付ける分量を減らし、箱が支えるはずだった判断により多くの紙面を割いてください。それなら、より良いレポートになり、同時に均一さも減ります。
割合をそのまま担当教員に持っていって、誤検出だと主張してもよいでしょうか。 持ち出すこと自体はできますし、ベンダー自身の言葉が助けになります。AI執筆レポートの使い方ガイドは、この指標について「may not always be accurate」(必ずしも正確とは限りません)とし、「should not be used as the sole basis for adverse actions against a student」(学生に対する不利益な処分の唯一の根拠として用いるべきではありません)としています。検出のFAQは、誤検出についての箇所で、構造的に均一なテキストを「into consideration when looking at the percentage indicated」(表示された割合を見る際に考慮に入れてください)と勧めています。しかし、そのどれも、誰がその文書を書いたかの証明にはなりません。大学が75,000本の論文を提出するとき、誤検出率1%が意味するものが、この計算の正直な姿です。
続きを読む