機械翻訳は Turnitin に AI として判定されるのか

はい。機械翻訳の出力は Turnitin の AI ライティング検出器に判定されます。しかもそれは不具合ではありません。翻訳ツールと AI 生成ツールは同じ系統の技術の上で動いているため、翻訳機から出てくる文章は、分類器が認識するよう訓練された統計的な特徴と同じものを帯びています。あなたは別の言語で考えを書き、機械がそれを英語に置き換えました。検出器が読むのは、その置き換えられた部分です。

これは、AI に論文をゼロから書かせることと同じではない。その違いはあなたにとって重要だ。しかし検出器にとっては重要ではない。検出器が見るのは完成したテキストであって、それがどう作られたかではないからだ。

以下では、なぜそれが起きるのか、翻訳されたテキストのどこがいちばん露出しているのか、翻訳文のどの特徴が公式の誤検知プロフィールに当てはまるのか、そして、翻訳機を下書きに使うことと検出器が AI と読むものを提出することの線がどこにあるのかを見ていく。

Turnitin が公開している検出器の動作説明は、分割から始まる。文を取り出し、重なり合う区間に切り分け、それぞれの区間に 0 から 1 の値を与える。その値は、そのテキストが機械によって生成された確率である。区間のスコアは文のスコアにまとめられ、文のスコアは文書全体の数値に集約される。

同じ FAQ ページが、分類器が実際に何に敏感なのかを述べている。Turnitin によれば、分類器は単語確率の違いを検出するよう訓練されており、人間の書き手に特有の単語確率の並びに通じている。測定されているのはその性質だ。語彙の大きさでも、文の長さでも、表現が堅苦しいかどうかでもない。単語の選択の並びを、それぞれがどれほど予測可能だったかで並べたものである。

機械翻訳ツールと AI テキスト生成ツールは同じ系譜にある。どちらも英語のテキストを作るのに言語モデルを使う。翻訳機は、元の文を前提に各位置で最もありそうな英単語を選ぶ。それは生成モデルが次のトークンを予測するときに行うのと同じ統計的操作だ。両者の出力はいずれも、高頻度で流暢で意外性の少ない経路に寄っていく。それは分類器が判定するよう訓練された分布そのものである。

よくある反論は、Turnitin は "perplexity"（パープレキシティ、単語の予測しやすさの指標）や "burstiness"（文ごとのリズムのばらつき）を明示的には計算していないというものだ。公開の議論でよく名前が挙がる二つの指標である。FAQ はそれを認めている。モデルは "burstiness," "perplexity," といった特定のシグナルや他の個別の指標を評価するようには明示的にプログラムされていない、と。しかし同じページのすぐ次の文は、モデルは代わりに学習データから統計的なパターンを学ぶと述べている。パープレキシティ自体が単語確率の指標である。名前のついた一つの指標を計算していないと否定することは、単語確率を読んでいないと否定することとは別だ。読んでいる。そう訓練されたのである。

Turnitin は分析の対象を qualifying text（対象テキスト）と定義している。FAQ によれば、対象テキストに含まれるのは散文の文だけであり、標準的な文法的な文で書かれたテキストの塊だけを分析するという。箇条書きや項目記号など、文になっていない構造は除外される。

機械翻訳された段落は標準的な文法的な文でできている。それこそが翻訳ツールの目的だ。散文を作るのである。だから翻訳された散文は、検出器が処理する対象テキストのど真ん中に入る。

検出器は、元のテキストをあなたが別の言語で自分で書いたことなど知らない。翻訳機がそれを置き換えたことも知らない。そのあとあなたが編集したことも知らない。最終的な英語の散文を見て、確率を割り当てるだけだ。自分の考えを英語にするために翻訳機を使った人と、自分で書いていない論文を生成するためにチャットボットを使った人がいる。行為としては別である。検出器にとっては、同じ種類の出力になる。

ここが多くの利用者にとって不公平に感じられる部分であり、私たちにもその気持ちは分かる。しかし検出器は、支援と著述を区別するようには作られていない。単語確率の分布が機械的に生成されたように見えるテキストを判定するように作られたのだ。翻訳ツールは機械的に生成されたように見えるテキストを作る。実際にそうだからである。

Turnitin の FAQ には、誤検知を生みやすいテキストの種類についての一文がある。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（偽陽性、つまり人が書いたテキストを誤って AI 生成と判定してしまうことは起こりうるが、それは構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、あるいは新しい考えを展開せずに言い換えられたテキストを含みうる。）

その直後の文こそ、いつも落とされてしまう一文である。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."（そのようなテキストで我々の指標がより高い AI 執筆量を示した場合、表示された割合を見る際にはその点を考慮に入れることを勧める。）

翻訳された散文は、もともと英語で書かれた文章よりも、この三つの特徴に当てはまりやすい。

構造的な変化が乏しくなるのは、翻訳ツールが元のパターンごとに一つの文型を好むためだ。元の文が主語・動詞・目的語の形なら、訳文も主語・動詞・目的語の形になる。英語を母語として書く人が自然に生み出すリズムの崩しや構造の寄り道は、ツールには入らない。

文字どおりの反復が出てくるのは、翻訳機が繰り返し現れる元の語に対して一つの英語訳を固定して使い回すためだ。英語でゼロから書く人なら類義語の棚に手を伸ばすだろう。翻訳機はそうしない。元の文に合わせるのが仕事であり、文体に変化をつけるのが仕事ではないからである。

新しい考えを伴わない言い換えは、翻訳という行為の構造そのものだ。翻訳は同じ内容を別の言葉で表す。新しい主張は付け加わらない。それは言い換えの定義である。

Turnitin 自身の助言は、そのようなテキストで指標がより高い AI 執筆量を示した場合、割合を見るときにその点を考慮に入れるべきだというものだ。この一文は脚注ではない。機械翻訳が生み出すのとまさに同種のテキストで高いスコアが出たとき、それをどう読むべきかという公式の立場である。

Turnitin の FAQ は、短い提出物で何が起きるかを説明している。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかないような短い文書では、重ね合わせの機会がないまま単一のセグメントで予測することになるため、予測はおおむね「全部かゼロか」になる。）

その次の文。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（これは、AI 生成の内容と自分で書いた内容が混ざっているテキストが、全体として AI 生成と判定されることがありうることを意味する。）

機械翻訳された提出物の多くは短い。要旨、方法の節、カバーレター、査読者への回答。数百語である。文書が短くてセグメントが一つしか取れない場合、検出器には平均化のための重なりがない。そのため、翻訳された英語と自分で書いた英語の混在が、全体として AI 生成と判定されることがある。文書が短いほど、一つの悪いセグメントからスコアが立ち直る余地は小さくなる。

よくある次の一手は、翻訳したテキストを言い換えツールや "humanizer"（ヒューマナイザー、文章を人間のものに近づけるとうたうツール）に通して単語のパターンを崩すことだ。Turnitin の FAQ はこれに直接触れている。

"Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection."（さらに、AI 生成テキストが検出を逃れるために AI の言い換えツールや回避ツール、いわゆる humanizers によって修正された可能性のある箇所も特定できる。）

検出器の対象範囲には、言い換えツールや回避ツールで修正されたテキストが含まれる。翻訳機の出力を書き換えツールに通しても、検出の射程から外れない。検出器が捕まえるために作られた二つ目の区分に移るだけだ。

構造的な問題もある。言い換えツールは、Turnitin の誤検知の説明が挙げていることそのものを行う。新しい考えを展開せずに言い換えるのだ。内容は同じまま、言葉だけが変わり、単語確率の分布は機械的な形のまま残る。変えたのが機械だからである。翻訳機と言い換えツールを順に通すと、元のシグナルと言い換えのシグナルの両方を叩くテキストができる。

この違いについては正直に述べたい。自分の言語でオリジナルの内容を書き、それを英語にするために翻訳機を使うことと、自分で書いていない内容を AI に生成させることは別の行為である。前者は言語の壁に対する支援だ。後者は考えることを外注している。

Turnitin の検出器はこれらを分けない。そのようには作られていない。与えられた英語の散文が機械によって作られた確率を見積もるのが仕事である。翻訳機は機械だ。それが生み出す散文は機械によって作られた。プロンプトから生成していたのではなく翻訳していたという事実は、分類器の見え方を変えない。

これは第二言語で書く人にとって本当に厳しい話であり、そうでないふりをするつもりはない。言語の壁を下げる道具が、同時に検出器が判定するよう作られたテキストを生み出す。単語確率という水準で翻訳文と生成文を見分ける問題を解決した者はいない。その水準では両者は同じに見えるからだ。

三つある。手間が少ない順に挙げる。

第一に、翻訳機は下書きだけに使い、それ以外には使わないこと。翻訳の生の出力は、あなたのテキストの中で最も検出器に露出した姿である。出発点であって、完成品ではない。

第二に、自分の英語で一文ずつ書き直すこと。構造を組み替える。文の形を変える。節を別の位置に移す。長い文を二つに割る。短い文を二つつなげる。目標は、単語確率の並びを、分類器が人間の書き手と結びつける不規則で個性的なパターンへ押し戻すことだ。英語は完璧でなくてよい。翻訳機のものではなく、あなたのものであればよい。

第三に、AI ライティングのレポートにアクセスできるなら、それを範囲を決める材料として使うこと。強調表示された箇所は、分類器が機械的に生成されたと読んだ箇所である。そこが書き直すべき場所だ。それ以外はそのままでよい。

役に立たないのは、テキストをもう一つのツールに通すことだ。AI 検出器は何を見ているのか では、根本にあるシグナルをより深く扱っている。AI で言い換えても判定された では、言い換えツールの出力がそのまま提出されたときに何が起きるかを追っている。検出器の判定が食い違う理由 では、同じ翻訳文に対して二つの検出器が異なるスコアを出す理由を説明している。

指導教員が AI ライティングのレポートを見せてくれたとき、最初に確認すべきなのは割合ではない。何が判定されたかという構造である。

翻訳された散文の段落全体を強調するレポートは、翻訳機の単語パターンを読んでいる。段落の最初と最後の文だけを強調するレポートは、上で述べた短いセグメントの効果を示している可能性がある。翻訳した部分と自分で書いた部分が混ざって判定されているレポートは、短い文書の「全部かゼロか」のケースである。

Turnitin の AI ライティングレポートの読み方 では、指標の状態と、それぞれが示すこと・示さないことを順に見ていく。AI 20% は高すぎるのか では、その閾値の意味と、それより下の帯に数字が出ない理由を扱っている。

翻訳された文書の割合は、あなたの誠実さについての表明ではない。提出されたテキストの単語確率の分布についての表明である。この二つは別のものであり、指導教員との話し合いでも別のものとして扱われるべきだ。

翻訳した論文は必ず判定されるのか。 検出において確実なことは何もない。ただ、翻訳された散文は、分類器が機械の出力と結びつけるよう訓練された単語確率のパターンを帯びている。したがってリスクは偶然のものではなく、現実的で構造的なものだ。

翻訳機を使うことは、ChatGPT に論文を書かせることと同じか。 違う。元の内容はあなたが書き、翻訳機がそれを置き換えた。しかし検出器が読むのは最終的な英語のテキストであり、その水準では、そのテキストは言語モデルによって作られている。この違いはあなたと指導教員にとって重要だ。分類器にとっては重要ではない。

翻訳したテキストを言い換えれば、スコアは下がるのか。 言い換えツールは検出器の公開された対象範囲に入る。FAQ は、AI の言い換えツールや回避ツールで修正されたテキストをモデルが特定できるとしている。言い換えは、新しい考えを展開せずに言い換えられたテキストという誤検知のプロフィールにも当てはまる。

翻訳したテキストのスコアが高かった。けれど元の文は一字一句自分で書いた。どうすればよいのか。 Turnitin の FAQ は、構造的な変化がないテキストや文字どおりの反復があるテキストで指標がより高い AI 執筆量を示した場合、割合を見るときにその点を考慮するよう勧めている。元の言語の下書き、翻訳文、編集の履歴を持っていくこと。割合は英語テキストの性質であって、あなたの作業過程への評決ではない。

では、翻訳ツールはまったく使うべきではないのか。 そうではない。下書きには使えばよい。その後、英語を自分で一文ずつ書き直し、文章がツールではなくあなたらしく響くようにする。検出器が判定するのは機械が作った部分だ。最終版を自分が作ったものにするのは、あなたの仕事である。