기계 번역은 Turnitin에 AI로 표시됩니까

예. 기계 번역 출력물은 Turnitin의 AI 작성 탐지기에 표시되며, 이는 오류가 아닙니다. 번역 도구와 AI 생성기는 같은 계열의 기술 위에서 돌아가므로, 번역기에서 나온 문장은 분류기가 인식하도록 훈련된 통계적 특징과 같은 특징을 지닙니다. 여러분은 다른 언어로 생각을 적었고, 기계가 그것을 영어로 옮겼습니다. 탐지기가 읽는 것은 바로 그 옮겨진 부분입니다.

이는 AI에게 논문을 처음부터 쓰게 하는 것과는 다릅니다. 그 구분은 여러분에게 중요합니다. 그러나 탐지기에게는 중요하지 않습니다. 탐지기는 완성된 텍스트를 보며, 그것이 어떻게 만들어졌는지는 보지 않기 때문입니다.

아래에서는 왜 이런 일이 생기는지, 번역된 텍스트의 어디가 가장 노출되는지, 번역문의 어떤 특징이 오탐 가능성이 높은 글에 대한 공식 설명과 맞아떨어지는지, 그리고 번역기를 초안에 쓰는 것과 탐지기가 AI로 읽을 결과물을 제출하는 것 사이의 선이 어디에 있는지를 다룹니다.

Turnitin이 공개한 탐지기 작동 설명은 분할에서 시작합니다. 문장을 추출해 서로 겹치는 구간으로 자르고, 각 구간에 0과 1 사이의 값을 부여합니다. 그 값은 해당 텍스트가 기계에 의해 생성되었을 확률입니다. 구간 점수는 문장 점수로 모이고, 문장 점수는 문서 전체 수치로 집계됩니다.

같은 FAQ 페이지는 분류기가 실제로 무엇에 민감한지도 밝힙니다. Turnitin은 자사 분류기가 단어 확률의 차이를 감지하도록 훈련되었고, 인간 필자가 지닌 특유의 단어 확률 배열에 능하다고 말합니다. 측정 대상은 바로 그 속성입니다. 어휘의 크기도, 문장의 길이도, 표현이 격식 있게 들리는지도 아닙니다. 단어 선택의 배열을, 각각이 얼마나 예측 가능했는지에 따라 늘어놓은 것입니다.

기계 번역 도구와 AI 텍스트 생성기는 같은 계보에 속합니다. 둘 다 영어 텍스트를 만들 때 언어 모델을 사용합니다. 번역기는 원문을 전제로 각 위치에서 가장 그럴듯한 영어 단어를 고르는데, 이는 생성 모델이 다음 토큰을 예측할 때 수행하는 것과 같은 통계 연산입니다. 두 출력물은 모두 빈도가 높고 유창하며 의외성이 낮은 경로로 기웁니다. 그것이 바로 분류기가 표시하도록 훈련된 분포입니다.

흔한 반론은 Turnitin이 "perplexity"(퍼플렉서티, 단어가 얼마나 예측 가능한지의 척도)나 "burstiness"(문장 사이 리듬의 변동)를 명시적으로 계산하지 않는다는 것입니다. 공개 토론에서 자주 이름이 오르는 두 지표입니다. FAQ도 이를 인정합니다. 모델은 "burstiness," "perplexity," 같은 특정 신호나 다른 개별 지표를 평가하도록 명시적으로 프로그래밍되지 않았다는 것입니다. 그러나 같은 페이지의 바로 다음 문장은, 모델이 대신 학습 데이터에서 통계적 패턴을 학습한다고 말합니다. 퍼플렉서티 자체가 단어 확률의 척도입니다. 이름 붙은 지표 하나를 계산하지 않는다고 부정하는 것은, 단어 확률을 읽지 않는다고 부정하는 것과 같지 않습니다. 읽습니다. 그렇게 훈련되었습니다.

Turnitin은 분석 대상을 qualifying text(대상 텍스트)로 정의합니다. FAQ에 따르면 대상 텍스트에는 산문 문장만 포함되며, 표준적인 문법적 문장으로 쓰인 텍스트 덩어리만 분석한다는 뜻입니다. 목록, 불릿 포인트, 그 밖에 문장이 아닌 구조는 제외됩니다.

기계 번역된 문단은 표준적인 문법적 문장으로 이루어져 있습니다. 그것이 번역 도구의 목적입니다. 산문을 만들어 냅니다. 따라서 번역된 산문은 탐지기가 처리하는 대상 텍스트의 한가운데에 놓입니다.

탐지기는 여러분이 원문을 다른 언어로 직접 썼다는 사실을 알지 못합니다. 번역기가 그것을 옮겼다는 것도, 그 뒤에 여러분이 편집했다는 것도 알지 못합니다. 최종 영어 산문을 보고 확률을 매길 뿐입니다. 자신의 생각을 영어로 옮기려고 번역기를 사용한 사람과, 쓰지 않은 논문을 만들려고 챗봇을 사용한 사람이 있습니다. 행위는 서로 다릅니다. 탐지기에는 같은 종류의 출력입니다.

많은 이용자가 이 지점을 불공정하게 느끼며, 그 이유를 저희는 이해합니다. 그러나 탐지기는 지원과 저작을 구별하도록 만들어진 적이 없습니다. 단어 확률 분포가 기계적으로 생성된 것처럼 보이는 텍스트를 표시하도록 만들어졌습니다. 번역 도구는 기계적으로 생성된 것처럼 보이는 텍스트를 만들어 냅니다. 실제로 기계가 만들었기 때문입니다.

Turnitin의 FAQ에는 오탐을 잘 일으키는 텍스트의 유형에 대한 대목이 있습니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (오탐, 즉 사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 일이 생길 수 있으며, 이때는 구조적 변화가 거의 없는 내용, 말 그대로 되풀이되는 텍스트, 또는 새로운 생각을 전개하지 않고 패러프레이즈한 텍스트가 포함될 수 있습니다.)

바로 뒤 문장이 흔히 빠지는 문장입니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 당사 지표가 더 높은 AI 작성 비중을 보여 준다면, 제시된 비율을 볼 때 그 점을 고려하시기를 권합니다.)

번역된 산문은 처음부터 영어로 쓰인 글보다 이 세 가지 특징에 더 자주 해당합니다.

구조적 변화가 적어지는 것은 번역 도구가 원문 패턴마다 하나의 문장 형태를 선호하기 때문입니다. 원문의 주어-동사-목적어 문장은 번역문에서도 주어-동사-목적어 문장이 됩니다. 영어를 모어로 쓰는 필자가 자연스럽게 만들어 내는 리듬의 끊어짐이나 구조적 우회는 도구에 들어 있지 않습니다.

말 그대로의 반복이 나타나는 것은 번역기가 되풀이되는 원문 단어에 하나의 영어 대응어를 고정해 재사용하기 때문입니다. 영어로 처음부터 쓰는 사람이라면 유의어 선반에 손을 뻗을 것입니다. 번역기는 그렇지 않습니다. 원문에 맞추는 것이 일이고, 문체에 변화를 주는 것이 일이 아니기 때문입니다.

새로운 생각 없는 패러프레이즈는 번역 자체의 구조적 조건입니다. 번역은 같은 내용을 다른 말로 옮깁니다. 새로운 논거는 더해지지 않습니다. 그것이 패러프레이즈의 정의입니다.

Turnitin이 직접 권하는 바는, 그러한 텍스트에서 지표가 더 높은 AI 작성 비중을 보여 줄 때 비율을 보며 그 점을 고려하라는 것입니다. 이 문장은 각주가 아닙니다. 기계 번역이 만들어 내는 바로 그 유형의 텍스트에서 높은 점수가 나왔을 때 그것을 어떻게 읽어야 하는지에 대한 공식 입장입니다.

Turnitin의 FAQ는 짧은 제출물에서 어떤 일이 일어나는지 설명합니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (수백 단어에 불과한 짧은 문서에서는, 겹칠 기회 없이 단일 세그먼트로 예측하기 때문에 예측이 대체로 'all or nothing', 즉 전부 아니면 전무가 됩니다.)

그 다음 문장입니다. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI 생성 내용과 직접 쓴 내용이 섞인 텍스트가 전체적으로 AI 생성으로 표시될 수 있음을 뜻합니다.)

기계 번역된 제출물은 대개 짧습니다. 초록, 방법론 절, 커버레터, 심사자 의견에 대한 답변. 수백 단어입니다. 문서가 짧아 세그먼트가 하나만 나오면, 탐지기에는 평균을 낼 겹침이 없습니다. 그래서 번역된 영어와 직접 쓴 영어가 섞인 글이 전체적으로 AI 생성으로 표시될 수 있습니다. 문서가 짧을수록 좋지 않은 세그먼트 하나에서 점수가 회복할 여지가 적습니다.

흔한 다음 수는 번역된 텍스트를 패러프레이즈 도구나 "humanizer"(휴머나이저, 글을 사람이 쓴 것에 가깝게 만든다고 내세우는 도구)에 통과시켜 단어 패턴을 깨는 것입니다. Turnitin의 FAQ는 이 점을 직접 다룹니다.

"Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection." (또한 AI 생성 텍스트가 탐지를 피하려고 AI 패러프레이즈 도구나 우회 도구, 이른바 humanizers에 의해 수정되었을 가능성이 있는 사례도 식별할 수 있습니다.)

탐지기의 범위에는 패러프레이즈 도구나 우회 도구로 수정된 텍스트가 포함됩니다. 번역기 출력물을 다시쓰기 도구에 통과시킨다고 해서 탐지 범위를 벗어나는 것은 아닙니다. 탐지기가 잡으려고 만든 두 번째 범주로 옮겨갈 뿐입니다.

구조적인 문제도 있습니다. 패러프레이즈 도구는 Turnitin의 오탐 설명이 짚은 바로 그 일을 합니다. 새로운 생각을 전개하지 않고 패러프레이즈합니다. 내용은 그대로이고 말만 바뀌며, 단어 확률 분포는 여전히 기계적인 형태입니다. 바꾼 주체가 기계이기 때문입니다. 번역기와 패러프레이즈 도구를 차례로 거치면, 원래 신호와 패러프레이즈 신호를 동시에 건드리는 텍스트가 나옵니다.

이 구분에 대해서는 솔직하게 말씀드리겠습니다. 자신의 언어로 오리지널 콘텐츠를 쓰고 그것을 영어로 옮기려고 번역기를 사용하는 것과, 쓰지 않은 콘텐츠를 AI에게 생성해 달라고 하는 것은 다른 행위입니다. 전자는 언어 장벽에 대한 지원입니다. 후자는 사고를 외주화하는 일입니다.

Turnitin의 탐지기는 둘을 구분하지 않습니다. 그렇게 설계되지 않았습니다. 주어진 영어 산문이 기계에 의해 만들어졌을 확률을 추정하는 것이 이 도구의 일입니다. 번역기는 기계입니다. 번역기가 만든 산문은 기계가 만든 것입니다. 프롬프트에서 생성한 것이 아니라 번역했다는 사실은 분류기가 보는 바를 바꾸지 않습니다.

이는 모국어가 아닌 언어로 글을 쓰는 사람에게 정말로 힘든 일이며, 저희는 그렇지 않은 척하지 않겠습니다. 언어 장벽을 낮춰 주는 도구가 동시에 탐지기가 표시하도록 만들어진 텍스트를 만들어 냅니다. 단어 확률 수준에서 번역문과 생성문을 구별하는 문제를 해결한 사람은 아무도 없습니다. 그 수준에서는 둘이 같아 보이기 때문입니다.

세 가지입니다. 들이는 공이 적은 순서대로 적겠습니다.

첫째, 번역기는 초안에만 쓰고 그 이상은 쓰지 마십시오. 번역의 날것 출력물은 여러분 텍스트에서 탐지기에 가장 노출된 형태입니다. 출발점이며, 완성품이 아닙니다.

둘째, 여러분의 영어로 문장 단위로 다시 쓰십시오. 구조를 바꾸십시오. 문장 형태를 바꾸십시오. 절을 다른 자리로 옮기십시오. 긴 문장을 둘로 나누십시오. 짧은 문장 둘을 합치십시오. 목표는 단어 확률의 배열을, 분류기가 인간 필자와 결부시키는 불규칙하고 개인적인 패턴 쪽으로 되돌리는 것입니다. 영어가 완벽할 필요는 없습니다. 번역기의 것이 아니라 여러분의 것이어야 합니다.

셋째, AI 작성 리포트를 볼 수 있다면 그것을 범위를 정하는 근거로 쓰십시오. 강조 표시된 부분이 분류기가 기계적으로 생성되었다고 읽은 부분입니다. 그 부분이 다시 쓸 곳입니다. 그 밖은 그대로 두어도 됩니다.

도움이 되지 않는 것은 텍스트를 두 번째 도구에 통과시키는 일입니다. AI 탐지기가 측정하는 것에서는 근본 신호를 더 깊이 다룹니다. AI로 패러프레이즈했는데도 표시된 경우에서는 패러프레이저 출력물이 그대로 제출될 때 어떤 일이 생기는지 짚어 봅니다. 탐지기가 서로 다른 결론을 내는 이유에서는 같은 번역문에 두 탐지기가 서로 다른 점수를 낼 수 있는 이유를 설명합니다.

지도교수가 AI 작성 리포트를 공유해 준다면, 가장 먼저 확인할 것은 비율이 아닙니다. 무엇이 표시되었는지 그 구조입니다.

번역된 산문의 문단 전체를 강조한 리포트는 번역기의 단어 패턴을 읽고 있는 것입니다. 문단의 첫 문장과 마지막 문장만 강조한 리포트는 앞서 설명한 짧은 세그먼트 효과를 보여 주는 것일 수 있습니다. 번역한 부분과 직접 쓴 부분이 섞여 표시된 리포트는 짧은 문서의 전부 아니면 전무 사례입니다.

Turnitin AI 작성 리포트 읽는 법에서는 지표 상태와, 각각이 알려 주는 것과 알려 주지 않는 것을 훑어 봅니다. AI 20%는 너무 높은가에서는 그 기준값의 의미와 그 아래 구간에 숫자가 나오지 않는 이유를 다룹니다.

번역된 문서의 비율은 여러분의 정직함에 대한 진술이 아닙니다. 제출한 텍스트의 단어 확률 분포에 대한 진술입니다. 둘은 다른 것이며, 지도교수와의 대화에서도 다른 것으로 다뤄져야 합니다.

번역한 논문이 반드시 표시됩니까? 탐지에서 확실한 것은 없습니다. 그러나 번역된 산문은 분류기가 기계 출력과 결부시키도록 훈련된 단어 확률 패턴을 지닙니다. 따라서 위험은 우발적인 것이 아니라 현실적이고 구조적입니다.

번역기를 쓰는 것이 ChatGPT에게 논문을 쓰게 하는 것과 같습니까? 아닙니다. 원문은 여러분이 직접 썼고 번역기가 그것을 옮겼습니다. 그러나 탐지기는 최종 영어 텍스트를 읽으며, 그 수준에서는 그 텍스트가 언어 모델에 의해 만들어진 것입니다. 이 구분은 여러분과 지도교수에게 중요합니다. 분류기에게는 중요하지 않습니다.

번역된 텍스트를 패러프레이즈하면 점수가 내려갑니까? 패러프레이즈 도구는 탐지기의 공개된 범위 안에 들어옵니다. FAQ는 모델이 AI 패러프레이즈 도구나 우회 도구로 수정된 텍스트를 식별할 수 있다고 밝힙니다. 패러프레이즈는 새로운 생각 없이 패러프레이즈된 텍스트라는 오탐 프로필에도 해당합니다.

번역된 텍스트의 점수가 높게 나왔지만 원문은 한 글자 한 글자 제가 썼습니다. 어떻게 해야 합니까? Turnitin의 FAQ는, 구조적 변화가 없거나 말 그대로의 반복이 있는 텍스트에서 지표가 더 높은 AI 작성 비중을 보여 줄 때 비율을 보며 그 점을 고려하라고 권합니다. 원문 언어의 초안, 번역문, 편집 이력을 가져가십시오. 비율은 영어 텍스트의 속성이며 여러분의 작업 과정에 대한 판결이 아닙니다.

그렇다면 번역 도구를 아예 쓰지 말아야 합니까? 아닙니다. 초안에는 쓰십시오. 그 다음 영어를 문장 단위로 직접 다시 쓰고, 글이 도구가 아니라 여러분답게 들릴 때까지 다듬으십시오. 탐지기가 표시하는 것은 기계가 만든 부분입니다. 최종본을 여러분이 만든 것으로 만드는 것이 여러분의 일입니다.