직접 쓴 글을 기계 번역하면 AI로 감지될까? 2026년 테스트에서 나타난 Pangram의 판정 비율

2026년의 한 테스트 결과에 따르면, 그런 경우는 매우 드물었습니다. 연구진은 모두 2022년 이전에 작성된 24개 언어의 사람이 쓴 웹페이지를 수집한 뒤, Gemini 3.7 Flash를 사용해 가능한 한 원문에 충실하게 영어로 번역하도록 지시했습니다. 번역된 1,197개 문서 중 Pangram 4가 AI로 판정한 것은 26개, 즉 2.17%에 불과했습니다. 번역 전 원본 1,198개 문서 중에서는 단 하나도 AI로 판정되지 않았습니다. 하지만 모델이 직접 글을 작성했을 때는 결과가 정반대로 뒤집혔습니다. 사람이 작성한 개요를 바탕으로 Gemini가 다시 쓴 웹페이지의 경우, 영어로 번역된 후 1,197개 중 1,161개(97.0%)가 AI로 감지되었습니다.

이 결과는 오직 Pangram에만 해당합니다. Turnitin, GPTZero 등의 다른 감지기는 테스트되지 않았으므로 2.17%라는 수치를 다른 감지기에 그대로 적용할 수는 없습니다. 또한 해당 논문은 아직 동료 평가(피어 리뷰)를 거치지 않은 프리프린트이며, 테스트 대상 역시 과제용 에세이가 아닌 웹페이지였고, 번역 방식도 의도적으로 직역에 가까운 충실한 번역이었습니다. 감지기가 번역문을 AI로 판정하느냐의 여부와 애초에 번역 사용이 허용되었는가의 문제는 별개입니다. 여러 대학과 GCSE 및 A-level 과제 규정을 정하는 기관인 JCQ는 이에 대한 명문화된 규칙을 두고 있습니다.

해당 연구는 메릴랜드 대학교, Google DeepMind, 사이먼 프레이저 대학교 소속의 Rishanth Rajendhran을 비롯한 8명의 공동 저자가 2026년 10월 5일 arXiv에 게시한 논문 "IdeaLens: Detecting AI Ideas in Long-form Writing" (장문의 글에서 AI 아이디어 감지)입니다. 번역 테스트는 논문 부록에 포함된 부차적인 실험에 해당합니다. 이 논문의 핵심 주제는 문서에 담긴 아이디어가 사람에게서 나온 것인지 모델에서 나온 것인지를 판별하려는 연구용 감지기입니다. 저자들은 감지기 테스트에 사용된 연구 크레딧을 지원해 준 Pangram 측에 감사를 표하고 있습니다.

사람이 작성한 텍스트는 대규모 공개 웹페이지 데이터셋인 FineWeb2에서 추출했습니다. 저자들은 챗봇이 작성했을 가능성을 배제하기 위해 2022년 이전에 작성된 페이지만 남겼으며, 학술 글쓰기, 창작 글쓰기, 지식 정보 글, 뉴스 기사, 논픽션, 개인 "소개" 페이지, 개인 블로그, 사용자 리뷰 등 8가지 장문 유형만 선별했습니다. 번역 테스트를 위해 24개 언어에서 각각 50개 페이지를 추출했습니다. 대상 언어는 중국어, 스페인어, 독일어, 일본어, 프랑스어, 러시아어부터 아랍어, 힌디어, 페르시아어, 베트남어, 우크라이나어를 거쳐 암하라어, 요루바어, 신할라어, 타밀어에 이릅니다.

사람이 작성한 각 웹페이지마다 동일한 언어로 생성된 두 가지 AI 버전이 함께 제공되었으며, 두 버전 모두 Gemini 3.7 Flash로 작성되었습니다.

• 주제만 제공한 경우. 모델에 페이지 유형과 주제를 설명하는 한 줄짜리 설명만 주어졌으므로, 본문의 모든 내용은 모델이 자체적으로 작성했습니다.
• 사람이 작성한 개요를 바탕으로 작성한 경우. 모델에 웹페이지의 전체 개요를 제공하고, 아무것도 덧붙이지 않은 채 순서대로 각 항목을 작성하도록 지시했습니다. 핵심 요점은 사람이 전부 제공했고, 모든 문장 작성은 모델이 맡았습니다.

그런 다음 세 가지 버전 모두 다시 Gemini 3.7 Flash를 통해 영어로 번역되었습니다. 모델에 전달된 프롬프트 지침은 "nothing added, nothing removed, nothing improved" (아무것도 추가하지 말고, 아무것도 삭제하지 말며, 아무것도 개선하지 말 것)을 요구했고, "Keep the register, repetition, fragments and clumsy phrasing." (원문의 어조, 반복 표현, 불완전한 문장, 어색한 어구를 그대로 유지할 것)을 지시했습니다. 이는 초안을 챗봇에 붙여넣고 더 나은 영어로 다듬어 달라고 요청하는 것보다 꼼꼼한 인간 번역가의 작업 방식에 훨씬 가깝습니다. Pangram 4는 번역 전후의 모든 텍스트를 채점했습니다.

여기서 "감지됨"에는 특정한 기준이 적용되었습니다. Pangram 4는 텍스트를 자체 판단에 따라 AI, AI 지원, 사람 작성 비율로 나눕니다. 연구진은 AI 비율과 AI 지원 비율의 절반을 합산한 값이 최소 절반(50%) 이상에 도달했을 때 해당 문서를 AI로 판정했습니다. 따라서 Pangram이 극히 일부분만 AI로 표시한 번역 페이지는 이 26개에 포함되지 않았으며, 논문에는 이러한 페이지가 얼마나 있었는지는 명시되지 않았습니다.

결국 사람이 작성한 웹페이지를 번역했을 때 AI 판정을 받은 것은 약 46개 중 1개 꼴이었습니다. 한편 표의 다른 두 행은 잘못 해석하기 쉽습니다.

97%라는 수치는 사람이 쓴 글에 대한 오탐이 아닙니다. 논문에서는 이 결과를 위양성(오탐)으로 분류하고 있는데, 논문의 주제가 '아이디어'에 관한 것이고 해당 행의 아이디어는 사람이 낸 것이기 때문입니다. 하지만 모든 문장을 작성한 것은 모델이었으며, Pangram은 바로 그 문장 표현을 읽어내도록 설계된 도구입니다. 데이터셋 자체의 설명서에서도 이를 직접 명시하고 있습니다: "An idea detector should not flag level 5; a prose detector should." (아이디어 감지기는 레벨 5를 감지해서는 안 되지만, 문장 감지기는 감지해야 합니다). 여기서 레벨 5는 사람이 작성한 개요를 바탕으로 생성한 버전을 가리킵니다. 만약 모국어로 작성한 메모나 개요를 챗봇에 넘겨 글을 쓰게 한다면, 결과물로 나오는 영어는 챗봇의 문장이며, 이번 테스트에서 Pangram은 그 대부분을 감지해 냈습니다.

이번 테스트에서 번역은 AI 텍스트를 숨겨주지 못했으며, 오히려 더 많이 드러냈습니다. 원문 언어 상태에서 Pangram은 상당수를 놓쳤습니다. 이번 테스트에서 주제만 제공된 1,200개 텍스트 중 258개를 놓쳤고, 온라인 텍스트가 적은 언어일수록 더 많이 놓쳤습니다. 논문의 전체 다국어 데이터셋을 보면, 저자들이 저자원 언어로 분류한 10개 언어의 경우 주제만 제공된 텍스트 중 58.0%만 감지했습니다. 그러나 영어로 번역된 후에는 주제만 제공된 1,200개 텍스트 전체를 감지해 냈습니다. 모국어로 챗봇을 사용해 글을 쓴 뒤 번역하는 방식은 이번 테스트에서 감지 확률이 줄어들기는커녕 오히려 더 늘어났습니다.

동일한 논문에 수록된 두 번째 검증 결과 역시 같은 방향을 가리킵니다. 다른 연구팀이 구축한 CoCoNUTS 데이터셋에는 2022년 또는 그 이전에 영어로 작성된 동료 평가(피어 리뷰)가 포함되어 있습니다. 그중 일부는 언어 모델을 통해 중국어로 번역되었다가 다시 영어로 역번역되었는데, Pangram 4는 이 1,493개 리뷰 중 단 0.1%만 AI로 판정했습니다. 반면 동일한 데이터셋에서 언어 모델로 윤문(폴리싱)을 거친 리뷰의 경우, Pangram은 1,497개 중 61.2%를 AI로 판정했습니다. 중국어를 거쳐 돌아오는 번역 과정이 학생 본인이 직접 쓴 초안과 완전히 같을 수는 없습니다. 하지만 두 데이터셋 모두에서 AI 판정이 집중된 곳은 문서를 충실히 번역한 경우가 아니라 모델이 직접 문장을 작성하거나 다듬은 부분이었습니다.

• Turnitin에 관한 정보. 이번 연구에서는 Turnitin에 대한 수치가 전혀 나오지 않으며, Pangram의 판정과 Turnitin의 백분율 점수는 애초에 동일한 방식의 측정이 아닙니다(자세한 내용은 Pangram vs Turnitin: 두 AI 점수가 일치하지 않는 이유 참고). 번역 도구와 챗봇은 동일한 유형의 언어 모델로 구동되므로, 번역된 영어는 어떤 감지기에서도 기계가 쓴 것처럼 보일 것이라는 주장이 흔히 제기됩니다. 하지만 Pangram과 충실한 번역의 경우, 이번 측정 결과는 대체로 그 주장을 뒷받침하지 않았습니다. 이 연구는 Turnitin을 테스트하지 않았으므로 Turnitin이 번역된 텍스트를 어떻게 처리하는지에 대해서는 아무것도 알려주지 않습니다. 2023년에 실시된 이전 테스트에서는 14개 감지기 중 하나로 Turnitin이 포함된 바 있습니다. 당시 14개 도구 전체에서 영어로 사람이 작성한 텍스트에 대한 전반적인 정확도는 96%였으나, DeepL이나 Google 번역으로 기계 번역된 9개의 사람이 쓴 텍스트에서는 저자들의 표현을 빌리자면 "dropped by 20%" (20% 하락했습니다). 이는 14개 도구 전체의 평균일 뿐 Turnitin만의 수치가 아니며, 감지기들은 그 이후로도 업데이트되었습니다. Turnitin 자체 공식 문서에서 어떤 패턴을 오탐과 연결 짓고 있는지는 중국어를 영어로 번역하면 Turnitin에서 AI로 감지될까? 문서에서 자세히 다루고 있습니다.
• 여러분의 모국어에 대한 구체적인 수치. 번역 테스트 결과는 24개 언어(각 50페이지)를 모두 합산한 전체 수치로만 공개되었습니다. 이번 테스트에서는 중국어나 아랍어만의 개별 비율은 제공되지 않습니다.
• 사용자가 이용하는 번역 도구. 이번 연구에서는 엄격하게 원문 충실도를 요구하는 프롬프트가 적용된 단 하나의 모델만 테스트되었습니다. DeepL, Google 번역 및 "더 학술적인 어조로 다듬어 달라"는 지시를 받은 챗봇은 테스트되지 않았습니다. 윤문된 피어 리뷰의 결과를 보면 마지막의 경우는 전혀 다른 상황에 해당함을 알 수 있습니다.
• 에세이 및 과제물. 테스트된 텍스트는 블로그, 뉴스 기사, 리뷰 및 유사한 웹페이지였으며, 채점 기준표(루브릭)에 맞춰 작성된 학술 과제물이 아니었습니다.
• 동료 평가(피어 리뷰). 이 논문은 아직 동료 평가를 거치지 않은 프리프린트이며, Pangram 측에서 연구 크레딧을 제공했습니다. 논문에는 해당 텍스트들이 정확히 언제 채점되었는지 명시되어 있지 않으며, 감지기들은 지속적으로 업데이트됩니다.

이 부분은 연구 결과만으로는 답을 내릴 수 없습니다. 여러 대학이 번역 도구 사용에 관한 구체적인 규정을 마련해 두고 있으며, 이러한 규정은 감지기에 걸리든 안 걸리든 상관없이 그대로 적용됩니다. 현재 세 개 대학의 지침과 JCQ의 과제 규정은 다음과 같습니다.

• 요크 대학교. 요크 대학교의 지원 정책에서는 총괄 평가 과제(summative work)에서 허용되지 않는 행위로 "Using translation tools or services to translate text in whole or significant sections (oral or written), which is then submitted as summative work" (번역 도구나 서비스를 사용하여 텍스트 전체 또는 상당 부분[구두 또는 서면]을 번역한 후 이를 총괄 평가 과제로 제출하는 행위)를 명시하고 있습니다. 학생 가이드라인에서는 단어, 연어(콜로케이션), 어구 수준에서 번역을 "As a dictionary" (사전처럼 활용하는 방식)으로 사용하는 것만 인정하며, "translated text which is at sentence level or beyond risks submitting work of false authorship." (문장 단위 이상의 번역 텍스트는 허위 저자성으로 과제를 제출하게 될 위험이 있습니다)라고 경고합니다.
• 허더즈필드 대학교. "If you translate large portions of text written initially in your native language and submit this for assessment, this may be considered to be misconduct, as it raises the question of authorship of the translated version." (처음에 모국어로 작성한 텍스트의 상당 부분을 번역하여 평가용으로 제출하는 경우, 번역본의 저자성 문제가 제기되어 부정행위로 간주될 수 있습니다). 동일한 규정에서는 번역 도구 사용 사실을 명시하도록 요구하고 있으며, 담당 튜터가 학생의 언어 구사 능력에 의문을 품을 경우 내용을 요약하거나 사용된 문법과 어휘를 설명하도록 요청할 수 있다고 명시합니다. 이어지는 10.2.3조에서는 다음과 같이 덧붙입니다: "We do not expect you to use AI tools to contribute to the completion of your assessment or online exam unless you have been explicitly told that you can." (명시적으로 허용된다는 안내를 받지 않은 한, 평가 과제나 온라인 시험을 마치는 데 AI 도구를 사용하는 것은 용인되지 않습니다). 번역 도구로 챗봇을 사용하는 경우 이 조항이 문제가 될 수 있습니다.
• 퀸즐랜드 대학교. 도서관 가이드에 따르면 기계 번역을 사용하기 전에 강의 프로필(코스 안내)을 먼저 확인해야 하며, 대면 평가에서는 기계 번역 사용이 금지됩니다. 또한 다음과 같이 명시하고 있습니다: "You must acknowledge that you have used machine translation in your assessment. Failure to acknowledge the use of machine translation can result in Academic Misconduct." (평가 과제에서 기계 번역을 사용했음을 반드시 명시해야 합니다. 기계 번역 사용을 명시하지 않을 경우 학업 부정행위로 이어질 수 있습니다).
• JCQ (GCSE, A-level 및 EPQ 과제). GCSE 및 A-level의 비시험 평가와 EPQ에 적용되는 2026-27년 JCQ 지침에는 이제 다음과 같은 규정이 포함되어 있습니다: "AI translation tools must not be used to generate work for assessment." (평가 대상 과제물을 생성하기 위해 AI 번역 도구를 사용해서는 안 됩니다).

이러한 규정들을 방금 살펴본 연구 결과와 나란히 놓아보십시오. 요크 대학교에서는 본인이 작성한 초안을 통째로 번역한 에세이라면 Pangram이 모든 페이지를 통과시킨다 해도 허용되지 않는 행위 목록에 들어갑니다. 반면 퀸즐랜드 대학교에서는 해당 강의에서 허용하고 본인이 사용 사실을 명시하기만 한다면 동일한 에세이도 문제가 되지 않을 수 있습니다. 감지기의 판정 결과는 이 두 가지 결과 중 어느 쪽도 바꾸지 못합니다.

1. 학교 전체의 일반 안내 페이지만 보지 말고 해당 과제의 구체적인 규정을 확인하십시오. 요크 대학교는 학과 재량에 따라 특정 평가에서 번역 사용을 금지할 수 있도록 하고 있으며, 퀸즐랜드 대학교는 강의 프로필을 확인하도록 안내합니다. 과제 안내문에 아무런 언급이 없다면 서면으로 다음과 같이 문의하십시오: "I write my first draft in [language] and translate it with [tool]. Is that allowed for this assignment, and how should I acknowledge it?" (저는 첫 초안을 [언어]로 작성한 뒤 [도구]를 사용해 번역하고 있습니다. 이번 과제에서 이것이 허용되는지, 그리고 어떻게 명시해야 하는지 여쭙고자 합니다). 그리고 그 답변을 반드시 보관해 두십시오.
2. 학교에서 요구하는 양식에 맞춰 사용 사실을 명시하십시오. 퀸즐랜드 대학교 가이드에는 직접 수정하여 활용할 수 있는 예시 문구가 수록되어 있습니다: "This work was post-edited by the author, after being translated from <insert language> to English using <insert tool>." (본 저작물은 <도구 입력>을(를) 사용하여 <언어 입력>에서 영어로 번역된 후 저자에 의해 사후 편집되었습니다).
3. 날짜가 기록된 모국어 초안을 잘 보관하십시오. 이는 어떠한 도구도 개입하기 전에 아이디어와 글의 구조가 본인의 것이었음을 증명하는 가장 확실한 기록입니다. OneDrive나 Google Docs에 저장된 파일은 버전 기록을 보존하지만, 컴퓨터 바탕화면에 그냥 저장된 Word 파일은 그렇지 않습니다. 세 가지 도구 각각의 설정 방법은 Word, Google Docs, Overleaf에서 버전 기록을 남기는 방법 문서에서 단계별로 설명하고 있습니다.
4. 문장 작성 단계에는 모델을 개입시키지 마십시오. 이번 연구에서 모델이 단순히 번역만 수행했을 때는 AI 판정이 거의 나오지 않았지만, 모델이 사람의 개요를 바탕으로 글을 쓰거나 문장을 윤문했을 때는 감지 비율이 급격히 치솟았습니다. 요크 대학교 정책에서도 "Generating or re-writing (including shortening or summarising) any of the student's sentences or sections of work" (학생의 문장이나 과제 섹션을 생성하거나 다시 쓰는 행위[축약 또는 요약 포함])를 허용되지 않는 행위로 별도 지정하고 있습니다. "Translate this and make it sound more academic" (이 내용을 번역하고 더 학술적인 어조로 다듬어 달라)라는 요청은 사실상 두 가지 요청이며, 감지기 데이터와 대학 규정 모두가 문제 삼는 것은 바로 두 번째 요청입니다. 더 많은 것을 허용하는 강의도 있으므로, 반드시 본인 강의의 규정을 확인하십시오.
5. 모든 문장을 스스로 설명할 수 있어야 합니다. 영문본을 모국어 초안과 대조해 가며 읽으면서 각 문장이 무슨 뜻인지, 왜 해당 단어가 사용되었는지를 직접 말로 설명할 수 있을 때까지 숙지하십시오. 허더즈필드 대학교의 규정에서 요구하는 것이 바로 이러한 종류의 검증입니다.

그렇다면 Turnitin도 번역된 에세이를 AI로 감지하지 않는다는 뜻입니까? 아닙니다. Turnitin은 이번 연구의 대상이 아니었습니다. 연구진이 자체 개발한 연구용 모델을 제외하면, 번역된 웹페이지를 대상으로 실행된 감지기는 Pangram 4가 유일했습니다.

테스트 대상 언어에 중국어도 포함되었습니까? 네, 중국어는 24개 언어 중 하나였습니다. 하지만 번역 결과는 전체를 합산한 총합으로만 보고되었기 때문에 중국어만의 개별 감지율은 확인할 수 없습니다.

영어로 직접 작성하는 것이 번역하는 것보다 더 안전합니까? 이 논문으로는 그 질문에 결론을 내릴 수 없습니다. 영어 학습자가 작성한 3,909개의 에세이로 구성된 별도 데이터셋에서 Pangram 4가 AI로 감지한 비율은 0.0%(소수점 첫째 자리 반올림 기준)였습니다. 반면 번역된 웹페이지는 2.17%였습니다. 이 둘은 텍스트의 성격 자체가 다르므로 두 수치를 일대일로 직접 비교할 수는 없습니다. 다만 두 수치 모두 낮다는 점은 분명합니다.

IdeaLens란 무엇이며, 이에 대해 걱정해야 합니까? 이는 글을 쓴 문장 표현이 아니라 문서에 담긴 아이디어가 어디서 비롯되었는지를 판별하기 위해 연구진이 개발한 연구용 감지기입니다. 사람이 작성하여 번역된 웹페이지를 대상으로 실행했을 때 1,197개 중 3개만을 감지했습니다. 연구진은 이를 대중에 공개했으나, 논문에서는 이를 실제로 도입하여 사용 중인 교육 기관이 있다는 언급은 없습니다.

번역한 에세이가 이미 AI로 감지되었습니다. 이제 어떻게 해야 합니까? 어떤 감지기가 사용되었는지 확인하고, 단순한 수치가 아닌 보고서 원본을 요청하십시오. 모국어로 작성한 초안, 번역 기록, 그리고 모든 버전 기록을 증빙으로 준비하십시오. 그런 다음 과제 규정을 확인하십시오. 감지기의 판정 결과와 상관없이, 번역이 허용되었는지와 사용 사실을 명시했는지 여부는 반드시 문제로 다뤄지기 때문입니다.

• Rishanth Rajendhran, Minjoon Choi, Jenna Russell, Ramya Namuduri, Deniz Bölöni-Turgut, Marzena Karpinska, John Wieting, Mohit Iyyer, IdeaLens: Detecting AI Ideas in Long-form Writing, arXiv:2610.06778v1, 2026년 10월 5일 게시; 2026년 10월 7일 열람 (부록 E.3, H.3, H.4; 표 19 및 30).
• 저자 공개 결과 파일: 번역, CoCoNUTS, ELLIPSE, 번역 프롬프트 및 IdeaShift-X 데이터셋 설명; 2026년 10월 7일 열람.
• Debora Weber-Wulff 외 공동 저자, Testing of Detection Tools for AI-Generated Text, arXiv:2306.15666v1, 2023년; 2026년 10월 7일 열람 (섹션 3 및 5.1.1).
• Yihan Chen 외 공동 저자, CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection, ACL 2026; 2026년 10월 7일 열람 (데이터셋 구축 섹션).
• 요크 대학교, Acceptable Assistance with Assessments (including Generative AI, Proofreading and Translation) - Policy 및 Student guidance on using AI and translation tools; 허더즈필드 대학교, Regulations for taught students, section 10; 퀸즐랜드 대학교 도서관, Machine translation for assignments; 모두 2026년 10월 7일 열람.
• JCQ, Instructions for conducting non-examination assessments 및 Instructions for conducting coursework (2026년 9월 1일 발효), 2026년 10월 2일 열람.