전문 영어 교정을 받으면 논문이 AI가 작성한 것처럼 보일까요? 2026년 연구

이번 연구에서는 일관된 결과가 나타나지 않았습니다. 13개의 오픈소스 AI 감지기를 시험한 결과, 사람의 교정을 거친 뒤 AI 점수가 올라간 감지기도 있었고 내려간 감지기도 있었으며, 실질적인 유의미성에 도달한 것은 7개에 불과했습니다. 교정 여부보다 어떤 감지기를 사용했는지가 훨씬 더 큰 차이를 만들었습니다. 동일한 미교정 원고에서도 오탐률이 0.0%에서 100%까지 나타났습니다. Turnitin을 포함한 상용 감지기는 이번 연구에서 테스트되지 않았습니다.

해당 연구는 중앙대학교의 Hyeonchu Park과 Bugeun Kim, 그리고 Wordvice의 Gahye Jeong이 작성한 "Style as a Confound: False Positives in AI Detection of Non-Native Academic Writing" (스타일이라는 교란 요인: 비원어민 학술 작문의 AI 감지에서 발생하는 오탐) 논문으로, 2026년 8월 27일 arXiv에 게재되었으며 EMNLP 2026 발표 논문으로 등재되어 있습니다. 분석 대상 문서는 전문 영어 교정 서비스 업체인 Wordvice의 실제 데이터입니다. 해당 업체의 자체 블로그에 따르면 저자 중 한 명인 Gahye Jeong은 Wordvice의 CTO이며, 해당 블로그에서는 Wordvice를 "the developer of the Wordvice AI Detector" (Wordvice AI Detector의 개발사)로 소개하고 있습니다.

분석 데이터는 2018년부터 2025년 사이에 작성된 135,389쌍의 문서로, 40개가 넘는 학문 분야를 아우릅니다. 각 쌍은 영어가 모국어가 아닌 작성자가 쓴 문서와 원어민 에디터가 이를 교정한 동일한 문서로 구성되었습니다. 절반을 조금 넘는 52.9%는 학술 논문 교정이었고, 37.6%는 입학 지원용 교정이었으며, 지원서 에세이가 22,639건으로 단일 분야 중 가장 큰 비중을 차지했습니다. 나머지는 비즈니스 교정, TOEFL 작문, 번역 및 기타 작업이었습니다. 작성자, 주제, 내용은 동일하게 유지되었으므로 감지기 점수의 모든 변화는 순수하게 교정 작업에서 비롯되었습니다.

교정 자체는 사람이 직접 진행했습니다. 논문에 기술된 해당 업체의 가이드라인에 따르면 단순 기계적 오류 수정에만 AI 문법 검사기 사용이 허용되며, "AI-generated rewriting, paraphrasing, or stylistic generation is explicitly prohibited." (AI가 생성한 재작성, 패러프레이징 또는 문체적 생성은 명시적으로 금지됩니다.) 수정은 실질적이었으나 과도하지 않았습니다. 6,000쌍의 표본 조사 결과 문서 길이의 중앙값 변화는 6.5단어에 불과했으며, 평균 문장 길이는 24.35단어에서 23.51단어로 소폭 감소했습니다.

시험에 사용된 13개의 감지기는 모두 공개된 연구용 도구였으며 기본 설정으로 실행되었습니다. GLTR 같은 통계적 방식, Fast-DetectGPT와 Binoculars 같은 제로샷 방식, 그리고 RoBERTa와 RADAR 같은 사전 학습된 분류기 방식이 포함되었습니다.

저자들이 사람이 직접 작성한 글로 분류한 2023년 이전 작성 원고에서, AI로 잘못 분류된 비율은 거의 전적으로 어떤 감지기를 사용했는지에 따라 결정되었습니다.

동일한 사람이 작성한 문서라도 어떤 도구에서는 거의 전적으로 AI 글로 분류되었고, 다른 도구에서는 거의 전적으로 사람이 쓴 글로 분류되었습니다. 연구진은 다음과 같이 결론지었습니다. "These findings suggest that AI detectors do not represent a unified measure of AI-generated content; rather, they rely on a mix of generation-origin and linguistic-quality signals." (이러한 결과는 AI 감지기가 AI 생성 콘텐츠를 측정하는 단일한 척도가 아니며, 생성 출처 신호와 언어적 품질 신호의 혼합에 의존하고 있음을 시사합니다.) 아울러 연구진은 이러한 절대적인 비율 수치가 연구에서 설정한 임계값에 따라 달라질 수 있다고 덧붙였습니다.

교정을 거친 후 점수가 변화하는 방향은 감지기마다 달랐습니다. 아래 수치는 위 표에 제시된 2023년 이전 문서뿐만 아니라 2018년부터 2025년까지의 전체 데이터를 포함한 결과입니다.

• 교정 후 오탐 감소: MAGE(10.7%포인트 감소), RADAR(4.7%포인트 감소), BiScope(0.5%포인트 감소)를 기록했습니다.
• 교정 후 오탐 증가: LastDE+(5.8%포인트 증가), Fast-DetectGPT(4.6%포인트 증가), RoBERTa(1.7%포인트 증가)를 기록했습니다.
• 불분명: DiVeye는 논문 내 표마다 수치가 가리키는 방향이 서로 달랐습니다.
• 변화가 거의 없거나 없음: 나머지 감지기들의 변화 폭은 약 0.1%포인트 이내였습니다.

연구진은 이러한 교정 전후의 변화가 절대적인 비율 수치보다 더 신뢰할 만하다고 보았습니다. "the relative patterns across editing conditions provide more robust evidence of detector sensitivity to linguistic refinement." (교정 조건 전반에 걸친 상대적인 패턴은 언어적 다듬기에 대한 감지기의 민감도를 보여주는 더 탄탄한 증거를 제공합니다.)

원고를 더 많이 수정할수록 해당 감지기가 본래 기울어져 있던 방향으로 점수가 더 크게 움직였습니다. 또한 이러한 효과는 2018년~2022년 문서에 비해 2023년~2025년 문서에서 더 약하게 나타났습니다.

• 상용 감지기는 포함되지 않았습니다. 연구진의 표현에 따르면, "the analysis does not cover future systems or proprietary commercial detectors." (본 분석은 향후 시스템이나 독점 상용 감지기를 다루지 않습니다.) Turnitin, GPTZero, Originality, Pangram 등은 테스트되지 않았으며, 논문에서는 Turnitin을 전혀 언급하지 않았습니다.
• 학술 교정이 주를 이루지만 전부는 아닙니다. 연구진은 데이터의 대부분이 학술 원고라고 밝혔으나, 3분의 1 이상이 대학 입학 지원서 교정이었으며 논문에서는 유형별 결과를 구분하여 보고하지 않았습니다. 아울러 연구진은 다음과 같이 덧붙였습니다. "Detector behavior may differ for student essays, journalistic articles, creative writing, social media content, and other genres with distinct linguistic and stylistic characteristics." (학생 에세이, 저널리즘 기사, 창작 글쓰기, 소셜 미디어 콘텐츠 및 언어적·문체적 특성이 뚜렷한 기타 장르에서는 감지기의 동작이 다를 수 있습니다.)
• 사람에 의한 교정만 다루었습니다. 본 데이터의 교정은 AI 재작성을 엄격히 금지하는 규정 아래 사람이 직접 수행했습니다. 따라서 AI 교정 도구에 대해서는 어떠한 시사점도 제공하지 않습니다.
• AI가 작성한 대조군이 없습니다. 저자들의 표현을 빌리자면, "the study does not include AI-generated control texts subjected to comparable editing procedures." (본 연구에는 유사한 교정 절차를 거친 AI 생성 대조군 텍스트가 포함되지 않았습니다.)
• 연구 진행 주체. 연구 데이터와 저자 중 한 명은 교정 서비스를 판매하고 자체 설명에 따르면 AI 감지기를 직접 개발하는 기업인 Wordvice 소속이었습니다.

1. 감지기 점수가 아니라 교정 자체의 가치를 보고 판단하십시오. 이번에 테스트된 13개 연구용 감지기를 기준으로 볼 때, AI 감지 표시에 대한 두려움 때문에 전문 에디터의 교정을 포기할 이유는 없습니다. 비록 3개 감지기에서 교정 후 오탐이 늘어나긴 했으나, 대부분의 감지기에서 점수 변화는 매우 미미했으며 방향도 양쪽으로 엇갈렸기 때문입니다. Turnitin에서도 동일한 결과가 나타날지는 테스트되지 않았습니다. 투고하려는 저널이나 수강 중인 강의에서 교정 도움 여부를 밝히도록 요구하는지 먼저 확인해 보십시오.
2. 두 버전을 모두 보관하십시오. 초안 원고와 에디터의 변경 내용 추적(Track Changes) 파일은 사람이 무엇을 직접 수정했는지 정확히 증명해 줄 수 있으며, 이는 감지기 점수로는 결코 보여줄 수 없는 부분입니다.
3. 어떤 감지기가 해당 점수를 냈는지 확인하십시오. 이번 연구에서 감지기들은 동일한 사람이 쓴 글에 대해서도 극명하게 서로 다른 판단을 내렸습니다(비록 저자들은 구체적인 비율이 설정한 임계값에 좌우된다고 지적했지만 말입니다). 비원어민 작성자에 대한 이전 연구는 비원어민 영어 작성자의 글이 더 자주 AI로 오탐되는 이유 글을 참고하시기 바랍니다. EFL 학생 에세이를 대상으로 Turnitin 자체를 직접 테스트한 2026년 연구는 Turnitin은 비원어민의 영어 작문을 AI 글로 감지할까요? 글에서 확인하실 수 있습니다.

Turnitin 또는 iThenticate 보고서를 가지고 있고 표시된 구절을 다시 작성해야 한다면, 바로 그것이 HumanPen의 humanize 기능이 하는 일입니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 사용하기 전에 AI 지원에 관한 저널이나 강의의 규정을 먼저 확인하시고, 최종 제출 전에 반환된 결과물을 반드시 꼼꼼히 읽어보십시오.

원어민 에디터가 교정한 논문을 Turnitin이 AI로 감지할까요? 이번 연구로는 알 수 없습니다. 해당 연구는 Turnitin이나 기타 상용 감지기를 전혀 테스트하지 않았습니다.

교정을 거치면 논문이 사람이 쓴 글처럼 보일까요, 아니면 AI가 쓴 글처럼 보일까요? 감지기에 따라 두 가지 결과가 모두 나타났습니다. 교정 후 오탐이 줄어든 감지기가 3개, 늘어난 감지기가 3개였습니다. DiVeye의 수치는 논문 내 여러 표에서 일관되지 않았으며, 나머지 감지기들의 점수는 거의 변하지 않았습니다.

이 결과가 AI 교정 도구에도 적용될까요? 아닙니다. 이번 연구 데이터의 교정은 AI 재작성을 금지하는 가이드라인 아래 사람이 직접 수행했습니다. AI 윤문(polishing)에 관한 2026년 연구는 AI 윤문을 거치면 글이 감지기에 걸릴까요? 글을 참고하시기 바랍니다.

왜 일부 감지기는 거의 모든 원고를 AI 글로 표시했을까요? 연구진에 따르면 사람이 작성한 이들 텍스트에 대해 토큰 통계 기반 감지기가 가장 높은 오탐률을 기록한 반면, 우도비(likelihood-ratio) 기반의 제로샷 감지기는 오탐률이 0에 가깝게 유지되었습니다. 연구진은 또한 절대적인 오탐률 수치는 적용된 임계값에 따라 달라진다고 설명했습니다.

• Hyeonchu Park, Gahye Jeong, Bugeun Kim, Style as a Confound: False Positives in AI Detection of Non-Native Academic Writing, arXiv:2608.26710 (2026년 8월 27일; EMNLP 2026 발표 논문으로 등재); 2026년 9월 27일 확인 (표 2–4, 8 및 18).
• Wordvice, How Professional Editing Changes AI Detector Scores, Gahye Jeong 작성 블로그 게시물, 2026년 9월 27일 확인.