AI 윤문을 거치면 AI 감지기에 걸릴까요? 2026년 연구가 측정한 실제 수치

이 연구에서 테스트한 두 상용 감지기에서는 실제로 자주 감지되었습니다. 연구진은 AI 모델에 642편의 출판된 논문 초록을 "to sound better and more human-like" (더 훌륭하고 사람답게 읽히도록) 다시 작성하도록 요청했습니다. 윤문된 버전에 대해 Pangram은 64%~80%를, GPTZero는 38%~49%를 AI로 판정했습니다. 반면 동일한 감지기들이 2013~2015년에 작성된 원본 초록은 단 한 편도 감지하지 않았습니다. Turnitin은 이번 테스트 대상에 포함되지 않았습니다. 저자들은 "detector scores should not serve as standalone misconduct evidence." (감지기 점수를 단독 부정행위 증거로 삼아서는 안 됩니다.)라는 결론을 내렸습니다.

이 연구는 미국 노트르담 대학교의 네 명의 연구진이 작성한 "Why AI Detection Fails for Academic Integrity" (학술적 진실성에서 AI 감지가 실패하는 이유)라는 논문으로, 2026년 8월 6일 arXiv에 공개되었으며 ACM AI 리더십 정상회의(AILS '26) 발표를 위해 작성되었습니다.

이러한 문제를 다룬 연구는 이번이 처음이 아닙니다. 2025년 메릴랜드 대학교의 Saha와 Feizi가 Findings of ACL 2025에 발표한 연구에 따르면, 한 AI 모델을 통해 "only extremely minor edits" (극히 경미한 수정만 거쳤을 뿐인데도) 사람이 직접 작성한 샘플 중 Pangram에서는 42.56%, GPTZero에서는 64.71%가 각 감지기별로 설정된 기준값에 따라 AI로 감지되었습니다. 두 연구는 사용한 모델, 임계값, 텍스트가 모두 다르므로 수치를 직접 합산할 수는 없고 나란히 비교해야 하지만, 가리키는 방향은 동일합니다.

연구진은 화학, 컴퓨터 과학, 정치학, 신학의 네 가지 학문 분야에서 이미 출판된 논문의 영문 초록 642편을 수집했습니다. 이 중 306편은 ChatGPT와 같은 도구가 존재하기 전인 2013~2015년에 작성되었고, 336편은 2023~2025년에 작성된 것이었습니다.

각 초록은 Gemini 3 Flash를 통해 다시 작성되었습니다. 여기서 주목할 판본은 저자들이 "refine" (윤문)이라고 명명한 버전으로, 저자들은 이를 "a proxy for guideline-compliant AI assistance" (규정을 준수한 AI 지원을 가늠하는 대리 지표)로 간주했습니다. 모델에 입력된 프롬프트 지침은 다음과 같이 시작되었습니다.

"You are an expert scientist who excels in writing papers. Your task is to rewrite a given paper abstract to sound better and more human-like." (당신은 논문 작성에 뛰어난 전문 과학자입니다. 주어진 논문 초록을 더 훌륭하고 사람답게 읽히도록 다시 작성하는 것이 당신의 임무입니다.)

저자들은 이러한 작업이 어떤 종류의 수정을 만들어내는지에 대해 분명히 밝혔습니다. "Our refine prompt is closer to light generative rewriting than to grammar-only editing; assisted-writing flag rates should be read accordingly." (우리가 사용한 윤문 프롬프트는 단순 문법 수정보다는 가벼운 생성형 재작성에 가깝습니다. 따라서 AI 지원 작성물의 감지율도 이러한 점을 감안하여 해석해야 합니다.) 자신의 글 작성 과정과 비교하기 전에 이 점을 반드시 유념해 주십시오.

이후 모든 원본과 수정본은 Pangram 3.2와 GPTZero로 점수가 매겨졌습니다. 저자들이 공개한 코드에 따르면, GPTZero의 점수는 "AI" 범주에 속할 확률을 기준으로 삼았으며, 0.50 이상인 경우 모두 AI 감지로 처리되었습니다.

저자들 스스로 두 가지 주의점을 당부했습니다. 첫째, 2023~2025년 원본 초록에는 기록되지 않은 AI의 도움이 이미 개입되었을 가능성이 있으므로, 이 감지 결과들은 "not confirmed false positives" (확인된 위양성이 아닙니다). 둘째, 윤문된 버전은 순수한 인간 작성 텍스트와는 다릅니다. 논문에서는 윤문본의 감지율을 "must not be abbreviated as FPR" (FPR로 축약해서는 안 됩니다)라고 명시하고 있으므로, 본 글에서도 이를 위양성률이라고 부르지 않습니다. 이 수치가 측정하는 것은 사람이 직접 쓴 초록이 AI 윤문을 거친 후 얼마나 자주 AI로 감지되는가 하는 비율입니다.

임계값을 조정해도 결과의 큰 흐름은 바뀌지 않았습니다. 기준치를 0.4에서 0.6 사이로 두었을 때, Pangram은 2023~2025년 윤문본의 80%~85%를, GPTZero는 48%~49%를 AI로 감지했습니다.

2023~2025년 초록의 경우, 감지율은 연구 주제 및 학문 분야에 따라 크게 달라졌습니다.

수정을 거치지 않은 원본 초록에서도 이공계(STEM) 분야(화학 및 컴퓨터 과학)와 인문·사회 분야(정치학 및 신학) 간의 격차는 통계적으로 유의미했습니다. 저자들은 텍스트의 어떤 특징이 더 높은 감지 점수로 이어지는지도 측정했습니다. 가장 상관성이 높았던 두 가지 요인은 긴 단어의 비율과 학술 글쓰기에서 흔히 쓰이는 표준 어휘 목록인 Academic Word List 수록 단어의 비율이었으며, 상관계수는 약 0.30~0.35 수준이었습니다. 반면 숫자나 기타 알파벳이 아닌 기호의 비율이 높을수록 점수는 낮아졌습니다. 저자들은 이러한 결과에 대해 "associations are correlational and do not establish causal mechanisms." (이러한 연관성은 상관관계일 뿐이며 인과 메커니즘을 입증하지는 않습니다.)라고 명시했습니다.

이 측정값들은 Pangram과 GPTZero를 대상으로 한 것이며, Turnitin에 대한 측정 결과가 아닙니다. 잘 쓴 글이 AI 감지기에 걸리는 이유 글을 작성하며 조사했던 Turnitin의 AI 감지 관련 3개 도움말 페이지에서도 글의 완성도를 채점한다는 내용은 찾아볼 수 없었습니다. 두 연구와 조사는 서로 다른 도구를 다루고 있으므로 상충되지 않습니다.

연구 저자들은 논문의 한계를 직접 밝혔으며, 이 점들은 본인의 작업물에 이 결과를 적용해 볼 때 매우 중요합니다.

• 학생 에세이가 아닌 출판된 논문 초록을 분석했습니다. 저자들의 표현을 그대로 빌리면 다음과 같습니다. "We analyze English published abstracts, not student essays; detector behavior on classroom genres may differ." (본 연구는 학생 에세이가 아니라 출판된 영문 초록을 분석한 것이므로, 수업 과제 형식의 글에서는 감지기의 동작이 다를 수 있습니다.)
• Turnitin이 아닌 두 가지 상용 감지기만 테스트했습니다. 사용된 상용 감지기는 Pangram 3.2와 GPTZero였으며, 보조적인 AI 모델 기준선이 함께 사용되었습니다. 논문에서는 Turnitin을 일절 언급하지 않습니다. 또한 Pangram은 연구 이후 더 최신 버전을 출시했으므로, 현재 확인하는 Pangram 검사 결과는 당시와 동일한 모델에서 나온 것이 아닐 수 있습니다.
• 단 하나의 모델과 단 한 가지 방식의 윤문만 사용했습니다. 모든 재작성은 앞서 제시된 지침을 적용한 Gemini 3 Flash로만 진행되었습니다. 단순 맞춤법 및 문법 검수 수준의 교정은 별도로 테스트되지 않았습니다.
• 네 가지 학문 분야의 영어 텍스트만 다루었습니다. 이 연구에서 화학 분야의 감지율이 낮게 나왔다고 해서, 화학 전공 학생이 다른 감지기를 쓰거나 다른 유형의 글을 쓸 때도 안전하다는 뜻은 아닙니다.
• 논문의 감사의 글(acknowledgments)에 따르면, Pangram이 이번 연구를 위해 API 접근 권한을 제공했습니다.

논문에서는 AI 재작성본을 상용 휴머나이저로 처리하는 실험도 진행했는데, 그 결과 두 감지기 중 어느 쪽에서도 AI로 감지된 비율이 4% 미만으로 떨어졌습니다. 순수하게 문맥을 다듬은 정직한 윤문본의 감지율이 38%~80%에 달했다는 사실과 비교하면, 이는 감지기 점수만으로는 신뢰할 수 없다는 저자들의 주장을 뒷받침하는 또 다른 결정적 근거입니다. 저자들은 "Integrity programs therefore need transparent AI-use norms and process evidence, not standalone detector scores." (따라서 학술 진실성 프로그램에 필요한 것은 단독 감지기 점수가 아니라, 투명한 AI 사용 규범과 작성 과정에 대한 증거입니다.)라고 결론지었습니다.

1. 어떤 도구로 점수가 산출되었는지 먼저 확인하십시오. 점수가 Turnitin에서 나온 것이라면, 이 연구의 수치들은 Turnitin에 해당하는 내용이 아닙니다. 담당 교수자의 보고서에서 실제로 어느 부분이 강조 표시되었는지 면밀히 살펴보십시오.
2. 소속 기관의 규정이 무엇을 허용하는지 확인하십시오. 상당수 출판사의 정책은 단순 언어 윤문과 본문 내용 생성을 명확히 구분하며, 일부 출판사는 윤문 사실의 공개를 요구하기도 합니다. 이에 대한 자세한 내용은 주요 학술 출판사의 AI 공개 규정 가이드에서 비교해 두었습니다. 과제물의 경우에는 과제 안내서와 소속 대학의 정책이 최종 기준이 됩니다.
3. 윤문 전의 원본 버전을 반드시 보관하십시오. 논문에서 제시하는 실질적인 조언은 "Any flag must be paired with drafting history" (모든 AI 감지 의혹 제기는 초안 작성 이력과 함께 대조되어야 합니다.)라는 점입니다. 직접 쓴 문장과 버전 기록이 고스란히 남아 있는 초안이야말로 가장 확실한 입증 기록입니다.
4. 단순 백분율 수치에만 매몰되지 말고, 구체적으로 어떤 구절이 감지되었는지 확인하십시오. 그 구절들이야말로 어떻게 본인이 직접 작성했는지, 그리고 AI가 구체적으로 어떤 부분을 수정했는지 소명할 준비를 해야 하는 부분입니다.

Turnitin이나 iThenticate 보고서를 받았고 감지 표시된 부분을 다시 써야 한다면, 이것이 바로 HumanPen 도구의 휴머나이즈 기능이 수행하는 작업입니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 사용하기 전에 먼저 소속 강의의 AI 지원 규정을 확인하시고, 최종 제출 전에 반환된 결과물을 직접 꼼꼼히 읽어보십시오.

Grammarly를 사용하는 것도 이번 연구에서 다룬 AI 윤문에 해당합니까? 직접적으로 해당하지는 않습니다. 이 연구에서 진행된 윤문은 Gemini 3 Flash를 통한 전면 재작성이었으며, 저자들은 이를 "closer to light generative rewriting than to grammar-only editing" (단순 문법 교정보다는 가벼운 생성형 재작성에 가깝습니다)라고 설명했습니다. 철자 및 문법 교정만을 거친 경우는 별도로 테스트되지 않았습니다. 한편 Turnitin 측은 Grammarly의 철자, 문법, 구두점 수정 기능은 감지 대상으로 삼지 않는다고 별도로 밝힌 바 있습니다. 자세한 내용은 Turnitin이 Grammarly를 감지하는지 여부 글을 참고하십시오.

AI 사용 의혹을 받을 때 이 연구 결과를 소명 자료로 활용할 수 있습니까? 해당 감지기들이 사람이 직접 쓰고 AI로 윤문한 텍스트의 상당 부분을 AI로 감지한다는 점과, 저자들이 감지기 점수를 "should not serve as standalone misconduct evidence" (단독 부정행위 증거로 삼아서는 안 됩니다)라고 밝혔다는 일반적인 논거를 뒷받침할 수는 있습니다. 그러나 이 연구는 Turnitin이나 학생 에세이를 대상으로 하지 않았으며, 귀하의 글에 구체적으로 어떤 수정이 일어났는지를 증명해 줄 수는 없습니다. 그것을 증명해 주는 것은 오직 본인의 초안과 버전 수정 이력뿐입니다.

수정하지 않은 2013~2015년 초록은 0%인데 왜 2023~2025년 초록은 점수가 더 높게 나왔을까요? 논문에서도 그 명확한 원인을 단정 짓지 못하고 있습니다. 저자들의 표현에 따르면, 2023~2025년 구간의 데이터는 "cannot separate model vintage from unobserved real-world AI use on original abstracts" (언어 모델의 연대 차이로 인한 영향과, 원본 초록 작성 당시 관찰되지 않은 실제 AI 사용의 개입을 분리해 낼 수 없습니다)라는 한계가 있습니다. 이것이 바로 논문에서 해당 수치를 오탐이 아닌 감지율로 보고한 이유입니다.

GPTZero는 윤문된 텍스트에 다른 라벨을 부여합니까? GPTZero는 Mixed 결과 하위에 "AI Polished" (AI 윤문) 라벨을 두고 있으며, 이에 대한 상세한 의미는 GPTZero의 Mixed 및 AI-Polished 라벨 안내에서 정리해 두었습니다. 다만 저자들의 분석 코드에 따르면, 본 연구에서는 GPTZero의 "AI" 범주에 해당하는 확률값을 기준으로 삼았기 때문에, GPTZero가 AI Polished를 포함하여 Mixed로 분류한 텍스트라도 AI 범주 확률이 0.50 이상에 도달한 경우에만 최종 감지된 것으로 집계되었습니다.

• Jonathan A. Karr Jr., Grigorii Khvatskii, Ting Hua, Nitesh V. Chawla, Why AI Detection Fails for Academic Integrity, arXiv:2608.11256 (v1 2026년 8월 6일, v2 2026년 8월 20일), AILS '26; 2026년 9월 27일 확인 (표 1~6, 부록 A, B, D), 저자의 공개 코드 포함.
• Shoumik Saha, Soheil Feizi, Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing, Findings of ACL 2025 (arXiv:2502.15666); 2026년 9월 27일 확인.