영어가 모국어가 아니면 AI 감지기에 적발될까요? GPTZero의 '914편 중 0건' 테스트가 보여주는 사실

두 감지기와 특정 유형의 에세이에 한정해 보면 최신 수치는 매우 낮습니다. GPTZero는 자체 훈련에 사용되지 않은 테스트 세트에서 자사의 최신 모델인 GPTZero 4o가 영어 학습자가 작성한 914편의 에세이를 모두 사람이 작성한 글로 판정했다고 밝혔습니다. 같은 날 메릴랜드 대학교, Google DeepMind, 사이먼 프레이저 대학교 연구진이 발표한 프리프린트에서는 Pangram 4를 사용해 영어 학습자의 에세이 3,909편을 검사한 결과 AI로 적발된 비율이 0.0%였다고 보고했습니다. 두 데이터 세트 모두 미국 중·고등학생이 작성한 글이며, 두 연구 모두 Turnitin을 테스트하지는 않았습니다.

'0'이라는 수치는 이면에 담긴 단서 조항과 함께 해석해야 합니다. GPTZero의 테스트는 자사가 직접 수행하고 공개한 것이며, 914편 중 0편이라는 결과는 실제 오탐률이 최대 약 300분의 1에 달할 수 있다는 점과도 부합합니다. 또한 이러한 결과가 애초에 불안을 촉발했던 2023년 스탠퍼드 대학교 연구를 무효화하는 것도 아닙니다. 해당 연구에서는 2023년 3월 당시 서비스 중이던 GPTZero가 91편의 토플 에세이 중 52%를 AI로 적발했으며, 이 에세이들은 모두 150단어 미만이었습니다. 사용된 모델과 에세이 종류, 분량이 모두 다르므로 두 결과가 서로 모순되는 것은 아닙니다. 다만 어느 쪽 연구도 여러분이 작성하신 에세이에 대해 어떤 보장도 해줄 수 없습니다.

해당 글은 2026년 10월 5일 GPTZero 블로그에 게시된 Anna Gao의 글 "Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test" (ESL 학생 및 장애 학생에게 편향되었을까? GPTZero 4o를 직접 검증해 보았습니다)입니다. GPTZero는 9월 24일에 4o를 발표했으며, 9월 20일부터 모든 사용자를 위한 기본 모델로 적용되었다고 밝혔습니다.

해당 에세이들은 자동 글쓰기 피드백 개선을 위해 구축된 연구용 말뭉치인 PERSUADE 2.0에서 가져온 것입니다. 여기에는 미국 6~12학년 학생들이 작성한 25,000편 이상의 논증형 에세이가 수록되어 있습니다. 각 에세이에는 작성자가 영어 학습자로 분류되었는지, IEP(개별화 교육 프로그램) 또는 504조 계획(장애 학생을 위한 미국 학교 지원 계획) 대상자인지 여부를 포함한 작성자 정보가 포함되어 있습니다. 버전 2.0은 PERSUADE 1.0으로 처음 공개된 에세이에 점수를 추가한 것입니다. 1.0 버전은 단어 수가 최소 150단어 이상이고 단어의 75% 이상이 올바르게 철자된 에세이만을 선별해 수록했으며, 평균 단어 수는 402단어입니다. PERSUADE 1.0은 OpenAI가 ChatGPT를 공개한 2022년 11월 30일 이전인 2022년 10월에 학술지에 발표되었으므로, 이 에세이 중 ChatGPT를 이용해 작성된 글은 존재할 수 없습니다.

GPTZero는 자체 설명에 따른 "PERSUADE2.0's official held-out test split, which GPTZero 4o was not trained on." (GPTZero 4o 훈련에 사용되지 않은 PERSUADE 2.0의 공식 보류 테스트 세트)에서 에세이를 채점했습니다. 여기에는 영어 학습자가 작성한 914편과 IEP 또는 504조 계획 대상 학생이 작성한 1,172편이 포함되어 있었으며, 147편은 두 그룹 모두에 해당했습니다. GPTZero 4o는 이 에세이 전체를 사람이 작성한 글로 판정했습니다. 공개된 차트에서 영어 학습자의 에세이 914편은 모두 '인간 작성 확률' 척도의 맨 위 단일 막대에 배치되었으며, 두 그룹에 모두 속한 147명 학생의 최저 점수는 0.997이었습니다.

해당 글에서 밝히지 않은 두 가지 사실이 있습니다. 첫째, 에세이가 '사람이 작성한 글'로 간주되는 기준 점수를 제시하지 않았습니다. 둘째, PERSUADE의 나머지 데이터가 4o 모델 훈련에 사용되었는지 여부를 밝히지 않았습니다. 그 훈련 데이터 부분은 Kaggle 데이터 과학 경진대회인 Feedback Prize 2021 이후 공개되어 왔으며, 테스트 세트와 마찬가지로 미국 6~12학년 학생들의 논증형 에세이 말뭉치에서 비롯되었습니다. 따라서 이 보류 테스트 세트는 유사한 성격의 에세이에 대해서는 타당한 검증이 될 수 있지만, 대학교 실험 보고서에 대해서는 검증력이 훨씬 약합니다.

또한 이번 테스트는 GPTZero가 직접 선택한 데이터 세트로 자사 제품을 자체 테스트하여 자체 블로그에 게시한 것이며, 코드나 평가된 에세이에 대한 링크는 제공되지 않았습니다. 그렇다고 해서 수치가 틀렸다는 뜻은 아닙니다. 여러분이 접하고 계신 정보가 자사 제품에 대한 기업 측의 설명이라는 의미이며, GPTZero 스스로도 이번 결과를 "a great milestone; however, it is not a finish line." (대단한 이정표이지만 종착점은 아닙니다)라고 평가했습니다.

914편 중 0편이라는 결과는 단순한 건수일 뿐, 정확한 비율을 확정하지는 못합니다. 914편의 에세이에서 오탐이 전혀 나오지 않았더라도, 실제 오탐률은 최대 약 0.33%(약 300편 중 1편)에 달할 수 있습니다. 이는 914번의 시도에서 특정 사건이 0회 발생했을 때 통상적으로 계산되는 95% 신뢰구간 상한값입니다. 매우 낮은 수치이기는 하지만, 결코 0은 아닙니다.

두 번째 한계는 덜 명확하게 드러나는 부분입니다. GPTZero의 4o 출시 게시물에서는 PERSUADE 테스트 세트에서 "only 1 false positive out of 10,402 essays" (10,402편의 에세이 중 오탐은 단 1건)이었다고 보고했습니다. 해당 테스트 세트의 전체 에세이 수가 10,402편이므로, 이번 914편 역시 동일한 데이터 세트에서 나온 것입니다. 저희의 계산에 따르면, 영어 학습자가 다른 작성자와 완전히 동일한 빈도로 적발된다고 가정할 경우 914편 중 예상 오탐 건수는 약 0.09건에 불과하며, 이는 거의 매번 0건으로 관측됨을 의미합니다. 설령 학습자가 다른 학생보다 10배 더 자주 적발된다 하더라도, 10번 중 최소 4번은 여전히 0건으로 관측될 수 있습니다.

따라서 914편 중 0편이라는 결과만으로는 영어 학습자와 다른 학생들이 동등하게 취급받는지를 입증할 수 없습니다. 이 정도 규모의 테스트로는 두 상황을 통계적으로 구별해낼 수 없기 때문입니다. 이 결과가 실제로 보여주는 것은, 적어도 해당 에세이들에 대해서는 영어 학습자를 포함한 모든 작성자의 오탐률이 매우 낮았다는 사실입니다.

두 번째 수치는 2026년 10월 5일 arXiv에 게시된 Rishanth Rajendhran과 7명의 공동 저자가 발표한 프리프린트 논문 "IdeaLens: Detecting AI Ideas in Long-form Writing" (IdeaLens: 장문 글쓰기에서 AI 아이디어 감지)의 부록에 수록되어 있습니다. 이 논문은 주로 저자들이 직접 개발한 연구용 감지기를 다루고 있습니다. 상용 감지기인 Pangram 4는 사람이 작성한 19개의 일반 텍스트 세트 전반에서 비교 대상으로 사용된 도구 중 하나였습니다. 해당 테스트는 Pangram 측이 직접 수행한 것은 아닙니다. 저자들은 연구 크레딧을 지원해 준 Pangram 측에 감사를 표하고 있으며, 이 논문은 아직 동료 평가를 거치지 않았습니다.

이 19개 세트 중 하나가 바로 미국 8~12학년 영어 학습자가 작성한 약 6,500편의 에세이 말뭉치인 ELLIPSE입니다. 각 에세이는 미국 주 전역 연례 학업 성취도 평가 중에 컴퓨터로 25~30분 동안 작성되었습니다. 훈련받은 채점관들이 모든 에세이의 영어 숙련도를 1점에서 5점까지 평가했으며, 1점은 제한적인 능력을, 5점은 "native-like facility" (원어민 수준의 유창성)를 의미합니다. 해당 논문에서는 이 중 3,909편을 활용했습니다. 저희가 확인한 결과, 이 수치와 학년별·점수별 분포는 해당 말뭉치의 공개 훈련 데이터 파일(해당 파일에는 3,911편 수록)과 1~2편 오차 범위 내에서 일치했습니다. 3,909편 중 약 70%는 500단어 미만입니다.

저자들은 Pangram이 산출한 AI 비율에 'AI 지원' 비율의 절반을 더한 값이 최소 절반 이상일 때 해당 텍스트를 AI로 판정했습니다. 이 기준에 따랐을 때 Pangram은 3,909편 중 0.0%만을 적발했습니다. 이 수치는 소수점 첫째 자리까지 반올림된 것이므로, 적발된 에세이가 기껏해야 1편임을 의미합니다. 저자들이 공개한 결과 파일에 따르면 모든 숙련도 구간에서도 0.0%로 나타났습니다. 다만 구간별 분포는 고르지 않아서 가장 낮은 등급은 8편, 가장 높은 등급은 28편에 불과한 반면, 2·3·4등급에는 각각 1,000편 이상이 포함되어 있었습니다.

여기에서는 기준율과의 비교가 실제로 유효한데, 동일한 논문에서 일반적인 인간 작성 텍스트 전반에 대한 Pangram의 성능도 보고하고 있기 때문입니다. 19개 평가 세트 전체의 평균을 내면 Pangram은 사람이 작성한 문서의 0.3%를 적발했습니다. 이 평균치는 주로 두 개 세트, 즉 인간 작성 텍스트의 혼합 벤치마크와 연구 제안서에 대한 전문가 심사평 세트에서 기인한 것입니다. ELLIPSE를 포함한 19개 세트 중 15개 세트에서는 0.0%를 기록했습니다. 다른 세트들은 동료 심사평부터 웹 페이지까지 다양하므로, 이는 학습자를 원어민 급우와 직접 비교한 것이 아니라 인간의 글쓰기 전반에 대한 Pangram의 탐지 경향과 비교한 것입니다. 이는 이번 두 가지 신규 테스트 중 '영어 학습자가 다른 작성자보다 더 자주 적발되는가'라는 질문에 가장 근접한 답을 제시합니다. 적어도 Pangram과 이들 에세이에 대해서는 그렇지 않았습니다.

이 표는 순위표가 아닙니다. 각 행은 서로 다른 감지기 또는 서로 다른 버전을 나타내며, 저마다 'AI로 적발됨'에 대한 기준이 다르고 평가 대상 작성자도 다릅니다. 첫 번째 행의 단어 수는 스탠퍼드 연구진이 코드와 함께 공개한 에세이를 바탕으로 저희가 직접 측정한 수치입니다. 해당 연구에 대한 분석은 영어가 모국어가 아닌 작성자가 AI 감지기에 더 자주 적발되는 이유에서 다루었으며, Turnitin의 평가는 Turnitin의 영어 학습자 대상 편향 자체 평가 분석에서 살펴보았습니다. Turnitin 행은 2023년 당시의 모델을 설명한 것이며, Turnitin은 그 이후 감지기를 교체했습니다.

현재의 증거만으로는 그렇게 단정할 수 없습니다. 2026년의 수치는 실제 측정값이지만, 일반적인 '영어 학습자' 전체 집단보다 훨씬 좁은 범위의 상황만을 다루고 있습니다.

• 분량. 스탠퍼드 연구의 데이터 세트에 포함된 에세이는 모두 150단어 미만이었습니다. Turnitin의 2023년 자체 테스트에서는 150~300단어 텍스트에서 학습자와 원어민 작성자 간의 오탐 격차가 벌어지는 것으로 나타났습니다. 이번 두 가지 신규 데이터 세트는 대체로 이보다 훨씬 긴 글입니다. PERSUADE 에세이는 평균 402단어이며, ELLIPSE 에세이의 30%는 500단어 이상입니다. 2023년의 충격적인 수치를 낳았던 극도로 짧은 글은 2026년 테스트에서 측정한 대상이 아니었습니다.
• 작성자의 학업 수준. 두 신규 데이터 세트 모두 중·고등학생의 작문입니다. Turnitin의 2023년 학습자 텍스트는 실제로 대학 수준 학습자의 글이었습니다(데이터 세트 표에서는 두 학습자 말뭉치를 모두 "higher ed" (고등교육)로 분류하고 있습니다). 그러나 Turnitin 자체 설명에 따르면 이 글들은 대부분 짧은 설득문이나 설명문 과제였으며, 300단어 이상 그룹에 속한 원어민 작성자는 거의 전원이 미국 중·고등학생이었습니다. Turnitin은 또한 다음과 같이 기술했습니다: "A comparable collection of publicly available full-length university level documents from L2 and L1 writers was not available for this evaluation." (이번 평가에서는 제2언어 및 제1언어 작성자가 작성한, 공개적으로 이용 가능한 비교 가능한 대학 수준의 전문 문서를 확보할 수 없었습니다).
• 영어 실력이 가장 취약한 작성자의 표본 부족. PERSUADE는 철자 오류가 너무 많은 에세이를 제외했으며, ELLIPSE에서 숙련도가 가장 낮은 등급의 에세이는 8편에 불과합니다.
• Turnitin의 현주소. Turnitin의 AI 감지 FAQ에 따르면 2026년 7월에 다중 모델 앙상블을 단일 모델로 통합했다고 밝혔으며, 편향 문제에 대한 답변에서는 훈련 데이터 선별 방식만을 서술할 뿐 구체적인 수치는 제시하지 않았습니다. 해당 FAQ 본문에서 "English learner", "ESL", "L2", "native"라는 단어는 각각 0회 등장하며, "second language"라는 표현이 4회 언급되지만 구체적인 수치는 수반되지 않았습니다.
• 소프트웨어 버전. GPTZero 4o는 9월 20일에야 기본 모델로 적용되었습니다. 논문에서도 Pangram이 해당 에세이들을 정확히 언제 채점했는지는 밝히지 않았습니다. 두 감지기 모두 향후 계속 업데이트될 예정입니다.

헤드라인보다 공정하게 내릴 수 있는 요약은 훨씬 좁은 범위에 해당합니다. 2026년 가을 기준, 두 감지기는 미국 중·고등학교 학습자가 작성한 수백 단어 분량의 에세이에 대해 거의 AI로 판정하지 않았다는 점입니다.

1. 어떤 감지기가 언제 사용되었는지 확인하십시오. 이번 수치들은 GPTZero 4o와 Pangram 4에만 적용되는 내용입니다. 학교에서 Turnitin을 사용하거나, 2026년 9월 20일 이전에 GPTZero로 검사를 진행했다면 이번 결과가 적용되지 않습니다.
2. 단순한 판정 결과나 퍼센티지만 보지 말고 전체 보고서를 요청하십시오. 어느 구절이 강조 표시되었는지, 점수가 구체적으로 몇 점인지 직접 확인해야 합니다.
3. 적발된 글이 짧은 분량이라면 이 점을 적극적으로 언급하십시오. 기존 연구들은 주로 짧은 글에서 오탐 문제를 발견했으며, Turnitin의 자체 보고서도 산문 본문이 300단어 미만인 경우 AI 백분율을 표시하지 않습니다. 짧은 토론 게시글에 대한 적발 판정은 완성된 에세이 한 편에 비해 훨씬 적은 텍스트 분량을 근거로 삼고 있습니다.
4. 초안과 작성 기록을 반드시 보관하십시오. 이전 버전의 초안, 메모, 참고 문헌 자료, 버전 기록이야말로 여러분의 에세이를 증명할 수 있는 실질적인 증거입니다. 다른 사람들의 에세이를 대상으로 한 통계 수치는 여러분의 증거가 될 수 없습니다. Word, Google Docs, Overleaf에서 버전 기록을 남기는 방법에서 실제로 작성 기록이 보존되는 설정법을 확인하실 수 있습니다.
5. 연구 결과를 인용할 때는 정확하게 인용하십시오. 만약 GPTZero에 의해 적발되었다면, GPTZero가 공개한 자체 테스트에서 영어 학습자의 에세이 914편을 모두 인간 작성으로 판정했다는 사실을 언급하는 것은 타당합니다. 다만 이를 결정적 증거가 아니라 소명 초안을 직접 검토해 달라는 설득의 근거로 제시하십시오. 중·고등학생 에세이 914편을 테스트한 결과가 여러분의 에세이에 일어난 일을 완벽히 대변할 수는 없습니다.

이번 결과가 Turnitin이 제 에세이를 적발하지 않는다는 의미인가요? 이번 연구들로는 알 수 없습니다. Turnitin의 2023년 자체 평가에서는 300단어 이상의 영어 학습자 텍스트 중 1.4%가 적발되어 원어민 작성자의 1.3%와 근접한 결과를 보였으나, 해당 모델은 이후 교체되었으며 현재 FAQ에서는 영어 학습자에 대한 구체적인 수치를 일체 제공하지 않고 있습니다.

대학생인데, 이 결과가 제게도 적용되나요? 관련성은 매우 제한적입니다. 2026년 발표된 두 데이터 세트는 모두 미국 중·고등학생의 작문입니다. PERSUADE는 수업 과제물이고, ELLIPSE는 25~30분 동안 치러진 시험 에세이였습니다. 반면 대학교의 문헌 검토(리터러처 리뷰)는 훨씬 길고 전문적이며 몇 주에 걸쳐 작성됩니다. 현재 가장 유사한 데이터는 학습자 텍스트가 대학 수준 작성자로부터 수집된 Turnitin의 2023년 평가이지만, 이 역시 대부분 짧은 작문 과제였습니다. 당시 300단어 이상 텍스트의 1.4%가 적발되었으나, 해당 모델은 이후 Turnitin에 의해 교체되었습니다.

AI 감지를 피하기 위해 영어를 더 단순하게 쓰거나, 반대로 더 화려하게 써야 할까요? 이번 연구 결과에서는 그러한 방향성을 전혀 뒷받침하지 않습니다. Pangram 테스트에서는 각각 1,000편이 넘는 숙련도 2, 3, 4등급 에세이가 모두 0.0%로 나타났으며, 저자들의 결과 파일에 기록된 문법 및 어휘 점수 구간 전반에서도 동일한 결과가 관찰되었습니다. 이는 단 하나의 감지기에 대한 결과이지만, 본인 본연의 어조가 아닌 부자연스러운 문체로 글을 작성할 이유는 전혀 없음을 보여줍니다.

장애를 가진 학생의 경우는 어떤가요? 동일한 GPTZero 게시글에서는 4o 모델이 IEP 또는 504조 계획을 가진 학생들이 작성한 1,172편의 에세이를 모두 사람이 작성한 글로 판정했다고 밝혔습니다. 하지만 동일한 주의점이 적용됩니다. 제조사의 자체 테스트라는 점, 중·고등학생 에세이라는 점, 그리고 0건이라는 수치에도 여전히 미세한 실제 오탐률의 가능성이 열려 있다는 점입니다.

• Anna Gao, Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test, GPTZero, 2026년 10월 5일 (본문 및 해당 페이지 이미지 5건); GPTZero 팀, Introducing GPTZero 4o, 2026년 9월 24일; 모두 2026년 10월 7일 확인.
• Rishanth Rajendhran, Minjoon Choi, Jenna Russell, Ramya Namuduri, Deniz Bölöni-Turgut, Marzena Karpinska, John Wieting, Mohit Iyyer, IdeaLens: Detecting AI Ideas in Long-form Writing, arXiv:2610.06778v1, 2026년 10월 5일 (부록 E.3, G.1절, 표 17) 및 저자들의 ELLIPSE 결과 파일; 2026년 10월 7일 확인.
• Scott Crossley 및 연구진, A large-scale corpus for assessing written argumentation: PERSUADE 2.0, Assessing Writing 61 (2024), 프리프린트; The persuasive essays for rating, selecting, and understanding argumentative and discourse elements (PERSUADE) corpus 1.0, Assessing Writing 54 (2022); 2026년 10월 7일 확인.
• Scott Crossley 및 연구진, The English Language Learner Insight, Proficiency and Skills Evaluation (ELLIPSE) Corpus, International Journal of Learner Corpus Research 9(2), 2023, 프리프린트 및 말뭉치 파일; 2026년 10월 7일 확인.
• OpenAI, ChatGPT: Optimizing Language Models for Dialogue, 2022년 11월 30일 (2022년 12월 2일 인터넷 아카이브 보존본); 2026년 10월 7일 확인.
• Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, GPT detectors are biased against non-native English writers, arXiv:2304.02819v3 (그림 1a 및 연구 재료와 방법; Patterns에 2023년 정식 게재) 및 저자들의 데이터 리포지토리; 2026년 10월 7일 확인.
• David Adamson, New research: Turnitin's AI detector shows no statistically significant bias against English Language Learners, Turnitin, 2023년 10월 26일 (본문 및 결과 표 이미지); Turnitin, AI writing detection capabilities FAQs 및 Using the AI Writing Report; 2026년 10월 7일 확인.