챗봇은 사람이 쓴 글을 얼마나 자주 AI로 판정할까요? 15개 모델 대상 2026년 테스트

어떤 모델인지에 따라 크게 달라집니다. 2026년의 한 프리프린트 연구에서는 챗봇 배후에 있는 범용 AI 모델 15개를 대상으로, API를 통해 하나의 고정된 질문을 던져 사람이 작성한 1,000편의 글이 사람의 것인지 기계의 것인지 판단하도록 했습니다. 이전 세대(GPT-4o 및 기타 2024–25년 모델 4개)는 사람이 쓴 글 중 평균 36.5%에 대해 "기계"라고 답했습니다. 반면 최신 세대(GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview를 포함한 2026년 모델 8개)는 3.6%에 불과했으며, 개별 모델별로는 0.1%에서 8.6%까지 다양했습니다. 따라서 챗봇이 사람이 쓴 글을 "기계"라고 잘못 답하는 빈도는 모델에 따라 크게 좌우되며, 이번 테스트에서는 3분의 1 이상에서 거의 0에 이르기까지 편차가 컸습니다. 이러한 오판율은 방대한 텍스트 집합 전체를 설명하는 통계일 뿐 여러분의 에세이 한 편을 특정하는 것이 아니며, 챗봇의 답변 그 자체로는 증거가 될 수 없습니다. 테스트에 쓰인 텍스트는 학생 과제물이 아니었으며, 스크린샷만으로는 어떤 모델이 답변했는지, 어떤 방식으로 질문했는지조차 알 수 없기 때문입니다.

해당 연구는 켄트 대학교, 상하이 교통대학교, 버밍엄 대학교 소속의 Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li, Shujun Li가 작성한 "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (LLM을 활용한 LLM 생성 텍스트 탐지: 세대 간 분석)입니다. 2026년 9월 28일 arXiv에 공개되었습니다. 이 논문은 프리프린트이며 동료 평가(peer review)를 거치지 않았습니다.

연구진은 공개 연구용 데이터셋인 M4GT-Bench에서 사람이 작성한 텍스트 1,000편을 추출하는 것부터 시작했으며, 논문에서는 이를 "covering a broad range of topics, styles, and formats" (광범위한 주제, 문체, 형식을 포괄합니다)라고 설명하고 있습니다. 연구진이 공개한 파일을 직접 확인해 본 결과, 백과사전 항목, 사용 가이드, 포럼 답변, 연구 초록, 학술 논문 동료 평가서 등이 포함되어 있었습니다. 논문 어디에서도 이 텍스트들을 학생 과제물이라고 설명하지는 않았습니다. 또한 15개 모델은 각각 이에 상응하는 프롬프트(대부분 150~300단어를 요구함)를 바탕으로 1,000편씩의 텍스트를 작성했습니다.

그 후 각 모델이 차례대로 탐지기 역할을 맡았습니다. 모든 텍스트는 동일한 지시문과 함께 각 모델에 전달되었으며, 지시문은 "Please determine whether the following text is generated by large language models or by a human" (다음 텍스트가 대규모 언어 모델에 의해 생성되었는지 아니면 사람이 작성했는지 판단해 주십시오)이라는 문장으로 시작했습니다. 모델은 "human" 또는 "machine"으로 답하고 그 이유를 제시해야 했습니다. 이를 통해 총 233,000건 이상의 유효한 판정이 생성되었습니다.

연구진은 출시 시기를 기준으로 모델을 다음과 같이 세 세대로 나누었습니다:

• 가장 이전 세대(2023년~2024년 초): GPT-3.5 Turbo Instruct 및 Mixtral 8×22B Instruct.
• 이전 세대(2024–25년): GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B, 그리고 72B 파라미터 규모의 Qwen 모델(논문의 모델 표에는 Qwen2.5-72B Instruct로 기재되어 있으며 다른 곳에서는 Qwen2-72B로 표기되어 있습니다).
• 최신 세대(2026년): GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro, Kimi K2.6.

해당 모델들은 주로 OpenRouter 및 공급업체의 자체 API를 통해 테스트되었으며, 논문에서는 ChatGPT, Gemini, Claude 등의 공식 애플리케이션을 테스트했다고 언급하지는 않았습니다. 또한 구체적인 실행 날짜도 제시하지 않았습니다. 최신 세대 그룹을 두고 "at the time of our experiments" (본 실험 진행 당시) 기준 최신 모델이라고 표현하고 있으며, 2026년 9월 3일에 모델들의 기본 설정을 확인했다고 기록되어 있을 뿐입니다.

저희의 이전 글인 ChatGPT는 과연 AI 감지기일까요? 자체 분류기에 대해 OpenAI가 공개한 사실에서는 OpenAI가 2023년에 개발하고 성능을 측정한 뒤 배포를 중단했던 자체 분류기를 중심으로 다루며, 챗봇 모델에게 AI가 작성했는지 묻는 것은 진정한 의미의 탐지가 아니라고 설명해 드렸습니다. 다만 해당 글에서는 챗봇 모델이 실제로 이 작업을 수행했을 때의 실측 데이터까지는 인용하지 않았습니다. 이번 연구는 그 공백을 채워줍니다. 즉, 별도의 분류기보다 교사가 대화창에 과제물을 붙여넣는 상황에 더 가까운 API 환경에서(비록 완전히 동일하지는 않지만), 15개 챗봇 모델을 대상으로 해당 질문을 직접 테스트한 결과를 보여주고 있습니다.

각 수치는 해당 그룹에 속한 모델들의 평균값입니다. 마지막 열의 범위는 AI 텍스트를 어느 세대의 모델이 작성했는지에 따라 달라집니다.

세 세대의 모델들은 서로 다른 방식으로 오류를 범했습니다. 가장 이전 세대의 모델들은 대부분 "사람"이라고 답했기 때문에, 다음 세대 모델보다 사람의 글을 잘못 지목하는 빈도는 적었지만 AI 텍스트의 5분의 4 이상을 그대로 통과시켰습니다. 반면 이전 세대는 정반대의 경향을 보였습니다. AI 텍스트는 더 많이 잡아냈지만, 사람이 쓴 글의 3분의 1 이상을 기계가 작성했다고 오판했습니다. 최신 세대 그룹은 두 가지 오류 모두 낮은 수준을 유지했으나, 이전 세대의 AI 텍스트에 비해 2026년 모델이 작성한 AI 텍스트는 상대적으로 더 많이 놓쳤습니다(13.4%).

표의 첫 번째 행만 따로 떼어놓고 보면 함정에 빠지기 쉽습니다. 13%의 오경보율(false-alarm rate)은 36.5%보다 나아 보이지만, 이는 애초에 "기계"라는 답변 자체를 거의 하지 않는 모델들에서 나온 수치일 뿐입니다. 그 누구도 의심하지 않는 탐지기는 그 누구도 잡아낼 수 없습니다.

3.6%라는 평균치 이면에는 상당한 편차가 숨어 있습니다. 연구진이 공개한 결과 데이터에 따르면 동일한 1,000편의 사람이 작성한 텍스트에 대해 최신 세대 모델들이 기록한 오판율은 다음과 같습니다:

15개 모델 전체를 놓고 보면 오판율은 0.1%에서 55.3%까지 분포했으며, 가장 높은 수치를 기록한 것은 이전 세대의 Llama 3.3 70B였습니다. 이 논문의 핵심 결론은 더 광범위한 시사점을 던집니다. 즉, 탐지 성능은 "is primarily driven by detector capability rather than generator provenance" (텍스트의 생성 출처보다 탐지 모델의 역량에 주로 좌우됩니다)라는 점입니다. 어떤 모델이 글을 썼는지보다, 어떤 모델에게 물어보았는지가 훨씬 더 중요합니다.

이 표는 모델 간의 차이가 얼마나 큰지 보여줄 뿐이며, 여러분의 개별 사례에 그대로 대입할 수 있는 기준표는 아닙니다. 실제 챗봇 앱은 테스트된 버전과 다른 버전을 구동하고 있을 수 있고, 교수님이나 선생님이 입력한 질문 문구도 달랐을 가능성이 높으며, 각 모델은 텍스트당 단 한 번씩만 답변했기 때문입니다.

의혹을 제기하는 스크린샷에는 대체로 그 이유가 함께 적혀 있습니다. 구성이 너무 체계적이라거나, 내용이 지나치게 일반적이라거나, 문장이 너무 매끄럽다는 식입니다. 이번 연구에서는 모든 모델이 반드시 판정 이유를 제시하도록 했습니다. 연구진은 또 다른 AI 모델인 GPT-5.6 Sol을 사용해 이러한 설명 표본들을 나란히 비교 분석하도록 했으며, 그 결과 완전히 동일한 특징이 양방향의 주장에 모두 쓰이고 있음을 발견했습니다. 저자들의 설명에 따르면, 상세하고 일관된 글쓰기는 "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (어떤 탐지기에는 인간의 전문성을 보여주는 증거로 취급될 수 있지만, 다른 탐지기에는 틀에 박힌 LLM 생성물의 증거로 취급될 수도 있습니다).

연구진은 또한 이러한 설명들이 "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (결정이 어떻게 내려졌는지에 대한 정확하고 신뢰할 수 있는 설명이라기보다는 사후적 정당화에 불과할 수 있습니다)라고 경고합니다. 저자들이 동일한 설명을 대상으로 실시한 키워드 빈도 분석 역시 같은 결론을 가리켰으며, 연구진은 이러한 발견을 확인하기 위해 여전히 사람에 의한 추가 검증이 필요하다고 밝혔습니다. 만약 스크린샷에 여러분의 과제물이 명확한 구조와 매끄러운 전개를 지니고 있다고 적혀 있다면, 그것은 과제물의 특성을 묘사한 것일 뿐 그 글이 어디서 비롯되었는지를 증명하는 것은 아닙니다.

• 챗봇이 실제 학생 과제물을 어떻게 평가하는지 여부. 실험에 쓰인 사람이 작성한 텍스트 중 학생 과제물로 명시된 것은 전혀 없었으며, 분량도 양쪽 모두 짧았습니다. 저희가 확인한 바에 따르면 사람이 쓴 글의 중앙값은 233단어였고, AI 텍스트 역시 대부분 150~300단어를 요구하는 프롬프트로 생성되었습니다. 분량이 긴 에세이는 결과가 다르게 나올 수 있으며, 이 연구는 어느 방향으로 결과가 달라질지 짐작할 만한 근거를 제공하지 않습니다.
• 다시 질문했을 때 답변이 달라지는지 여부. 각 모델은 텍스트당 단 한 번씩만 판정을 내렸기 때문에, 동일한 챗봇에 다시 물었을 때 얼마나 자주 말이 바뀌는지에 대해서는 이 연구를 통해 알 수 없습니다.
• 결과의 타당성이 완전히 검증되었는지 여부. 이 논문은 프리프린트 상태이며, 저자들 스스로도 모델을 3개 세대로 분류한 기준이 "rather simplistic" (다소 지나치게 단순화되었습니다)라고 언급하고 있습니다.
• 내년에 등장할 새로운 모델들. 연구진이 처음에 고려했던 모델 중 상당수는 이미 서비스가 종료되었거나 사용이 중단되었으며, 이것이 가장 이전 세대에 모델이 2개만 남은 이유이기도 합니다. 본문의 수치들은 테스트된 15개 모델을 설명할 뿐, 향후 등장할 모델들에 대해서는 설명해 주지 못합니다.

1. 정확히 어떤 검사가 진행되었는지 확인하십시오. 정중하게 질문해 보시기 바랍니다. 어떤 챗봇을 사용했는지, 입력한 질문을 포함한 전체 대화 내용을 볼 수 있는지, 이것이 유일한 검사였는지 아니면 Turnitin 등 다른 보고서가 함께 있는지 물어보아야 합니다. 그 답변에 따라 여러분이 대응해야 할 방향이 완전히 달라집니다.
2. 소속 학과와 학교의 학칙을 확인하십시오. AI 사용 의혹을 어떻게 처리하는지, 무엇을 유효한 증거로 인정하는지 살펴보시기 바랍니다. 일부 대학은 교직원이 사용할 수 있는 탐지 도구를 제한하거나 탐지기 결과에 부여할 수 있는 증거 가치를 제한하고 있으며, AI 탐지 도구 사용이나 증거 채택을 제한하는 19개 대학의 공식 입장에서 해당 공식 규정 문구를 확인하실 수 있습니다. 챗봇이 이러한 규정의 적용을 받는지 여부는 소속 대학의 규정이 어떻게 작성되어 있는지에 따라 달라집니다.
3. 자신만의 작성 과정을 증거로 제시하십시오. 초안, 연구 노트, 참고한 원문 자료, 그리고 문서 파일 자체의 버전 기록을 확보하시기 바랍니다. 이를 내보내는 방법은 AI를 사용하지 않았음을 증명하는 방법: Word 및 Google Docs 버전 기록 활용법에서 자세히 다루고 있습니다. 자신의 논증을 어떤 단계를 거쳐 구축했는지 차근차근 설명할 수 있다는 점은 챗봇의 판정 결과로는 결코 보여줄 수 없는 강력한 증거입니다.
4. 이 연구를 인용할 때는 양쪽 측면을 모두 언급하십시오. "Chatbots are wrong a third of the time" (챗봇은 세 번 중 한 번꼴로 틀립니다)라는 말은 이전 세대 모델에만 해당하는 이야기입니다. 이번 테스트에서 최신 모델들은 사람이 작성한 글의 0.1%~8.6%만을 기계 작성물로 분류했지만, 이전 세대는 그보다 훨씬 높은 비율을 기록했습니다. 아울러 이러한 통계 비율은 수많은 텍스트 집합 전체를 설명하는 수치일 뿐 여러분의 에세이 단 한 편을 설명하는 것이 아니며, 이는 대학이 75,000편의 과제물을 제출할 때 1%의 위양성률이 무엇을 의미하는가에서 설명해 드린 핵심 원리이기도 합니다.
5. 또 다른 스크린샷으로 반박하지 마십시오. 다른 챗봇이 "사람"이라고 판정한 결과 역시 위에서 언급한 모든 한계를 그대로 안고 있습니다. 여러분이 직접 작성한 초안은 글이 실제로 어떻게 쓰였는지를 보여주는 확실한 증거이지만, 또 다른 챗봇의 의견은 결코 증거가 될 수 없습니다.

챗봇의 답변은 정식 보고서가 아니며 특정 구절이 표시되어 나오지도 않습니다. 또한 이미 의혹을 받고 있는 과제물을 다시 수정해 제출한다고 해서 문제가 해결되지는 않습니다. HumanPen의 휴머나이즈(humanize) 기능은 전혀 다른 상황을 위해 설계되었습니다. 즉, 아직 제출하지 않은 초안이 있고, 해당 초안에 대한 Turnitin 또는 iThenticate 보고서를 보유하고 있으며, 담당 수업에서 도구를 활용한 문장 수정을 허용하는 경우입니다. 마지막 조건에 대해서는 먼저 소속 수업의 학칙을 확인하시기 바랍니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요.

그렇다면 이제 ChatGPT가 AI가 작성한 글을 구별해낼 수 있다는 뜻인가요? 이번 연구 결과만으로는 그렇게 단정할 수 없습니다. 논문에서 설명하는 실험은 ChatGPT 공식 앱이 아닌 API를 통해 진행되었으며, GPT-5.5를 비롯한 15개 모델에 동일한 단 하나의 고정된 질문을 입력했습니다. 이러한 환경에서 최신 모델들은 사람이 작성한 글의 평균 3.6%를 오판했으며, AI가 작성한 텍스트의 경우 작성된 세대에 따라 6.1%~13.4%를 놓쳤습니다.

최신 챗봇일수록 항상 더 신뢰할 수 있나요? 꼭 그렇지는 않습니다. 이전 세대 모델들은 가장 오래된 세대 모델보다 사람이 쓴 글을 "기계"라고 잘못 분류한 비율이 더 높았습니다(13.0% 대비 36.5%). 또한 이전 세대 모델 중 하나인 Qwen 72B의 경우 사람이 작성한 글에 대한 오판율이 4.4%로, 최신 세대 모델 3종(Claude Opus 4.7 6.1%, MiMo-V2.5-Pro 7.9%, DeepSeek-V4-Pro 8.6%)보다 낮았습니다. 다만 이는 해당 모델이 거의 매번 "사람"이라고 답변했기 때문에 나타난 결과였습니다.

이 연구는 동료 평가(peer review)를 거쳤나요? 아닙니다. 2026년 9월 28일 arXiv에 프리프린트로 게재되었습니다. 저자들은 실험에 사용된 전체 텍스트와 프롬프트, 각 모델의 원시 답변 데이터 및 분석 코드를 모두 공개했습니다.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li, Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, 2026년 9월 28일 제출 (프리프린트, 동료 평가 미완료); 2026년 10월 2일 열람 (표 1 및 5, 섹션 3, 4, 5, 부록 A.2 및 A.3).
• 저자 공개 데이터 및 연구 결과, GitHub hyyuan/detect-llm-generated-texts: 모델별 오판율 출처 `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, 사람 작성 텍스트 출처 `dataset/human-generated-text/human.json`; 2026년 10월 2일 열람.