일부러 오타를 넣으면 AI 감지 점수가 낮아집니까?

결과는 탐지기에 따라 다르며, 연구 결과 역시 상반된 방향을 가리킵니다. 한 대규모 벤치마크에서는 흔한 철자 오류를 추가해도 4개 상용 탐지기의 감지율에 거의 변화가 없었습니다. 반면 다른 연구에서는 짧은 텍스트에 무작위 오타 몇 개를 넣었더니, 테스트한 대다수 연구용 탐지기의 성능이 무작위 추측보다 못한 수준으로 떨어졌습니다. 두 연구 모두 Turnitin을 테스트하지 않았으며, Turnitin 측에서도 이 문제에 관해 공식 발표한 내용을 찾을 수 없었습니다. 탐지기와 무관하게 분명한 것은 그 대가입니다. 오류는 과제물에 고스란히 남고, 점수를 매기는 채점관은 그 오류를 빠짐없이 읽게 됩니다.

일부 학생들은 이 방법이 효과가 있었다고 말합니다. 아래에 인용된 한 학생도 점수가 떨어졌다고 밝히면서, 바로 다음 문장에서 자신이 치러야 했던 대가를 털어놓았습니다. 이 글에서 다루고자 하는 내용이 바로 이러한 대가입니다.

두 연구는 모두 전산언어학학회 연례 학술대회인 ACL 2024에 발표되었습니다.

RAID는 저자들이 동종 최대 규모라고 설명하는 벤치마크입니다. 11개 언어 모델이 8개 작문 영역에 걸쳐 생성한 509,014개의 AI 텍스트를 대상으로, 11가지 의도적 변조를 가하기 전후를 12개 탐지기를 통해 측정했습니다. 이 연구의 철자 오류 공격은 실제 사람이 저지르는 실수처럼 보이도록 설계되었습니다. 연구진은 위키백과 목록에서 흔한 철자 오류 사전을 구축하고, "to minimize suspicion from human readers" (인간 독자의 의심을 최소화하기 위함이었습니다)라는 목적으로 사전에 있는 단어만 수정했으며, 이를 조건을 충족하는 단어의 20%에 적용했습니다.

연구진은 각 탐지기가 인간이 작성한 텍스트의 5%를 잘못 감지하도록 임계값을 설정했는데, 이는 해당 제품들의 기본 설정과 반드시 일치하지는 않습니다. 이 임계값에서 4개 상용 탐지기가 여전히 잡아낸 AI 작성 텍스트의 비율은 다음과 같습니다.

12개 탐지기 모두 감지율이 다소 하락했습니다. 가장 큰 폭으로 하락한 두 모델은 각각 15.3포인트와 17.2포인트 떨어졌으며, 둘 다 2019년에 출시된 언어 모델인 GPT-2의 출력물로 학습된 오픈소스 모델이었습니다. 전체 데이터는 논문 부록의 표 16에 나와 있습니다.

같은 학술대회에서 발표된 두 번째 연구인 Stumbling Blocks는 흔한 철자 오류 사전 대신 평균 약 110개 토큰의 텍스트에 타이핑 오타(글자 삽입, 누락, 대체 또는 순서 뒤바꿈)를 적용하여 오픈소스 및 연구용 탐지기를 테스트했습니다. 저자들은 텍스트당 문자 몇 개를 편집한 것만으로도 "degrade the performance of most detectors to be worse than random" (대부분의 탐지기 성능을 무작위 예측보다 나쁜 수준으로 떨어뜨렸습니다)에 충분했다고 밝혔습니다. 몇몇 탐지기는 양호한 성능을 유지했습니다. 상용 탐지기는 테스트되지 않았습니다.

두 연구의 결과가 다른 이유는 탐지기, 오타의 유형, 텍스트 길이가 모두 다르기 때문입니다. 어느 연구도 귀하의 학교에서 사용하는 탐지기에서 어떤 결과가 나올지는 알려주지 못하며, 두 연구에는 공통된 두 가지 한계가 있습니다.

• 두 연구 모두 Turnitin을 테스트하지 않았습니다. 두 논문 어디에도 Turnitin에 대한 언급은 없습니다.
• 오타가 인간이 작성한 글에 어떤 영향을 미치는지는 두 연구 모두 보고하지 않았습니다. RAID의 공개 데이터에는 동일한 철자 오류가 추가된 인간 작성 텍스트가 포함되어 있지만, 논문에서는 AI가 생성한 텍스트에 대한 탐지기 결과만 보고했습니다. 만약 감지기에 걸린 과제물이 직접 작성한 글이라면, 이 수치들은 귀하의 상황을 대변하지 못합니다.

RAID에서 12개 탐지기 전체의 평균 점수를 가장 크게 변화시킨 변조는 오타가 전혀 아니었습니다. 바로 다른 알파벳에서 모양이 똑같아 보이는 문자로 글자를 치환하는 수법이었습니다.

Turnitin의 Similarity Report에는 정확히 이 문제를 잡아내기 위한 별도의 Flags(플래그) 탭이 있습니다. 텍스트를 비교하기 전에 치환된 글자를 원래대로 되돌린 다음, 검토자에게 "replaced characters" (대체된 문자)로 표시합니다. 이와 관련된 공식 문서는 Similarity Report의 무결성 플래그에서 자세히 설명해 두었습니다. 이러한 방식으로 탐지기를 우회할 수 있다고 장담하는 도구는 교수가 열어보는 보고서에 바로 그 플래그를 남길 가능성이 높습니다.

2026년 3월 r/Professors에 올라온 한 게시글은 약 700개의 추천과 200개 이상의 댓글을 기록하며 양측의 입장을 한곳에 보여주었습니다.

그 글에서 한 학생은 과제마다 연달아 AI로 표시되자 자신이 바꾼 작성 방식을 설명했습니다. 문장 길이를 다양하게 조절하고, "like i'm sending an email to a friend" (친구에게 이메일을 보내는 것처럼 썼습니다)처럼 글을 썼으며, "to leave a typo here and there and suddenly my ai score drops." (여기저기 오타를 남겨 두었더니 갑자기 AI 점수가 떨어졌습니다)라고 밝혔습니다. 그러고는 "i absolutely hate the papers i'm producing now." (지금 제가 써내는 과제물들이 정말 너무 싫습니다)라고 덧붙였습니다. 2026년 8월 아테네오 데 마닐라 대학교 (Ateneo de Manila University) 서브레딧 게시글에서는 또 다른 학생이 "i sometimes have to make my work sound stupid (sometimes i add 1 grammatical error) just so that i wont get flagged" (단지 표시되지 않으려고 때로는 글이 멍청해 보이도록 써야 합니다 [가끔 문법 오류 1개를 넣기도 합니다])라고 적었습니다. 저희가 그 점수들을 직접 확인할 수는 없습니다. 이는 주관적인 경험담일 뿐이며 정밀한 측정 결과는 아닙니다.

동일한 r/Professors 게시글에서 교수들은 이러한 절충의 반대편 상황을 지적했습니다. 한 교수는 "Inserting mistakes would just result in a lower mark obviously." (오류를 넣으면 당연히 점수만 깎일 뿐입니다)라고 적었습니다. 또 다른 교수는 한 학생의 철자 오류가 "were not normal mistakes a native or fluent speaker would ever make" (원어민이나 유창한 구사자가 저지를 만한 정상적인 실수가 아니었습니다)라고 설명하며, "cynicism" (냉소주의) 대신 "sinacism"이라고 잘못 쓴 사례를 들었습니다.

결국 감지 점수는 다소 변할지 몰라도 과제물의 질은 확실히 나빠집니다. 맞춤법과 문법이 채점 항목에 포함되어 있다면 일부러 만든 오류로 인해 감점을 당하게 되며, 부자연스러운 오류는 채점관의 의심을 불러일으킬 뿐입니다. 과제 채점 기준표(rubric)를 확인해 보십시오. 맞춤법, 문법, 표기 규범에 관한 항목이 있다면 여러분이 추가한 모든 오류가 그곳에서 감점 처리됩니다.

모든 교수가 맞춤법에 따른 감점에 동의하는 것은 아닙니다. 같은 게시글에서 한 교수는 난독증이 있는 학생이나 비원어민 작성자 등에게 가장 큰 불이익을 준다는 이유로 맞춤법과 문법 감점에 반대 의견을 내기도 했습니다. 그러나 이는 채점의 공정성에 대한 논의였을 뿐, 오류를 일부러 추가하라는 조언은 아니었습니다.

같은 발상을 조금 더 완화한 방식은 본인의 실력보다 수준을 낮춰 쓰는 것입니다. 마음에 드는 단어를 빼고, 대시(dash) 기호를 피하며, 모든 문장을 짧게 유지하는 식입니다. 아테네오 데 마닐라 대학교 게시글에서 한 학생은 "Not 'dumbed' down per se but I stopped using words na I typically use (ex: delve) para lang di ma-flag" (딱히 글 수준을 '낮춘' 것은 아니지만 감지되지 않으려고 평소 자주 쓰던 단어[예: delve]를 쓰지 않게 되었습니다)라고 썼으며, 뒷부분은 "just so it won't get flagged" (단지 감지기에 걸리지 않기 위함이었습니다)라는 뜻입니다. 또 다른 학생은 "no more em dashes for me" (이제 엠 대시는 절대 쓰지 않습니다)라고 적었습니다. r/Professors 게시글의 한 교수 역시 "Many students in the past year have told me they've dumbed-down their writing to avoid AI-accusations." (지난 1년 동안 많은 학생이 AI 의혹을 피하기 위해 글 수준을 낮춰 썼다고 제게 털어놓았습니다)라고 밝혔습니다.

치러야 하는 대가는 오타를 넣을 때와 같습니다. 감점은 눈에 띄게 확실한 반면, AI 감지 점수에 미치는 영향은 그 누구도 장담할 수 없습니다. 문체와 관련하여 학생들이 받는 조언 역시 상반된 경우가 많은데, 이에 관해서는 AI 감지 표기를 피하려면 글쓰기 방식을 바꿔야 합니까에서 자세히 다루었습니다.

1. 초안과 버전 기록을 보관하십시오. 점수에 의문이 제기될 경우, 문서가 단계적으로 작성된 편집 이력은 최종본을 수정하는 것으로는 결코 보여줄 수 없는 확실한 증거가 됩니다.
2. 단순한 백분율 수치만 보지 말고 어떤 부분이 표시되었는지 확인하십시오. 탐지기 보고서는 특정한 문장들을 강조 표시합니다. 실제로 확인해야 할 부분은 바로 그 문장들입니다.
3. 단순한 노이즈를 더하기 위함이 아니라 의미를 분명히 하기 위해 표시된 부분을 수정하십시오. 강조 표시된 문장이 너무 일반적이라면, 오직 여러분의 논문만이 담을 수 있는 내용으로 바꾸십시오. 구체적인 연구 결과, 명확한 출처, 본인만의 고유한 논리를 담아내는 것입니다. 그렇게 하면 탐지기가 어떻게 판단하든 훨씬 더 훌륭한 문장이 됩니다.
4. 지도 교수나 강사에게 미리 문의하십시오. 마감일이 지난 후 이의를 제기하는 것보다, 마감 전에 직접 작성한 초안을 가지고 찾아가 상담을 나누는 것이 훨씬 수월하게 문제를 해결할 수 있습니다.

Turnitin 또는 iThenticate 보고서가 있고 표시된 부분을 다시 써야 한다면, HumanPen의 휴머나이즈(humanize) 옵션이 그 역할을 수행합니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 저희의 AI 휴머나이저 비교 글에서 설명했듯이, 탐지 결과를 바꾸기 위한 수단으로 맞춤법이나 문법 오류를 추가하지 않습니다. 제출하기 전에 수정되어 반환된 내용을 꼼꼼히 확인하십시오. 재작성된 부분 역시 여러분의 이름으로 제출되는 글입니다.

Turnitin은 의도적인 오타를 감지합니까? 이에 대한 Turnitin의 공개 테스트 결과는 확인된 바 없으며, 저희가 확인한 Turnitin의 AI 감지 가이드와 블로그 글에서도 관련 내용을 찾을 수 없었습니다. 공식 문서로 확인된 사실은 Similarity Report가 대체된 문자를 플래그로 표시한다는 것이며, 이는 오타와는 전혀 다른 수법입니다.

문법 검사기로 맞춤법을 고치면 AI 점수가 올라갑니까? 이는 오류를 추가하는 것과는 전혀 다른 질문입니다. Turnitin 측은 자사 탐지기가 Grammarly의 맞춤법, 문법, 구두점 수정을 "not tuned to target" (겨냥하도록 조정되지 않았습니다) 상태이며, 자체 테스트에서 이러한 수정 사항이 "in most cases" (대부분의 경우) 플래그 지정되지 않았다고 밝혔습니다. Turnitin은 Grammarly를 감지합니까에서 Turnitin이 다르게 취급하는 생성형 기능들을 포함하여 당시 발표한 내용을 자세히 확인할 수 있습니다.

해당 연구들은 인간이 작성한 글에 오타를 넣는 실험도 진행했습니까? 공개된 보고서 결과에는 포함되어 있지 않습니다. RAID의 공개 데이터에 철자 오류가 추가된 인간 작성 텍스트가 포함되어 있긴 하지만, 논문에서는 AI가 생성한 텍스트의 점수만 보고했으며 Stumbling Blocks 역시 AI 생성 텍스트만을 테스트했습니다. 직접 작성한 글의 경우, 감점으로 인한 불이익만큼은 확실히 감수해야 할 대가입니다.

• Liam Dugan 외, RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors, Proceedings of ACL 2024, 2026년 9월 27일 확인 (표 16, 부록 E.4).
• Yichen Wang 외, Stumbling Blocks: Stress Testing the Robustness of Machine-Generated Text Detectors Under Attacks, Proceedings of ACL 2024, 2026년 9월 27일 확인.
• r/Professors, Students are deliberately writing worse to avoid AI detection flags, 2026년 3월 3일 게시, 2026년 9월 27일 확인.
• r/ADMU, have you ever "dumbed down" your assignment to avoid getting flagged by an AI detector? (AI 탐지기 표시를 피하려고 과제 수준을 "낮춰서" 작성해 본 적이 있습니까?), 2026년 8월 28일 게시, 2026년 9월 27일 확인.