대학 첫 과제에서 96% AI 판정: 무료 검사기 점수가 실제와 다른 이유
대학 첫 과제를 작성한 뒤 온라인 검사기에서 96%라는 점수를 보게 되면 크게 당황할 수 있지만, 이것이 대학에서 더 엄격한 탐지 기준을 적용한다는 뜻은 아닙니다. 기관의 라이선스 도입 여부와 300단어 최소 기준부터 짧은 텍스트의 "모 아니면 도" 식 분할 방식 및 학술 문체로의 변화까지, 점수 차이가 발생하는 원인과 가장 먼저 취해야 할 조치를 정리해 드립니다.
HumanPen 팀
· 11분
고등학교 과제는 한 번도 지적받지 않았는데 대학 첫 과제에서 높은 AI 점수가 나온 이유
고등학교 시절 작성한 과제는 AI 탐지기에 한 번도 걸린 적이 없는데 대학 첫 과제가 온라인 검사기에서 96%의 AI 점수를 기록했다 하더라도, 이러한 급증이 더 엄격한 "대학 수준"의 탐지 기준 때문은 아닙니다. Turnitin과 같은 주요 탐지 시스템은 모든 교육 단계에서 동일한 기본 알고리즘을 사용하여 텍스트를 평가하며, 대학생에게 더 가혹한 공식을 적용하지 않습니다. 온라인 학생 커뮤니티에서 언급되는 96%라는 수치는 학생들이 불안감에 찾아본 무료 타사 검사기에서 나온 것이지, Turnitin이나 대학의 공식 평가에서 나온 것이 아닙니다. 과거의 경험과 현재 초안 사이의 점수 차이는 네 가지 현실적인 환경적 요인에서 기인합니다. 즉, 개별 교육기관의 AI 탐지 라이선스 도입 여부, "모 아니면 도" 식 분할을 유발하는 300단어 기준선 근처의 초기 과제 분량, 예측 가능성이 높은 패턴을 모방하게 되는 새로운 학술적 글쓰기 구조의 도입, 그리고 공개된 무료 타사 검사기의 미보정 점수 때문입니다.
학생 커뮤니티 게시판을 보면 대학교 1학년 신입생들이 정확히 이와 같은 혼란을 토로하는 글을 자주 볼 수 있습니다. 대학 첫 과제를 작성한 후 조심스러운 마음에 무료 온라인 탐지 도구에 텍스트를 붙여넣었다가 무려 96%라는 AI 점수를 받게 되는 경우입니다. 이들이 즉각적으로 느끼는 감정은 큰 불안과 고통입니다. 고등학교 때 수십 편의 글을 쓰면서 단 한 번도 AI 의심 표시를 받은 적이 없었기 때문입니다.
이러한 현상이 발생하는 이유를 이해하려면 교육기관용 탐지 도구의 작동 방식, 짧은 문서가 확률 계산에 미치는 영향, 그리고 AI 의심 표시가 붙은 결과물의 검토에 대해 공식 가이드라인이 명시하고 있는 내용을 살펴볼 필요가 있습니다.
오해와 진실: 대학교와 고등학교는 서로 다른 AI 탐지 기준을 사용합니까?
신입생들 사이에 널리 퍼져 있는 믿음 중 하나는 고등학교에서는 "관대한" 탐지 필터를 사용하는 반면, 대학교에서는 공격적인 "고등교육 전용 기준"을 활성화한다는 생각입니다.
그러나 이러한 추측은 사실이 아닙니다. 주요 탐지기 개발사들은 고등학교와 대학교를 구분하여 별도의 점수 산출 공식이나 민감도 조절 기능, 혹은 학령별 분류 기준을 두고 있지 않습니다. Turnitin의 공식 문서 어디에도 모델이나 채점 기준에 학년별 차이를 둔다는 내용은 없으며, 개발사는 "higher education and K12 long-form writing" (고등교육 및 K12 장문 글쓰기)을 자사 AI 탐지 기능의 동일한 주요 대상 분야로 명시하고 있습니다.
교육 환경에 따라 달라지는 것은 학령별 수학적 잣대가 아니라, 교육기관의 라이선스 계약 내용과 워크플로 설정입니다.
- 교육기관의 라이선스 도입 결정: 모든 학교가 AI 탐지 기능을 구매하거나 활성화하는 것은 아닙니다. Turnitin의 제품 구조상 AI 글쓰기 탐지는 기본적인 유사도 검사에 포함된 기본 기능이 아니라 선택적 추가 기능(add-on)입니다. Turnitin의 제품 문서에 명시된 바와 같습니다: "Turnitin Feedback Studio customers can access AI writing detection through our product add-on, Originality." (Turnitin Feedback Studio 고객은 제품 추가 기능인 Originality를 통해 AI 글쓰기 탐지 기능을 이용할 수 있습니다.) 마찬가지로 중등 교육용 도구를 발표하면서 Turnitin은 다음과 같이 밝혔습니다: "With a Turnitin Originality license, instructors can access features including AI writing indication..." (Turnitin Originality 라이선스를 통해 강사는 AI 글쓰기 표시를 포함한 기능을 이용할 수 있습니다...) 고등학교와 대학교 모두 Originality 라이선스를 취득한 학교와 그렇지 않은 학교가 존재하며, 대학교 또한 관리자 설정에서 AI 탐지 기능을 비활성화하도록 선택할 수 있습니다. 만약 학생의 이전 학교가 이 추가 기능 라이선스를 보유하지 않았다면, 과거에 쓴 에세이는 애초에 AI 검사를 받은 적이 전혀 없었던 것입니다.
- 워크플로 및 공개 설정: Turnitin의 기본 설정에서 AI 표시기 및 백분율 보고서는 강사와 관리자에게만 표시되며, 학생 제출 포털에서는 직접 보이지 않습니다(단, 강사가 Similarity Report에서 학생에게 보고서를 공개하도록 선택할 수는 있습니다). 자신의 고등학교 시절 글이 항상 "0% AI"를 받았다고 믿는 학생은 단순히 AI 탐지 기능이 활성화되지 않은 학교에 다녔거나 강사가 보고서를 공유하지 않았던 것일 수 있습니다.
작성하신 글이 더 가혹한 새로운 대학 기준에 따라 평가받고 있는 것이 아닙니다. AI 탐지가 적용되는지 여부는 개별 교육기관의 소프트웨어 라이선스 계약을 반영할 뿐, 대학교만을 위한 별도의 평가 잣대가 존재하는 것은 아닙니다.
점수 차이가 발생하는 이유를 설명하는 네 가지 환경 변화
학생이 직접 작성한 과제가 검사기에서 불안할 정도로 높은 점수를 받거나 대학 첫 검토에서 AI 의심 표시를 받는 경우, 이러한 차이는 대개 텍스트를 평가하고 작성하는 방식에서 나타나는 네 가지 현실적인 변화로 설명할 수 있습니다.
1. 도구 간의 차이와 보정되지 않은 사전 자가 검사
많은 대학교 1학년생이 96%라는 충격적인 점수를 마주하게 되는 것은 교수의 공식적인 평가를 통해서가 아닙니다. 제출 전 불안한 마음에 온라인에서 찾은 무료 공개 웹사이트에 초안을 붙여넣었기 때문에 보게 되는 것입니다.
공개된 AI 탐지 웹사이트들은 매우 제각각인 아키텍처와 문서화되지 않은 민감도 임계값, 상이한 분류 방식을 사용합니다. 한 일반 웹사이트에서 0%가 나온 초안이 다른 웹사이트에서는 손쉽게 높은 점수를 기록할 수 있습니다. 게다가 이러한 일반 웹사이트는 Turnitin과 같은 교육기관용 플랫폼이 어떤 결과를 보고할지 예측할 수 없습니다. 저희는 다른 AI 탐지기가 Turnitin 결과를 예측할 수 있는지에 대해 상세히 분석한 바 있으며, 상용 탐지 솔루션 업체인 Originality.ai의 테스트 결과에서도 외부 검사기 점수를 Turnitin 결과와 직접 비교해서는 안 된다는 점을 강조하고 있습니다. 보정되지 않은 타사 웹사이트에 의존하는 것은 임의의 백분율 수치로 인해 불필요한 불안감만 초래할 뿐입니다.
2. 300단어 최소 기준과 짧은 과제에서의 "모 아니면 도" 효과
짧은 토론 게시글, 읽기 과제 소감문, 입학 진단 글쓰기 등 대학 초기의 입문 과제는 분량이 짧은 경우가 많습니다. 길이가 짧은 문서에서 교육기관용 탐지 시스템은 장문 에세이에서와 매우 다르게 작동합니다.
첫째, Turnitin은 엄격한 최소 분량 요건을 적용합니다. AI 글쓰기 보고서와 백분율을 생성하려면 장문 형식의 산문 텍스트가 최소 300단어 이상 포함되어 있어야 합니다. 300단어 미만의 제출물은 AI 점수를 전혀 받지 않습니다.
둘째, 과제 분량이 300단어 기준선을 겨우 넘기는 경우, 알고리즘은 긴 글에서 확보할 수 있는 폭넓은 맥락 없이 텍스트를 평가하게 됩니다. 2026년 10월, Turnitin은 영어 제출물 대상의 AI 글쓰기 탐지 모델 아키텍처를 업데이트하여 주변 텍스트와의 맥락을 바탕으로 각 문장에 0부터 1까지의 점수를 매기고, 임계값을 넘는 문장의 비율로 문서 전체 점수를 계산하도록 변경했습니다. 그러나 분량이 수백 단어에 불과한 짧은 문서에서는 모델이 여전히 제한된 텍스트만을 바탕으로 작동합니다.
Turnitin의 공식 FAQ에서도 이러한 제약 사항을 강조하고 있습니다:
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (단어가 수백 개에 불과한 짧은 문서의 경우, 중첩할 기회 없이 단일 구간에서 예측하기 때문에 예측 결과가 대개 '모 아니면 도' 형태로 나타납니다. 이는 AI가 생성한 내용과 독창적인 내용이 섞여 있는 일부 텍스트가 전체적으로 완전히 AI가 작성한 것으로 플래그 지정될 수 있음을 의미합니다.)
학기 초 과제는 적격 산문의 분량이 제한되어 있기 때문에, 긴 논문 전체에 걸쳐 균형 잡힌 분포를 반영하기보다는 극단("모 아니면 도", 즉 0% 또는 100%로 쏠리는 경향)으로 치우칠 수 있습니다. 이러한 짧은 텍스트의 특성에 대한 자세한 분석은 짧은 Turnitin 문서에서의 모 아니면 도 문제에 관한 분석 글을 참고해 주시기 바랍니다.
3. 학술 장르, 구조 및 적격 텍스트의 변화
대학에서의 글쓰기는 공식적인 학술적 관례를 처음으로 받아들여야 하는 경우가 많습니다. 고등학교 과제에서는 개인적인 성찰이나 비공식적인 서사적 전환이 허용될 수 있지만, 대학 입문 과정에서는 객관적인 3인칭 시점, 체계적인 주제문, 그리고 격식 있는 전환 표현("furthermore", "consequently", "in contrast")을 요구하는 경우가 많습니다.
Turnitin 모델은 자체적으로 정의한 "적격 텍스트"(qualifying text)만을 평가하며, 개발사는 이를 다음과 같이 정의합니다:
"prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (산문 문장으로, 표준 문법 문장으로 작성된 텍스트 블록만 분석하며 목록, 글머리 기호(문장 구조가 아닌 짧은 형태) 또는 기타 비문장 구조와 같은 다른 유형의 글은 포함하지 않음을 의미합니다.)
학생들이 격식 있는 학술적 담론을 처음 접할 때, 경직된 문장 템플릿과 반복적인 전환 문구에 크게 의존하는 경우가 많습니다. 통계적 언어 모델에서 문장 구조의 변형이 적으면 예측 가능한 패턴이 증가하게 됩니다.
Turnitin은 이러한 스타일이 오탐(false flag)의 주요 원인이 될 수 있음을 공식적으로 언급하고 있습니다:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (때때로 위양성(사람이 작성한 텍스트를 AI 생성으로 잘못 표시하는 경우)에는 구조적 변화가 크지 않은 콘텐츠, 문자 그대로 반복되는 텍스트, 또는 새로운 아이디어를 발전시키지 않고 패러프레이징한 텍스트가 포함될 수 있습니다. 이러한 텍스트에서 당사의 표시기가 더 높은 수준의 AI 글쓰기를 감지하는 경우, 표시된 백분율을 확인할 때 이 점을 감안하시기 바랍니다.)
4. 정형화된 전환 표현과 구조적 요소
대학 입문 과제에는 제목란, 섹션 제목, 참고문헌 목록과 같은 공식적인 레이아웃 형식도 포함됩니다. Turnitin은 AI 처리 시 참고문헌을 자동으로 제외하지만(2023년 8월 릴리스 노트에 명시됨), 과제 안내문을 기계적으로 다시 기술하거나 판에 박힌 주제문을 사용하는 짧은 도입부 산문은 남아 있는 적격 문장들의 통계적 예측 가능성을 집중적으로 높일 수 있습니다.
높은 백분율의 의심 표시에 대해 Turnitin 공식 가이드라인이 명시한 내용
학생들은 검사기에서 높은 AI 백분율을 보거나 교육기관의 시스템에서 AI 의심 표시가 떴다는 사실을 알게 되었을 때, 그 숫자가 곧바로 부정행위의 자동 유죄 판결로 이어질까 두려워하곤 합니다. 하지만 개발사의 공식 문서는 그러한 생각을 분명히 반박하고 있습니다.
Turnitin은 자사의 탐지 모델이 AI 작성 비율이 20%를 초과하는 문서에 대해 전체 위양성률을 1% 미만으로 유지하는 것을 목표로 한다고 명시합니다. 그러나 개발사는 어떠한 백분율 점수라도 결정적인 증거로 취급해서는 안 된다고 교육기관에 명시적으로 경고하고 있습니다.
Turnitin은 공식 가이드인 Using the AI Writing Report(AI 글쓰기 보고서 활용법)에서 다음과 같이 명확한 경고를 남겼습니다:
"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 글쓰기 탐지 모델이 항상 정확한 것은 아니며(사람이 작성한 텍스트, AI가 생성한 텍스트, AI가 패러프레이징한 텍스트를 잘못 식별할 수 있음), 따라서 학생에게 불이익을 주는 조치의 유일한 근거로 사용되어서는 안 됩니다.)
Turnitin의 Capabilities FAQs(기능 FAQ) 및 AI writing detection model(AI 글쓰기 탐지 모델) 릴리스 노트에서도 이와 긴밀히 부합하는 지침을 제공하고 있으며, AI 점수가 "should not be used as the sole basis for action or a definitive grading measure by instructors" (강사가 조치를 취하거나 최종 성적을 결정하는 유일한 근거로 사용되어서는 안 됩니다) 및 "should not be used as the sole basis for adverse actions against a student." (학생에게 불이익을 주는 조치의 유일한 근거로 사용되어서는 안 됩니다)이라고 명시하고 있습니다.
Turnitin은 교수법 가이드(How should I review the AI Writing report?)에서 다음과 같이 추가로 설명합니다:
"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy. When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (이 기능은 단독으로 결정적인 답을 제공하기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 확인하고 학생과 학생의 과제물에 대한 개인적인 이해, 그리고 교육기관의 정책을 균형 있게 고려하여 결정을 내리는 교육자입니다. 교육자가 AI 글쓰기 점수를 확정적인 결론이 아닌 하나의 데이터 참고점으로 활용할 때 본래 의도대로 사용되는 것입니다.)
개발사가 공식 발표한 가이드라인에 따르면, AI 백분율은 교육자가 직접 주도하는 검토를 촉구하기 위한 실무적인 참고 지표일 뿐이며, 학업 정직성 위반을 자동으로 확정하는 판결이 아닙니다.
초기 대응 체크리스트: 대학 첫 과제에 AI 의심 표시가 떴을 때의 대처 요령
대학 첫 과제에서 AI 의심 표시를 통보받았거나 온라인 검사기 점수로 인해 불안하다면, 당황하여 서두르지 말고 다음과 같이 체계적인 단계를 밟으시기 바랍니다:
- 점수의 출처 확인: 그 숫자가 본인이 직접 실행해 본 타사 웹사이트에서 나온 것인지, 아니면 학교 공식 보고서에서 나온 것인지 확인하십시오. 온라인 학생 커뮤니티에서 거론되는 96%와 같은 공개 검사기 점수는 Turnitin이나 대학의 엔터프라이즈 도구 결과를 반영하지 않습니다. 만약 교수가 구체적인 증빙 자료 없이 AI 의심 표시에 대해 언급한다면, 하이라이트된 텍스트 구간이 포함된 공식 Turnitin 보고서를 검토해 볼 수 있는지 정중하게 요청하십시오.
- 초안 작성 기록 및 원본 파일 보존: 공식 보고서가 제공된 경우 하이라이트된 문장과 제출 타임스탬프가 포함된 완전한 PDF를 저장하십시오. 동시에 타임스탬프가 찍힌 모든 작성 증거를 보존해야 합니다. 여러 작업 세션에 걸쳐 아이디어가 어떻게 발전했는지를 보여주는 Google Docs의 수정 내역, Word의 변경 내용 추적, 또는 날짜가 기록된 개요 파일 등이 이에 해당합니다. 이미 제출한 파일을 덮어쓰거나 성급하게 수정하지 마십시오. 글쓰기 보조 또는 편집 소프트웨어의 사용을 고려하고 있다면, 허용되는 도구는 교육기관 및 강좌마다 다르므로 먼저 소속 기관의 학업 정직성 정책과 해당 과제 실러버스를 확인하시기 바랍니다.
- 이전의 독자적 글쓰기 샘플 수집: 고등학교 소논문, 입학 지원 에세이, 입학 진단 글쓰기 등 학기가 시작되기 전 본인이 직접 작성한 실제 글쓰기 샘플을 모으십시오. 검토자는 문장 길이, 선호하는 어휘, 문법적 패턴 등 문체적 연속성을 살펴봅니다. 현재 과제가 본인 고유의 문체와 일치함을 보여주는 것은 검토 과정에서 실질적인 맥락 증거를 제공합니다.
- 교수 오피스 아워에 상담 신청: 교수의 오피스 아워에 면담을 예약하십시오. 협력적인 태도로 대화에 임하시기 바랍니다. 학과에서 AI 표시를 어떻게 해석하는지 묻고, 해당 보고서가 초기 참고 자료인지 아니면 공식 조사 단계인지 확인하며, 노트북으로 연구 노트, 출처 인용 자료, 단계별 초안 작성 기록을 직접 보여주겠다고 제안하십시오. 투명한 글쓰기 과정을 보여주는 것은 Turnitin이 권장하는 교육자 주도 검토 방식과 정확히 일치합니다.
자주 묻는 질문
우리 대학교가 고등학교보다 더 엄격한 "AI 민감도 설정"을 활성화한 것입니까? 아닙니다. Turnitin의 AI 글쓰기 탐지 알고리즘은 대학교와 중등학교에 대해 별도의 민감도 설정이나 채점 기준을 두지 않습니다. Turnitin의 공식 문서에는 모델이나 점수 임계값에 있어 학년별 차별화가 전혀 포함되어 있지 않습니다. 과제가 평가되는지 여부의 차이는 개별 교육기관이 Turnitin Originality 라이선스를 취득하고 해당 기능을 활성화했는지 여부, 과제의 분량, 그리고 해당 학과의 검토 관행에 따라 달라집니다.
도입부나 결론부 문장이 오탐을 유발할 수 있는 이유는 무엇입니까? Turnitin은 2023년 5월 릴리스 노트에서 일반적인 도입부나 결론 스타일로 작성된 문서 첫머리 또는 말미의 문장이 이전에 더 높은 위양성률을 보였으며, 이로 인해 탐지 로직을 조정했다고 밝혔습니다. 더 넓게 살펴보면, Turnitin의 FAQ에서는 정형화된 표현이 통계 모델에서 예측 가능성과 연관 지을 수 있는 낮은 구조적 다양성을 보이기 때문에, 구조적 변화가 부족하거나 반복되는 인간 작성 텍스트가 잘못 감지될 수 있다고 설명합니다.
무료 온라인 탐지기에서 과제를 테스트하여 96%가 나왔다면 교수님의 보고서에도 동일하게 표시됩니까? 그렇지 않습니다. 일반 공개 웹사이트는 자체 독점 모델과 서로 다른 학습 데이터셋, 그리고 Turnitin과 일치하지 않는 미보정 임계값을 사용합니다. 또한 Turnitin은 최소 300단어 이상의 적격 산문을 요구하고, 참고문헌을 자동으로 제외하며, 문서 내 문장의 맥락을 평가합니다. 외부 웹사이트의 점수로는 교육기관용 도구가 보고할 결과를 전혀 예측할 수 없습니다.
교수가 오직 AI 백분율 점수만을 근거로 과제를 낙제 처리할 수 있습니까? Turnitin의 공식 가이드라인에서는 AI 백분율을 학생에 대한 불이익 처분의 유일한 근거로 사용해서는 안 된다고 명시하고 있습니다. 또한 강사는 이 지표를 확정적인 판결로 삼기보다는, 학생에 대한 개인적인 이해 및 초안 작성 이력과 함께 하나의 참고 데이터로 활용해야 한다고 강조합니다.
참고 자료
- Turnitin 고객센터: Using the AI Writing Report (2026년 10월 확인): https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
- Turnitin 고객센터: Turnitin's AI writing detection capabilities FAQs (2026년 10월 확인): https://guides.turnitin.com/hc/en-us/articles/28477544839821-Turnitin-s-AI-writing-detection-capabilities-FAQs
- Turnitin 고객센터: File requirements for an AI Writing Report (2026년 10월 확인): https://guides.turnitin.com/hc/en-us/articles/28234943089933-File-requirements-for-an-AI-Writing-Report
- Turnitin 고객센터: AI writing detection model (릴리스 노트, 2026년 10월 확인): https://guides.turnitin.com/hc/en-us/articles/28294949544717-AI-writing-detection-model
- Turnitin 고객센터: How should I review the AI Writing report? (2026년 10월 확인): https://guides.turnitin.com/hc/en-us/articles/27139000787853-How-should-I-review-the-AI-Writing-report
계속 읽기