Turnitin은 OpenAI o1 및 o3 추론 모델을 탐지합니까?

그렇습니다. 텍스트가 표준 적격 요건을 충족하기만 하면, Turnitin은 OpenAI o1, o1-preview, o1-mini 및 o3-mini가 생성한 에세이와 학술 산문 텍스트를 매우 일관되게 탐지하여 표시합니다.

OpenAI의 추론 모델은 답변을 내놓기 전에 다단계 내부 생각의 사슬(Chain of Thought)을 거치기 때문에, 그 문장이 인간의 인지 과정을 충분히 모방하여 자동 감지를 피할 수 있다는 소문이 널리 퍼져 있습니다. 그러나 이러한 오해는 생성 과정과 최종 결과물을 혼동한 데서 비롯됩니다. Turnitin은 모델이 보이지 않는 곳에서 어떻게 추론하는지 평가하지 않습니다. Turnitin은 문서에 나타난 단어들의 통계적 특성만을 평가합니다. 최종 텍스트는 자기회귀 트랜스포머 디코더에 의해 생성되므로, 대형 언어 모델의 전형적인 특징인 낮은 퍼플렉서티(perplexity)와 규칙적인 문장 패턴을 그대로 드러냅니다.

o1의 답변이 AI 탐지를 피하는 주된 상황은 독립된 수학 공식, 순수 프로그래밍 스크립트, 짧은 개요 등 분석 대상에서 제외되는 비적격 자료로 출력이 구성되어 있을 때입니다. Turnitin은 설계상 모든 모델을 대상으로 이러한 형식을 AI 채점 대상에서 제외할 뿐이며, 추론 모델에 특별한 은폐 기능이 있어서가 아닙니다.

추론 모델이 왜 탐지되는지 이해하려면 생성 주기를 내부 사고와 표면 텍스트 출력이라는 두 가지 개별 단계로 나누어 살펴보아야 합니다.

• 내부 사고 토큰(잠재적 생각의 사슬): 숙고 단계에서 o1 및 o3와 같은 모델은 광범위한 내부 추론 시퀀스를 생성합니다. 모델은 제약 조건을 평가하고, 초기의 논리적 가정을 수정하며, 구조를 계획합니다. OpenAI는 이 단계를 최종 API 응답이나 채팅 인터페이스에 전혀 반환되지 않고, 학생이 제출하는 과제물에도 절대 나타나지 않는 숨겨진 추론 토큰(reasoning tokens)으로 캡슐화합니다.
• 가시적 완성 토큰(출력 산문): 내부 탐색이 완료되면 모델은 사용자에게 전달될 최종 텍스트를 생성합니다. 이 출력물은 표준 자기회귀 토큰 샘플링을 통해 생성되며, 그 작동 원리는 GPT-4o나 다른 최신 언어 모델과 완전히 동일합니다.

Turnitin은 오직 이 최종 텍스트 계층만을 전달받습니다. 제출 포털에는 프롬프트, 모델 버전, 생성 소요 시간, 내부 추론 토큰에 대한 기록이 전혀 남지 않습니다. Word 문서나 PDF가 처리 대기열에 들어가면 탐지기는 순수 텍스트를 추출하여 단어의 배열 순서를 분석합니다.

탐지기는 텍스트를 개별 문장으로 분할한 다음 트랜스포머 기반 분류기를 통과시킵니다. 이 신경망은 토큰 선택과 구문 배열이 기계가 생성한 글에서 흔히 나타나는 통계적 패턴과 일치하는지 평가합니다. 사전에 보이지 않는 숙고 과정이 있었다 하더라도, 그 결과로 출력된 문장들이 표준적인 모델 확률 분포를 따른다는 사실은 변하지 않습니다.

고급 추론 모델의 역설은 가장 뛰어난 지적 강점인 '엄밀하고 단계적인 논리적 일관성'이 언어 탐지기 관점에서는 통계적 예측을 어렵게 만드는 것이 아니라, 오히려 훨씬 더 쉽게 예측할 수 있게 만든다는 점입니다.

AI 분류기는 주로 두 가지 지표를 통해 텍스트를 평가합니다. 바로 퍼플렉서티(perplexity, 이전 단어들이 주어졌을 때 이어지는 각 단어가 등장할 확률)와 버스티니스(burstiness, 글 전체에서 퍼플렉서티와 문장 길이가 얼마나 불규칙하게 변동하는지)입니다. 일반적인 모델이 텍스트를 생성할 때는 창의적인 프롬프트나 느슨한 연상 작용으로 인해 간혹 확률이 낮은 단어가 포함될 수 있습니다. 반면 강화학습을 통해 훈련된 추론 모델은 논리적 오류를 최소화하고 모호성을 제거하도록 최적화되어 있습니다. 따라서 이러한 모델은 자연스럽게 가장 표준적인 어구, 직접적인 구문 연결, 전형적인 접속 표현을 선택하게 됩니다.

인간의 글쓰기는 본질적으로 불규칙하며 버스티니스(변동성)가 높습니다. 학생이 직접 쓴 과제물은 예측할 수 없는 방식으로 리듬이 바뀝니다. 미묘한 이론을 설명하는 정교한 복문 뒤에 직설적인 관찰, 일상적인 어조의 문구, 혹은 독특한 비유가 이어지기도 합니다. 인간 필자는 일반 언어 코퍼스를 기준으로 높은 퍼플렉서티를 기록하는 고르지 않은 문법적 지문, 고유한 문체적 특성, 파격적인 단어 조합을 남깁니다.

반면 추론 모델은 메트로놈처럼 일정하고 균일한 글을 생성합니다. 모든 주장은 깔끔하게 연결된 전제로 뒷받침되며, 문장 길이는 구문론적 표준치 부근에 조밀하게 모여 있고, 어휘 선택은 처음부터 끝까지 예측 가능한 범위를 벗어나지 않습니다. 인공적인 규칙성을 탐색하는 분류기의 관점에서 볼 때, 이처럼 흔들림 없는 구조적 통제력은 기계가 작성했음을 보여주는 가장 명확한 지표 중 하나입니다.

OpenAI o1이 Turnitin에 감지되지 않는다는 널리 퍼진 믿음은 주로 이공계(STEM) 수업에서 비롯되었습니다. 사용자들이 실험 계산이나 코딩 실습 과제에서 AI 점수 0%가 나오는 것을 확인했기 때문입니다.

이러한 결과는 공식 문서로 규정된 Turnitin의 자격 기준, 즉 적격 텍스트 규칙(qualifying text rule)으로 설명할 수 있습니다. Turnitin의 AI 탐지기가 점수를 산출하려면 표준 단락 형식으로 작성된 연속된 산문이 최소 300단어 이상 포함되어 있어야 합니다. 또한 전처리 파이프라인은 수학 공식, LaTeX 마크업, 순수 소스 코드, 글머리 기호 목록, 참고문헌을 분석 대상에서 제외합니다. 학생이 미분방정식을 풀거나 Python 함수를 생성하기 위해 o1-mini를 사용할 경우, Turnitin은 해당 부분을 완전히 무시하므로 결과적으로 AI 감지 표시가 없는 보고서가 나오게 됩니다.

하지만 동일한 모델에 긴 호흡의 산문 작성을 맡기면 결과는 완전히 달라집니다. 사회학 에세이, 문헌 고찰, 철학 논문, 혹은 과학 보고서의 서론 부분에서 출력되는 내용은 표준적인 설명문 단락으로 구성됩니다. 이러한 글은 모든 적격 기준을 충족하므로 신경망 분류기로 곧바로 전달됩니다.

이러한 표준 분석을 거치게 되면, o1과 o3가 생성한 산문은 GPT-4o와 대등한 수준의 탐지율을 기록합니다. 추론 모델이 감지되지 않는다는 세간의 주장은 애초에 적격 산문(qualifying prose)이 전혀 포함되지 않은 제출물에서 비롯된 경우가 대부분입니다.

모델의 성능이 크게 도약할 때마다 자동 탐지 기능이 무용지물이 되었다는 주장이 어김없이 등장합니다. 이러한 이야기는 GPT-3 때 처음 나타났고, GPT-4 때 되풀이되었으며, OpenAI o 시리즈가 출시되면서 다시금 고개를 들었습니다.

실제로 AI 탐지는 고정된 필터가 아니라 지속적인 엔지니어링 보정 과정으로 작동합니다. Turnitin은 분류 가중치를 정기적으로 업데이트하며 새로 출시된 파운데이션 모델을 상대로 탐지기 성능을 검증합니다. 트랜스포머 모델들은 근본적인 아키텍처와 훈련 코퍼스를 공유하기 때문에, 최신 모델의 출력 텍스트 역시 다양한 학생 집단의 글과 구별되는 뚜렷한 통계적 군집을 계속해서 나타냅니다.

탐지를 우회하기 위해 흔히 쓰이는 프롬프트 전략, 즉 o1에게 격식 없는 어조로 쓰도록 지시하거나, 의도적인 구두점 오류를 넣게 하거나, 문단 길이를 다양하게 조절하도록 요구하는 방식은 오히려 역효과를 낳는 경우가 많습니다. 이러한 제약은 모델의 논리적 추론 능력을 떨어뜨릴 수 있으며, 여러 문장에 걸친 분석 구간에서 분류기가 여전히 감지해 내는 어색하고 인위적인 문체적 특징을 만들어 냅니다.

현재 출시된 어떠한 언어 모델도 통계적 분류로부터 근본적으로 면제되는 긴 설명문 산문을 생성하지 못합니다. 교육 기관의 엄격한 검토를 피하기 위한 방패막이로 모델의 최신성에 의존하는 것은 언어 모델이 텍스트를 생성하는 방식을 잘못 이해한 것입니다.

과제 제출이나 사전 확인에서 예상치 못한 AI 탐지 비율이 나왔을 때는 당황하여 문서 전체를 무작정 다시 쓰기보다는 체계적으로 대응하는 것이 훨씬 효과적입니다.

• 문서 버전 기록 보존: Google Docs의 버전 기록, Word의 변경 내용 추적, Overleaf의 커밋 로그 등 어떤 작성 플랫폼을 사용하든 전체 버전 로그를 온전히 유지하십시오. 지속적인 수정 타임스탬프와 중간 작성 단계의 기록은 진정한 학술적 노력의 확실한 증거가 됩니다.
• 표시된 영역 특정: 진단 보고서를 면밀히 검토하여 분류기가 표시한 정확한 문장과 단락을 식별하십시오. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요.
• 인간적인 맥락으로 글을 다시 고정: 표시된 단락을 수정할 때는 추상적이고 일반적인 서술을 1차 자료 인용, 수업 토론에서 얻은 직접적인 관찰 내용, 그리고 자신만의 분석적 관점으로 대체하십시오. 개인의 고유한 글쓰기 호흡이 반영되도록 문장 경계를 직접 수작업으로 재구성하십시오.

원고 전체를 대량의 자동 문장 재작성 도구에 일괄적으로 돌리는 것은 피하십시오. 무분별한 다시 쓰기는 전문 용어의 정확성을 떨어뜨리고, 인용 상호 참조를 훼손하며, 표 레이아웃을 망가뜨리는 동시에 예측 가능한 또 다른 기계적 패턴을 만들어 내는 경우가 많습니다.

OpenAI o1에는 Turnitin이 감지하는 디지털 워터마크가 포함되어 있습니까? 아닙니다. Turnitin은 암호화 워터마크를 추출하거나 문서의 숨겨진 메타데이터를 읽어 AI 텍스트를 식별하지 않습니다. Turnitin의 탐지기는 눈에 보이는 텍스트 자체의 통계적 확률 분포를 평가합니다. 워터마크가 없더라도 자기회귀적 문장 구조는 탐지에 충분한 통계적 신호를 제공합니다.

o1-mini는 표준 o1 모델과 다르게 감지됩니까? 두 모델 모두 연속된 산문 텍스트에서 높은 탐지율을 보입니다. o1-mini는 코딩 및 정량적 작업을 위해 특별히 미세 조정되었지만, 일반적인 학술 단락을 작성하도록 프롬프트를 입력하면 종종 어휘가 더 제한되고 예측 가능성이 높아져, 그 문장이 분류기에 똑같이 쉽게 포착됩니다.

개요 작성과 조사 목적으로만 o1을 사용해도 Turnitin이 에세이에 감지 표시를 합니까? 그렇지 않습니다. Turnitin은 문서로 제출된 최종 작성 텍스트만을 평가합니다. 실제 단락을 본인 고유의 문체로 직접 작성한다면, 주제 브레인스토밍, 논증 개요 구성, 수학적 개념 정리 등에 AI 모델을 사용하더라도 AI 감지 표시가 발생하지 않습니다.

한 학생은 o1으로 0%의 점수를 기록한 반면 다른 학생은 구십 퍼센트를 받은 이유는 무엇입니까? 그 차이는 거의 항상 텍스트의 형식과 학문 분야의 특성에서 비롯됩니다. 코드 스니펫, 수식, 짧은 글머리 기호가 주를 이루는 제출물은 Turnitin의 적격 텍스트 필터에 의해 제외되어 AI 감지 표시가 전혀 나타나지 않습니다. 반면 표준적인 인문학이나 사회과학 단락으로 구성된 제출물은 온전히 평가되어 탐지 표시가 붙게 됩니다.