단어 확률과 Turnitin: 분류기가 실제로 읽는 것

문장 속 모든 단어에는 그 문맥에서 나타날 확률이 있습니다. 이를테면 「실험은 유의한」이라고 쓰면, 다음 단어는 「파인애플」보다 「결과」일 가능성이 높습니다. 언어 모델은 앞의 문맥을 바탕으로 이런 확률을 추정하며, Turnitin의 분류기도 같은 일을 합니다. 방식은 다르지만요.

단어 확률이란 앞에 놓인 단어들을 고려할 때, 각각의 단어 선택이 얼마나 예측하기 쉬운지를 뜻합니다. 텍스트 생성 모델은 가장 예상되는, 통계적으로 흔한 선택지를 고르는 경향이 있습니다. 반면 사람은 예측하기 어려운 단어, 흔치 않은 동사, 전공 분야의 명사, AI 모델이 따랐을 통계적 패턴에서 벗어나는 표현을 선택하는 경우가 많습니다.

Turnitin은 분명하게 밝힙니다. 자사의 분류기는 "trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (이러한 단어 확률의 차이를 감지하도록 학습되었으며, 사람이 쓴 글의 특유한 단어 확률 순서에 능숙합니다). 분류기는 핵심어를 세는 것이 아닙니다. 사람의 글과 AI의 글을 함께 담은 학습 데이터에서 익힌 패턴과, 귀하가 선택한 단어들의 확률 분포를 비교합니다.

이것이 중요한 이유는, 문법적으로 흠잡을 데 없는 두 글이 단어 확률에서는 크게 다를 수 있기 때문입니다. 사람이 쓴 글에는 뜻밖의 은유가 들어가거나, 학술적인 문장에 구어체 표현이 섞이거나, AI 모델이라면 유의어를 썼을 자리에서 같은 단어가 반복되기도 합니다. 그 선택 하나하나가 분류기가 읽는 확률의 윤곽을 움직입니다.

논문이 Turnitin에 도착하면 과정은 분할에서 시작됩니다. 문장이 추출되어 서로 겹치는 구간으로 나뉘고, 각 구간은 AI 탐지 모델이 개별적으로 점수를 매깁니다. 각 구간은 0과 1 사이의 값을 받으며, 이는 글이 사람이 쓴 것이 아니라 AI가 생성했을 확률을 나타냅니다.

Turnitin은 이 처리 과정을 분명하게 설명합니다. "Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (각 구간은 AI 탐지 모델이 분류하여 0과 1 사이의 값을 부여받으며, 이는 글이 사람이 쓴 것인지 AI가 생성한 것인지의 확률을 나타냅니다.) 겹치는 구간 안에 있는 문장은 그 구간 점수를 물려받고, 하나의 문장이 여러 겹치는 구간에 걸쳐 있으면 그 점수들은 하나의 값으로 합쳐집니다. 이렇게 문장 단위의 점수가 모여 문서 전체의 AI 작성 점수가 됩니다.

이 과정의 중심에는 트랜스포머 기반 모델이 있습니다. Turnitin의 아키텍처 문서는 이렇게 밝힙니다. "Our current system uses a modern deep learning approach based on the transformer architecture." (현재 시스템은 트랜스포머 아키텍처를 기반으로 하는 최신 딥러닝 방식을 사용합니다.) 트랜스포머는 구간을 가로질러 단어 확률의 순서를 읽으며, 어떤 순서가 사람의 글에 특징적이고 어떤 순서가 AI 생성에 특징적인지를 학습합니다.

핵심은 분류기가 낱개의 단어를 따로 떼어 보지 않는다는 점입니다. 텍스트 구간 전체에 걸쳐 단어 선택의 순서를 읽습니다. 흔치 않은 단어 하나로는 점수가 크게 움직이지 않습니다. 그러나 사람에게 자연스럽게 나오는, 확률이 낮은 단어 선택이 이어지는 패턴은 사람의 글로 기록됩니다. 반대로 확률이 높고 통계적으로 예측 가능한 선택이 이어지면 AI다운 것으로 기록됩니다.

AI 탐지를 다루는 많은 글이 핵심 지표로 "퍼플렉서티"를 언급합니다. 퍼플렉서티는 정의상 단어 확률을 재는 척도입니다. 주어진 단어의 순서에 언어 모델이 얼마나 놀라는지를 수치로 나타낸 것입니다. 퍼플렉서티가 낮으면 그 단어들은 예측 가능했다는 뜻이고, 높으면 예측할 수 없었다는 뜻입니다.

여기에서 결정적으로 중요한 미묘한 지점이 등장합니다. Turnitin은 퍼플렉서티를 이름 있는 지표로 계산한다는 점을 분명히 부인합니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (당사 모델은 공개적인 논의에서 간혹 언급되는 'burstiness', 'perplexity' 또는 기타 개별 지표를 평가하도록 명시적으로 프로그래밍되어 있지 않습니다.) 그리고 이렇게 덧붙입니다. "Instead, it learns statistical patterns from our training data." (대신, 학습 데이터에서 통계적 패턴을 학습합니다.)

그렇다면 Turnitin은 퍼플렉서티를 확인하는 것일까요, 아닐까요? 답은 예 혹은 아니오보다 더 미묘합니다. 퍼플렉서티는 단어 확률의 척도이고, Turnitin의 분류기는 단어 확률 패턴으로 학습되었습니다. 하지만 분류기가 퍼플렉서티 점수 하나를 계산해 공식에 넣는 것은 아닙니다. 트랜스포머는 학습 데이터에서 복잡한 통계적 패턴을 학습하며, 그 패턴에는 단어 확률이 포함되지만 이름 있는 지표 하나로 환원되지는 않습니다.

Turnitin은 이렇게 설명합니다. "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules." (결과적으로, 그 출력은 소수의 투명하고 사람이 읽을 수 있는 규칙이 아니라 함께 작동하는 여러 학습된 패턴에 의해 생성됩니다.) 실질적인 결론은, "Turnitin은 퍼플렉서티를 확인한다"는 말은 지나친 단순화라는 것입니다. 분류기는 단어 확률 패턴을 전체적으로 학습하며, 그 패턴은 모든 구간 점수에 영향을 주지만 스스로 계산할 수 있는 공식으로 환원되지는 않습니다.

2026년 7월, Turnitin은 아키텍처를 크게 변경했습니다. 해당 문서는 이를 확인합니다. "In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate." (2026년 7월에, 여러 모델로 구성된 앙상블을 단일 모델로 통합하기 위해 모델 아키텍처를 업데이트했습니다. 이 업데이트는 AI 작성 보고서를 개선하고 단순화하며, 오탐률을 1% 미만으로 유지합니다.)

이 변경 전에는 여러 모델을 사용해 그 결과를 합쳤습니다. 여러 모델로 구성된 앙상블은 점수를 집계하는 방식을 복잡하게 만들 수 있고, 모델마다 단어 확률 패턴에 두는 가중치가 다를 수 있습니다. 단일 모델로 바뀌면서, 분류기가 학습 중에 익힌 단어 확률 패턴이 문서 전체에 일관되게 적용됩니다.

오탐률은 1% 미만으로 유지됩니다. 즉, 사람이 전적으로 작성한 문서 100건 가운데 AI 생성으로 잘못 표시되는 것은 1건 미만입니다. 이 비율을 낮게 유지하기 위해, 모델은 실제로 AI가 생성한 텍스트의 일부를 놓칠 수 있습니다. 이 절충에 대해서는 다음 절에서 살펴봅니다.

분류기가 단어 확률의 순서를 읽는다는 점을 이해하면, 실질적인 점들이 몇 가지 보입니다.

첫째, 매끄럽게 다듬어진 정형적인 글은 AI처럼 보이기 쉽습니다. Turnitin은 오탐에 "content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (구조적 변화가 많지 않은 내용, 문자 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 바꾸어 쓴 텍스트)가 자주 관련된다고 스스로 밝힙니다. 글이 구조적으로 균일하고 흔하고 예측 가능한 단어를 쓰면, 분류기가 AI 생성과 연결 짓는 높은 확률의 패턴과 닮아질 수 있습니다.

둘째, 진짜 개성이 담긴 글은 사람처럼 보이기 쉽습니다. 흔치 않은 단어 선택, 다양한 문장 구조, 독창적인 표현은 사람의 저작과 연결되는 낮은 확률의 순서를 만듭니다. 이는 오류를 집어넣는 문제가 아니라, 통계적 평균이 아니라 진짜 자기 목소리가 드러나도록 생각을 표현하는 문제입니다.

셋째, Turnitin은 일부 AI 텍스트가 걸러지지 않을 수 있음을 분명히 밝힙니다. 다음과 같이 말합니다. "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (오탐률을 1%라는 이 낮은 수준으로 유지하기 위해, 문서 안의 일부 AI 작성 텍스트를 놓칠 가능성이 있습니다.) 그리고 구체적인 예를 듭니다. "If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (문서의 50%가 AI 도구에 의해 작성된 것으로 확인되면, 실제로는 최대 65%의 AI 작성이 포함되어 있을 수 있습니다.) 귀하의 문서가 중간 정도의 비율로 표시되었다면, 실제 AI 텍스트의 비율은 그보다 높을 수 있습니다.

이러한 보정 차이에는 두 가지 함의가 있습니다. 학생에게는, 오탐은 드물지만 가능합니다. 특히 매우 매끄럽거나 반복적인 학술 문체에서 더욱 그렇습니다. 교수자에게는, 보고된 비율은 정밀한 측정값이 아니라 보수적인 추정으로 읽어야 한다는 뜻입니다. 지침은 분명합니다. 단어 선택과 구조에 진짜 변화를 두어 쓰고, 점수가 확정적인 집계가 아니라 확률 평가를 반영한다는 점을 이해하십시오. HumanPen 도구를 여기에서 사용해 보세요.