퍼플렉서티와 버스티니스 완전 정리: 이 지표를 실제로 사용하는 AI 탐지기

퍼플렉서티는 단어가 얼마나 예측 가능한지를 재는 값입니다. 언어 모델이 문장을 읽을 때, 앞에 나온 단어를 바탕으로 각 단어에 확률을 부여합니다. 다음 단어가 충분히 예측 가능하면 그 단어의 퍼플렉서티는 낮습니다. 반대로 예상 밖의 단어라면 퍼플렉서티는 높습니다. 텍스트 전체의 퍼플렉서티는 결국, 글 전반에 걸쳐 단어 선택이 얼마나 예측 가능했는지의 평균입니다.

이렇게 생각해 보세요. "이 실험에서는 유의미한" 까지 쓰면, 다음 단어는 "결과", "차이", "효과" 중 하나일 가능성이 매우 높습니다. 확률이 높은 단어들입니다. 그런데 다음 단어가 "파인애플"이라면 확률이 낮은 선택이고, 그 위치의 퍼플렉서티는 급등합니다. 늘 가장 예상되는 단어만 고르는 글은 전체 퍼플렉서티가 낮습니다. 예상 밖의 선택을 하는 글은 퍼플렉서티가 높습니다.

AI가 만든 글은 퍼플렉서티가 낮은 편입니다. 언어 모델이 가장 확률이 높은 다음 단어를 고르도록 설계되어 있기 때문입니다. 모델은 문맥 확률을 최적화하므로 단어 선택이 예측 가능한 패턴에 들어맞습니다. 반면 사람이 쓴 글에는 예측하기 어려운 단어 선택, 흔치 않은 동사, 전문 분야의 명사, 언어 모델이라면 고르지 않았을 표현이 자주 섞여 있습니다. 이 차이는 실제로 존재하고 측정도 가능합니다. 문제는 모든 AI 탐지기가 퍼플렉서티를 실제 알고리즘의 일부로 사용하는가 하는 점이며, 답은 '아니오'입니다.

버스티니스는 문장 구조의 변화 폭을 재는 값입니다. 문단의 모든 문장이 길이도, 문법 구조도, 리듬도 대체로 같다면 버스티니스는 낮습니다. 문장이 크게 다양해서 짧고 힘 있는 문장도 있고, 종속절을 거느린 길고 복잡한 문장도 있다면 버스티니스는 높습니다.

사람이 쓴 글은 AI가 만든 글보다 버스티니스가 높은 편입니다. 사람은 몰아서 씁니다. 짧은 단정문과, 괄호로 덧붙인 설명이 들어간 긴 문장을 섞어 씁니다. 강조하고 싶을 때는 일부러 패턴을 깹니다. AI 모델은 통계적 일관성을 최적화하기 때문에 문장 구조가 균일해지는 경향이 있습니다. 그 결과 읽기는 매끄럽지만 구조적 변화가 적은 글이 나옵니다.

버스티니스가 탐지 지표로 널리 쓰이게 된 까닭은, 사람의 글과 AI의 글이 어떻게 다른지를 실제로 잘 잡아내기 때문입니다. 사람은 불규칙하고, AI 모델은 일관됩니다. 버스티니스를 재는 탐지기는 문장 단위 구조가 사람처럼 보일 만큼 충분히 다양한지를 봅니다. 퍼플렉서티와 마찬가지로 버스티니스도 쓸모 있는 개념입니다. 그리고 퍼플렉서티와 마찬가지로, 모든 탐지기가 계산하는 지표는 아닙니다.

퍼플렉서티와 버스티니스를 이름 붙은 지표로 공개적으로 사용하는 탐지기의 대표적인 예가 GPTZero입니다. 이들의 문서는 퍼플렉서티를 텍스트가 얼마나 예측하기 어려운지 재는 값으로, 버스티니스를 문장 단위의 변화를 재는 값으로 설명합니다. GPTZero 알고리즘은 이 지표들을 계산해서 분류 판단에 반영합니다. GPTZero의 동작을 이해하거나 그에 맞추려는 분이라면 퍼플렉서티와 버스티니스가 직접적으로 관련이 있습니다.

Turnitin은 다른 방식을 씁니다. 공식 FAQ에는 이렇게 나와 있습니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (저희 모델은 “burstiness”, “perplexity” 또는 공개적인 논의에서 때때로 언급되는 다른 개별 지표와 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되지 않았습니다.) 그다음 문장은 이렇습니다. "Instead, it learns statistical patterns from our training data." (대신 저희 학습 데이터에서 통계적 패턴을 학습합니다.) 이는 Turnitin이 이 두 지표를 계산하지 않는다는 직접적이고 명시적인 부인입니다.

이 구분이 중요한 이유는, 두 도구가 같은 글을 두고 다른 판정을 내리는 일이 있기 때문입니다. 버스티니스와 퍼플렉서티를 높이도록 설계한 글은, 이 지표가 알고리즘에 직접 들어가는 GPTZero와, 어느 지표도 계산하지 않고 학습 데이터에서 패턴만 익힌 분류기를 쓰는 Turnitin에서 다르게 나올 수 있습니다. "버스티니스를 높이라"거나 "퍼플렉서티를 낮추라"는 조언은 특정한 종류의 탐지기에 맞춰진 것입니다. Turnitin에 도움이 될 수도 있고 아닐 수도 있습니다.

Turnitin이 퍼플렉서티와 버스티니스를 계산하지 않는다면, 무엇을 사용하는 것일까요. 문서에는 학습 데이터에서 통계적 패턴을 익힌 뒤 그것을 텍스트의 구간에 적용하는 분류기가 설명되어 있습니다.

Turnitin은 이렇게 밝힙니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (저희 모델은 “burstiness”, “perplexity” 또는 공개적인 논의에서 때때로 언급되는 다른 개별 지표와 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되지 않았습니다. 대신 저희 학습 데이터에서 통계적 패턴을 학습합니다.) 분류기는 퍼플렉서티 공식이나 버스티니스 공식을 실행하지 않습니다. 학습 과정에서 몸에 익힌 패턴을 적용할 뿐이며, 그 패턴에는 단어 확률이 관여하지만 이름 붙은 단일 점수로 환원되지는 않습니다.

같은 FAQ 페이지는 분류기가 실제로 무엇에 집중하는지도 확인해 줍니다. "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (저희 분류기는 단어 확률에서 나타나는 이러한 차이를 감지하도록 학습되었으며, 사람 필자가 보여 주는 특유의 단어 확률 배열에도 능숙합니다.) 단어 확률은 Turnitin 분류기가 학습한 내용의 중심에 있지만, 모델은 그것을 명시적인 퍼플렉서티 계산이 아니라 학습된 패턴을 통해 처리합니다.

작동 방식은 구간 기반입니다. Turnitin은 이렇게 설명합니다. "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고, 해당 텍스트가 사람이 썼을 가능성 또는 AI가 생성했을 가능성을 나타내는 0에서 1 사이의 값을 받습니다.) 구간은 서로 겹치고, 문장은 점수를 물려받으며, 여러 점수가 합쳐져 최종 집계에서 문서 단위 비율이 나옵니다. 이 처리 과정에는 퍼플렉서티나 버스티니스를 계산하는 단계가 없습니다.

Turnitin은 또 이렇게 덧붙입니다. "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (그 결과, 산출물은 소수의 투명하고 사람이 읽을 수 있는 규칙이 아니라 함께 작동하는 수많은 학습된 패턴에서 생성됩니다. 그런 이유로 개별 예측을 특징별로 단순하게 설명하지 못하는 경우도 있습니다.) 모델의 판단 과정을 몇 가지 지표만 추적해서 역산할 수는 없습니다.

실질적인 결론은 간단합니다. "Turnitin을 이기려면 퍼플렉서티를 낮추라"는 조언을 보셨다면, 그 조언은 도구에 대한 오해에서 출발한 것입니다. Turnitin은 퍼플렉서티를 계산하지 않습니다. 버스티니스와 퍼플렉서티에 관한 조언은 GPTZero에는 관련이 있을 수 있지만, Turnitin의 작동 방식에 들어맞지는 않습니다.

핵심은 Turnitin의 분류기가 이 개념을 이름 붙은 지표로 쓰지 않는다는 점입니다. 분류기는 학습 데이터에서 통계적 패턴을 익혔고, 그 패턴에는 단어 확률 정보가 담겨 있으며, 그것을 텍스트에 적용합니다. 분류기가 계산하지 않는 지표에 맞춰 최적화할 수는 없습니다. 할 수 있는 일은 진짜 사람의 저작성을 드러내는 방식으로 쓰는 것입니다. 단어 선택과 구조에 자연스러운 변화를 두어, AI 모델이 만들어 내는 패턴과는 다른 글이 되도록 하는 것이지요.

여러분의 글을 시험해 보고 현재 상태를 확인하실 수 있도록 재실행을 무료로 제공합니다. 여기에서 시도해 보세요.