짧은 문서와 Turnitin의 "전부 아니면 전무" 문제

짧은 문서에서 AI 작성 점수가 믿기 어려워지는 이유를 이해하려면, 먼저 Turnitin이 텍스트를 어떻게 처리하는지 보아야 합니다. 문서에는 이렇게 나와 있습니다. "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구역으로 분할됩니다. 각 구역은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 부여받습니다...)

이 문장에서 중요한 일을 하는 단어는 "overlapping"(겹치는)입니다. Turnitin은 문서를 하나의 연속된 덩어리로 분석하지 않습니다. 텍스트를 서로 겹치는 세그먼트로 나누기 때문에, 하나의 문장이 여러 세그먼트에 등장할 수 있습니다. 각 세그먼트는 0에서 1 사이의 예측 점수를 따로 받고, 최종 AI 작성 비율은 이 개별 점수들의 조합에서 나옵니다.

바로 이 겹침 덕분에 모델은 예 아니면 아니오라는 이분법적 결과가 아니라 세밀한 비율을 낼 수 있습니다. 세그먼트가 겹치면 모델은 텍스트의 서로 다른 부분이 어떻게 분류되었는지 비교할 수 있습니다. 점수가 낮은 세그먼트와 높은 세그먼트 사이에 놓인 단락은 전체 예측을 한층 절제된 값으로 만드는 데 기여합니다. 겹침이 없으면 모델은 교차 검증할 방법을 잃고, 점수는 덜 정확해집니다.

문서가 아주 짧으면 여러 개의 겹치는 세그먼트를 만들 만큼 텍스트가 충분하지 않습니다. 문서는 그 결과를 분명하게 밝힙니다. "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇 백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 세그먼트에 대해 예측하므로, 예측은 대체로 'all or nothing'(전부 아니면 전무)이 됩니다.)

세그먼트가 하나라는 것은 모델이 문서 전체에 대해 예측을 한 번만 한다는 뜻입니다. 평균을 낼 대상이 없으니 세그먼트 간 평균도 없습니다. 모델은 텍스트를 한 번 살펴보고 점수를 매기며, 그 점수가 문서를 AI 생성으로 표시할지 말지를 결정합니다.

문서는 이렇게 이어집니다. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI가 생성한 내용과 직접 쓴 내용이 섞인 텍스트가 전부 AI 생성으로 표시될 수 있음을 의미합니다.) 이것이 핵심 문제입니다. 300단어 문서에서 200단어를 직접 쓰고 100단어에 AI를 사용했다면, 모델은 둘을 구분할 수 없습니다. 문서를 하나의 단위로 처리하고, 그 단위가 기준점을 넘으면 문서 전체가 표시됩니다. 예측이 문장 단위가 아니라 문서 단위에서 이루어졌으므로, 리포트는 어떤 문장이 AI 생성인지 알려줄 수 없습니다.

Turnitin은 제출물에 최소 단어 수를 정해 두고 있으며, 기술 요구 사항에는 300단어라는 하한이 명시되어 있습니다. 허용되는 파일 형식은 .docx, .pdf, .txt, .rtf이고, 최대 30,000단어, 파일 크기는 100MB 미만입니다. 지원 언어는 영어, 스페인어, 일본어, 그리고 2026년 8월 18일 이후로는 Modern Standard Arabic입니다. Turnitin 자체 영어 페이지 두 곳은 여전히 처음 세 개 언어만 나열하고 있어, 여러분이 열어 본 페이지가 아직 따라오지 않았을 수도 있습니다.

300단어 최소 기준은 파일에 대한 요구 사항입니다. 파일은 "must have at least 300 words of prose text in a long-form writing format." (장문 형식의 산문 텍스트가 최소 300단어는 있어야 한다)는 조건을 충족해야 합니다. 여기에는 흔히 정확도에 대한 문장이 함께 딸려 나옵니다. "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (결과를 보면 텍스트가 조금 더 많아지면 정확도가 올라가므로, 300단어 미만 제출물은 정확도가 떨어질 가능성이 있는 AI 작성 점수가 나올 수 있다)는 문장이 그것인데, 이 문장은 2023년 12월 15일 자 릴리스 노트에서 나온 것으로, 분량 미달 제출물이 통과되도록 한 버그에 관한 것이며 그 시점에 생성된 리포트를 설명합니다. 오늘날 하한선 아래에서는 모델이 덜 신뢰할 수 있는 예측을 내는 것이 아닙니다. 예측 자체를 내지 않습니다.

300단어이거나 그보다 조금 많더라도 겹침은 미미할 수 있습니다. 350단어 문서라면 겹침이 아주 적은 두세 개의 세그먼트만 나올 수 있습니다. 하나보다는 낫지만 2,000단어 논문의 세그먼트 밀도에는 훨씬 못 미칩니다. 텍스트가 많으면 세그먼트도 많아지고, 겹침도 많아지며, 모델이 AI 생성 내용과 직접 쓴 내용을 구분할 기회도 늘어납니다.

"전부 아니면 전무" 문제가 가장 뚜렷하게 드러나는 것은 짧은 문서에 직접 쓴 내용과 AI 생성 텍스트가 섞여 있을 때입니다. 문서는 "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (AI가 생성한 내용과 직접 쓴 내용이 섞인 텍스트가 전부 AI 생성으로 표시될 수 있다)고 밝힙니다. 짧은 과제의 대부분을 직접 쓰고 일부에만 AI를 쓴 학생에게 이는, 텍스트 대부분이 자기 글이라도 문서 전체가 높은 AI 작성 점수를 받을 수 있다는 뜻입니다.

이 문제를 악화시키는 글의 유형이 있습니다. 문서는 이렇게 적고 있습니다. "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때로 오탐지에는 구조적 변화가 많지 않은 내용, 문자 그대로 반복되는 텍스트, 새로운 생각을 전개하지 않고 바꿔 쓴 텍스트가 포함될 수 있습니다.) 토론 게시글이나 짧은 성찰 같은 짧은 과제는 이 설명에 들어맞는 경우가 많습니다. 온전한 연구 논문보다 구조적 변화가 적은 편이고, 비슷한 생각을 비슷한 문장 패턴으로 되풀이할 수 있습니다. 문서는 이렇게 권합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 AI 작성 비율이 높게 나온다면, 표시된 퍼센트를 보실 때 그 점을 고려하시기를 권합니다.)

Turnitin이 찾아내어 대응한 구체적인 패턴도 있었습니다. 2023년 업데이트에는 이렇게 적혀 있습니다. "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후 우리는 문서의 처음 몇 문장이나 마지막 몇 문장에서 오탐지가 더 자주 발생하는 것을 확인했습니다. 이러한 문장은 대개 일반적인 방식으로 쓰인 서론이나 결론의 내용입니다. 그 결과, 이러한 오탐지를 줄이기 위해 탐지 로직을 변경했습니다.) 짧은 문서는 서론과 결론 내용의 영향을 과도하게 받습니다. 그 부분이 전체 텍스트에서 차지하는 비중이 더 크기 때문입니다. 2023년 수정 조치는 도움이 되었지만, 짧은 문서의 구조적 취약성은 남아 있습니다.

짧은 과제는 AI 탐지에서 서로 겹쳐 작용하는 여러 어려움에 직면합니다. 세그먼트가 적고, 겹침이 적으며, 구조적 변화도 적습니다. 서론과 결론이 일반적인 문장일 가능성도 더 큽니다. 이 모든 요인 때문에 AI 작성 점수는 긴 문서보다 짧은 문서에서 덜 신뢰할 수 있습니다.

토론 게시글, 짧은 성찰, 간단한 반응 과제는 고등교육에서 가장 흔한 단문 형식 과제입니다. 여러분이 그런 과제를 쓰고 있다면, AI 작성 리포트가 직접 쓴 글과 AI의 도움을 받은 부분을 구분하지 못할 수 있습니다. 점수가 낮은 세그먼트 하나가 문서 전체를 표시 대상으로 뒤집어 버릴 수 있습니다.

문서는 이 한계를 인정합니다. "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 작성 탐지 모델이 항상 정확한 것은 아닐 수 있으므로, 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.) 이 문장은 "전부 아니면 전무" 구도가 작동하는 짧은 문서에 특히 해당됩니다. 짧은 과제에서 AI 작성 표시를 받았다면, 그 리포트는 여러분의 글에 대한 분명한 신호라기보다 단일 세그먼트 예측의 한계를 보여 주는 것일 수 있습니다.

Turnitin은 이렇게 밝히기도 합니다. "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (당사는 AI 작성 비율이 20%를 넘는 문서에서 오탐지율을 1% 미만으로 유지하면서 탐지기의 효과를 극대화하고자 노력합니다.) 이 오탐지 목표치는 신뢰할 수 있는 분석에 충분한 분량의 문서에 적용됩니다. 짧은 문서는 최적 범위 밖에 있고, 오탐지율이 더 높을 수 있습니다.

짧은 문서의 AI 작성 점수는 신중하게 다루시기를 권합니다. 스스로 글을 쓰고, 도입부와 마무리에 상투적인 표현은 피하십시오. 그리고 이미 리포트가 표시한 부분을 손보고 싶다면 그 부분만 다시 쓰고 문서의 나머지는 그대로 두면 됩니다.