시간이 지나며 변하는 Turnitin 감지 기능: 내 점수에 미치는 영향

같은 논문이라도 날짜에 따라 AI 점수가 다르게 나올 수 있습니다. Turnitin FAQ 를 보면 "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage."(새로운 LLM 을 더 잘 감지하도록 모델을 계속 개선하고 개발함에 따라 감지 기능도 변화할 가능성이 있으며, 이는 AI 비율에 영향을 미칩니다) 라고 명시되어 있습니다. 이어 "However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."(하지만 제출된 문서의 AI 비율은 다시 제출하여 처리하지 않는 한 달라지지 않습니다) 라고 덧붙입니다. 즉, 리포트가 한 번 생성되면 그 상태로 고정됩니다. 다만 나중에 같은 텍스트를 다시 제출하면 새 리포트는 업데이트된 모델의 기능을 반영합니다. 1 월에 20% 가 나왔던 논문이 8 월에는 다르게 나올 수 있는데, 이는 텍스트가 변해서가 아니라 모델이 변했기 때문입니다.

FAQ 는 이에 대해 명확히 밝히고 있습니다:

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (LLM 을 더 잘 탐지하기 위해 모델을 반복적으로 개발하고 개선함에 따라 탐지 능력도 변할 수 있으며 이는 AI 비율에 영향을 미칩니다. 하지만 제출된 문서의 경우 AI 비율은 다시 제출하여 재처리되지 않는 한 바뀌지 않습니다.)

두 가지를 기억하세요. 첫째, Turnitin 은 감지 기능이 고정되어 있지 않다고 인정합니다. 모델은 새로운 언어 모델을 감지하도록 진화하며, 그 진화가 모델이 부여하는 AI 비율에 영향을 줍니다. 둘째, 변화는 재제출 시에만 적용됩니다. 기존 리포트는 다시 처리되지 않습니다. 석 달 전 리포트가 있다면 그 점수는 그대로 고정된 겁니다. 당시 처리 시점의 모델을 반영할 뿐, 현재 모델이 아닙니다. 그래서 Turnitin 재확인 후에도 여전히 flagged 에서는 두 숫자를 비교하는 대신 두 리포트를 비교하라고 권하는 것입니다.

AI 작문 감지 모델 페이지의 릴리스 노트 세 건 (2025 년 10 월, 2026 년 2 월, 2026 년 5 월) 에서 모두 동일한 문장을 찾을 수 있습니다:

"This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted." (이번 릴리스는 이전에 생성된 AI 작성 리포트를 소급하여 업데이트하지 않습니다. 이 업데이트로 생성된 AI 작성 점수를 확인하려면 기존 제출물을 다시 제출해야 합니다.)

이는 앞서 본 FAQ 내용과 일치합니다. 모델 업데이트마다 감지는 개선되지만, 기존 리포트를 소급해서 다시 계산하지는 않습니다. 업데이트 방향도 명시되어 있습니다. "We have updated our AI writing detection model to improve recall while maintaining a low false positive rate."(낮은 오탐지율을 유지하면서 재현율을 개선하기 위해 AI 작문 감지 모델을 업데이트했습니다) 재현율을 높인다는 건 모델이 AI 생성 텍스트에 더 민감해진다는 뜻입니다. 이전에는 낮은 점수였던 논문이 업데이트 후 더 높은 점수가 나올 수 있는데, 업데이트된 모델이 이전 모델이 놓쳤던 패턴을 잡아내기 때문입니다. 논문 수정 후 AI 점수가 오른 이유 에서 이 점에 대해 더 다루고 있습니다.

FAQ 는 최근의 중대한 변경사항을 이렇게 설명합니다. "In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate."(2026 년 7 월, 다중 모델 앙상블을 단일 모델로 통합하도록 모델 아키텍처를 업데이트했습니다. 이 업데이트는 AI 작문 리포트를 개선하고 단순화하며, 1% 미만의 오탐지율을 유지합니다)

이는 릴리스 노트 페이지가 아니라 FAQ 에 나온 내용입니다. FAQ 는 다중 모델 앙상블이 단일 모델로 통합되었다고 말합니다. 이런 아키텍처 변경은 같은 텍스트에도 점수가 확연히 다르게 나올 수 있는 종류의 변화입니다. 다중 모델 앙상블은 여러 모델의 예측을 종합하지만, 단일 모델은 스스로 예측합니다. 통합으로 채점 경로가 바뀌었고, 이에 따라 경계에 있는 세그먼트의 분류도 달라졌을 수 있습니다.

모델 기능은 시간이 지나면서 구체적인 방향으로 확대되어 왔습니다. 2023 년 12 월, Turnitin 은 "AI word spinners"라 불리는 도구에 대한 감지 기능을 추가했습니다. 2025 년 8 월에는 감지기가 업데이트되어 AI bypasser 도구로 수정된 텍스트를 "AI-generated only" 카테고리에 포함하게 되었습니다. 이러한 추가로 인해 paraphraser 나 bypasser 도구로 처리된 텍스트는 업데이트 이후에 생성된 리포트에서 업데이트 이전보다 더 잘 감지됩니다. Turnitin 이 AI humanizer 를 감지하는지 에서 벤더가 무엇을 약속하고 무엇을 약속하지 않는지 확인할 수 있습니다.

지금까지 다룬 내용을 정리하면:

• Turnitin FAQ 는 새로운 LLM 을 감지하도록 모델이 발전함에 따라 감지 기능이 "will also change"(변화할 것) 라고 말합니다.
• 릴리스 노트는 업데이트가 기존에 생성된 AI 작문 리포트를 소급해서 변경하지 않는다고 확인합니다.
• 최근 업데이트 방향은 낮은 오탐지율을 유지하면서 재현율을 개선하는 것입니다.
• 2026 년 7 월 아키텍처 변경으로 다중 모델 앙상블이 단일 모델로 통합되었습니다.
• 같은 텍스트라도 모델 업데이트 후 재제출하면 다른 AI 점수가 나올 수 있습니다.

Turnitin 리포트가 있고 flagged 된 부분을 수정하고 싶다면 리포트를 불러오기 해서 직접 처리하세요. 조건에 맞는 부분은 무료로 다시 실행할 수 있습니다.