Turnitin은 DeepSeek을 탐지할까요? 모델 목록이 말해 주는 것

예. DeepSeek은 Turnitin이 공개한 모델 목록에 분명히 이름이 올라 있습니다. 목록에 따르면 Turnitin의 영어 과제용 AI 작성 탐지 모델은 DeepSeek을 비롯해 GPT, Gemini, Claude, LLaMA, Mistral, Nova, Grok, o1-mini 등이 만들어 낸 콘텐츠를 탐지할 수 있습니다. 목록이 다루는 범위에는 "tools based on these LLMs as well," (이러한 LLM을 기반으로 한 도구까지 포함)도 들어 있습니다. 즉 DeepSeek의 언어 모델을 바탕으로 만든 애플리케이션도 명시된 탐지 범위 안에 있다는 뜻입니다.

다만 목록에 올라 있다고 해서 DeepSeek이 만든 모든 문단에 표시가 붙는 것은 아닙니다. Turnitin 역시 일부 AI 작성 텍스트는 탐지되지 않는다는 점, 그리고 모델이 업데이트되면서 탐지 성능이 달라진다는 점을 인정하고 있습니다. 따라서 솔직한 답은 이렇습니다. DeepSeek은 탐지 범위에 들어 있지만, 범위에 들어 있다는 것과 결과가 보장된다는 것은 같지 않습니다.

Turnitin은 모델별로 탐지 성공과 실패를 정리한 표를 공개하지 않습니다. 대신 문서 안에 쉼표로 나열한 목록을 제공합니다. 그 도입 문장은 이렇습니다. "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (현재 Turnitin의 영어 과제용 AI 작성 탐지 모델은 다음에서 생성된 콘텐츠를 탐지할 수 있습니다) — 그리고 그 목록에는 DeepSeek을 비롯한 주요 언어 모델이 이름을 올리고 있습니다. Claude와 Gemini도 같은 줄에 있는데, Turnitin은 Claude, Copilot, Gemini도 탐지할까요에서 그 목록을 하나씩 살펴봅니다. 목록은 마지막에서 탐지 범위가 "tools based on these LLMs as well." (이러한 LLM을 기반으로 한 도구까지 포함)로 확장된다고 밝힙니다.

여기서 핵심은 "can detect content from." (다음에서 생성된 콘텐츠를 탐지할 수 있습니다)이라는 표현입니다. 이 문구는 탐지기가 이 모델들이 만들어 낸 텍스트를 인식하도록 학습되었다는 뜻입니다. 완벽한 탐지를 약속하는 것은 아닙니다. 목록 바로 뒤에 이어지는 문장도 그에 못지않게 중요합니다. "We will continue to expand our detection capabilities to other models in the future." (앞으로도 다른 모델로 탐지 범위를 계속 넓혀 나가겠습니다).

DeepSeek에 한정해 말하면, DeepSeek의 언어 모델을 사용해 텍스트를 만드는 도구나 서비스는 모두 명시된 범위 안에 들어갑니다. 다만 그것이 매번 탐지되는지는 별개의 문제이며, 아래 섹션에서 다룹니다.

탐지가 예 또는 아니오로 딱 나뉘지 않는 이유를 이해하려면 Turnitin이 설명하는 작동 방식을 보면 도움이 됩니다. 논문이 제출되면 문장이 추출되어 서로 겹치는 구간으로 나뉘고, 각 구간을 AI 탐지 모델이 분류해 0과 1 사이의 값을 부여합니다. 이 값은 해당 텍스트가 사람이 썼을 가능성을 나타내는 확률입니다. 구간에 속한 문장은 그 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 개의 점수를 받는 문장도 있고, 그 점수들은 하나로 합산됩니다. 이렇게 얻은 문장 점수들이 다시 모여 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.

즉 보고서에 찍히는 최종 비율은 문장 단위의 수많은 작은 예측을 합산한 값입니다. 문서 전체를 한 번에 AI 또는 사람으로 낙인찍는 단일 검사가 아닙니다. 문장 하나하나가 총점에 기여하고, 구간이 겹치는 방식 덕분에 경계에 걸친 경우도 완만하게 조정됩니다.

Turnitin의 모델은 고정되어 있지 않습니다. 문서에 따르면 "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (더 새로운 LLM을 더 잘 탐지하도록 모델을 반복 개발해 나가는 과정에서 탐지 성능도 함께 달라져 AI 비율에 영향을 줄 가능성이 높습니다. 다만 이미 제출된 문서의 AI 비율은 다시 제출해 처리하는 경우에만 바뀝니다).

여기에는 실제로 중요한 의미가 있습니다. 오늘 문서를 제출해 어떤 AI 비율을 받았다면, 몇 주 또는 몇 달 뒤 같은 문서를 다시 제출했을 때는 다른 비율이 나올 수 있습니다. 모델은 계속 업데이트되고, 그 업데이트는 점수를 어느 쪽으로든 움직일 수 있습니다. 재제출 시 Turnitin AI 점수가 달라지는 이유에서 다루는 여러 이유 가운데 하나가 바로 이것입니다. 오늘 사람이 쓴 것으로 읽히던 문단이 업데이트 후에는 AI가 쓴 것으로 읽힐 수도 있고, 그 반대도 마찬가지입니다.

DeepSeek 텍스트에 적용하면, 지금 겪는 탐지 결과가 나중에 겪게 될 결과와 같지 않을 수 있다는 뜻입니다. 모델 목록은 DeepSeek이 범위 안에 있음을 확인해 주지만, Turnitin이 모델을 다듬는 과정에서 그 탐지의 민감도는 달라질 수 있습니다.

Turnitin은 자사 탐지기가 모든 것을 잡아내지는 못한다는 사실을 숨기지 않습니다. 문서에는 이렇게 적혀 있습니다. "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%로 낮게 유지하기 위해 문서에 담긴 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다. 사람이 쓴 글을 AI가 쓴 글로 잘못 표시하고 싶지 않기에 감수하는 부분입니다. 예를 들어 문서의 50%가 AI 도구로 작성된 것으로 판단된다면, 실제로는 최대 65%까지 AI 작성일 수 있습니다).

이는 의도적인 절충입니다. Turnitin은 오탐률을 낮게 유지하는 쪽을 우선하며, 그에 따라 일부 AI 텍스트가 빠져나가는 것을 감수합니다. 50%로 표시된 문서에도 실제로는 최대 65%의 AI 콘텐츠가 들어 있을 수 있습니다. 탐지기는 신중한 쪽을 택합니다. 사람이 쓴 글을 잘못 표시하느니 AI 텍스트를 놓치는 편을 고릅니다.

탐지기가 이렇게 작동하는 이유를 이해하려면 무엇을 측정하는지 살펴봐야 합니다. Turnitin의 모델은 AI 탐지에 관한 공개적인 논의에서 자주 거론되는 지표에 의존하지 않습니다. 이 부인에 대해서는 Turnitin은 AI 탐지에 perplexity와 burstiness를 사용할까요에서 하나씩 짚어 봅니다. 문서에는 이렇게 적혀 있습니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (당사의 모델은 공개 논의에서 간혹 언급되는 'burstiness,' 'perplexity,' 또는 기타 개별 지표를 명시적으로 평가하도록 프로그래밍되어 있지 않습니다. 대신 학습 데이터에서 통계적 패턴을 학습합니다). 모델은 학습한 내용을 바탕으로 텍스트를 분류합니다. Turnitin의 표현을 빌리면 "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (당사의 분류기는 이러한 단어 확률의 차이를 탐지하도록 학습되었으며, 사람이 쓴 글에 나타나는 고유한 단어 확률 배열에 능합니다).

다시 말해 탐지기는 문장 길이의 변화나 어휘의 희귀성 같은 겉모습의 신호가 아니라 단어 확률의 패턴을 봅니다. 그래서 크게 편집하거나 다시 쓴 AI 텍스트가 탐지를 피하는 경우가 생기며, Turnitin은 AI 휴머나이저를 탐지할까요에 명확한 예 또는 아니오가 없는 이유도 여기에 있습니다. 편집 과정에서 단어 확률 배열이 충분히 달라지면 분류기는 그 텍스트를 더 이상 AI가 쓴 것으로 인식하지 않을 수 있습니다.

Turnitin 보고서에서 일부 문단이 AI 작성으로 표시되었다면, 문서 전체를 다시 쓰기보다 표시된 부분만 손보는 것이 가장 현실적인 방법입니다. 이 작업 흐름은 Turnitin 보고서에서 표시된 문단만 다시 쓰기에 정리해 두었습니다. Turnitin은 문장 단위로 점수를 매기기 때문에, 탐지를 유발한 구간을 특정해 그 부분에 수정을 집중할 수 있습니다.

인용, 표, 서식은 그대로 두십시오. 손을 봐야 하는 것은 AI로 표시된 문단뿐입니다. 수정해서 다시 제출할 때는 AI 비율이 수정 내용 때문만이 아니라 모델 업데이트 때문에도 달라질 수 있다는 점을 기억하십시오.

조건에 해당하는 문단은 무료로 다시 처리할 수 있습니다.