Turnitin은 Claude를 개별적으로 감지할까요? 모델 목록이 말해 주는 것

예. Turnitin이 공개하는 모델 목록에는 여러 Claude 변형이 등장합니다. 목록은 영어 제출물에 대한 Turnitin의 AI 작성 감지 모델이 Claude-3-Haiku, Claude Sonnet-3.5, Claude Sonnet-3.7, Claude Sonnet-4.5, Claude Sonnet-4.6, Claude-Haiku-4.5, Claude-Opus-4.5를 포함한 모델군에서 비롯된 콘텐츠를 감지할 수 있다고 밝힙니다. 목록은 또한 「tools based on these LLMs as well,」 (이러한 LLM을 기반으로 한 도구까지 포함한다는 뜻)까지 다루고 있어, Claude의 언어 모델 위에 구축된 애플리케이션도 명시된 감지 범위에 들어옵니다.

다만 목록에 올라 있다고 해서 Claude가 만든 모든 문장이 지적되는 것은 아닙니다. Turnitin 자체도 일부 AI 작성 텍스트는 감지되지 않고 넘어간다는 점, 그리고 모델이 업데이트되면서 감지 성능도 달라진다는 점을 인정합니다. 따라서 솔직한 답은 이렇습니다. Claude는 범위에 들어 있지만, 범위에 든다는 것이 보장과 같지는 않습니다.

Turnitin은 모델별로 감지 통과 여부를 표로 공개하지 않습니다. 대신 문서 안에 목록을 본문 형태로 제공합니다. 도입 문장은 「Currently, Turnitin's AI writing detection model for English submissions can detect content from」 (현재 영어 제출물에 대한 Turnitin의 AI 작성 감지 모델은 다음에서 비롯된 콘텐츠를 감지할 수 있습니다)로 시작하고, 뒤에는 위에서 언급한 Claude 변형과 함께 GPT, Gemini, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini가 담긴 목록이 이어집니다. 바로 이 묶음이 Turnitin이 Claude, Copilot, Gemini를 감지하는지에서 반대쪽 끝부터 훑어보는 대상입니다. 목록은 마지막에서 범위가 「tools based on these LLMs as well.」 (이러한 LLM을 기반으로 한 도구까지 마찬가지라는 뜻)로 확장된다고 밝힙니다. 목록 다음에 오는 문장은 이렇습니다. 「We will continue to expand our detection capabilities to other models in the future.」 (앞으로도 다른 모델로 감지 역량을 계속 확장해 나갈 것입니다)

핵심 문구는 「can detect content from」 (다음에서 비롯된 콘텐츠를 감지할 수 있다)입니다. 이 표현은 감지기가 이러한 모델이 만든 텍스트를 인식하도록 학습되었다는 뜻입니다. 완벽한 감지를 약속하는 것은 아닙니다. Claude에 한정해 말하면, 텍스트를 만들기 위해 Claude의 언어 모델을 사용하는 도구나 서비스는 모두 명시된 범위 안에 든다는 의미입니다. 감지기가 모든 사례를 잡아내는지는 별개의 질문이며, 아래에서 다룹니다.

감지가 단순히 예 또는 아니오로 갈리지 않는 이유를 이해하려면 Turnitin이 설명하는 메커니즘을 보는 것이 도움이 됩니다. 논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 겹치는 구간으로 나뉩니다. 각 구간은 AI 감지 모델이 분류하고 0에서 1 사이의 값을 받으며, 이는 해당 텍스트가 사람이 쓴 것일 확률 또는 AI가 만든 것일 확률을 나타냅니다. 이 구간에 속한 각 대상 문장은 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 어떤 문장은 여러 점수를 가질 수 있고, 이 점수들은 하나로 합쳐집니다. 이렇게 얻은 문장 점수는 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.

보고서에 표시되는 최종 비율은 문장 단위의 작은 예측을 많이 모은 결과입니다. 문서 전체에 AI 또는 사람이라는 도장을 한꺼번에 찍는 단일 검사가 아닙니다. 모든 문장이 전체 값에 기여하고, 겹치는 구간 덕분에 경계선에 걸친 사례가 완만해집니다.

Turnitin의 모델은 고정되어 있지 않습니다. 문서는 이렇게 밝힙니다. 「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.」 (더 새로운 LLM을 더 잘 감지하도록 모델을 거듭 개선하고 개발해 나감에 따라 감지 성능도 달라질 가능성이 크며, 이는 AI 비율에도 영향을 미칩니다. 다만 이미 제출된 문서의 경우, 다시 제출되어 처리되지 않는 한 AI 비율은 변하지 않습니다)

여기에는 실질적인 의미가 있습니다. 오늘 문서를 제출해 어떤 AI 비율을 받았다면, 몇 주 또는 몇 달 뒤 다시 제출할 때는 같은 문서가 다른 비율을 받을 수 있습니다. 모델은 업데이트되고, 그 업데이트는 점수를 어느 방향으로든 움직일 수 있습니다. 오늘 사람이 쓴 것처럼 읽히는 부분이 업데이트 후에는 AI가 만든 것처럼 읽힐 수도 있고, 그 반대도 가능합니다.

Claude 텍스트의 경우, 지금 경험하는 감지율이 나중에 경험할 감지율과 일치하지 않을 수 있다는 뜻입니다. 모델 목록은 Claude가 범위 안에 있음을 확인해 주지만, Turnitin이 모델을 다듬는 과정에서 그 감지의 민감도는 달라질 수 있습니다.

Turnitin은 자사 감지기가 모든 것을 잡아내지 못한다는 점을 숨기지 않습니다. 문서는 이렇게 밝힙니다. 「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.」 (오탐률을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 일부 AI 작성 텍스트를 놓칠 가능성이 있습니다)

이는 의도적인 균형 선택입니다. Turnitin은 낮은 오탐률을 우선시하며, 그 때문에 일부 AI 텍스트가 빠져나가는 것을 감수합니다. 감지기는 신중한 쪽을 택합니다. 사람이 쓴 글을 잘못 지적하느니, AI 텍스트를 놓치는 편을 택합니다.

감지기가 이런 방식으로 작동하는 이유를 이해하려면 실제로 무엇을 측정하는지 봐야 합니다. Turnitin의 모델은 AI 감지에 관한 공개적인 논의에서 자주 거론되는 지표에 의존하지 않으며, 그것이 Turnitin이 AI 감지에 perplexity와 burstiness를 사용하는지가 그 지점에서 끝나는 이유입니다. 문서는 이렇게 밝힙니다. 「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data.」 (저희 모델은 'burstiness,' 'perplexity,' 또는 공개 논의에서 간혹 언급되는 다른 개별 지표 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되어 있지 않습니다. 대신 학습 데이터에서 통계적 패턴을 학습합니다) 모델은 그렇게 학습한 내용을 텍스트 분류에 적용합니다. Turnitin의 표현을 빌리면, 「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」 (저희 분류기는 단어 확률의 이러한 차이를 감지하도록 학습되어 있으며, 사람 필자에게 나타나는 특유의 단어 확률 순서에 익숙합니다)

다시 말해 감지기는 문장 길이의 변화나 어휘의 희귀성 같은 표면적 신호가 아니라 단어 확률 패턴을 봅니다. 그렇기 때문에 편집이나 재작성이 많이 들어간 AI 텍스트가 감지를 피하는 경우가 있고, Turnitin이 AI 휴머나이저를 감지하는지를 사례별로 답할 수밖에 없는 것입니다. 편집 과정에서 단어 확률 순서가 충분히 달라지면, 분류기는 더 이상 그 텍스트를 AI 생성으로 인식하지 않을 수 있습니다.

Turnitin 보고서에서 일부 부분이 AI 생성으로 지적되었다면, 문서 전체를 다시 쓰는 대신 지적된 부분만 손보는 것이 가장 현실적인 방법이며, 이것이 Turnitin 보고서가 지적한 단락만 다시 쓰기에서 다루는 방식입니다. Turnitin이 문장 단위로 점수를 매기기 때문에 감지를 촉발한 구간을 특정해 그곳에 수정을 집중할 수 있습니다.

인용, 표, 서식은 그대로 두세요. 손을 봐야 하는 것은 AI로 지적된 부분뿐입니다. 수정해 다시 제출할 때는 AI 비율이 여러분의 편집 때문만이 아니라 모델 업데이트 때문에도 달라질 수 있다는 점을 기억하세요.

조건에 맞는 부분은 추가 비용 없이 다시 실행할 수 있습니다.