Turnitin은 Gemini와 Copilot을 감지할 수 있을까요? FAQ에 적힌 내용

Gemini는 그렇습니다. Copilot도 사실상 마찬가지입니다. Turnitin의 FAQ에는 감지기가 콘텐츠를 식별할 수 있는 AI 작성 모델의 목록이 공개되어 있습니다. 목록에는 Gemini를 비롯해 GPT, Claude, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini가 포함됩니다. 공식적으로 쓰인 표현은 "can detect content from." (이 모델들에서 비롯된 콘텐츠를 감지할 수 있습니다)입니다. 목록은 이렇게 끝납니다. "and tools based on these LLMs as well." (이러한 LLM을 기반으로 하는 도구도 마찬가지입니다.) Copilot은 GPT 모델을 기반으로 하며, GPT는 목록에 올라 있습니다. 즉 Copilot은 목록에 있는 LLM을 기반으로 하는 도구에 해당합니다. FAQ는 덧붙입니다. "We will continue to expand our detection capabilities to other models in the future." (앞으로도 감지 기능을 다른 모델로 계속 확장해 나가겠습니다.) FAQ는 또한 감지 기능이 고정된 것이 아니라 모델이 업데이트됨에 따라 달라진다는 점도 인정합니다.

FAQ에는 콘텐츠를 감지할 수 있는 모델이 쉼표로 구분된 목록으로 제시되어 있습니다. 도입 문장은 다음과 같습니다. "Currently, Turnitin's AI writing detection model for English submissions can detect content from …" (현재 영어 제출물에 대한 Turnitin의 AI 작성 감지 모델은 …에서 비롯된 콘텐츠를 감지할 수 있습니다) 그 뒤에 GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini를 포함하는 목록이 이어집니다. 목록은 이렇게 끝납니다.

"and tools based on these LLMs as well." (이러한 LLM을 기반으로 하는 도구도 마찬가지입니다.)

다음 문장입니다. "We will continue to expand our detection capabilities to other models in the future." (앞으로도 감지 기능을 다른 모델로 계속 확장해 나가겠습니다.)

이 표현이 중요한 이유입니다. 목록은 개별 도구나 외부 서비스를 하나씩 이름으로 밝히지 않습니다. 기반이 되는 모델군을 밝힌 뒤, 그 위에 만들어진 것은 모두 포함합니다. Copilot은 GPT 모델로 구동되므로 이러한 LLM을 기반으로 하는 도구의 범위에 들어갑니다. Gemini는 목록에 직접 이름이 올라 있습니다. 확장하겠다는 약속은, 새로운 모델이 등장하고 감지 모델이 업데이트됨에 따라 목록이 더 길어질 수 있다는 뜻입니다.

FAQ는 감지 방식을 분할과 확률 점수로 설명합니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 겹치는 구간으로 분할됩니다. 각 구간은 AI 감지 모델이 분류하고 0에서 1 사이의 값을 부여받으며, 이는 해당 텍스트가 사람이 쓴 것인지 AI가 만든 것인지의 확률을 나타냅니다.)

각 구간에는 저마다의 점수가 매겨집니다. 전체 비율은 모델이 AI 생성으로 분류한 구간의 비중을 반영합니다. 감지기는 워터마크나 단 하나의 결정적 특징을 찾는 것이 아닙니다. 확률 점수를 바탕으로 텍스트를 구간별로 분류할 뿐입니다. 각각의 점수에 무엇이 반영되는지는 AI 감지기가 perplexity와 burstiness 외에 측정하는 것에서 다룹니다.

FAQ는 오탐과 AI 텍스트 누락 사이의 상충 관계를 인정합니다.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (오탐률을 1%라는 이 낮은 수준으로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다.)

감지기는 학생이 AI를 사용했다고 잘못 지적하지 않도록 조정되어 있습니다. 그 조정의 대가는, AI가 만든 텍스트의 일부가 감지되지 않고 남을 수 있다는 점입니다. 이는 Turnitin이 스스로 문서화한 의도적인 설계 선택입니다. 사람의 단어 확률 패턴에 더 가까운 텍스트를 만드는 모델은, 감지 모델이 그것을 다루도록 업데이트될 때까지는 감지가 더 어려울 것입니다. 바로 이런 시차가 Turnitin이 AI 휴머나이저를 감지하는지의 핵심 질문입니다.

FAQ는 감지가 고정된 대상이 아니라고 분명히 밝힙니다.

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage." (더 새로운 LLM을 더 잘 감지하도록 모델을 거듭 개선하고 개발해 나감에 따라, 감지 기능도 함께 달라질 가능성이 높고, 이는 AI 비율에 영향을 줍니다.)

다음 문장입니다. "However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (다만 이미 제출된 문서의 경우, 다시 제출되어 처리될 때에만 AI 비율이 바뀝니다.)

여기에서 두 가지 의미가 나옵니다. 첫째, 감지 모델은 더 새로운 LLM을 겨냥해 업데이트되고 있으므로, Gemini와 Copilot 같은 모델에 대한 적용 범위는 시간이 지나며 개선되거나 달라질 수 있습니다. 둘째, 모델 업데이트 전에 채점된 문서는 다시 제출하지 않는 한 원래 점수를 유지합니다. 과거 제출물의 점수는 그 제출 시점의 감지 기능을 반영한 것이지 현재의 기능을 반영한 것이 아닙니다. 그래서 Turnitin 재검사 후에도 계속 지적되는 경우에서는 숫자 두 개가 아니라 보고서 두 개를 비교하라고 말합니다.

정리하면 다음과 같습니다.

• Gemini는 Turnitin이 공개한, 콘텐츠를 감지할 수 있는 모델 목록에 직접 이름이 올라 있습니다.
• Copilot은 목록에 있는 GPT 모델을 기반으로 합니다. 목록은 "tools based on these LLMs as well." (이러한 LLM을 기반으로 하는 도구도 마찬가지입니다.)까지 포함합니다.
• FAQ는 "continue to expand our detection capabilities to other models in the future." (앞으로도 감지 기능을 다른 모델로 계속 확장해 나가겠습니다)라고 약속합니다.
• 감지기는 텍스트를 겹치는 구간으로 나누어 처리하고, 각 구간에 0에서 1 사이의 확률 점수를 부여합니다.
• 오탐률을 낮게 유지하기 위해, 감지기는 AI가 만든 텍스트의 일부를 놓칠 수 있습니다.
• 감지 기능은 시간이 지나며 달라집니다. 모델 업데이트 전에 채점된 문서는 다시 제출하지 않는 한 원래 점수를 유지합니다.

Turnitin AI 보고서를 받고 지적된 부분을 수정하고 싶으시다면, 보고서를 가져와 작업하시면 됩니다. 조건에 해당하는 부분은 무료로 다시 처리할 수 있습니다.