Turnitin은 Grok을 감지할까요? 모델 목록이 말해 주는 것

네. Grok은 Turnitin이 공개하는 모델 목록에 분명히 이름이 올라 있습니다. 목록은 Turnitin의 영문 제출물용 AI 작성 감지 모델이 GPT, Gemini, Claude, LLaMA, Mistral, DeepSeek, Nova, o1-mini와 함께 Grok을 포함한 여러 모델의 결과물을 감지할 수 있다고 밝히고 있습니다. 목록은 또한 "tools based on these LLMs as well," (이러한 LLM을 기반으로 하는 도구까지 포함)까지 포괄하므로, Grok의 언어 모델 위에 만들어진 애플리케이션과 서비스도 명시된 감지 범위 안에 듭니다.

Grok은 여러 버전을 거치며 발전해 왔고, 버전마다 성능과 공개된 배경이 다릅니다. "tools based on these LLMs" (이러한 LLM을 기반으로 하는 도구)라는 조항은 Grok을 기반 모델로 삼는 하위 애플리케이션 역시 명시된 범위 안에 든다는 뜻입니다. 다만 Grok의 모든 버전이 똑같은 정확도로 걸러지는지는 별개의 문제이고, 목록 자체는 그 질문에 답하지 않습니다.

Turnitin은 모델별로 감지 성공과 실패를 정리한 표를 공개하지 않습니다. 대신 문서 안에 쉼표로 나열한 목록을 제공합니다. 도입 문장은 이렇게 시작합니다. "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (현재 Turnitin의 영문 제출물용 AI 작성 감지 모델은 다음 모델이 만든 결과물을 감지할 수 있습니다) 그 뒤로 Grok을 비롯한 주요 언어 모델이 이어집니다. 같은 줄에는 Claude와 Gemini도 올라 있는데, 이쪽 이야기는 Turnitin이 Claude, Copilot, Gemini를 감지하는지에서 자세히 다룹니다. 목록은 마지막에 적용 범위가 "tools based on these LLMs as well." (이러한 LLM을 기반으로 하는 도구까지 포함)로 확장된다고 밝힙니다.

여기서 눈여겨볼 표현은 "can detect content from." (다음 모델이 만든 결과물을 감지할 수 있습니다)입니다. 이 문구는 감지 모델이 해당 모델들이 만들어 낸 텍스트를 알아보도록 학습되었다는 뜻입니다. 완벽한 감지를 보장하는 말은 아닙니다. 목록 바로 뒤에 이어지는 문장도 못지않게 중요합니다. "We will continue to expand our detection capabilities to other models in the future." (앞으로도 다른 모델에 대한 감지 기능을 계속 확장해 나갈 것입니다)

Grok에 한정해 말하면, Grok의 언어 모델로 텍스트를 만드는 도구나 서비스는 모두 명시된 범위 안에 든다는 뜻입니다. 다만 그 범위가 얼마나 민감하게 작동하는지는 달라질 수 있고, 이 부분은 아래에서 다룹니다.

감지 결과가 예와 아니오로 깔끔하게 갈리지 않는 이유를 이해하려면 Turnitin이 설명하는 작동 방식을 보는 것이 도움이 됩니다. 논문이 제출되면 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 감지 모델이 분류하고 0에서 1 사이의 값을 받는데, 이는 그 텍스트가 사람이 썼을 확률 또는 AI가 썼을 확률을 나타냅니다. 구간에 속한 조건을 충족하는 문장은 그 구간의 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 어떤 문장은 점수를 여러 개 받을 수 있고, 그 값들은 하나로 합쳐집니다. 이렇게 얻은 문장 점수는 다시 취합되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.

즉 리포트에 찍히는 최종 비율은 문장 단위의 작은 예측이 수없이 모인 결과입니다. 문서 전체를 AI 또는 사람의 글로 한 번에 낙인찍는 단일 검사가 아닙니다. 문장 하나하나가 총점에 기여하고, 구간이 겹치는 구조 덕분에 경계에 걸린 경우도 어느 정도 완화됩니다.

Turnitin의 모델은 고정되어 있지 않습니다. 문서에 따르면, "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (최신 LLM을 더 잘 감지하도록 모델을 거듭 개선해 나감에 따라 감지 성능도 달라져 AI 비율에 영향을 줄 가능성이 있습니다. 다만 이미 제출된 문서의 경우, 다시 제출해 처리하지 않는 한 AI 비율은 변하지 않습니다.)

여기에는 현실적인 함의가 있습니다. 오늘 문서를 제출해 어떤 AI 비율을 받았다면, 몇 주 또는 몇 달 뒤에 같은 문서를 다시 제출했을 때는 다른 비율이 나올 수 있습니다. 모델은 계속 업데이트되고, 그 업데이트는 점수를 어느 쪽으로든 움직일 수 있습니다. 지금 사람이 쓴 글로 읽히는 문단이 업데이트 후에는 AI가 쓴 글로 읽힐 수도 있고, 그 반대도 가능합니다.

Grok 텍스트에 대입하면, 지금 겪는 감지율이 나중에 겪게 될 감지율과 같지 않을 수 있다는 뜻입니다. Grok 자체도 여러 차례 개정을 거쳤고, Turnitin의 모델도 계속 발전하고 있습니다. 같은 파일로 리포트를 두 개 들고 있다면, 두 점수가 아니라 두 리포트를 비교하는 방법만이 어느 쪽이 움직였는지 알 수 있는 길입니다. 모델 목록은 Grok이 범위 안에 있음을 확인해 주지만, Turnitin이 모델을 다듬는 과정에서 감지 민감도는 달라질 수 있습니다.

Turnitin은 자사 감지기가 모든 것을 잡아내지는 못한다는 점을 숨기지 않습니다. 문서에는 이렇게 적혀 있습니다. "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%로 낮게 유지하기 위해 문서 안의 일부 AI 작성 텍스트를 놓칠 가능성을 감수합니다. 사람이 쓴 글을 AI가 쓴 글로 잘못 표시하고 싶지 않기에 기꺼이 받아들이는 선택입니다. 예를 들어 문서의 50%가 AI 도구로 작성된 것으로 판별된다면, 실제로는 최대 65%까지 AI 작성 분량이 들어 있을 수 있습니다.)

이는 의도적인 절충입니다. Turnitin은 오탐률을 낮게 유지하는 쪽을 우선시하고, 그 대가로 일부 AI 텍스트가 빠져나가는 것을 감수합니다. AI 50%로 표시된 문서에도 실제로는 최대 65%의 AI 작성 분량이 들어 있을 수 있습니다. 감지기는 신중한 쪽을 택합니다. 사람이 쓴 글을 잘못 플래그하느니 AI 텍스트를 놓치는 편을 택하는 것입니다.

감지기가 이런 방식으로 작동하는 이유를 이해하려면 실제로 무엇을 측정하는지 봐야 합니다. Turnitin의 모델은 AI 감지에 관한 공개적인 논의에서 자주 거론되는 지표에 의존하지 않는데, 이 주장은 Turnitin이 AI 감지에 perplexity와 burstiness를 사용하는지와 함께 읽어볼 만합니다. 문서에는 이렇게 나와 있습니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (당사의 모델은 'burstiness', 'perplexity' 또는 공개 논의에서 언급되는 개별 지표를 명시적으로 평가하도록 프로그래밍되지 않았습니다. 대신 학습 데이터에서 통계적 패턴을 학습합니다.) 모델은 그렇게 학습한 내용을 텍스트 분류에 적용합니다. Turnitin의 표현을 빌리면, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (당사의 분류기는 이러한 단어 확률 차이를 감지하도록 학습되었으며, 사람이 쓴 글에 나타나는 고유한 단어 확률 배열에 능합니다.)

다시 말해 감지기가 보는 것은 문장 길이의 변화나 어휘의 희소성 같은 표면적 신호가 아니라 단어 확률 패턴입니다. 그래서 크게 편집하거나 다시 쓴 AI 텍스트가 감지를 피해 가는 일이 생기고, Turnitin이 AI 휴머나이저를 감지하는지 역시 그렇다, 아니다로 단정해 답할 수 없습니다. 편집 과정에서 단어 확률 배열이 충분히 달라지면, 분류기는 그 텍스트를 더 이상 AI 작성으로 인식하지 않을 수 있습니다. Grok 텍스트에 적용하면, 감지기는 글 자체의 통계적 패턴에 집중하며 Grok을 특정 출처로 식별하려 들지 않습니다.

Turnitin 리포트에서 일부 문단이 AI 작성으로 플래그되었다면, 문서 전체를 다시 쓰기보다 플래그된 부분만 손보는 것이 가장 현실적인 대응입니다. 이 접근은 Turnitin 리포트가 플래그한 문단만 다시 쓰는 방법에 정리되어 있습니다. Turnitin이 문장 단위로 점수를 매기기 때문에, 감지를 유발한 특정 구간을 찾아 그 부분에 수정을 집중할 수 있습니다.

인용, 표, 서식은 그대로 두세요. 손을 봐야 하는 것은 AI로 플래그된 문단뿐입니다. 수정해 다시 제출할 때는 AI 비율이 편집 내용 때문만이 아니라 모델 업데이트로도 달라질 수 있다는 점을 기억하세요.

조건에 해당하는 문단은 추가 비용 없이 다시 실행할 수 있습니다.