Turnitin은 LLaMA를 탐지할까? 모델 목록이 말해 주는 것

예. LLaMA는 Turnitin이 공개한 모델 목록에 분명히 이름이 올라 있습니다. 그 목록은 Turnitin의 영문 제출물용 AI 작성 탐지 모델이 LLaMA를 비롯해 GPT, Gemini, Claude, Mistral, DeepSeek, Nova, Grok, o1-mini 등 여러 모델이 만든 콘텐츠를 탐지할 수 있다고 적고 있습니다. 목록은 또한 "tools based on these LLMs as well," (이러한 LLM을 기반으로 만든 도구도 마찬가지로 탐지 범위에 포함된다)까지 포괄한다고 밝히므로, LLaMA 언어 모델 위에 얹어 만든 애플리케이션과 서비스도 명시된 탐지 범위 안에 들어옵니다.

LLaMA는 오픈소스 모델 계열이라 이야기가 한결 복잡해집니다. 기본 LLaMA 모델 위에 여러 기관이 미세 조정한 변형과 파생 모델을 얹어 둔 경우가 많기 때문입니다. Turnitin의 표현 가운데 "tools based on these LLMs" (이러한 LLM을 기반으로 한 도구)라는 조항은 바로 이런 사례를 겨냥한 것입니다. 같은 오픈 웨이트 문제는 Mistral AI 텍스트를 Turnitin이 탐지하는지에서도 다룹니다. 미세 조정된 변형이 모두 같은 정확도로 잡히는지는 별개의 문제이고, 목록 자체는 그 질문에 답하지 않습니다.

Turnitin은 모델마다 탐지 성공과 실패를 적은 표를 공개하지 않습니다. 대신 문서 안에 모델 이름을 쉼표로 이어 나열해 둡니다. 도입 문장은 "Currently, Turnitin's AI writing detection model for English submissions can detect content from" (현재 Turnitin의 영문 제출물용 AI 작성 탐지 모델은 다음 모델이 생성한 콘텐츠를 탐지할 수 있습니다)라고 쓰고, 그 뒤로 LLaMA를 비롯한 주요 언어 모델이 이어집니다. 같은 줄에는 Claude와 Gemini도 함께 적혀 있고, 폐쇄형 가중치 쪽 이야기는 Claude, Copilot, Gemini를 Turnitin이 탐지하는지에서 다룹니다. 목록은 마지막에 탐지 범위가 "tools based on these LLMs as well." (이러한 LLM을 기반으로 한 도구에도 마찬가지로 미친다)까지 확장된다고 밝힙니다.

여기서 눈여겨볼 표현은 "can detect content from." (다음 모델이 만든 콘텐츠를 탐지할 수 있다)입니다. 이 문구가 뜻하는 바는 탐지기가 이 모델들이 생성한 텍스트를 알아보도록 학습되었다는 것, 그 이상도 이하도 아닙니다. 완벽한 탐지를 약속하는 말은 아닙니다. 목록 바로 뒤에 이어지는 문장도 그에 못지않게 중요합니다: "We will continue to expand our detection capabilities to other models in the future." (앞으로도 다른 모델로 탐지 범위를 계속 넓혀 나가겠습니다)

LLaMA만 놓고 보면, 이 모델 계열이 오픈소스라는 점 때문에 파생 도구와 미세 조정 변형이 많이 생겨납니다. "tools based on these LLMs" (이러한 LLM을 기반으로 한 도구)라는 조항은 바로 이런 파생 모델을 포괄해 명시된 탐지 범위 안으로 끌어들이려는 것입니다. 다만 그 범위가 실제로 얼마나 민감하게 작동하는지는 달라질 수 있고, 이 점은 아래에서 다룹니다.

탐지 결과가 예 또는 아니오로 딱 떨어지지 않는 이유를 이해하려면 Turnitin이 설명해 둔 작동 방식을 보면 좋습니다. 논문이 제출되면 문장이 추출되고, 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 받는데, 이는 그 텍스트가 사람이 썼을 가능성과 AI가 썼을 가능성을 나타냅니다. 구간 안에서 조건을 만족하는 문장은 그 구간의 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 어떤 문장은 점수를 여러 개 받기도 하며, 이 점수들은 하나로 합쳐집니다. 이렇게 얻은 문장 점수들은 다시 취합되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.

즉 리포트에 찍히는 최종 비율은 문장 단위의 작은 예측을 수없이 모아 합산한 결과입니다. 문서 전체를 한 번에 훑어 AI 또는 사람이라고 낙인찍는 단일 검사가 아닙니다. 문장 하나하나가 총점에 기여하고, 구간이 겹치는 덕분에 경계에 걸린 경우는 어느 정도 완화됩니다.

Turnitin의 모델은 고정되어 있지 않습니다. 문서에 따르면 "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (모델을 거듭 개선해 더 새로운 LLM을 더 잘 탐지하게 되면, 탐지 성능도 따라서 달라져 AI 비율에 영향을 줄 가능성이 큽니다. 다만 이미 제출된 문서의 AI 비율은 다시 제출해 처리하지 않는 한 바뀌지 않습니다)라고 합니다.

여기에는 현실적인 의미가 있습니다. 오늘 문서를 제출해 어떤 AI 비율을 받았다면, 몇 주 또는 몇 달 뒤에 다시 제출했을 때 같은 문서가 다른 비율을 받을 수도 있습니다. 모델이 업데이트되고, 그 업데이트가 점수를 어느 방향으로든 움직일 수 있기 때문입니다. 오늘은 사람이 쓴 것처럼 읽히는 문단이 업데이트 뒤에는 AI가 쓴 것으로 읽힐 수 있고, 그 반대도 마찬가지입니다.

LLaMA 텍스트라면 지금 겪는 탐지 비율이 나중에 겪게 될 비율과 다를 수 있다는 뜻입니다. 모델 목록은 LLaMA가 탐지 대상에 포함된다는 점을 확인해 주지만, Turnitin이 모델을 다듬는 과정에서 그 탐지의 민감도는 달라질 수 있습니다.

Turnitin은 자사 탐지기가 모든 것을 잡아내지 못한다는 점을 숨기지 않습니다. 문서에는 "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%로 낮게 유지하기 위해 문서 안의 일부 AI 작성 텍스트를 놓칠 가능성이 있습니다. 사람이 쓴 텍스트를 AI가 쓴 것으로 잘못 표시하고 싶지 않기 때문에 우리는 이를 감수합니다. 예를 들어 문서의 50%가 AI 도구가 쓴 것으로 확인되었다면 실제로는 최대 65%까지 AI가 쓴 글일 수 있습니다)라고 적혀 있습니다.

이는 의도적인 저울질입니다. Turnitin은 오탐률을 낮게 유지하는 쪽을 우선하며, 그 대가로 일부 AI 텍스트가 빠져나가는 것을 받아들입니다. 50%로 표시된 문서에도 실제로는 최대 65%의 AI 작성 내용이 들어 있을 수 있습니다. 탐지기는 신중한 쪽을 택합니다. 사람이 쓴 글을 잘못 표시하느니 AI 텍스트를 놓치는 편을 고르는 것입니다.

탐지기가 이렇게 작동하는 이유를 이해하려면 실제로 무엇을 측정하는지 봐야 합니다. Turnitin의 모델은 AI 탐지에 관한 공개 논의에서 자주 거론되는 지표에 기대지 않으며, 그 지표 이야기는 Turnitin이 AI 탐지에 perplexity와 burstiness를 사용하는지에서 본격적으로 다룹니다. 문서에는 "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (저희 모델은 공개 논의에서 간혹 언급되는 burstiness나 perplexity 같은 개별 지표를 명시적으로 평가하도록 프로그래밍되어 있지 않습니다. 대신 학습 데이터에서 통계적 패턴을 학습합니다)라고 나와 있습니다. 모델은 이렇게 학습한 내용을 텍스트 분류에 적용합니다. Turnitin의 표현을 빌리면 "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (저희 분류기는 이러한 단어 확률의 차이를 탐지하도록 학습되어, 사람이 쓴 글에 나타나는 고유한 단어 확률 배열에 능합니다)입니다.

다시 말해 탐지기는 문장 길이의 변화나 어휘의 희소성 같은 표면적 신호가 아니라 단어 확률 패턴을 봅니다. 그래서 크게 손보거나 다시 쓴 AI 텍스트가 간혹 탐지를 피해 가기도 하며, AI 휴머나이저를 Turnitin이 탐지하는지에서 관건이 되는 것도 바로 그 재작성의 정도입니다. 편집 과정에서 단어 확률 배열이 충분히 달라지면 분류기는 그 텍스트를 AI가 쓴 것으로 더 이상 알아보지 못할 수 있습니다. LLaMA 변형 모델의 경우에도 마찬가지로, 탐지기는 어느 특정 변형이 만들었는지가 아니라 텍스트 자체의 통계적 패턴을 봅니다.

Turnitin 리포트에서 어떤 문단이 AI 작성으로 표시되었다면, 문서 전체를 다시 쓰기보다 표시된 부분만 손보는 것이 가장 현실적인 방법입니다. 이 방식은 Turnitin 리포트가 플래그한 문단만 다시 쓰기에서 자세히 다룹니다. Turnitin이 문장 단위로 점수를 매기기 때문에, 탐지를 유발한 특정 구간을 찾아 그 부분에 수정을 집중할 수 있습니다.

인용, 표, 서식은 그대로 두세요. 손을 봐야 하는 것은 AI로 표시된 문단뿐입니다. 수정해서 다시 제출할 때 기억할 점은, AI 비율이 여러분의 수정 때문만이 아니라 모델 업데이트 때문에도 달라질 수 있다는 것입니다.

조건에 해당하는 문단은 추가 비용 없이 다시 처리할 수 있습니다.