Turnitin AI 탐지가 무엇을 검사하는가: 점수는 어떻게 만들어지는가

Turnitin의 AI 작성 탐지는 유사도(표절) 검사와는 별개의 분석입니다. 유사도 점수는 기존 자료와 일치하는 텍스트를 찾습니다. AI 작성 점수는 기계가 생성한 텍스트와 비슷한, 단어 선택의 통계적 패턴을 찾습니다. Turnitin FAQ는 두 점수가 "completely independent and do not influence each other." (완전히 독립적이며 서로 영향을 주지 않습니다)라고 밝힙니다. AI 탐지기는 제출물을 서로 겹치는 텍스트 세그먼트로 나누고, 각 세그먼트를 사람이 썼을 확률과 AI가 생성했을 확률로 분류한 뒤, 그 점수들을 문서 전체의 백분율로 집계하는 방식으로 작동합니다. 산문 문장만 분석됩니다. 목록, 불릿 포인트, 그 밖에 문장 형태가 아닌 구조는 제외됩니다. 그리고 AI 점수는 교수자와 관리자만 볼 수 있으며, 교수자가 PDF 보고서를 공유하기로 한 경우는 예외입니다.

Turnitin FAQ는 이 과정을 다음과 같이 설명합니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 섹션으로 분할됩니다. 각 섹션은 AI 탐지 모델에 의해 분류되고 0과 1 사이의 값을 받으며, 이 값은 해당 텍스트가 사람이 썼거나 AI가 생성했을 확률을 나타냅니다. 이 섹션 안에 있는 대상 문장 각각은 섹션의 점수를 물려받습니다. 섹션이 겹치기 때문에 여러 점수를 갖는 문장도 있고, 그런 점수들은 하나의 점수로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 사용됩니다.)

이것을 하나의 처리 과정으로 읽으시면 됩니다. 텍스트가 들어가면 서로 겹치는 조각으로 잘리고, 각 조각에 확률 점수가 부여되며, 문장은 속한 세그먼트의 점수를 물려받고, 겹치는 점수는 하나로 합쳐진 뒤 그 값들이 하나의 숫자로 집계됩니다. 모델은 여러분의 논지를 읽는 것도, 아이디어가 독창적인지 확인하는 것도 아닙니다. 단어 배열의 통계적 특징을 읽고 있을 뿐입니다.

같은 FAQ의 두 진술은 모델이 무엇을 측정하고 무엇을 측정하지 않는지를 분명히 합니다. 첫째: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (저희 모델은 'burstiness', 'perplexity' 또는 공개적인 논의에서 간혹 언급되는 다른 개별 지표와 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되어 있지 않습니다.) 다음 문장은 이렇게 이어집니다. "Instead, it learns statistical patterns from our training data." (대신, 저희 학습 데이터에서 통계적 패턴을 학습합니다.) 둘째: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (저희 분류기는 이러한 단어 확률의 차이를 감지하도록 학습되었으며, 사람이 쓴 글에 나타나는 특유의 단어 확률 배열에 능합니다.)

첫 번째 진술은 모델이 이름이 명시된 두 지표를 계산하지 않는다고 말합니다. 두 번째는 모델이 단어 확률을 기준으로 학습되었다고 말합니다. 둘은 모순되지 않습니다. 모델은 perplexity라는 값을 계산해 기준값과 비교하지 않습니다. 다만 단어 확률 데이터로부터 학습은 합니다. 이 구분이 중요한 이유는, AI 탐지를 피하는 방법에 관한 조언 상당수가 "이름 있는 지표 하나만 움직이면 된다"는 가정 위에 세워져 있기 때문입니다. 모델이 그 지표를 계산하지 않는다면, 그것을 조정하는 것은 사람들이 생각하는 만큼의 지렛대가 아닙니다. AI 탐지기가 Perplexity와 Burstiness 외에 측정하는 것에서 이 부분을 더 깊이 다룹니다.

산문 문장만 집계됩니다. FAQ는 다음과 같이 밝힙니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법적 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록, 불릿 포인트(문장이 아닌 짧은 구조), 그 밖에 문장이 아닌 구조와 같은 다른 종류의 글은 포함하지 않습니다.)

다음 문장입니다. "This percentage is not necessarily the percentage of the entire submission." (이 백분율이 반드시 제출물 전체의 백분율을 의미하는 것은 아닙니다.)

즉, 문서에 목록이나 불릿 포인트, 그 밖에 산문이 아닌 내용이 많다면 AI 백분율은 문서 전체가 아니라 산문 부분에만 적용됩니다. 여러분이 보는 백분율은 생각보다 훨씬 작은 범위의 텍스트만 나타내고 있을 수 있습니다.

1%에서 19% 사이의 점수는 숫자로 표시되지 않습니다. FAQ는 그 이유를 이렇게 설명합니다.

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (오탐 발생 가능성을 피하기 위해, 1%에서 19% 범위의 AI 탐지 점수에는 점수나 강조 표시가 부여되지 않습니다. 보고서에서 AI가 20% 기준값 미만으로 탐지된 경우, 이제는 별표(*%)로 표시되며 백분율은 부여되지 않습니다.)

보고서에 숫자 대신 별표가 표시되어 있다면, 탐지기가 AI와 비슷한 패턴을 일부 찾기는 했지만 구체적인 백분율을 부여할 만큼은 아니었다는 뜻입니다. 낮은 구간에서 오탐을 줄이기 위한 의도적인 설계 결정이었습니다. 나머지는 Turnitin AI 점수에서 별표(*%)가 의미하는 것에서 확인하실 수 있습니다.

FAQ는 열람 권한을 분명히 밝힙니다. "only instructors and administrators are able to see the indicator." (교수자와 관리자만 이 표시를 볼 수 있습니다.) 학생은 자신의 AI 점수를 직접 확인할 수 없습니다. FAQ는 이렇게 이어집니다. "However, with the PDF download feature, instructors can download and share the AI report with students." (하지만 PDF 다운로드 기능을 이용하면 교수자가 AI 보고서를 내려받아 학생과 공유할 수 있습니다.) 학생 신분으로 자신의 점수를 알고 싶다면 교수자에게 보고서의 PDF 버전을 공유해 달라고 요청해야 합니다. 그다음 단계는 Turnitin AI 작성 보고서를 읽는 방법입니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• Turnitin의 AI 점수와 유사도 점수는 완전히 독립적인 측정값입니다.
• AI 탐지기는 텍스트를 서로 겹치는 세그먼트로 나누고, 각각을 단어 확률 패턴에 따라 분류합니다.
• 산문 문장만 분석됩니다. 목록, 불릿 포인트, 문장 형태가 아닌 구조는 제외됩니다.
• 1%에서 19% 사이의 점수는 오탐을 줄이기 위해 숫자 대신 별표만 표시됩니다.
• AI 점수는 교수자와 관리자만 볼 수 있지만, 그 PDF를 학생과 공유할 수 있습니다.

Turnitin AI 보고서가 있고 표시된 부분을 손보고 싶다면 보고서를 가져오기에서 바로 처리하실 수 있습니다. 조건을 충족하는 부분은 무료로 다시 실행하실 수 있습니다.