Turnitin 의 AI 검출률은 어떻게 작동할까?

Turnitin 은 논문을 문장으로 분리하고 각 문장을 겹치는 세그먼트로 그룹화한 뒤, 각 세그먼트에 0 에서 1 사이의 확률 점수를 매겨 AI 점수를 계산합니다. 이 점수들을 모두 모아 문서 전체의 단일 백분율로 집계합니다. 모델은 산문만 분석하며 코드나 불릿 포인트는 분석하지 않습니다. 점수는 강사와 관리자만 볼 수 있으며, 필요시 PDF 를 다운로드해 학생과 공유할 수 있습니다. 점수가 1% 에서 19% 사이면 점수 대신 별표가 표시됩니다.

Turnitin 은 이 과정을 이렇게 설명합니다: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin 에 제출되면, 제출된 문서에서 문장이 추출되어 예측 분석을 위해 겹치는 섹션으로 분할됩니다. 각 세그먼트는 AI 감지 모델에 의해 분류되며, 텍스트가 인간이 썼는지 AI 가 생성했는지의 확률을 나타내는 0 에서 1 사이의 값이 할당됩니다. 이 세그먼트 내의 각 적격 문장은 세그먼트의 점수를 물려받습니다. 세그먼트가 겹치기 때문에 일부 문장은 여러 점수를 가질 수 있으며, 이 점수들은 단일 점수로 통합됩니다. 이 문장 점수들은 더욱 집계되어 문서 전체의 AI 작문 점수를 계산하는 데 사용됩니다.)

여기서 주목해야 할 점이 몇 가지 있습니다. 첫째, 분석의 기본 단위는 문서 전체가 아니라 문장입니다. 둘째, 세그먼트가 겹친다는 것은 하나의 문장이 여러 세그먼트에 속해 여러 점수를 가질 수 있고, 이 점수들이 통합된다는 뜻입니다. 셋째, 최종 백분율은 이 모든 문장 단위 점수들의 집계 결과입니다. 한 번의 판단이 아니라 수많은 작은 판단들이 모여 만들어진 값입니다.

같은 백분율이라도 플래그가 지정된 텍스트의 분포는 문서마다 다를 수 있는 이유가 바로 여기에 있습니다. 한 문서는 플래그가 강하게 찍힌 문장이 몇 개 있을 수 있고, 다른 문서는 약하게 플래그가 찍힌 문장이 많을 수 있습니다. 집계가 이 모든 차이를 하나의 숫자로 평활화합니다.

문서의 모든 요소가 분석되는 것은 아닙니다. Turnitin 은 다음과 같이 명시합니다: "The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (이 모델은 산문이 아닌 형태나 코드로 된 AI 생성 텍스트는 신뢰하게 감지하지 못하며, 불릿 포인트와 같은 짧은 형식 또는 비전통적인 작문 (짧은 비문장 구조) 도 감지하지 못합니다.)

이는 코드 블록, 불릿 포인트, 번호가 매겨진 목록 및 기타 비산문 요소는 AI 감지 분석에서 제외된다는 뜻입니다. 오직 산문 문장, 즉 연결된 텍스트로 구성된 실제 단락만이 모델에 입력됩니다. Turnitin 은 이렇게 덧붙입니다: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (이는 여러 가지 다른 글쓰기 유형이 포함된 문서의 경우 백분율과 하이라이트 사이에 차이가 발생할 수 있음을 의미합니다.)

논문이 긴 산문 단락과 불릿 포인트 목록, 코드 스니펫을 섞어 쓴 경우, 백분율은 산문 부분에 대해서만 계산됩니다. 하이라이트도 산문에만 표시됩니다. 하이라이트된 텍스트를 전체 문서 길이와 비교했을 때 숫자가 맞지 않으면 혼란이 생길 수 있습니다. 백분율은 전체 문서가 아니라 적격 산문 을 기준으로 계산됩니다.

학생은 AI 작문 감지 표시기나 리포트를 직접 볼 수 없습니다. Turnitin 은 다음과 같이 명시합니다: "The AI writing detection indicator and report are not visible to students." (AI 작문 감지 표시기와 리포트는 학생에게 표시되지 않습니다.) 그리고 이렇습니다: "Please note, only instructors and administrators are able to see the indicator." (강사와 관리자만이 표시기를 볼 수 있습니다.)

그래도 자신의 점수를 아예 볼 수 없다는 뜻은 아닙니다. Turnitin 은 덧붙입니다: "However, with the PDF download feature, instructors can download and share the AI report with students." (하지만 PDF 다운로드 기능을 통해 강사는 AI 리포트를 다운로드하여 학생과 공유할 수 있습니다.) 따라서 점수를 확인하는 경로는 강사를 통합니다. 강사가 PDF 를 다운로드해 공유하기로 하면 백분율과 하이라이트, 별표를 볼 수 있습니다. 공유하지 않으면 Turnitin 인터페이스를 통해서는 점수를 볼 수 없습니다. 학생용 Turnitin 로그인 페이지에서 학생 뷰에 무엇이 포함되고 포함되지 않는지 다룹니다.

수정 목적으로 리포트를 확인해야 한다면 강사에게 PDF 를 다운로드해 공유해 줄 수 있는지 문의하세요. 최종 제출 전에 플래그가 지정된 구절을 처리하고 싶다고 설명하면 많은 강사들이 기꺼이 협의해 줍니다.

AI 점수가 1% 에서 19% 사이면 리포트에는 백분율 대신 별표 (%) 가 표시됩니다. Turnitin 은 이렇게 설명합니다: "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (위양성 발생 가능성을 피하기 위해 1% 에서 19% 구간의 AI 감지 점수에는 점수나 하이라이트를 부여하지 않습니다. 리포트에서 AI 가 20% 임계값 아래로 감지되면 이제 별표 (*%) 로 표시하며 백분율은 부여하지 않습니다.)

별표는 감지기가 뭔가 포착했지만 구체적인 숫자를 제시할 만큼 확실하지는 않다는 뜻입니다. 이 구간에는 하이라이트도 표시되지 않습니다. Turnitin 이 특정 구절을 AI 생성이라고 단정하기에는 점수가 너무 낮습니다. 위양성을 줄이기 위한 보수적인 접근 방식입니다.

별표가 보인다면 감지기가 산문에서 AI 유사 패턴을 일부 포착했다는 뜻입니다. 하지만 Turnitin 이 확실한 백분율을 할당할 만큼 신뢰도가 임계값을 넘지 못했습니다. 대부분의 학생에게 별표는 걱정할 이유가 되지 않습니다. 강사가 별표에 대해 물어볼 경우 어떻게 대응해야 하는지는 Turnitin AI 점수에서 별표 (*%) 가 의미하는 것 에서 다룹니다.

강사가 PDF 리포트를 공유하고 점수가 20% 를 넘는다면 하이라이트된 구절을 확인하세요. 모델이 AI 생성으로 분류한 특정 세그먼트입니다. 플래그가 지정된 단락만 다시 작성하는 순서에 따라 해당 섹션부터 우선적으로 수정하세요. 인용문, 표, 코드 블록은 AI 분석 대상이 아니므로 그대로 유지합니다.

별표만 보이고 하이라이트가 없다면 해결해야 할 구절이 없다는 뜻입니다. 점수가 보고 임계값 이하이므로, 그래도 산문에서 일반적이거나 정형화된 표현이 있는지 검토는 해볼 수 있지만 반박해야 할 특정 플래그는 없는 상태입니다.

점수가 높아서 본인이나 강사가 우려된다면 플래그가 지정된 구절을 수정한 뒤 다시 제출하세요. 모델은 시간이 지나면서 업데이트되므로 같은 텍스트라도 재제출 시 다른 점수가 나올 수 있습니다. 그래서 두 점수를 비교하는 것보다 두 리포트를 비교하는 것이 더 정확합니다.

적격 구절은 무료로 다시 검사할 수 있습니다.