Turnitin AI 점수의 오차 범위는 얼마나 넓을까요? 직접 세어 보았습니다

공개된 것은 없습니다. AI writing report를 정의하는 세 페이지를 2026년 8월 28일에 읽었고, 렌더링된 본문 텍스트는 총 46,712자였습니다. 그런데 `interval`, `margin`, `standard deviation`, `uncertain`, `precision`, `variance`, `error bar`, `plus or minus`, `±`, `estimat`는 통틀어 한 건도 나오지 않았습니다. 검색 자체는 정상이었습니다. 같은 코퍼스에서 `percentage`는 47건, `false positive`는 21건이 나왔습니다. 벤더가 실제로 공개한 숫자는 세 가지이고, 사람들은 그것을 오차 범위로 오해하지만 어느 것도 오차 범위가 아닙니다.

이 "없음"이야말로 쓸모 있는 발견이며, 불만이 아닙니다. 어떤 질문을 그만 던져야 하는지, 그리고 리포트의 숫자에 대해 실제로 답할 수 있는 두 가지 질문이 무엇인지를 알려 줍니다.

이웃한 두 페이지는 다른 영역을 다루며, 이 페이지에서는 반복하지 않습니다. Turnitin의 오탐률, 자세히 설명합니다는 예/아니오 판정의 오류율에 대한 글이고, 대학이 논문 75,000편을 제출할 때 오탐률 1%가 의미하는 것은 그 비율이 기관 규모에서 무엇을 만들어 내는지에 대한 글입니다. 이 페이지는 숫자 자체, 즉 그것이 무엇에 대한 추정치인지, 그리고 얼마나 움직일 수 있는지를 다룹니다.

세 페이지를 2026년 8월 28일에 로그아웃 상태의 브라우저에서 읽고, 페이지 본문이 아니라 `document.querySelector('article').innerText`로 측정했습니다. 본문으로 하면 탐색 영역 약 725자가 더해져, 관련 텍스트는 하나도 늘지 않는데 분모만 부풀어 오릅니다. 글자 수는 다음과 같습니다. Using the AI Writing Report 6,492자, AI writing detection capabilities FAQs 30,987자(이 페이지 자체에 "Updated 9 days ago" (9일 전 업데이트)라고 표시되어 있었습니다), AI writing detection model release notes 9,233자. 합계 46,712자입니다.

대조어를 넣은 이유는 0으로만 채워진 행에는 아무런 가치가 없기 때문입니다. 검색이 깨졌거나 페이지 렌더링이 실패했다면 `percentage`도 0을 반환했을 것입니다. 그런데 47이 반환되었습니다.

아슬아슬하게 걸린 두 건도 굳이 실어 둡니다. 대충 읽으면 발견으로 둔갑하기 쉬운 부류이기 때문입니다. `confidence`는 전체 코퍼스에서 정확히 한 건이 검색되는데, 통계적인 의미는 아닙니다. "While Turnitin has confidence in its model, Turnitin does not make a determination of misconduct." (Turnitin은 자사 모델을 신뢰하지만, 부정행위 여부를 판정하지는 않습니다.) 그리고 `precise`도 정확히 한 건으로, 세그먼트 경계 감지에 관한 2023년 릴리스 노트에 나옵니다. 둘 다 산포를 나타내는 지표가 아닙니다. 이 집계를 직접 반복하다가 둘 중 하나를 만나더라도, 그렇게 취급하기 전에 해당 문장을 읽어 보세요.

그리고 이 진술은 양방향으로 작동합니다. 벤더가 오차 범위를 공개하지 않았다는 것은 이 날짜의 이 페이지들에 관한 사실입니다. 모델에 자체 신뢰도를 재는 내부 지표가 없다는 뜻은 아닙니다. 아래의 작동 방식 섹션은 그런 값을 계산한다고 밝히고 있습니다. 마찬가지로 누구도 그것을 근거로 이 숫자가 정밀하다고 주장할 수는 없습니다. 뜻하는 바는, 확인한 페이지에서는 그 질문에 대한 답이 나와 있지 않다는 것이며, 이는 어느 한쪽으로 답이 나와 있는 것과는 다릅니다.

문서가 오류에 대해 아무 말도 하지 않는 것은 아닙니다. 이런 종류의 오류에 대해 말하지 않을 뿐입니다. 공개된 숫자 세 가지가 오차 범위 자리에 끌려 다니지만, 어느 것도 맞지 않습니다.

• 1% 미만의 오탐 목표. 이 수치가 밝히고 있는 적용 범위는 "documents with over 20% of AI writing" (AI 작성 비중이 20%를 넘는 문서)이며, 사람이 전부 쓴 문서가 아예 플래그되는 빈도에 관한 것입니다. 이는 집단을 대상으로 한 판정의 오류율이지, 여러분의 43을 둘러싼 구간이 아닙니다.
• "50%가 65%일 수 있다"는 예시. 이 항목이 가장 가깝고, 다음 섹션에서 다룹니다. 방향이 정해져 있고, 놓친 AI 텍스트에 관한 것이지 표시된 수치가 과도하게 높다는 이야기가 아닙니다.
• 표시가 억제되는 1~19% 구간. 20% 임계값 아래에서는 어떤 숫자도 표시되지 않습니다. 이는 벤더가 어디서부터 표시하기에 불안하다고 보는지를 알려 주는 것으로, 그 자체로 유익하지만 억제 규칙 역시 오차 범위는 아닙니다.

그 목록에 없는 것이 바로 여러분에게 필요한 것입니다. 즉 "X로 평가된 문서는 대개 Y와 Z 사이에 놓인다"는 형태의 서술입니다. 46,712자 가운데 그런 형태를 띤 것은 하나도 없습니다. 따라서 "43% 플러스 마이너스 얼마"에는 이러한 1차 자료에 근거한 답이 없습니다. 어떤 구간을 제시하는 사람이 있다면, 그 근거로 다른 1차 자료를 제시할 수 있어야 합니다.

오차 범위에 가장 가까운 서술로 저희가 찾은 것은, 보고된 수치가 실제와 얼마나 떨어질 수 있는지를 수량으로 보여 줍니다. 그리고 그것은 한쪽 방향만 가리킵니다.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다. 사람이 쓴 텍스트를 AI가 쓴 것으로 잘못 표시하고 싶지 않기 때문에, 저희는 그것을 감수합니다. 예를 들어 문서의 50%가 AI 도구에 의해 작성된 것으로 판별된다면, 실제로는 최대 65%의 AI 작성이 포함되어 있을 수 있습니다.)

숫자보다 형태가 중요하므로 잘 읽어 보세요. 이 서술은 AI 텍스트의 실제 양이 표시된 수치보다 더 많을 수 있다고 말합니다. 반대 방향에 대해서는 말하지 않습니다. 저희 집계에서는 그 세 페이지에서 반대 방향의 대응 구간을 찾지 못했습니다. 릴리스 노트에 나오는 `up to`는 한 건뿐이며, 그것은 비율이 아니라 30,000단어 입력 제한을 가리킵니다.

이 문장이 뒷받침하는 비대칭은 딱 그 정도입니다. 예시가 위쪽을 가리키는 이유를 설명해 줍니다. 시스템이 오탐을 줄이기 위해 AI 텍스트 일부를 놓치는 것을 감수한다는 것입니다. 개별 점수가 높든 낮든 그것에 얼마나 큰 증거적 비중을 두어야 하는지는 말해 주지 않습니다. 확인한 페이지에는 그 추론에 필요한 보정 곡선, 우도비, 기본률을 보정한 지표가 실려 있지 않으며, 같은 FAQ는 그 비율이 조치의 유일한 근거가 되어서는 안 된다고 말합니다.

직접 쓴 논문인데 점수가 잘못됐다고 생각하는 상황에서, 이 단락은 아무런 도움이 되지 않습니다. 이것은 오차 범위가 아니라 시스템이 어느 쪽으로 오류를 내는지에 대한 공개입니다. 오탐에 실제로 도움이 되는 자료는 다른 주제입니다. Turnitin의 오탐률, 자세히 설명합니다에서 벤더 자체의 발언을 다룹니다.

FAQ에는 채점 순서가 나와 있습니다. 읽고 나면 불확실성 지표가 어디에 들어갔어야 하는지, 그리고 그것이 공개된 설명의 어디에서 빠지는지 보입니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면, 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 분할됩니다. 각 세그먼트는 AI 탐지 모델이 분류하고, 해당 텍스트가 사람이 썼을지 AI가 생성했을지의 확률을 나타내는 0에서 1 사이의 값을 받습니다. 이 세그먼트 안의 각 qualifying sentence는 세그먼트의 점수를 물려받습니다. 세그먼트가 겹치므로 여러 개의 점수를 갖는 문장이 생기고, 이는 하나의 점수로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI writing score를 계산하는 데 쓰입니다.)

즉 네 단계가 있고, 연속적인 양은 첫 단계에 존재합니다. 각 세그먼트는 0에서 1 사이의 값을 받습니다. 문장이 그것을 물려받습니다. 겹치는 점수는 하나로 합쳐집니다. 남은 문장 단위 결과가 문서의 숫자 하나로 모입니다. 확률 0.51과 확률 0.99는 매우 다른 지식 상태인데, 리포트에 도달할 때쯤이면 둘 다 하나의 정수 비율 속에 섞여 버립니다.

그 세 페이지는 합산 규칙, 집계 규칙, 그리고 합산된 문장 점수가 플래그된 문장이 되는 임계값을 밝히지 않습니다. 그 결과 모델의 불확실성과 교수에게 표시되는 비율 사이에 서술되지 않은 함수가 세 개 남습니다. 0으로만 채워진 행을 보고하는 것보다 공개된 공백을 더 정확히 짚은 설명입니다.

그렇다고 그 숫자가 무의미해지는 것은 아닙니다. 그것은 qualifying text 가운데 AI가 생성했을 가능성이 높은 비율에 대한 모델 기반 추정치입니다. 합산 규칙과 집계 규칙, 그리고 오차 범위가 없기 때문에 그 추정치에서 이끌어 낼 수 있는 것이 제한될 뿐이며, 공개된 단위 자체가 사라지는 것은 아닙니다. 따라서 43%를 신중하게 읽으면 "모델이 qualifying text의 43%를 그렇게 추정했다"이지, "이 문서의 모든 단어 중 43%, 게다가 오차 범위는 알려져 있다"가 아닙니다.

문서가 뒷받침하는 것은 길이에 대한 좁은 경고 하나이며, 문서의 단어 수로 점수 해상도를 예측하는 일반적인 규칙이 아닙니다.

FAQ는 이렇게 말합니다. "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (단어가 몇 백 개뿐인 짧은 문서에서는 겹칠 기회 없이 세그먼트 하나만으로 예측하기 때문에, 예측은 대체로 'all or nothing', 즉 전부 아니면 전무가 됩니다. 이는 AI가 생성한 내용과 직접 쓴 내용이 섞인 텍스트가 전체가 AI 생성인 것으로 플래그될 수 있다는 뜻입니다.) 이는 문서화된 단일 세그먼트 사례입니다. 확인한 페이지에는 문서가 길어질수록 점수 해상도가 어떻게 달라지는지 보여 주는 일반적인 함수가 공개되어 있지 않습니다.

따라서 덧붙여야 할 실질적인 질문은 만들어 낸 오차 범위가 아니라 리포트의 맥락입니다. 추정에 들어간 qualifying text가 얼마나 되는지, 그리고 이것이 벤더가 특별히 경고한 수백 단어·단일 세그먼트 사례인지입니다. 짧은 문서에서의 이런 거동을 8,000단어 분량의 챕터에 적용되는 공개되지 않은 규칙으로 확장하지 마세요. Turnitin에서 짧은 문서와 all-or-nothing 문제는 문서화된 짧은 사례를 살펴보고, Turnitin AI 탐지에서 "Qualifying Text"란 무엇인가?는 애초에 무엇이 분모에 들어가고 들어가지 않는지를 다룹니다.

Turnitin이 사실상 이 수치를 인쇄할 만큼 단단하지 않다고 인정한 지점이 한 곳 있습니다. 그리고 그것은 숫자를 없애는 방식으로 드러났습니다.

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (오탐이 발생할 가능성을 피하기 위해, AI 탐지 점수가 1%에서 19% 범위에 있을 때는 점수나 하이라이트가 부여되지 않습니다. 리포트에서 AI가 20% 임계값 미만으로 탐지된 경우, 이제는 별표(*%)로 표시되며 어떤 비율도 부여되지 않습니다.)

여기서 얻어 갈 만한 점이 두 가지 있습니다. 첫째, 별표는 낮은 점수를 여러분에게 숨긴 것이 아니라 벤더가 점수 부여를 하지 않은 것이며, 하이라이트도 없으므로 누구도 구체적인 대목을 지적할 수 없습니다. 둘째, 이곳은 세 페이지 가운데 벤더가 오탐 위험 때문에 자사 출력의 일부를 거둬들이는 모습이 가장 분명하게 드러나는 지점입니다. 저희가 찾은 것 가운데 불확실성 공개에 가장 가까운 것이지만, 숫자가 아니라 규칙의 형태를 띠고 있습니다. Turnitin AI 점수의 별표(*%)는 무엇을 의미하나요?에서 그 표시가 실제로 뜻하는 바를 짚어 봅니다.

지금까지의 내용을 바탕으로, 누군가 여러분 앞에 비율을 내밀 때 실제로 쓸 수 있는 것으로 남는 것은 다음과 같습니다.

1. 오차 범위를 요구하지 말고 분모를 요구하세요. 이 숫자가 몇 개의 qualifying sentence에서 나온 것인지요. 단어가 몇 백 개뿐이라면 벤더 자체의 설명에 따라 거의 이분법적인 출력이 됩니다.
2. 공개된 예시의 방향을 기록하세요. 보고된 50은 65일 수 있습니다. 확인한 세 페이지에서는 반대 방향의 근거 있는 구간을 찾지 못했습니다.
3. 별표를 작은 숫자가 아니라 부재로 다루세요. 점수도 없고 하이라이트도 없습니다.
4. qualifying text의 추정 비율을 여러분 단락의 비율로 바꾸지 마세요. 그것은 공개되지 않은 세그먼트 합산과 집계에서 나온 값이며, 하나씩 위치를 특정할 수 있는 문장의 개수가 아닙니다.
5. 벤더가 정의하지 않은 버전 간 변화에 유의미성을 부여하지 마세요. 확인한 페이지에는 몇 점의 변화에 대한 유의성 임계값이 공개되어 있지 않습니다. 리포트마다 qualifying text 맥락과 하이라이트를 숫자와 함께 보관하세요.
6. 인용당할 때는 벤더 자신의 표현을 사용하세요. 해당 FAQ는 그 비율에 대해 "should not be used as the sole basis for action or a definitive grading measure by instructors" (교수자가 조치의 유일한 근거나 확정적인 채점 기준으로 사용해서는 안 된다)라고 말하며, 자사 모델에 대해서는 "may not always be accurate" (항상 정확하지는 않을 수 있다)라고 말합니다.

누군가 Turnitin AI 점수의 신뢰 구간을 건네준다면, 그것이 어디에서 나온 것인지 물어보세요. 위의 근거로 볼 때 그것은 Turnitin에서 나온 것이 아닙니다.

지금까지의 내용은 리포트에 대응하는 것이 아니라 리포트를 읽는 것에 관한 것이며, 둘은 분리되어 있어야 합니다. 다만 집계 문제에서 직접 따라나오는 실질적인 결론이 하나 있으니 밝혀 둡니다. 어떤 비율에 공개된 불확실성이 붙어 있지 않다면, 그 비율을 쫓는 것은 정의되지 않은 표적을 쫓는 일입니다. 하이라이트된 대목에는 정의된 표적이 있습니다. 눈으로 확인할 수 있는 구체적인 텍스트 구간입니다.

그래서 저희가 만드는 HumanPen 도구는 리포트에 적힌 숫자가 아니라 리포트를 가져오는 일을 중심으로 구성되어 있습니다. 제작자가 직접 밝히는 설명으로 읽어 주세요. 이미 받은 AI writing report를 넘기면 플래그가 붙은 구간이 곧 작업의 경계가 됩니다. 그 경계는 화면에서 여러분이 승인하고, 확인된 단락만 다시 쓰이며 나머지는 그대로 남습니다. 이는 다시 쓰기 범위에 대한 서술이며, 업로드·전송·저장에 관한 주장이 아닙니다. 문서 전체를 한 번에 처리하는 것보다 이 방식을 택해야 하는 이유는 더 나은 수치를 얻기 위해서가 아닙니다. 그런 것은 아무도 약속할 수 없습니다. 바뀐 단락이 늘어날수록 제출 전에 확인해야 할 출처가 늘어나므로, 범위를 좁히면 그 확인 대기열이 짧아집니다. 파일 자체가 결과물인 경우에는 AI 휴머나이저에서 인용·표·수식은 어떻게 되는가?에서 이후에 확인할 항목을 다룹니다.

그리고 이 페이지가 여덟 개의 섹션을 거쳐 도달해 온 당연한 단서가 있습니다. 다음 수치가 얼마가 될지는 저희를 포함해 아무도 알 수 없습니다. 여러분이 직접 쓴 작업물이라면 이 모든 내용은 해당하지 않습니다. 해야 할 주장은 텍스트에 관한 것이 아니라 증거와 절차에 관한 것입니다.

Turnitin은 AI 비율의 오차 범위를 공개하나요? 리포트를 정의하는 세 페이지에는 없습니다. 2026년 8월 28일에 읽은 46,712자에서 `interval`, `margin`, `standard deviation`, `uncertain`, `precision`, `variance`, `error bar`, `plus or minus`, `±`, `estimat`는 모두 0건이었지만, 같은 텍스트에서 `percentage`는 47건, `false positive`는 21건이 나왔습니다.

43%는 정말 내 논문의 43%인가요? 그것은 qualifying text의 43%가 AI 생성일 가능성이 높다는 모델 기반 추정치이며, 제출물 전체의 43%와 반드시 같은 것은 아닙니다. 합산 규칙과 집계 규칙, 그리고 오차 범위가 공개되어 있지 않기 때문에, 이를 눈에 보이는 단락에 하나씩 대응시킬 수는 없습니다.

실제 AI 텍스트의 양이 표시된 숫자보다 많을 수 있나요? 벤더는 자체 예시를 들어 분명히 그렇게 말합니다. 50%로 판별되면 해당 문서가 "could contain as much as 65% AI writing" (최대 65%의 AI 작성을 포함할 수 있다)는 것입니다. 이 예시는 위쪽을 가리킵니다. 확인한 세 페이지에서는 반대 방향의 근거 있는 구간을 찾지 못했습니다.

짧은 에세이에 극단적인 점수가 나오는 이유는 무엇인가요? 세그먼트가 하나뿐일 수 있기 때문입니다. FAQ는 단어가 몇 백 개인 문서에서는 예측이 "mostly 'all or nothing'" (대체로 'all or nothing')라고 말하며, 따라서 섞인 텍스트가 전체가 AI 생성인 것으로 플래그될 수 있다고 합니다.

내 리포트에 숫자 대신 별표가 뜨는 이유는 무엇인가요? 20% 임계값 아래에서는 벤더가 점수와 하이라이트를 부여하지 않고 대신 `*%`를 표시하며, 그것이 오탐 발생 가능성을 피하기 위한 것이라고 밝히고 있습니다.

점수가 낮거나 높다는 것이 내 문서를 누가 썼는지를 증명하나요? 아닙니다. 벤더의 예시는 표시된 비율이 AI 텍스트를 과소평가할 수 있다고 말합니다. 그러나 확인한 페이지에는 개별 비율을 증거로서의 비중으로 바꾸는 데 필요한 보정 정보와 기본률 정보가 공개되어 있지 않습니다. 벤더는 또한 그 비율이 조치의 유일한 근거가 되어서는 안 된다고 말합니다.