Turnitin 위양성율의 진실

Turnitin 은 공식 문서에서 다음과 같이 명시합니다: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."(우리는 탐지기의 효과를 극대화하면서도 위양성율 - 휴먼 라이팅을 AI 생성으로 잘못 식별하는 비율 - 을 20% 이상의 AI writing 이 있는 문서에서 1% 미만으로 유지하는 데 주력합니다.)

이것이 공식 수치입니다. 단, 이 수치는 20% 이상의 AI writing 이 있는 문서에 적용되며, 모든 문서에 적용되는 것은 아닙니다. Turnitin 은 일반적인 문서에서 100 편 중 1 편이 위양성이라고 주장하는 것이 아닙니다. 이 비율은 최소 20% 이상 AI 로 작성된 특정 집단 내에서 정의됩니다.

Turnitin 은 이 수치를 보다 구체적으로 설명하기 위해 평이한 언어로 재진술합니다: 완전히 휴먼 라이팅인 문서 약 100 편 중 1 편이 플래그될 수 있습니다. 이는 수치를 바꾸는 것이 아니라 동일한 조건부 수치를 재진술한 것이며, 조건은 그대로 유지됩니다. 이것이 극단적으로 어떻게 작용하는지는 별개의 질문입니다: 100% AI 점수도 휴먼 라이팅일 수 있을까요?

1% 목표는 마케팅 수치가 아닙니다. Turnitin 은 그背後의 검증 프로세스를 설명합니다: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate."(우리는 테스트 프레임워크를 강화하고 위양성의 통계적 추세를 진단하기 위해, 모든 업데이트 또는 새 모델 릴리스 전에 ChatGPT 릴리스 이전에 작성된 70 만 편 이상의 학술 논문을 추가로 테스트하여 1% 미만의 위양성율을 추가 검증합니다.)

이 설명에는 세 가지 중요한 점이 있습니다. 첫째, 테스트 규모가 70 만 편 이상으로 방대합니다. 둘째, 논문들이 ChatGPT 이전에 작성되어 진짜 휴먼 라이팅입니다. 셋째, 이 테스트는 일회성이 아니라 모든 업데이트 또는 새 모델 릴리스 전에 매번 수행됩니다. 1% 수치는 모델이 변경될 때마다 휴먼 라이팅으로 확인된 논문들로 구성된 fresh corpus 에 대해 재검증됩니다.

사실 관계가 다른 사이트에서 이 수치를 인용할 때 이 점이 중요합니다. 공식 수치는 특정 테스트 절차에 연결되어 있습니다. 조건 없이 단순히 'Turnitin 의 위양성율은 1% 다'라고 말하는 사람은 대개 20% 이상의 AI writing 이 있고 ChatGPT 이전 학술 논문으로 검증된 문서를 의미합니다. 이 조건 자체가 공식 주장의 일부입니다.

문서에서 가장 중요한 부분은 1% 목표 자체가 아닙니다. 그 목표를 달성하기 위해 Turnitin 이 명시적으로 감수하는 트레이드오프입니다. 전문은 다음과 같습니다: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."(우리는 1% 의 낮은 위양성율을 유지하기 위해, 문서의 일부 AI 작성 텍스트를 놓칠 수 있습니다. 우리는 휴먼 라이팅을 AI 작성으로 잘못 표시하지 않는 것을 중요하게 생각하기 때문에 이를 감수합니다. 예를 들어, 문서의 50% 가 AI 도구로 작성된 것으로 확인되면, 실제로는 65% 까지 AI writing 일 수 있습니다.)

이건 이례적입니다. 감지 제품이 AI 텍스트를 놓치는 것보다 휴먼 텍스트를 잘못 플래그하는 것을 더 피하겠다고 공개적으로 밝히는 것입니다. '우리는 이를 감수한다 (We're comfortable with that)'라는 문장은 회사가 트레이드오프를 명시적으로 밝히는 것입니다. 위양성이 최적화 대상이고, 위음성은 감수해야 할 비용입니다.

마지막 문장은 실제적인 결과를 명시합니다. 보고서에서 문서의 50% 가 AI 라고 하면, 실제 비율은 65% 까지 될 수 있습니다. 보고된 백분율은 실제 AI 콘텐츠를 과소평가할 수 있습니다. 이는 시스템의 버그가 아니라 의도된 설계입니다. 낮은 위양성율 목표에서 직접 도출되는 특성입니다.

조건을 계속 염두에 두면, '위양성율'은 헤드라인 버전보다 더 정밀한 도구가 됩니다. 문서화된 수치가 실제로 무엇을 의미하는지 설명합니다.

첫째, 이 비율은 20% 이상의 AI writing 이 있는 문서를 대상으로 합니다. 이 기준 미만인 문서는 명시된 조건 밖에 해당하며, Turnitin 은 이에 대해 별도의 주장을 하지 않습니다. 공식 1% 수치는 모든 제출물에 대한 전반적인 주장이 아닙니다.

둘째, AI 텍스트 누락은 설계의 일부입니다. 시스템이 위양성 방지에 조정되어 있기 때문에 일부 AI 내용은 감지되지 않습니다. 낮게 나온 점수가 문서가 완전히 인간이 작성했다는 것을 의미하지는 않습니다. AI 결과가 과소평가되었을 수 있습니다.

셋째, 높게 나온 점수가 낮게 나온 점수보다 더 신뢰할 수 있는 신호입니다. 보고서에서 문서의 80% 가 AI 라고 하면, 트레이드오프 논리가 여전히 적용되지만, 실제 비율이 그보다 더 높을 수 있습니다. 핵심은 편향 방향이 과소계산 쪽이라는 점입니다. 모델이 과소평가하는 경향이 있으므로, 높은 점수는 낮은 점수보다 더 신뢰할 수 있습니다.

실제로 이는 위양성은 드물게 발생하지만 위음성은 더 자주 발생한다는 의미입니다. 낮은 점수가 인간 저자임을 증명하지는 않으며, 높은 점수는 상대적으로 더 신뢰할 수 있습니다. 이는 문서와 모순되지 않으며, 문서화된 트레이드오프가 암시하는 바입니다. 벤더는 또한 점수를 읽는 사람을 위한 지침도 제공합니다: AI 비율이 높을 때 인스트럭터가 취하는 조치.

Turnitin 의 공식 가이드라인은 점수를 더 넓은 의사결정 체계 안에 배치합니다. 문서에 명시된 바와 같습니다: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."(우리의 AI writing 탐지 모델은 항상 정확하지 않을 수 있으며 (휴먼 라이팅, AI 생성, AI 문장변환 텍스트를 잘못 식별할 수 있음), 학생에 대한 불이익 조치의 유일한 근거로 사용되어서는 안 됩니다.)

계속해서 다음과 같이 명시합니다: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."(학술 부정행위 발생 여부를 판단하려면 추가 검토와 인간의 판단이 필요하며, 기관의 특정 학술 정책 적용과 함께 이루어져야 합니다.)

이것이 학생과 교육자가 운영해야 하는 체계입니다. 백분율은 하나의 데이터 포인트일 뿐입니다. 최종 판정은 인간이 내리는 결정입니다. 인스트럭터, 학과, 기관이 각자의 학술 정책을 적용하여 결정합니다. Turnitin 은 점수가 단독으로 결정을 내려서는 안 된다고 명시합니다. 회사는 또한 오류 자체를 보고할 수 있는 채널을 운영합니다: Turnitin 에 위양성 보고하는 법.

점수에 이의가 있다면, 문서화된 경로는 숫자를 하나의 데이터 포인트로 간주하고 학술적 맥락을 이해하는 사람 - 인스트럭터에게 제기하는 것입니다. 이는 공식 문서가 명시하는 단계이며, 회사의 Framing 과도 가장 일치합니다.それで 해결되지 않으면, 허위 AI 탐지 플래그에 대한 이의제기 방법과 대학이 인정하는 증거 에 다음 단계가 나와 있습니다.

이 모든 것을 염두에 두면, 실질적인 결론은 간단합니다: 점수는 해석을 위해 존재하며, 플래그된 숫자는 대화의 끝이 아니라 시작입니다. 제출 전 Draught 가 어떻게 읽히는지 확인하고 싶다면, 무료 재실행으로 텍스트를 확인해보세요. 여기서 시도해보기.