Turnitin에서 AI 비율을 0%로 만들 수 있을까요?

현재 Turnitin의 AI 작성 인디케이터는 0%를 표시할 수 있습니다. 2024년 7월 8일 이후에는 20 미만에서 표시되는 정확한 숫자가 0뿐입니다. 1%에서 19% 사이의 결과는 별표로 표시되며, 비율도 강조 표시도 제공되지 않습니다. 이 표시 변경 이전에 생성된 리포트는 예외이며, Turnitin은 그런 리포트가 20% 미만의 숫자를 그대로 보여줄 수 있다고 말합니다. 인디케이터는 학생에게도 보이지 않습니다. 그러니까 사람들이 "0% AI"를 말할 때 쫓는 것, 즉 반복해서 지켜보고 목표로 삼고 확인할 수 있는 낮은 숫자는 보통 스스로 통제하거나 관찰할 수 있는 상태가 아닙니다. 그것은 다른 사람의 화면에, 날짜가 중요한 표시 규칙 아래에서 나타납니다.

이 글의 나머지 부분에서는 그 네 가지가 무엇인지, 왜 0과 스무 사이에 단계가 없는지, 그리고 누군가 0% 리포트를 보여주었다면 그것이 무엇을 해결해 주고 무엇을 해결해 주지 않는지를 다룹니다.

Turnitin의 현재 FAQ에는 "What do the different indicators mean?" (여러 인디케이터는 무엇을 의미하나요?)이라는 짧은 섹션이 있고, 처리가 끝났을 때 제출물 옆에 무엇이 표시되는지 나열되어 있습니다. 그것은 네 가지 상태이며, 그 사이의 차이는 두 숫자의 차이보다 더 중요합니다.

아래 두 줄은 아예 결과가 아닙니다. 하나는 Turnitin이 파일 처리를 거부하는 경우이고, 다른 하나는 시도했다가 실패하는 경우입니다. 위의 두 줄을 함께 읽으면 현재 척도의 형태가 분명해집니다. 20 이상에서 인디케이터는 측정처럼 작동합니다. 숫자가 있고, 직접 찾아볼 수 있는 강조 표시된 부분이 있습니다. 20 미만에서는 전등 스위치처럼 작동합니다. 0이 하나의 위치이고, 1%에서 19% 구간이 다른 하나입니다.

2024년 7월 8일 이후 시행된 규칙 아래에서 생성된 리포트는 4%, 11%, 19%를 표시하지 않습니다. 대신 별표를 보여줍니다. 오래된 리포트는 그런 숫자 중 하나를 유지할 수 있기 때문에, 인용하는 점수 옆에는 반드시 생성 날짜를 적어 두어야 합니다. 현재 리포트에서 "점수를 작은 값으로 낮추고 싶다"는 바람은 인터페이스가 단계를 매겨 줄 수 없는 결과를 가리키고, "0%를 원한다"는 20 미만에서 표시되는 유일한 정확한 수치를 가리킵니다.

규칙은 공개되어 있고, 그 이유도 함께 공개되어 있습니다.

"False positives (incorrectly flagging human-written text as AI-generated) are a possibility in AI models. To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (오탐, 즉 사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 일은 AI 모델에서 일어날 수 있습니다. 오탐의 발생 가능성을 피하기 위해, AI 탐지 점수가 1%에서 19% 범위에 있을 때는 점수도 강조 표시도 부여되지 않습니다. 리포트에서 AI가 20% 기준값 아래로 탐지되면, 이제는 별표(*%)로 표시되고 어떤 비율도 부여되지 않습니다.)

이 경계는 두 종류의 정보를 없앱니다. 그런데 두 번째는 마땅히 받아야 할 관심을 받지 못합니다. 숫자가 사라집니다. 모두가 알아차리는 부분입니다. 강조 표시도 사라집니다. 기준값 아래에서는 리포트가 확인할 문단도, 결과의 문장 단위 위치도 알려주지 않습니다.

이것을 현재 표시 규칙 아래에서의 수정에 그대로 적용해 보세요. 내부 결과가 17%에서 3%로 내려갔다고 가정해 봅시다. 두 리포트 모두 별표를 표시합니다. 같은 기호, 같은 강조 표시의 부재, 모든 것이 같습니다. 작업은 일어났지만, 인터페이스에는 그것을 보고할 어휘가 없습니다. 현재 리포트가 "15%에서 4%로 내려갔다"고 주장하는 사람은 리포트가 표시하지 않은 두 개의 정확한 수치를 스스로 보태고 있는 것입니다. 2024년 7월 8일 이전 날짜가 찍힌 리포트는 예외이며, 현재 규칙이 다르게 작동한다는 증거가 아닙니다.

이것은 부정행위에 관한 규칙이 아닙니다. 공급업체가 화면에 무엇을 올릴지에 대한 결정이며, 학교가 제출물을 검토하는 시점은 그 학교 자체의 방침에서 비롯됩니다. 이 부분은 AI 20%는 너무 높은가요?에서 다뤘습니다.

그래서 "0%까지 갈 수 있을까요?"는 난이도의 문제이기 전에 접근의 문제입니다. FAQ는 그것을 두 문장으로 설명하는데, 보통 빠지는 것은 두 번째 문장입니다.

"The AI writing detection indicator and report are not visible to students. However, with the PDF download feature, instructors can download and share the AI report with students." (AI 작성 탐지 인디케이터와 리포트는 학생에게 보이지 않습니다. 다만 PDF 다운로드 기능을 통해 강사는 AI 리포트를 내려받아 학생과 공유할 수 있습니다.)

같은 페이지의 다른 부분에는 "only instructors and administrators are able to see the indicator." (인디케이터를 볼 수 있는 것은 강사와 관리자뿐입니다)라고 나와 있습니다. 그렇다면 나의 AI 결과가 나에게 도달하는 유일한 경로는 다른 누군가가 PDF를 내려받아 보내기로 결정하는 것입니다. 그것은 실제로 있는 경로입니다. 자신의 리포트를 본 학생은 많습니다. 그러나 그것은 직접 확인할 수 있는 계기판이 아닙니다.

즉, 대부분의 조언이 암묵적으로 전제하는 반복 구조는 존재하지 않습니다. 제출하고, 점수를 보고, 수정하고, 다시 봅니다. 이 가운데 '보기'가 포함된 두 단계는 여러분이 할 수 있는 것이 아닙니다. 대신 얻게 되는 것은 나중에, 어쩌면 전달된, 어쩌면 날짜 없는 스크린샷으로 된 단 하나의 판정입니다. 그리고 지도교수가 인디케이터가 "표시되지 않는다"고 말할 때, 그것에는 파일과는 무관한 문서화된 원인들이 따로 있습니다. 그것들은 AI 점수가 누락되거나 일관되지 않은 이유에 모아 두었습니다.

그래도 하나를 얻었다고 가정해 봅시다. 강사가 PDF를 내려받아 건네주었고, 거기에는 0%라고 적혀 있습니다. 그 숫자 뒤에 있는 설계 결정에 대해 Turnitin은 이렇게 말합니다.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐율을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다. 사람이 쓴 텍스트를 AI가 쓴 것으로 잘못 강조 표시하고 싶지 않기 때문에, 우리는 그것을 감수합니다. 예를 들어 문서의 50%가 AI 도구로 작성되었을 가능성이 높다고 판단한다면, 그 문서에는 최대 65%의 AI 작성분이 들어 있을 수 있습니다.)

공급업체가 자기 입으로, 사람의 텍스트를 잘못 표시하느니 AI 텍스트를 놓치는 편을 택하겠다고 말하는 것입니다. 여기에서 세 가지 결과가 따르며, 그것은 양방향으로 작동합니다.

• 0%는 AI의 도움을 받은 부분이 없었다는 것을 증명하지 않습니다. 이 도구는 과소 보고하도록 조정되어 있습니다. 0은 깨끗한 논문과도 맞고, 모델이 잡아내지 못한 논문과도 맞으며, 리포트에는 둘을 구분할 만한 것이 아무것도 없습니다.
• 0%는 파일 전체에 대한 진술이 아닙니다. 비율은 분석 대상 산문에 대해 계산됩니다. 목록, 숫자 표, 참고문헌 항목이 대부분인 문서는 평가된 부분이 상대적으로 적기 때문에, 그 0이 겉보기보다 좁은 범위를 커버합니다. 표 셀 안에 있는 완전한 문단은 별개의 경우이며, Turnitin은 표 안의 장문 산문을 처리한다고 말합니다. 분모의 문제는 Turnitin AI 작성 리포트를 읽는 방법에서 다룹니다.
• 0%는 대화에 가져갈 수 있는 증거가 아닙니다. Turnitin은 부정행위를 판정하지 않고 교육자가 판단할 수 있는 데이터를 제공한다고 분명히 밝힙니다. "이것을 직접 썼나요?"에 실제로 답하는 것은 초안, 자료, 메모, 그리고 그 작업에 대해 말할 수 있는 능력입니다. 그 자료는 플래그가 붙었지만 직접 쓴 글에 나열되어 있습니다.

0은 분류기의 출력값입니다. 문서의 일부에 대해, 어느 한 날에, 하나의 모델 버전 아래에서 실행된 결과입니다. 그것을 갖는 것은 가치가 있습니다. 다만 "0% AI"라는 표현이 암시하는 것보다 적은 것을 해결해 줍니다.

숫자가 없다고 해서 자동으로 0이 되는 것은 아닙니다. 결과가 아예 없는 경우도 있고, 0이 아닌 결과인데 정확한 숫자가 숨겨진 경우도 있으며, 짧거나 산문이 적은 파일이 좁은 분모 위에서 실제 결과를 만들어 내는 경우도 있습니다. 이 경우들에는 서로 다른 이름이 필요합니다.

• 회색 이중 대시 또는 처리 오류: 결과 없음. 장문 산문이 300단어 미만이거나 30,000단어를 넘는 경우, 지원되지 않는 언어나 파일 형식인 경우 해당 파일은 대상에서 제외될 수 있습니다. 별개의 오류 상태는 Turnitin이 처리 중에 실패했다는 뜻입니다. 둘 다 깨끗한 점수가 아니며, 둘 다 0%로 보고되어서는 안 됩니다. 자세한 내용은 Turnitin이 학위 논문 전체를 검사할 수 있나요?에 있습니다.
• 별표: 숫자가 숨겨진 0 초과의 결과. 현재 규칙 아래에서 생성된 리포트에서는 탐지된 범위가 1%에서 19%라는 뜻입니다. 비율과 강조 표시는 오탐 위험 때문에 숨겨집니다. 작업할 위치를 주지는 않지만, 비어 있는 것은 아닙니다.
• 짧거나 산문이 적은 문서: 여전히 실제 결과일 수 있습니다. 산문이 아닌 자료는 분모를 좁힙니다. 그렇다고 그것만으로 점수가 사라지지는 않습니다. 장문 산문이 300단어 이상 남아 있다면 그 파일은 여전히 리포트를 생성할 수 있습니다. 단 몇 백 단어뿐인 문서에서는 세그먼트가 하나뿐이고 평균을 낼 겹침이 없기 때문에, 예측은 대부분 "all or nothing" (전부 아니면 전무)이라고 Turnitin은 말합니다. 이것은 극단적인 결과에 대한 경고이며, 세 번째 빈 상태가 아닙니다. 그 출처는 0 쪽을 배제하지 않으며, 0은 Turnitin이 공개한 성공 범위 안에 있습니다.

실제 판단 방법은 간단합니다. 이중 대시나 오류는 점수가 없다는 뜻입니다. 별표는 표시되지 않은 0이 아닌 점수가 있다는 뜻입니다. 파란색 0%는 파일이 짧았거나 분석 대상 분모가 좁았더라도 실제 분류기 출력입니다. 이 세 가지를 "탐지된 것 없음"이라는 하나의 생각으로 뭉개서는 안 됩니다.

이 모든 것을 뒤집으면 조금 이상한 점이 드러납니다. 사람들을 겁먹게 하는 리포트, 즉 20 이상인 리포트야말로 행동에 옮길 만한 정보를 충분히 담고 있는 유일한 리포트입니다. 거기에는 수치와 강조 표시된 부분이 있습니다. 현재의 1%에서 19% 구간에는 둘 다 없습니다. 0%에서는 수치는 있지만 수정할 강조 표시된 부분이 없습니다.

HumanPen 도구는 그 선의 이쪽에 구축되어 있습니다. DOCX를 Turnitin 또는 iThenticate의 AI 리포트와 함께 업로드하면 강조 표시된 부분이 작업 범위가 됩니다. 다시 작성되는 것은 그 텍스트뿐이며, 그 밖의 부분은 손대지 않습니다. 요금은 업로드한 파일의 길이가 아니라 다시 작성한 단어 수를 기준으로 부과됩니다.

HumanPen은 무료 후속 지원도 제공합니다. 조건에 맞는 결과는 무료로 AI를 계속 낮출 수 있습니다. 이 지원은 특정 탐지 결과를 약속하지 않습니다.

이 가운데 어느 것도 예측이 아닙니다. 그 페이지의 자체 FAQ가 분명히 말합니다. "Detectors keep changing, so no one can honestly promise a fixed outcome." (탐지기는 계속 변하기 때문에, 아무도 고정된 결과를 정직하게 약속할 수 없습니다.) 재검사 시의 비율은 알 수 없으며, 미리 하나를 제시하는 것은 날조입니다. Turnitin은 특정 편집이 점수를 어떻게 움직여야 하는지 한 번도 말한 적이 없습니다. 또한 위에서 설명한 표시 규칙 때문에, 기준값 아래에서는 그런 주장을 아무도 확인할 수 없습니다. 우리가 말씀드릴 수 있는 것은 어떤 단어가 수정되고 어떤 단어가 청구 대상인지입니다.

Turnitin AI 작성 리포트가 실제로 0%를 표시할 수 있나요? 네. Turnitin의 FAQ는 성공 상태를 0에서 100 사이의 비율이 있는 파란색 인디케이터로 설명하며, 0은 그 범위 안에 있습니다. 날짜에 대한 단서는 1%에서 19%에 관한 것입니다. 오래된 리포트는 그 숫자를 유지할 수 있지만, 현재 리포트는 별표를 표시합니다.

별표가 0%와 같은가요? 아닙니다. 현재 리포트에서 별표는 AI가 1%에서 19% 범위에서 탐지되었다는 뜻이며, Turnitin은 오탐 때문에 그 구간에서 숫자와 강조 표시를 숨깁니다. 그것은 인터페이스가 수치화하기를 거부하는 0이 아닌 결과입니다.

지도교수보다 먼저 내 AI 점수를 확인할 수 있나요? 인디케이터를 통해서는 불가능합니다. Turnitin은 AI 작성 탐지 인디케이터와 리포트가 학생에게 보이지 않으며, 강사가 리포트를 PDF로 내려받아 공유할 수 있다고 밝혔습니다. 보이는 것이 있다면, 그것은 누군가가 보여주기로 했기 때문에 보이는 것입니다.

리포트에 0%라고 나오면 안전한가요? 좋은 결과이지만 증명서는 아닙니다. Turnitin은 오탐율을 낮게 유지하기 위해 AI 작성분 일부를 놓치는 것을 감수한다고 말하며, AI 점수가 부정행위를 판정하지 않는다고도 말합니다. 그 두 측면이 모두 중요합니다.

다시 작성하면 0%가 되나요? 향후 검사에서의 비율은 약속할 수 없습니다. 수치를 제시하는 도구는 자신이 갖지 않은 결과를 인용하는 것입니다. 리포트에 따라 다시 작성하기로 정하는 것은 어떤 부분을 바꾸고 어떤 부분을 쓰신 그대로 둘지입니다.