AI 플래그를 받으셨나요? 늦게 제출하기 전에 따져볼 것들

AI 플래그가 붙으면 즉시 불안해집니다. 제출을 미루고 모든 내용을 다시 써야 하는지 고민하게 되실 겁니다. 그 결정을 내리기 전에, 문서가 점수에 대해 무엇이라고 하는지 이해해 두시면 도움이 됩니다.

Turnitin은 다음과 같이 밝힙니다. "Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (따라서 AI 작성 지표의 비율은 조치를 결정하는 유일한 근거로, 또는 교수자의 확정적인 평가 기준으로 사용되어서는 안 된다는 점을 반드시 강조합니다.)

문서는 이 지점에서 분명하게 말합니다. 그 비율은 확정적인 지표가 아닙니다. 조치를 결정하는 유일한 근거도 아닙니다. 교수자가 AI 비율을 확인하더라도, 문서는 그것을 최종 성적을 좌우하는 요소로 다루지 말라고 안내합니다.

문서는 이어서 이렇게 말합니다. "It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이는 단독으로 확정적인 답을 제공하기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 확인하고, 학생과 그들의 과제, 그리고 기관의 방침에 대한 자신의 개인적 지식과 이 정보를 균형 있게 저울질하여 결정하는 교육자입니다.)

즉, 점수는 하나의 맥락 안에 놓여 있습니다. 담당 교수자는 여러분에 대해, 그리고 여러분의 과제와 소속 기관의 방침에 대해 알고 있는 것과 이 점수를 저울질하도록 기대됩니다.

문서는 점수를 어떻게 사용해야 하는지 명시합니다.

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 확정적인 답이 아닌 하나의 데이터 포인트로 활용한다면, 그것은 의도된 방식으로 사용되고 있는 것입니다.)

하나의 데이터 포인트. 이것이 Turnitin이 자사 지표를 설명하는 데 사용하는 표현입니다. 비율을 보고 당황하셨다면 기억하십시오. 문서 자체가 이를 결론이 아니라 여러 정보 중 하나로 규정하고 있습니다.

이 점은 늦게 제출할지 결정할 때 중요합니다. 점수는 과제가 AI로 생성되었다는 증거가 아닙니다. 텍스트의 일부가 AI가 작성한 글과 유사하다는 것을 나타낼 뿐입니다. 교육자는 그것을 다른 요소와 함께 저울질하도록 기대됩니다. 그 숫자가 높은지 아닌지 단정하기 전에 Turnitin에서 허용되는 AI 비율은 어느 정도인지도 확인해 보십시오.

직접 작성했는데도 플래그가 붙었다면, 문서는 그런 일이 일어날 수 있음을 인정합니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때로는 오탐지, 즉 사람이 작성한 텍스트를 AI 생성으로 잘못 표시하는 경우에 구조적 변화가 거의 없는 내용, 문자 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 바꾸어 쓴 텍스트가 포함될 수 있습니다.)

자신의 글이 이 설명 중 하나에 해당하는지 생각해 보십시오. 글의 구조가 균일하거나, 특정 표현을 반복하거나, 독자적인 분석 없이 출처를 바꾸어 쓰고 있다면, 문서는 이런 경우 오탐지 가능성이 더 높다고 말합니다.

문서는 계속해서 이렇게 말합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 AI 작성 비율이 더 높게 나타난다면, 표시된 비율을 볼 때 그 점을 고려하시기를 권합니다.)

이 점은 판단에 중요합니다. 플래그가 붙은 텍스트에 이런 특징이 있다면 비율이 부풀려졌을 수 있습니다. 문서 자체도 그러한 콘텐츠의 점수를 해석할 때 신중할 것을 권고합니다.

문서의 길이는 탐지 작동 방식에 영향을 줍니다. 짧은 글에 대해 문서는 구체적인 한계를 설명합니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (몇 백 단어에 불과한 짧은 문서에서는 중첩할 기회 없이 단일 세그먼트에 대해 예측하기 때문에, 예측은 대체로 전부 아니면 전무가 됩니다.)

또한 이렇게 말합니다. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI 생성 콘텐츠와 직접 작성한 콘텐츠가 섞인 일부 텍스트가 전부 AI 생성으로 표시될 수 있다는 뜻입니다.)

제출물이 몇 백 단어에 불과하다면, 탐지가 미묘한 결과를 내기에 충분한 세그먼트를 확보하지 못했을 수 있습니다. 일부는 직접 작성하고 일부는 AI가 생성한 문서가 전부 AI 생성으로 표시될 수 있습니다. 이는 도구의 한계로 문서에 명시된 것이며, 글 자체의 속성이 아닙니다.

짧은 문서를 늦게 제출할지 고민하고 계시다면, 이 점을 염두에 두실 만합니다. 짧은 문서의 비율은 긴 문서만큼 정확하지 않을 수 있습니다. 극단적인 경우 Turnitin이 과제를 100% AI로 판정하는 상황에 이르게 됩니다.

Turnitin은 오탐지 목표치를 문서로 제시하며, 여기에 붙은 조건이 중요합니다.

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (당사는 탐지기의 효과를 극대화하는 한편, AI 작성 비율이 20%를 넘는 문서에 대해서는 오탐지율, 즉 사람이 전부 작성한 텍스트를 AI 생성으로 잘못 판정하는 비율을 1% 미만으로 유지하려고 노력합니다.)

또한 이렇게 말합니다. "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 전부 작성한 문서 100건 중 1건은 AI가 작성한 것으로 표시할 수도 있다는 뜻입니다.)

목표치는 AI 작성 비율이 20%를 넘는 문서에 대해 1% 미만입니다. 즉, 이 목표치는 상당 부분이 AI로 생성된 문서에 구체적으로 적용되는 수치입니다. AI 작성 비율이 낮은 문서에서는 오탐지 양상이 다를 수 있습니다.

문서는 또한 오탐지가 실제로 발생한다는 점도 인정하며, 그 비율은 사람이 전부 작성한 문서 100건당 약 1건입니다. 오탐지가 아예 없다는 뜻은 아닙니다. 텍스트를 전부 직접 작성했더라도 오탐지 가능성은 문서에 명시되어 있습니다. 대학이 75,000건의 과제를 제출할 때 오탐지율 1%가 의미하는 것은 그것이 누군가에게 얼마나 자주 닥치는지 수치로 보여줍니다.

문서가 검토하라고 제안하는 항목은 다음과 같습니다.

첫째, 점수는 조치를 결정하는 유일한 근거가 아닙니다. 문서가 직접 그렇게 말합니다. AI 비율 하나만으로 성적이나 결과가 결정되지는 않습니다.

둘째, 점수는 하나의 데이터 포인트입니다. 담당 교수자가 다른 지식과 균형 있게 저울질하도록 기대되는 하나의 정보입니다.

셋째, 텍스트에 오탐지 특징이 있는지 확인하십시오. 구조적 변화가 부족하거나, 반복되거나, 새로운 생각 없이 바꾸어 쓴 경우라면, 문서는 오탐지 가능성이 더 높다고 인정합니다.

넷째, 문서의 길이를 고려하십시오. 몇 백 단어의 짧은 문서는 전부 아니면 전무 예측을 받게 되어, 섞인 콘텐츠가 전부 AI 생성으로 표시될 수 있습니다.

다섯째, 오탐지 목표치는 AI 작성 비율이 20%를 넘는 문서에 대해 1% 미만입니다. 사람이 전부 작성한 텍스트의 경우, 문서에 명시된 오탐지율은 약 100건 중 1건입니다.

늦게 제출하기로 결정하기 전에 담당 교수자와 상의하십시오. AI 리포트를 PDF로 공유해 주실 수 있는지 물어보십시오. 교수자가 이를 내려받아 공유할 수 있다는 점은 문서에서도 확인됩니다. 어떤 부분이 플래그되었는지 보면 그 비율이 실제로 무엇을 반영하는지 이해하는 데 도움이 됩니다.

목표는 당황해서 모두 다시 쓰는 것이 아닙니다. 점수가 무엇을 의미하고 한계가 무엇인지 이해한 뒤, 충분히 정보를 갖춘 결정을 내리는 것입니다. 수정하시게 된다면, Turnitin 리포트가 플래그한 문단만 다시 쓰기가 시간을 가장 적게 쓰는 방법입니다.