단어를 줄이면 Turnitin AI 점수가 바뀌나요?

AI 보고서의 수치는 제출물 전체에 대한 비율이 아닙니다. 그것은 Turnitin이 "qualifying text,"(대상 텍스트)라고 부르는 것, 즉 제출물의 일부이며 전체가 아닌 것에 대한 비율입니다. 단어를 줄이는 것이 그 수치를 움직이는지는 어떤 단어를 줄이느냐, 그리고 그것이 그 부분에 속하느냐에 달려 있습니다.

The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI. (표시되는 비율은 제출물 안에서 Turnitin의 AI 작성 탐지 모델이 AI에 의해 생성되었다고 판정한 대상 텍스트의 양을 나타냅니다.)

이 문장은 Turnitin의 AI 작성 탐지 기능 FAQ 페이지에서 나온 것입니다. 기억해 둘 표현은 "qualifying text."(대상 텍스트)입니다. 그 비율은 업로드한 전체가 아니라 그 집합의 몫입니다. 따라서 단어 수 제한 아래로 내려가려고 문단 하나를 지우기 전에, 무엇이 대상으로 계산되는지 그리고 무엇이 그렇지 않은지 알아야 합니다.

Turnitin은 같은 FAQ 페이지에서 "qualifying text"(대상 텍스트)를 정의하며, 그 정의는 대부분의 학생이 보고서를 처음 볼 때 가정하는 것보다 좁습니다.

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법적 문장으로 쓰인 텍스트 블록만 분석하며, 목록, 글머리 기호(문장이 아닌 짧은 구조) 또는 문장이 아닌 기타 구조와 같은 다른 유형의 글은 포함하지 않습니다.)

따라서 비율을 계산하는 기준인 분모는 산문 문장입니다. 산문 문장이 아닌 것은 모두 그 기준 밖에 있습니다. 이 범주에 무엇이 들어가고 무엇이 빠지는지 더 자세히 보려면 Turnitin에서 대상 텍스트가 의미하는 것을 참조하십시오. 위의 정의를 바탕으로 한 짧은 버전은 다음과 같습니다.

• 산문 문장(표준적인 문법적 문장): 대상 텍스트로 계산됩니다
• 목록과 글머리 기호: 제외되며, "short non-sentence structures"(문장이 아닌 짧은 구조)로 설명됩니다
• 문장이 아닌 기타 구조: 같은 표현으로 제외됩니다

여기서부터 실용적입니다. 분모가 산문뿐이므로, 논문의 어느 부분을 줄이느냐에 따라 비율이 무엇을 기준으로 측정되는지에 대한 영향이 달라집니다.

• 산문 문장을 줄임: 분모가 변합니다
• 목록이나 글머리 기호를 줄임: 분모는 그대로입니다. 위의 정의는 그것들을 제외된 것으로 명시합니다
• 표를 줄임: 그 안에 무엇이 있는지에 달려 있습니다. Turnitin의 2023년 8월 릴리스 노트는 "We are now able to process long-form prose text in tables."(이제 표 안의 긴 형식의 산문 텍스트를 처리할 수 있습니다.)라고 말합니다. 표 안의 짧은 항목은 산문 문장이 아니지만, 표 셀 안의 문단은 산문 문장입니다.

여기서 문서의 도움은 끝납니다. Turnitin은 산문을 제거하면 비율이 올라가는지, 내려가는지, 아니면 그대로인지 말하지 않습니다. 결과는 어떤 산문을 제거하느냐에 달려 있습니다. 표시된 문장인지, 표시되지 않은 문장인지입니다. 이미 보고서가 있는 것이 아니라면 미리 알 수 없습니다. 그리고 보고서를 가지고 있더라도, 강조 표시는 모델이 현재 버전에서 표시한 것을 보여줄 뿐, 편집한 뒤에 무엇을 표시할지를 보여주지 않습니다. 문서를 통해 말할 수 있는 것은 분모를 움직이는 것과 움직이지 않는 것뿐입니다. 분모가 움직일 때 수치가 어느 방향으로 가는지는 말할 수 없습니다.

많이 줄일 때 나타나는 두 번째 문제가 있습니다. Turnitin의 FAQ 페이지는 짧은 문서가 다르게 동작한다고 인정합니다.

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (단어가 몇 백 개뿐인 짧은 문서에서는, 중첩할 기회 없이 단일 세그먼트에 대해 예측하기 때문에 예측이 대부분 "all or nothing"(전부 아니면 전무)가 됩니다.)

문서가 몇 백 단어로 줄어들면, 모델은 텍스트 전체에 대해 사실상 하나의 판단을 내립니다. 비율은 세밀한 판독이 아니게 되고 이분법적 판단에 가까워집니다. 이것은 인용문에서 이끌어낸 저희의 추론이며 Turnitin의 표현이 아닙니다. 인용문 자체는 "all or nothing"(전부 아니면 전무)라고 말하며 이유도 제시합니다. 중첩이 없는 단일 세그먼트입니다.

Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate. (결과를 보면 텍스트가 조금 더 많아지면 정확도가 올라가므로, 300단어 미만의 제출물은 정확도가 떨어질 가능성이 있는 AI 작성 점수를 낼 수 있습니다.)

이 진술은 FAQ 페이지에 없습니다. Turnitin의 AI 작성 탐지 모델 페이지에 있는 2023년 12월 릴리스 노트에 나옵니다. 주의 깊게 읽으십시오. 거기에는 "less accurate,"(정확도가 낮음)이라고 되어 있으며, "higher"(더 높음)이나 "lower."(더 낮음)이 아닙니다. 정확도는 점수가 현실을 반영하는지의 문제이며, 수치가 움직이는 방향의 문제가 아닙니다. 정확도가 낮은 점수는 과하게 나올 수도 모자라게 나올 수도 있습니다. 문서는 둘 중 어느 쪽인지 말하지 않습니다. 이것이 뜻하는 바는, 단어 수 제한을 맞추는 것과 판독이 신뢰할 수 있는 범위에 머무는 것은 서로 다른, 때로는 상충하는 두 목표가 될 수 있다는 것입니다. 짧은 과제가 극단적인 판독을 보이는 이유를 알고 싶다면 Turnitin이 짧은 과제를 100% AI로 표시하는 이유를 참조하십시오.

앞의 내용을 모두 고려할 때, 과제를 줄여야 하고 AI 비율이 마음에 걸릴 때 실제로 할 수 있는 일은 다음과 같습니다.

• 이미 보고서가 있다면 줄이기 전에 어떤 산문 부분이 강조되어 있는지 확인하십시오. 표시된 산문과 표시되지 않은 산문은 비율에 미치는 영향이 다르며, 지우기 시작하기 전에 어느 것이 어느 것인지 알고 싶으실 것입니다.
• 먼저 목록과 글머리 기호를 줄이십시오. 그것들은 제외된 것으로 명시되어 있으므로, 분모를 건드리지 않고 단어 수를 줄일 수 있습니다. 표는 안전한 가정이 아닙니다. 자유롭게 다루기 전에 셀에 짧은 항목이 있는지 문단 전체가 있는지 확인하십시오.
• 길이를 살피십시오. Turnitin의 FAQ는 "only a few hundred words"(단어가 몇 백 개뿐인) 문서에서는 예측이 대부분 "all or nothing"(전부 아니면 전무)가 된다고 말하며, 릴리스 노트는 텍스트가 조금 더 많아지면 정확도가 올라간다고 말합니다.
• 제출물이 300단어 미만이라면 그 비율을 의심스럽게 보십시오. Turnitin 자체가 그 길이에서는 점수의 정확도가 떨어질 수 있다고 말합니다. 이것은 판독의 신뢰성에 관한 것이며, 수치가 움직일 방향에 관한 것이 아닙니다.

이 가운데 어느 것도 줄인 뒤에 비율이 내려간다고 말하지 않습니다. 분모는 움직일 수 있고 정확도는 떨어질 수 있지만, 방향은 문서가 예측하지 않는 것입니다. 줄이는 것만이 아니라 산문 자체를 다루고 싶다면 인용을 훼손하지 않고 AI 점수를 낮추기에서 별도로 다룹니다. HumanPen의 condense 도구는 사용자가 설정한 목표 단어 수를 향해 군더더기를 압축하며, .docx 전체나 선택한 문단에 대해 편집 가능한 파일을 돌려줍니다. 특정한 AI 점수를 약속하지 않습니다. 이 글이 방금 제시한 이유 때문에, 아무도 그럴 수 없기 때문입니다.