공학 실험 보고서와 AI 탐지: 실제로 평가되는 부분은 어디인가

Turnitin이 측정하는 것은 자사가 판정 대상 텍스트라고 부르는, 장문 형식의 글 속에 있는 산문 문장입니다. 기기 목록은 여기에 해당하지 않습니다. 번호가 매겨진 절차도 아닙니다. 값과 단위가 나열된 결과 표도 아닙니다. 이 부분들이 빠지고 나면 실험 보고서에 보통 남는 것은 이론 문단, 모듈이 연속된 산문으로 작성하라고 요구하는 경우의 절차, 그리고 고찰입니다. 따라서 실험 보고서의 비율은 대체로 고찰에 대한 진술이며, 그곳이 바로 성적이 걸린 부분이기도 합니다.

이 사실은 대부분의 사람이 가장 먼저 하는 일에 뼈아픈 영향을 줍니다. 절차가 "기계적으로 들립니다"라는 이유로 고쳐 쓰러 가는 것이지요. 모듈이 절차를 어떻게 요구하느냐에 따라 그 텍스트는 애초에 측정 대상에 들어가지 않았을 수 있습니다. 게다가 그것은 실험실에서 본인이 한 일의 기록입니다. 더 나은 작업 순서가 있습니다.

아래의 어느 내용도 수치를 예측하지 않습니다. Turnitin이 공개하는 것은 판정 절차의 구조이며, 기준값이 아닙니다.

이 정의는 Turnitin의 보고서 가이드 "Using the AI Writing Report" (AI 작성 보고서 활용법)에 있으며, 제외 항목 앞에 놓인 문장이 바로 사람들이 건너뛰는 부분입니다:

"Qualifying text (prose sentences contained in long-form writing format) means individual sentences contained in paragraphs that make up a longer piece of written work, such as an essay, a dissertation, or an article, etc. The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (판정 대상 텍스트, 즉 장문 형식의 글에 담긴 산문 문장이란 에세이, 학위논문, 기사 등 더 긴 글을 구성하는 문단 속의 개별 문장을 말합니다. 모델은 시, 대본, 코드처럼 산문이 아닌 형태의 AI 생성 텍스트를 안정적으로 탐지하지 않으며, 불릿 목록, 표, 주석이 달린 참고문헌목록 같은 단문 형식이나 비정형의 글도 탐지하지 않습니다.)

여기에는 실험 보고서와 관련된 두 가지가 있습니다. 하나는 단위가 페이지의 줄이 아니라 문단 속의 문장이라는 점입니다. 다른 하나는 "a longer piece of written work" (더 긴 글)의 구체적 사례로 제시된 세 가지가 에세이, 학위논문, 기사라는 점입니다. 실험 보고서는 그 세 가지에 해당하지 않으며, Turnitin은 그것이 선의 어느 쪽에 놓이는지 말하지 않습니다. 실험 보고서는 한 종류의 글이 아니기 때문입니다. 다섯 종류입니다.

이것을 모두 합하면, 공급업체가 스스로 정리한 계산 방식의 설명이 다르게 읽힙니다:

"This percentage is not necessarily the percentage of the entire submission. If text within the submission is not considered long-form prose text, it will not be included." (이 비율이 반드시 제출물 전체에 대한 비율인 것은 아닙니다. 제출물 안의 텍스트가 장문 산문으로 간주되지 않으면 포함되지 않습니다.)

이상한 부분은 절차 행입니다. 그것은 본인의 실험 속성이 아니기 때문입니다. 같은 날 오후에 같은 장비로 같은 절차를 수행하고 같은 단계를 적은 두 학생이, 판정 대상 텍스트의 양이 다른 두 문서를 제출할 수 있습니다. 하나의 모듈 템플릿은 번호가 붙은 단계를 요구하고 다른 템플릿은 과거형의 연속된 서술을 요구할 뿐이기 때문입니다. 비율과 페이지의 하이라이트 양 사이의 간극은 바로 여기에서 생깁니다. Turnitin AI 작성 보고서 읽는 법에서 자세히 다룹니다. 제외 목록의 일반적인 설명은 Turnitin AI가 건너뛰는 콘텐츠에 있습니다.

사람들은 STEM 글쓰기에 관한 정책 페이지를 찾으러 갑니다. 저희도 찾아보았고, 거기에 있던 내용을 적어 두었습니다.

2026년 8월 27일, 저희는 이 보고서를 설명하는 Turnitin의 세 페이지, 즉 AI Writing Report 가이드, AI 작성 탐지 기능 FAQ, 파일 요구 사항 페이지의 렌더링된 텍스트를 읽었습니다. 세 페이지를 모두 검색한 결과는 다음과 같습니다:

두 확인 항목 모두 0이 아닌 값을 돌려받았고, 이것으로 검색이 빈 껍데기가 아니라 실제 텍스트에 닿았음을 알 수 있습니다. `subject area`의 3건은 읽어볼 만합니다. 어떤 학문 분야가 등장하는 유일한 지점이고, 그 내용은 학습 표본에 누가 포함되는지에 관한 것이기 때문입니다. FAQ는 모델이 여러 지역과 학문 분야에 걸쳐 학습되었으며, 편향을 줄이기 위해 덜 흔한 분야로 "anthropology, geology, sociology, and others" (인류학, 지질학, 사회학 등)을 포함했다고 밝힙니다. 이것은 학습 표본에 대한 설명입니다. 그 페이지들의 어디에도 특정 학문 분야가 어떻게 채점되는지에 대한 규칙은 없습니다.

결론적으로 공개된 유일한 분류 규칙은 산문이냐 비산문이냐입니다. 이를 실험 보고서의 다섯 개 소제목에 대응시키는 일은 본인이 직접 해야 하는 작업이며, 앞 섹션의 표는 공개된 규칙에 대한 저희의 해석일 뿐, Turnitin이 실험 보고서에 대해 확인해 준 것이 아닙니다.

절차 섹션이 판정 대상 텍스트에 포함되어 전체가 그대로 표시되어 돌아왔다면, FAQ에는 모델에 대한 어떤 설명보다 본인에게 유용한 문단이 있습니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때로는 오탐, 즉 사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 일에, 구조적 변화가 많지 않은 콘텐츠, 글자 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 의역된 텍스트가 포함될 수 있습니다.)

그다음에 이어지는 부분이야말로 조교와의 대화에 가져갈 만한 절반입니다:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 저희 지표가 더 많은 양의 AI 작성을 보여 준다면, 표시된 비율을 볼 때 그 점을 고려하시기를 권합니다.)

그 목록의 세 항목 중 두 개는 절차가 원래 하도록 되어 있는 일을 설명합니다. 시행마다 같은 문장 틀을 반복하는 것은 네 번의 실행을 동일하게 다루었음을 보여주는 방법입니다. 구조적 변화가 적은 것은 템플릿의 목적 그 자체입니다. 그 문단에는 한 가지 주의할 점이 있습니다. 그것은 오탐이 "can include" (포함할 수 있는) 속성들의 목록이며, 어느 것에도 빈도는 붙어 있지 않습니다. Turnitin은 표시된 텍스트가 그 속성을 얼마나 자주 가지는지 말하지 않습니다. 저희도 말하지 않겠습니다.

절차의 어조를 바꾸기 전에 모듈 핸드북을 펴고 실제로 무엇을 요구하는지 읽어 보세요. 3인칭과 과거형을 분명히 명시한 곳도 있습니다. 본인의 모듈이 그렇다면, 더 생동감 있는 어조로 고쳐 쓰는 것은 스스로 선택한 감점입니다. 그것도 아무도 장담할 수 없는 점수 변화와 맞바꾸는 일이지요.

이 장르에서는 공개된 두 가지 한계가 충돌합니다. 파일 요구 사항에는 보고서가 아예 생성되려면 제출물에 "at least 300 words of prose text in a long-form writing format" (장문 형식의 산문 텍스트 최소 300단어)이 필요하다고 나와 있습니다. 그리고 FAQ에는 짧은 제출물이 같은 처리의 조악한 버전을 받는 것이 아니라고 나와 있습니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (단어가 몇 백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 세그먼트를 대상으로 예측하기 때문에, 예측은 대체로 'all or nothing'이 됩니다. 이는 AI가 생성한 내용과 원본 내용이 섞인 텍스트의 일부가 전부 AI가 생성한 것으로 표시될 수 있음을 뜻합니다.)

총 1,500단어인 실험 보고서는 기기 목록, 결과 표, 계산 예시, 참고문헌 목록이 단어 수에서 빠지면 그 영역에 들어갈 후보가 됩니다. 걱정될 때 사람들이 하듯 보고서를 고찰만 남기고 자체 점검에 돌리면, 1,500단어가 아니라 400단어를 측정하고 있을 수 있습니다. 짧은 문서와 Turnitin의 전부 아니면 전무 문제에서 이 동작을 그 자체로 다룹니다.

그 아래에 또 하나의 문제가 숨어 있습니다. 0% 초과 20% 미만에서는 별표가 수치를 대신하고 하이라이트가 어디에도 귀속되지 않으므로, 학생 입장에서는 실제 개선과 개선 없음이 구별되지 않습니다(Turnitin AI 점수의 별표(*%)는 무엇을 의미하나).

에세이에는 여유가 있습니다. 다시 서술할 수 있는 서론, 잘라낼 수 있는 길잡이 문단, 한 단어씩 채점되지 않는 결론이 있습니다. 실험 보고서에는 그런 것이 거의 없습니다. 고찰 밖의 문장은 거의 모두 일어난 일의 기록이거나 값입니다.

따라서 무엇을 건드리기 전에 파일을 한 번 정리해 둘 만합니다.

마지막 행은 두 번 읽을 만합니다. 인쇄된 실험 절차서에서의 이탈은 실험 보고서에서 가장 가치 있는 문장인 경우가 많으면서, 동시에 매끄럽게 다듬고 싶은 어색한 곁가지로 보이기 쉬운 문장이기도 합니다.

반대편을 보면, 다시 서술하는 것이 정말 다시 서술인 유일한 섹션인 고찰은 성적이 걸린 섹션이고, 채점자가 이미 본인의 문체를 알고 있는 섹션입니다. 그래서 그곳은 신중하게 고쳐 쓰고, 훑어보지 말고 결과 표와 한 줄씩 대조하며 다시 읽어야 합니다. 실험 보고서가 아닌 연구 보고서를 위한 이 분류 작업의 일반판은 방법과 결과에서 무엇을 다시 서술할 수 있는가에 있고, 방법 섹션 전체가 표시되어 돌아온 논문 규모의 사례는 Turnitin이 내 방법론 섹션 전체를 표시했다에 있습니다.

이 장르의 또 다른 걱정거리는 AI 수치가 아닙니다. 목적, 이론, 그리고 절차의 절반은 모듈의 모든 학생이 받은 매뉴얼에서 비롯되었을 수 있고, 그러면 서른 개의 제출물에 같은 문장이 담기게 됩니다. 그것은 텍스트 일치의 문제이며, 전혀 다른 곳으로 향합니다:

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.)

즉 AI 수치를 움직이려고 절차를 고쳐 쓰는 것은 엉뚱한 보고서를 겨냥하는 일입니다. 유사도 수치를 움직이려고 고쳐 쓰는 것은 실행하기 전에 조교에게 물어봐야 할 질문입니다. 실험 매뉴얼을 얼마나 재현해야 하는지는 글쓰기의 문제가 아니라 모듈의 결정이기 때문입니다. Turnitin AI 작성 보고서와 유사도 보고서는 각각 무엇을 측정하는지 정리해 둡니다.

실험 보고서 수정이 비싼 이유는 글쓰기가 아닙니다. 고쳐 쓴 문단마다 본인의 데이터와 다시 대조해 확인해야 하므로, 수정 비용은 건드린 문단 수로 측정됩니다.

이 범위를 미리 정하는 것, 그것이 HumanPen 도구의 역할입니다. 문서를 업로드하고 무엇이 들어 있는지 알려주세요. 직접 문단을 표시하거나 Turnitin 또는 iThenticate의 AI 보고서를 가져오면, 거기서 표시된 문단이 경계가 되고 나머지 파일은 원래대로 보존됩니다. 문단이 단위이므로, 문단 중간에서 끝나는 선택은 문단 전체로 넓혀져 시작 전에 확인할 수 있도록 표시됩니다. 요금은 실제로 다시 작성된 단어 수를 따릅니다. 조건이 충족되는 경우, 표시가 남은 문단을 다시 무료로 처리할 수 있습니다.

도구 자체 FAQ에는 복잡한 문서를 다운로드한 뒤 검토하라고 나와 있으며, 이 문장은 그대로 받아들일 만합니다. 실험 보고서에서 검토란, 수정된 텍스트의 모든 숫자, 단위, 불확도를 그것이 나온 결과 표와 대조해 읽는 것을 뜻합니다.

이론 섹션의 수식이 AI 비율에 포함되나요? Turnitin이 공개한 규칙은 모델이 문단 속의 산문 문장을 분석한다는 것이며, 산문이 아닌 텍스트의 AI 작성을 안정적으로 탐지하지 못한다고 밝힙니다. 수식 주변의 문단은 산문입니다. 수식 자체는 채점되는 단위가 아닙니다. Turnitin이 수식과 비산문 콘텐츠를 어떻게 처리하는가에서 더 자세히 다룹니다.

결과 표의 한 셀에 해석 문단이 있습니다. 이것도 포함되나요? 2023년 8월 9일 자 릴리스 노트에는 모델이 이제 표 안의 장문 산문을 처리할 수 있다고 나와 있고, 표가 포함된 기존 제출물은 재처리 전에 다시 제출해야 한다고 덧붙입니다. 즉 셀 안의 문단은 문단처럼 작동하며, 레이아웃 때문에 텍스트를 표로 옮긴 사람에게는 놀라운 일입니다.

절차를 템플릿처럼 덜 들리게 고쳐 써야 하나요? 먼저 모듈 핸드북을 읽어 보세요. 어조가 지정되어 있다면, 그것을 바꾸는 것은 아무도 장담할 수 없는 결과와 맞바꾼, 스스로 포기하기로 한 점수입니다. 절차가 번호 목록이라면, 그것은 Turnitin이 공개한 판정 대상 텍스트의 정의 밖에도 있습니다.

오래된 보고서에서 참고문헌 목록에 하이라이트가 들어갔습니다. 같은 2023년 8월 릴리스 노트에는 참고문헌목록 안의 하이라이트가 버그였다는 점, 그리고 AI 작성 보고서가 처리될 때 참고문헌목록이 이제 제외된다는 점이 기록되어 있습니다. 기존 제출물은 그 효력이 생기기 전에 다시 제출해야 하므로, 오래된 보고서에는 여전히 하이라이트가 남아 있을 수 있습니다.

낮은 점수를 내가 썼다는 증거로 쓸 수 있나요? 아니요, 그리고 공급업체가 먼저 그렇게 말합니다. 모델은 "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (항상 정확한 것은 아니며, 사람이 쓴 텍스트와 AI가 생성한 텍스트, AI가 의역한 텍스트를 잘못 판별할 수 있으므로 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.)라고 밝힙니다. 이것은 양방향으로 작용합니다.