Turnitin이 내 참고문헌을 표시하는 이유

현재 Turnitin 리포트에서 참고문헌 목록과 서지는 AI 작성 표시를 받도록 되어 있지 않습니다. AI 작성 탐지 모델은 서지를 분석에서 제외합니다. 지금 보고 계신 리포트에서 참고문헌에 강조 표시가 있다면, 현실적인 설명은 세 가지입니다. 그리고 어느 것도 "Turnitin이 참고문헌에서 AI를 찾아낸 것"은 아닙니다. 세 가지는 다음과 같습니다. 리포트가 오래된 경우(2023년 8월 이전), 강조 표시가 AI 표시가 아니라 유사성 일치인 경우, 또는 표시된 텍스트가 사실은 참고문헌 옆의 산문이어서 모델이 그것을 산문으로 분석한 경우입니다.

세 가지를 모두 살펴보겠습니다. 다만 출발점은 Turnitin이 바꾼 부분과, Turnitin이 여러분에게 따르라고 한 그 문장입니다.

2023년 4월 Turnitin이 AI 작성 탐지를 내놓은 뒤 몇 달 동안은 서지가 분석에서 제외되지 않았습니다. 서지에 나열된 참고문헌 안에 AI 작성 강조 표시가 들어가는 버그가 있었습니다. 이 사실은 Turnitin이 AI 작성 탐지 모델 릴리스 노트에 남겨 두었습니다:

"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (서지에 나열된 참고문헌 안에 간혹 AI 작성 강조 표시가 들어가던 버그를 고쳤습니다. 이제 AI 작성 리포트를 처리할 때 서지는 제외됩니다.)

같은 릴리스 노트의 같은 줄에 있는 다음 문장은 이렇습니다:

"Resubmit to reprocess existing submissions that contain highlighted reference sections." (참고문헌 부분에 강조 표시가 있는 기존 제출물은 다시 제출해 재처리하십시오.)

대부분의 학생이 놓치는 것이 바로 이 두 번째 문장입니다. 수정 사항은 이미 만들어진 리포트에는 적용되지 않습니다. 2023년 8월 릴리스 이전에 교수자가 리포트를 만들고 논문을 다시 제출하지 않았다면, 받은 편지함에 남아 있는 것은 서지에 강조 표시가 찍힌 예전 리포트입니다. 리포트는 저절로 갱신되지 않습니다.

같은 릴리스 노트에는 표와 관련된 변경도 함께 실려 있습니다. 2023년 8월 이전에는 표 안의 긴 산문이 처리되지 않았습니다. Turnitin의 릴리스 노트는 이렇게 말합니다. "We are now able to process long-form prose text in tables." (이제 표 안의 긴 산문을 처리할 수 있습니다.) 그리고 다시, 다음 문장은 이렇습니다. "Resubmit to reprocess existing submissions that contain tables." (표가 들어 있는 기존 제출물은 다시 제출해 재처리하십시오.)

표가 들어 있는 논문이고 리포트가 2023년 8월 이전 것이라면 같은 조언이 적용됩니다. 수정은 배포되었지만, 수정 이후에 만들어진 리포트에만 효력이 있습니다.

"Turnitin이 내 참고문헌을 표시했습니다"라는 불만을 만드는 두 번째 혼동이 있습니다. 저희가 접하는 사례 중 가장 흔한 것입니다.

Turnitin은 서로 다른 두 개의 리포트를 만듭니다. 하나는 AI Writing Report이고, 다른 하나는 Similarity Report입니다. 둘은 별개이며, 두 점수를 같은 것으로 읽는 것이 이런 불만 대부분의 밑에 있는 실수입니다. Similarity Report는 여러분의 텍스트가 다른 출처의 텍스트와 어디에서 일치하는지 보여 줍니다. AI Writing Report는 모델이 어디를 AI가 쓴 것으로 보는지 보여 줍니다. Turnitin의 AI 작성 탐지 기능 FAQ에서 인용합니다:

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사성 점수와 AI 작성 탐지 비율은 완전히 별개이며 서로 영향을 주지 않습니다.)

같은 FAQ에서 한 줄 아래에는 이렇게 나옵니다:

"AI writing highlights are not visible in the Similarity Report." (AI 작성 강조 표시는 Similarity Report에 보이지 않습니다.)

반대도 마찬가지입니다. 유사성 강조 표시는 AI Writing Report에 보이지 않습니다.

참고문헌 목록은 유사성 일치가 가장 자주 생기는 부분 중 하나입니다. 여러분은 이미 발표된 논문을 인용했습니다. 다른 학생들도 같은 발표 논문을 인용했습니다. 제목, 저자 이름, 저널 이름, DOI는 모두 똑같은 문자열입니다. 참고문헌에 강조 표시가 있을 때 가장 먼저 확인할 것은 자기가 어떤 리포트를 보고 있는지입니다. 인용문과 인용 출처가 Similarity Report에 계속 남는 이유에서는 인용에서 나타나는 같은 현상을 다룹니다. Similarity Report라면 그 강조 표시는 AI 표시가 아니라 일치하는 텍스트입니다. 유사 출처는 다른 학생의 논문일 수도, 발표된 글이나 웹사이트일 수도 있습니다. 그것은 AI 작성 탐지와는 아무 관련이 없습니다.

세 번째로 이해해 둘 만한 작동 방식이 있습니다. Turnitin의 AI 모델은 제출물의 모든 단어를 분석하지 않습니다. FAQ가 "qualifying text"(분석 대상 텍스트)라고 부르는 것을 분석합니다:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 분석 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법을 갖춘 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록, 불릿 포인트(문장이 아닌 짧은 구조) 등 문장이 아닌 다른 형태의 글은 포함하지 않습니다.)

그 페이지의 다음 문장은 이렇습니다:

"This percentage is not necessarily the percentage of the entire submission." (이 비율이 반드시 제출물 전체에 대한 비율인 것은 아닙니다.)

참고문헌 부분에서 이 말이 뜻하는 바는 이렇습니다. 서지 항목의 목록은 산문처럼 서식이 지정되어 있어도 모델이 분석 대상 텍스트로 다루지 않을 수 있습니다. 항목이 짧고, 상당수는 완전한 문장이 아닙니다. 모델은 산문을 읽도록 만들어져 있습니다. 서식이 잡힌 참고문헌 목록은 문단보다는 구조화된 목록에 가깝습니다.

AI Writing Report에 보이는 비율과 강조 표시된 텍스트의 양이 맞지 않아 보이는 이유도 여기에 있습니다. 서지가 길고 그림 목록과 목차까지 있는 문서에는 분석 대상이 아닌 텍스트가 많습니다. 비율은 모델이 실제로 읽는 산문을 기준으로 계산됩니다. 강조 표시는 모델의 기준값을 넘은 산문 부분에 놓입니다. 서지에 항목이 40개 있고 여러분의 문장 중 두 문단만 표시되었다면, 리포트의 "2%"는 분석 대상 산문의 2%이며 문서 전체의 2%가 아닙니다.

지금 리포트를 보고 계시고 참고문헌이 표시된 것처럼 보인다면, 순서대로 확인할 것은 다음과 같습니다.

첫째, 리포트가 만들어진 날짜를 확인하십시오. 리포트가 2023년 8월 이전 것이라면 서지 수정이 배포되기 전에 생성된 것입니다. 현재 모델에는 문제가 없습니다. 리포트가 낡았을 뿐입니다. 해결책은 교수자에게 논문을 다시 제출해 달라고 요청하는 것입니다. 릴리스 노트를 인용하는 것으로 충분한 경우가 많습니다. 그 노트는 Turnitin의 문서 페이지에 있으며, "resubmit to reprocess existing submissions that contain highlighted reference sections." (참고문헌 부분에 강조 표시가 있는 기존 제출물은 다시 제출해 재처리하십시오.)라고 되어 있습니다.

둘째, 어떤 리포트를 보고 있는지 확인하십시오. 강조 표시가 AI Writing Report가 아니라 Similarity Report에 있다면 그것은 AI 표시가 아니라 유사성 일치입니다. 참고문헌 목록이 다른 논문의 참고문헌 목록과 일치하는 것은 유사성 검사에서 예상되는 동작입니다. 그것은 AI가 썼는지 여부에 대해 아무것도 말해 주지 않습니다. AI 작성 강조 표시는 "are not visible in the Similarity Report," (Similarity Report에는 보이지 않습니다)이며, 유사성 강조 표시는 AI Writing Report에 보이지 않습니다. 둘은 별개입니다.

셋째, 참고문헌 바로 주변의 텍스트를 확인하십시오. 표시된 텍스트가 서지 바로 앞이나 뒤의 한두 문장짜리 산문(감사의 글, 방법에 대한 메모, 참고문헌 부분에 대한 도입)이라면 모델이 그것을 산문으로 읽고 있을 수 있습니다. 그것은 모델이 원래 하도록 되어 있는 일입니다. 표시는 참고문헌에 붙은 것이 아니라 그 근처의 산문에 붙은 것입니다. 그 부분이 속한 단락이 아니라 강조 표시된 텍스트 자체를 읽으십시오. 그 뒤에 수정하기로 하셨다면, 그 강조 표시된 산문이 작업의 전부입니다: Turnitin 리포트가 표시한 문단만 다시 쓰기.

덧붙이면, Turnitin은 2023년에 문서의 처음 몇 문장과 마지막 몇 문장에서 잘못된 탐지가 더 자주 일어난다는 점도 확인했습니다. 그것은 흔한 방식으로 쓰인 도입이나 결론 부분이었습니다. 2023년 5월 24일 릴리스 노트에서 인용합니다:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후, 문서의 처음 몇 문장이나 마지막 몇 문장에서 잘못된 탐지가 더 자주 일어나는 것을 확인했습니다. 그런 문장은 대개 흔한 방식으로 쓰인 도입이나 결론의 내용입니다. 그 결과, 이러한 잘못된 탐지를 줄이기 위해 탐지 로직을 바꿨습니다.)

이 내용이 중요한 이유는 학생들이 온라인에서 "Turnitin은 서론과 결론을 표시합니다"는 오래된 조언을 접하는 일이 있기 때문입니다. 그것은 알려진 문제였고, 2023년의 개선 사항이었으며 현재의 이야기가 아닙니다. 2023년 게시판 글에서 그런 조언을 보셨다면, 수정은 이미 배포되었습니다. 릴리스 노트가 바로 다음 문장에서 그렇게 말합니다. 현재 리포트에서는 걱정할 만한 미해결 문제가 아닙니다.

지금 표시된 참고문헌 목록을 보고 계신 분을 위한 요약입니다:

1. 리포트가 생성된 날짜를 확인합니다. 2023년 8월 이전 리포트는 다시 제출해야 합니다.
2. AI Writing Report를 보고 있는지 Similarity Report를 보고 있는지 확인합니다. 참고문헌에 대한 유사성 표시는 예상되는 일입니다. 서지에 대한 AI 표시는 예상되는 일이 아닙니다.
3. 리포트가 최신이고 표시가 AI Writing Report에 있다면, 실제로 강조 표시된 텍스트를 읽습니다. 그것은 참고문헌 자체가 아니라 그 근처의 산문일 가능성이 큽니다.

2023년 8월 수정 사항은 저희가 링크한 페이지에 문서로 남아 있습니다. 교수자가 다시 제출해야 하는 경우, 릴리스 노트에 그 지침이 있습니다. "Resubmit to reprocess existing submissions that contain highlighted reference sections." (참고문헌 부분에 강조 표시가 있는 기존 제출물은 다시 제출해 재처리하십시오.)