Turnitin 유사성 필터와 제외 설정: 점수를 바꾸는 것 — 그리고 누가 바꿀 수 있는지

유사성 점수는 제출물에 찍힌 고정된 숫자가 아닙니다. 정제할 수 있는 일치 항목의 한 장면입니다. Turnitin 자체 가이드는 작은 일치, 인용 텍스트, 참고문헌, 소스 전체를 제외하는 필터와 제외 설정을 설명하며, 이 제외가 적용된 뒤에는 점수가 다시 생성되고 다시 계산된다고 밝힙니다. 여기에는 중요한 경계가 하나 있습니다. 보고서에서 이 조작 권한은 교수자 측에 있다는 점입니다. 여러분에게는 자기 보고서에서 일치 항목을 없애는 버튼이 없습니다. 게다가 Turnitin 가이드는 제외 설정이 "don't replace human judgment." (사람의 판단을 대신하지 않는다)라고 분명히 말합니다. 작동 방식을 아는 것과 자기 점수를 바꿀 수 있는 것은 별개의 문제입니다.

보고서는 교수자가 일치 항목을 검토하도록 돕기 위한 것이지, 판결을 선고하기 위한 것이 아닙니다. 그렇기 때문에 Turnitin은 필터와 제외 기능을 보고서 자체에 넣었습니다. 공식 가이드에서 발췌합니다.

"Using Filters and Exclusions will help you refine a Similarity Report to only include matches that are irrelevant to you." (필터와 제외를 사용하면 Similarity Report를 정제하여 여러분에게 중요하지 않은 일치만 남길 수 있습니다.)

같은 가이드는 그 실제적인 결과도 밝힙니다. "Applying filters and exclusions may or may not change the overall similarity percentage depending on several factors." (필터와 제외를 적용하는 것이 전체 유사성 비율을 바꿀 수도 있고 바꾸지 않을 수도 있으며, 이는 여러 요인에 따라 달라집니다.) 즉, 제출일에 여러분이 보는 숫자는 보고서의 한 가지 모습일 뿐입니다. 교수자는 더 정제된 모습을 만들 수 있고, 그 비율은 달라질 수 있습니다.

"왜 5단어짜리 표현이 집계되나요?"라는 의문이 가장 자주 생기는 지점은 바로 작은 일치 범주입니다. Turnitin 가이드는 이 제외를 다음과 같이 설명합니다.

"Excluding small matches allows you to exclude matching against sources with a small amount in common with the submission. For example, it's possible to exclude matches fewer than 20 words in total, or less than 10% in total." (작은 일치를 제외하면 제출물과 공통점이 적은 소스에 대한 일치를 제외할 수 있습니다. 예를 들어 합계 20단어 미만의 일치나 합계 10% 미만의 일치를 제외하는 것이 가능합니다.)

다음 문장에서는 그 비율이 어떻게 계산되는지를 설명합니다.

"The percentage is based on the total word count of the student's submission. For example, if a student submitted a 5,000 word submission, and you have this set to 10%, it will exclude sources of less than a 500 word match." (이 비율은 학생 제출물의 총 단어 수를 기준으로 합니다. 예를 들어 학생이 5,000단어 분량을 제출했고 이 값이 10%로 설정되어 있다면, 일치 분량이 500단어 미만인 소스는 제외됩니다.)

즉, 다섯 단어 표현은 크기 눈금의 맨 아래에 놓입니다. 그것이 일치가 될 수는 있습니다. 그리고 기준값보다 아래에 있기 때문에, 제외 기준값이 없앨 수 있는 바로 그 종류의 일치입니다. 교수자가 그런 기준값을 적용할지는 그분의 선택입니다. 기본 보고서에는 그 일치가 포함되어 있습니다.

두 번째 범주는 학생들이 가장 많이 묻는 것입니다. 형식을 제대로 갖춘 인용문과 참고문헌 목록이 일치 항목으로 표시되는 경우입니다. 가이드에는 이렇게 나와 있습니다.

"Exclude quoted text, bibliographic content, and reference materials from within a Similarity Report to remove those matches from the report. This can possibly affect the score percentage, and help provide a more focused assessment." (Similarity Report 안에서 인용 텍스트, 서지 정보, 참고 자료를 제외하면 그 일치들을 보고서에서 없앨 수 있습니다. 이는 점수 비율에 영향을 줄 수 있고, 더 초점이 분명한 평가를 하는 데 도움이 됩니다.)

Similarity 제품 버전에서는 같은 생각이 그 이유와 함께 다음과 같이 서술되어 있습니다.

"Exclusions hide specific types of text that shouldn't count toward similarity, such as properly formatted quotations, bibliographies, or in-text citations. Exclusions help make similarity scores fairer and more accurate by ignoring expected or properly referenced text." (제외 설정은 형식을 제대로 갖춘 인용문, 참고문헌, 본문 내 인용처럼 유사성으로 집계되어서는 안 되는 특정 종류의 텍스트를 숨깁니다. 제외는 예상되는 텍스트나 참조 표시가 제대로 된 텍스트를 무시함으로써 유사성 점수를 더 공정하고 정확하게 만듭니다.)

그래서 보고서 페이지가 놀랄 만큼 크게 보일 수 있습니다("참고문헌 페이지 전체가 일치로 잡혔어요!"). 반면 교수자의 정제된 화면은 훨씬 작습니다. 일치는 실제로 존재합니다. 다만 보고서가 검토할 때 예상된 텍스트를 제외할 수 있다는 뜻입니다.

텍스트 종류를 넘어, 소스 전체를 계산에서 빼는 것도 가능합니다. 가이드는 이를 다음과 같이 설명합니다.

"Excluding a source removes an entire source and all associated matches from the similarity calculation, preventing any of its text from contributing to the overall similarity percentage." (소스를 제외하면 해당 소스 전체와 그에 딸린 모든 일치가 유사성 계산에서 빠지며, 그 텍스트는 전체 유사성 비율에 전혀 기여하지 않게 됩니다.)

그리고 개별 일치도 같은 방식으로 제거할 수 있습니다.

"Excluding a match removes a specific text match from the similarity calculation, so it no longer contributes to the overall similarity percentage." (일치를 제외하면 특정 텍스트 일치가 유사성 계산에서 빠지므로, 더 이상 전체 유사성 비율에 기여하지 않습니다.)

어떤 제외를 적용한 뒤에는 보고서가 다시 생성됩니다. "Select Apply Changes … to confirm and regenerate the report with your change now reflected in the assignment." (Apply Changes … 을 선택해 확인하고 보고서를 다시 생성하십시오. 변경 사항은 과제에 반영됩니다.) 그 시점부터 여러분이 보는 비율은 정제된 모습이며, 최초 제출 시점의 모습이 아닙니다.

가이드의 한 대목이 재제출 시의 동작과 직접 연결됩니다.

"If a student resubmits an assignment, their original assignment will show up under 'excluded sources' in order to prevent matching against the original draft." (학생이 과제를 다시 제출하면, 최초 초안과의 일치를 막기 위해 원래 제출물이 'excluded sources' 아래에 표시됩니다.)

이는 Turnitin의 일치 관련 도움말 센터에서 설명하는 자기 일치 보호와 같은 장치입니다. 나중 초안이 이전 초안과 일치하지 않는 이유는 이전 초안이 제외된 것으로 처리되기 때문입니다. 교수자는 보고서의 "Excluded Sources" 목록에서 제외된 소스를 복원할 수 있습니다. 평소에는 보고 싶지 않을 자기 일치까지도, 그렇게 판단한다면 복원할 수 있습니다.

같은 공식 가이드는 그 경계를 한 문장으로 밝힙니다.

"While exclusions refine the process, they don't replace human judgment; it's still important to review the remaining matches to determine whether they reflect proper attribution or potential plagiarism." (제외는 절차를 정제하지만 사람의 판단을 대신하지는 않습니다. 남은 일치가 적절한 출처 표시를 반영하는지, 표절 가능성을 반영하는지를 판단하기 위해 검토하는 일은 여전히 중요합니다.)

학생인 여러분에게는 이 지점이 전부입니다. 보고서는 교수자를 위한 조사 도구이며, 여러분이 통제하는 결과물이 아닙니다. 실무적으로 정리하면 다음과 같습니다.

• 자기 보고서에서 일치를 제외할 수는 없습니다. 조작 권한은 교수자 측에 있습니다.
• 정제된 보고서(제외 적용 후)는 "합격"이 아닙니다. 교수자가 검토하고자 하는 대상을 더 분명하게 보여주는 화면일 뿐입니다.
• 참고문헌에서, 인용문에서, 혹은 아주 짧은 표현으로 마음에 걸리는 일치가 있다면 올바른 대응은 교수자에게 그분의 검토 화면을 묻는 것입니다. 스스로 없애려 하는 것이 아닙니다.

여러분이 보는 유사성 점수는 보고서의 한 가지 모습입니다. Turnitin의 필터와 제외는 작은 일치(단어 수 또는 비율 기준값 아래의 것), 인용 텍스트와 서지 텍스트, 그리고 소스 전체를 없앨 수 있습니다. 그리고 변경이 있을 때마다 점수는 다시 계산됩니다. 그 조작 권한은 교수자에게 있고, 가이드 스스로의 표현이 경계입니다. 제외는 "don't replace human judgment." (사람의 판단을 대신하지 않는다)입니다. 인용문, 참고문헌, 짧은 표현에서 일치가 보인다면, 그것은 보고서가 제외할 수 있도록 설계된 실제 일치입니다. 다만 조작 권한을 쥔 사람은 여러분이 아닙니다. 보고서를 읽고, 작동 방식을 이해하고, 정말 중요한 질문을 하십시오. 교수자는 이것을 어떻게 검토하시는지 말입니다.