Similarity Report의 무결성 플래그: 숨은 텍스트와 바뀐 문자

Similarity Report에는 백분율과는 별개의 Flags 탭이 있습니다. 이 탭은 문서로 확인된 두 가지 패턴을 표시합니다. 흰 바탕에 흰 글자, 감춰진 인용 부호 같은 숨은 텍스트와, 다른 알파벳의 비슷한 글자로 바뀐 치환 문자입니다. 문서에는 비슷한 글자는 검사 전에 자동으로 원래 글자로 되돌려지므로 유사성 일치는 그대로 이루어진다고 나와 있습니다. 플래그는 명시적으로 잘못을 인정하는 판정이 아닙니다. 다만 사람이 들여다보도록 제출물에 빨간 표시를 남기기는 합니다.

안내 문서는 이를 한 문장으로 설명합니다. "Turnitin's algorithms look deeply at a document for any inconsistencies that would set it apart from a normal submission. If we notice something strange, we Flag it for you to review." (Turnitin의 알고리즘은 일반적인 제출물과 구분되는 불일치가 있는지 문서를 깊이 살펴봅니다. 이상한 점을 발견하면 검토하실 수 있도록 플래그를 표시합니다.)

무언가 감지되면 제출물 위쪽, Flags 탭 옆에 숫자가 나타납니다. 플래그 종류가 하나면 1, 둘 다면 2입니다. 탭을 열면 Integrity Flags for Review 패널이 나오고, 문서 자체에는 "a red flag with a number inside indicating the flag type and red boxes around all suspicious text related to that flag." (플래그 종류를 나타내는 숫자가 들어 있는 빨간 플래그와, 그 플래그와 관련된 의심스러운 텍스트 모두를 둘러싼 빨간 상자)가 표시됩니다.

이 단서는 출처에 그대로 적혀 있고, 양방향으로 중요합니다. "A flag is not necessarily an indicator of a problem. However, we recommend you focus your attention there for further review." (플래그가 반드시 문제를 나타내는 것은 아닙니다. 다만 그 부분에 주의를 두고 추가로 검토하실 것을 권합니다.)

즉, 이것은 고발이 아닙니다. 원고의 일부에 빨간 상자가 그어지고, 검토자에게 바로 그 부분을 더 자세히 보라는 지시가 붙는 것일 뿐입니다.

문서는 이것이 어디에서 비롯하는지를 매우 직접적으로 밝힙니다. "Paper mills and authors looking to hinder similarity matching abuse text manipulation techniques by trying to pass plagiarized content off as genuine. These techniques are commonly found on YouTube and social media platforms as ways of 'cheating Turnitin'." (논문 공장과 유사성 일치를 방해하려는 저자들은 표절한 내용을 진짜처럼 통과시키려고 텍스트 조작 기법을 악용합니다. 이러한 기법은 Turnitin을 속이는 방법으로 YouTube와 소셜 미디어에서 흔히 발견됩니다.)

예가 두 가지 제시됩니다.

보이지 않는 인용 부호. 파일에는 있지만 화면에는 보이지 않는 인용 부호입니다. 문서에 적힌 결과는 구체적입니다. "could influence the amount of quoted material recognized in a document. When a user excludes well-referenced matches using the Exclude Quotes functionality, in a manipulated document this would also hide plagiarized content." (문서에서 인식되는 인용 자료의 양에 영향을 줄 수 있습니다. 사용자가 Exclude Quotes 기능으로 참조가 잘 된 일치를 제외하면, 조작된 문서에서는 표절한 내용까지 함께 숨겨집니다.)

흰 바탕의 흰 글자. "A user may set the color of a block to text to white rendering it invisible on the white background of the paper. This can be to manipulate the word count or break up plagiarized text with hidden characters." (사용자가 텍스트 블록의 색을 흰색으로 지정하면 종이의 흰 배경에서 보이지 않게 됩니다. 이는 단어 수를 조작하거나 숨긴 문자로 표절 텍스트를 끊어 놓기 위한 것일 수 있습니다.)

그 문장의 뒷부분에 주목하십시오. 일치 엔진이 단어의 연속을 더 이상 보지 못하도록 텍스트를 끊는 데 쓰이는 숨은 문자입니다. 안내서에는 그 문자가 텍스트의 어디에 들어가는지 나와 있지 않고, 저희가 대신 채워 넣지도 않겠습니다. 분명히 적혀 있는 것은, 이것이 소프트웨어가 찾는 대상이며 놓치는 대상이 아니라는 점입니다.

이 부분은 주의 깊게 읽으실 만합니다. 사람이 직접 입력하기보다 도구 안에 들어 있을 가능성이 가장 높은 수법이기 때문입니다.

"Some characters in different alphabets can look similar enough that to the naked eye, it is difficult, if not impossible, to tell them apart." (알파벳이 다르면 육안으로는 구분이 어렵거나 아예 불가능할 정도로 비슷하게 보이는 문자가 있을 수 있습니다.) 라틴 문자와 똑같이 보이는 키릴 문자를 단어 중간에 넣으면, 페이지는 정상적으로 보이면서도 일치 엔진이 찾는 문자열이 끊어집니다.

문서에 나온 대응은 두 부분으로 되어 있고, 아무도 언급하지 않는 것은 첫 번째 부분입니다.

"Turnitin automatically swaps these characters out when scanning a submission so they will not affect the Similarity Report. However, by replacing characters, the intent is to try and interrupt a similarity match." (Turnitin은 제출물을 검사할 때 이러한 문자를 자동으로 바꾸어 Similarity Report에 영향을 주지 않도록 합니다. 그러나 문자를 바꾸는 의도는 유사성 일치를 방해하려는 데 있습니다.)

즉 치환은 비교 전에 되돌려집니다. 일치는 그대로 발생합니다. 그리고 그 시도는 플래그로 제기됩니다. 이 수법은 겨냥한 수치를 줄이지 못하고, 이전에는 없던 표시를 하나 더하게 만듭니다.

의견이 아니라 인용으로 말할 수 있는 드문 사례입니다. 문서로 확인된 우회 수법이, 문서로 확인된 바로는 통하지 않는다는 것입니다.

대부분의 저자는 세 단어마다 키릴 문자 'о'를 붙여 넣는 일을 하지 않습니다. 그러나 소프트웨어는 그것을 합니다. 눈에 보이지 않게, 1초 만에, 원고 전체에 걸쳐 말입니다. 그리고 똑같이 보이는 것이 이 수법의 핵심이므로 여러분은 그것을 보지 못합니다.

그래서 이것은 파일을 무엇에 넘기기 전에 던져야 할 질문입니다. 돌아온 결과에, 들어갈 때는 없었던 문자가 들어 있지 않은가 하는 질문입니다.

특별한 도구 없이도 확인하실 수 있습니다. 다만 먼저, 그럴듯해 보이지만 통하지 않는 확인 방법은 제쳐 두십시오.

흔한 글자가 몇 번 나오는지 세어 보아도 아무것도 알 수 없습니다. 다시 쓰기는 텍스트를 길어지게 하는 경향이 있고, 글자 수는 그에 따라 늘어납니다. 저희가 자체 보유한 전후 파일에서는 어디에도 문자를 바꾸지 않았는데 라틴 문자 "a"가 4,631에서 5,092로, "e"가 6,970에서 8,005로 늘었습니다. 글자를 세어 더 많이 나왔다고 해서 알 수 있는 것은 문서가 길어졌다는 사실뿐입니다.

개수가 아니라 목록을 비교하십시오. 보낸 파일의 일반 텍스트와 돌아온 파일의 일반 텍스트를 내보내고, 각각에 등장하는 서로 다른 문자를 목록으로 만든 뒤, 두 번째 목록에는 있는데 첫 번째 목록에는 없는 것이 있는지 살펴보십시오. 라틴 문자처럼 보이는 키릴 문자와 그리스 문자. 폭이 없는 공백. 소프트 하이픈. 개수가 달라지는 것은 예상된 일입니다. 여러분의 파일에 한 번도 없던 문자가 나타나는 것은 예상된 일이 아닙니다.

그리고 결과를 누가 떠안는지에 관한 구조적인 점이 두 가지 있습니다. 플래그는 제출물에 남고, 거기에는 여러분의 이름이 있습니다. 그리고 그 문자를 넣은 도구는 보고서가 읽힐 때 그 자리에 없습니다.

저희는 이 수법이 자리한 범주에 속해 있습니다. 그러니 말하지 않고 넘기기보다 분명히 밝히는 것이 정직한 태도입니다.

HumanPen 도구는 문장을 다시 씁니다. 보이지 않는 문자를 넣지 않고, 다른 알파벳의 비슷한 글자로 바꾸지 않으며, 글자를 흰색으로 칠하지도 않습니다. 그럴 이유가 없습니다. 위의 문서에는 치환이 일치 검사 전에 되돌려지고 그 과정에서 플래그가 표시된다고 나와 있으니, 이런 수법이 확실히 만들어 내는 것은 여러분 원고에 붙는 빨간 상자뿐입니다.

저희는 이 글을 공개하기 전에 자체 출력물을 대상으로 목록 비교를 실행했습니다. 전후 4쌍입니다. 매번 각 출력물에 등장하는 서로 다른 문자의 집합은 입력의 집합의 부분 집합이었습니다. 새로운 것은 없었고, 키릴 문자도 그리스 문자도 폭이 없는 것도 없었습니다. 비 ASCII 문자 수는 늘어나기는커녕 줄었습니다. 어떤 파일에서는 긴 대시가 58에서 13으로, 곡선 아포스트로피가 41에서 6으로 줄었습니다. 또한 비교가 찾으려는 것을 실제로 찾아내는지도 확인했습니다. 출력물 사본에 키릴 문자 "о"와 폭 없는 공백을 하나씩 심고 다시 실행해 보았고, 둘 다 목록에 올랐습니다.

이것은 저희의 파일이고 말뭉치는 공개하지 않습니다. 그러니 수치는 저희의 것으로, 절차는 여러분의 것으로 받아들이십시오. 여러분의 전후 쌍으로 직접 실행해 보십시오. 저희가 돌려드리는 결과에 대해서도 마찬가지입니다.

플래그가 붙으면 무언가를 의심받았다는 뜻인가요? 아닙니다. 문서에는 플래그가 "is not necessarily an indicator of a problem"(반드시 문제를 나타내는 것은 아닙니다)이라고 나와 있으며, 동시에 검토자가 그 부분에 주의를 두도록 권합니다. 그것은 살펴보라는 요청이지, 판정이 아닙니다.

비슷한 글자가 유사성 점수를 낮추나요? 문서에 따르면 그렇지 않습니다. 제출물을 검사할 때 그 문자들이 자동으로 바뀌어 Similarity Report에 영향을 주지 않는다고 합니다. 그 시도는 또한 플래그로 제기됩니다.

플래그 종류는 몇 가지인가요? 문서로 확인된 것은 두 가지, 숨은 텍스트와 치환 문자입니다. 탭에는 감지된 종류의 수에 따라 1 또는 2가 표시됩니다.

제출 전에 제 파일을 직접 확인할 수 있나요? 보고서로는 할 수 없습니다. 보고서는 검토자 쪽에서 생성되기 때문입니다. 파일 자체를 살펴보실 수는 있습니다. 보낸 버전과 돌아온 버전에 등장하는 서로 다른 문자를 목록으로 만들고, 두 번째 목록에는 있는데 첫 번째 목록에는 없는 문자가 있는지 살펴보십시오. 대신 글자 수를 세지 마십시오. 다시 쓰기는 텍스트를 길게 만들므로 글자 수는 저절로 올라갑니다. 흰색이나 배경과 같은 색으로 지정된 글자가 있는지도 확인하십시오.