패러프레이징을 하면 Turnitin AI 점수가 왜 오를까요?

패러프레이징 도구는 유사도 점수를 낮추도록 설계되어 있으며, 같은 뜻을 가진 다른 단어로 교체하는 방식으로 이를 달성합니다. 그렇게 교체된 단어들은 고빈도 표현인 경향이 있는데, 바로 AI 생성기도 기본적으로 쓰는 언어입니다. Turnitin 의 감지기는 단어 확률 패턴을 읽는데, 재작성된 텍스트가 그 분포에 가까워질수록 AI 비율이 올라갑니다. 이건 버그가 아닙니다. 당신이 목표로 한 것이 아닌 다른 대상을 향해 설계된 메커니즘이 정상 작동하고 있는 것입니다.

유사도 점수와 AI 비율은 Turnitin 의 표현을 빌리면 "completely independent and do not influence each other."(완전히 독립적이며 서로 영향을 주지 않습니다). 둘은 서로 다른 것을 측정하고, 서로 다른 프로세스로 계산되며, 하나에 무엇을 하더라도 다른 하나가 도와준다는 보장은 없습니다. 둘이 반대 방향으로 당길 때, 첫 번째를 고치려고 쓴 패러프레이징 도구가 두 번째로 당신을 끌고 갈 수 있습니다.

Turnitin 은 감지 FAQ 에서 이를 명확히 말합니다: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."(유사도 점수와 AI 작성 감지율은 완전히 독립적이며 서로 영향을 주지 않습니다). 유사도 점수는 당신의 텍스트가 데이터베이스의 다른 텍스트와 얼마나 일치하는지 알려줍니다. AI 비율은 텍스트 중 얼마나 많은 부분이 기계가 쓴 것처럼 보이는지 알려줍니다. 이 둘은 같은 속성을 보는 두 가지 관점이 아닙니다.

패러프레이징 도구는 첫 번째 목표에 맞춰 설계되었습니다. 데이터베이스의 무언가와 일치하는 문장을 가져와 더 이상 일치하지 않도록 다시 씁니다. 그렇게 하면 유사도 점수가 내려갑니다. 하지만 도구는 이를 위해 당신의 원래 단어 선택을 대체어들을로 교체하는데, 그 대체어들은 각 의미별로 가장 흔하고 가장 그럴듯한 표현들에서 뽑힙니다. 당신의 원래 문장은 개성적이었을 수 있습니다. 교체어는 설계상 그 정반대입니다.

한편 AI 비율은 전혀 다른 방식으로 계산됩니다. 우리는 AI 탐지기가 측정하는 것 에서 그 계산 방식을 추적했는데, 요약하자면 감지기는 텍스트를 겹치는 세그먼트로 나누고 각각에 확률 점수를 매긴 뒤 이를 문서 수준의 숫자로 통합합니다. 패러프레이징 도구가 고른 단어들이 바로 점수를 매기는 대상이 됩니다. 그 단어들이 고확률 영역에 몰려 있다면 숫자는 올라갑니다.

사람들은 종종 Turnitin 감지기가 "perplexity"와 "burstiness"를 측정한다고 말합니다. 꼭 그렇지는 않습니다. Turnitin FAQ 는 이렇게 말합니다: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."(저희 모델은 공개 논의에서 가끔 언급되는 'burstiness', 'perplexity' 또는 기타 개별 지표를 명시적으로 평가하도록 프로그래밍되지 않았습니다.) 같은 단락의 다음 문장은 이렇습니다: "Instead, it learns statistical patterns from our training data."(대신 훈련 데이터에서 통계적 패턴을 학습합니다.)

하지만 같은 FAQ 페이지의 다른 섹션에서는 이렇게 말합니다: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."(저희 분류기는 단어 확률의 이러한 차이를 감지하도록 훈련되었으며 인간 작성자의 특정 단어 확률 시퀀스에 능숙합니다.) 즉 모델이 perplexity 점수를 계산해서 그렇게 부르는 게 아닙니다. Turnitin 표현 그대로 단어 확률을 읽는 것입니다. Perplexity 는 단어 확률을 측정하는 지표입니다. 이 구분이 중요한 이유는 첫 인용구만 따로 떼어보면 감지기가 단어 확률을 아예 무시하는 것처럼 들리기 때문입니다. 그렇지 않습니다. 탐지기가 일치하지 않는 이유 는 서로 다른 도구들이 같은 텍스트에 대해 왜 다른 숫자를 내놓는지 다루며, 단어 확률 모델링이 그 중심에 있습니다.

이것이 패러프레이징에 대해 의미하는 바는 명확합니다. 당신의 원래 문장은 당신만의 어휘, 당신만의 습관, 집필 전에 읽었던 특정 자료들에 의해 형성된 단어 확률 프로필을 가지고 있었습니다. 패러프레이징된 버전은 도구가 선택한 것에 의해 형성된 프로필을 가지는데, 도구는 분포의 가장자리가 아닌 중심에서 선택합니다. 단어 확률에 훈련된 감지기는 재작성된 문장을 기계 출력 모델에 더 가깝게 봅니다. 당신이 AI 를 써서가 아니라, 패러프레이징된 문장의 통계적 흔적이 더 비슷하게 보이기 때문입니다.

여기가 불편해지는 지점입니다. Turnitin FAQ 는 거짓 양성을 낳는 경향이 있는 텍스트 유형들을 나열하는데, 그 설명은 마치 패러프레이징 도구가 만들어내는 것의 사양서처럼 읽힙니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(가끔 거짓 양성 (인간 작성 텍스트를 AI 생성으로 잘못 표시하는 것) 은 구조적 변이가 많지 않은 콘텐츠, 문자 그대로 반복되는 텍스트, 또는 새로운 아이디어를 개발하지 않고 패러프레이징된 텍스트를 포함할 수 있습니다.)

그 바로 다음 문장이 가장 중요합니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(만약 저희 표시기가 이러한 텍스트에서 더 많은 AI 작성을 표시한다면, 표시된 비율을 볼 때 이를 고려할 것을 권합니다.) Turnitin 은 강사들에게 이 설명에 부합하는 텍스트에 대해서는 높은 AI 점수를 할인해서 보라고 말하고 있는 겁니다.

패러프레이징 도구는 설계상 새로운 아이디어를 개발하지 않습니다. 기존 아이디어를 가져와 단어만 바꿉니다. 또한 구조적 변이를 줄이는 경향이 있는데, 새로운 문장 형태를 도입하는 대신 문서 전체에 스타일을 매끄럽게 하기 때문입니다. 도구는 텍스트를 더 다양하게 만들려는 게 아닙니다. 덜 일치하게 만들려는 것입니다. 이 두 목표는 맞지 않으며, 두 번째 목표는 텍스트를 Turnitin 이 거짓 양성에 취약하다고 말하는 바로 그 프로필로 밀어넣습니다.

우리는 다듬어진 작성이 감지기를 트리거하는 이유를 더 깊이 탐구했는데, 거기서 작동하는 메커니즘은 여기서와 같습니다. 매끄럽게 하기는 통계적 신호입니다.

Turnitin 은 AI 텍스트를 놓치는 것이 인간 작문을 잘못 표시하는 것보다 낫다고 말합니다. FAQ 는 이렇습니다: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written."(거짓 양성에 대한 이 낮은 1% 비율을 유지하기 위해, 문서의 일부 AI 작성 텍스트를 놓칠 가능성이 있습니다. 우리는 인간 작성 텍스트를 AI 작성으로 잘못 표시하고 싶지 않기 때문에 이에 대해 편안합니다.)

그 기울어짐은 실제이며, 그것이 완전히 인간이 작성한 문서가 표시될 확률이 낮은 이유입니다. 하지만 그것이 사람들이 생각하듯 패러프레이징된 텍스트를 보호해주지는 않습니다. 1% 거짓 양성 비율은 거짓 양성 프로필과 일치하지 않는 텍스트에 적용됩니다. 프로필과 일치하는 텍스트, 즉 Turnitin 이 위 인용구에서 설명하는 종류의 텍스트는 1% 수치가 측정된 그 텍스트가 아닙니다. 감지기는 일반적으로 주의 쪽으로 기울어져 있지만, 그 기울어짐을 트리거하는 특징들은 패러프레이징 도구가 심는 특징들과 똑같습니다.

텍스트가 AI 기반 도구에 의해 패러프레이징되었다면 별도의 경로가 있습니다. Turnitin 은 "AI 생성 텍스트가 AI 패러프레이저 또는 바이패서 (휴머나이저라고도 함) 도구에 의해 수정되어 감지를 회피했을 수 있는 사례도 식별할 수 있습니다"라고 말합니다. 그건 거짓 양성이 아닙니다. 다른 신호에 대한 진짜 양성입니다. 감지기에는 이를 위한 명명된 기능이 있습니다. AI 로 고쳐썼는데도 여전히 flagged 됨 는 사용한 도구가 재작성을 수행하는 AI 모델 자체였을 때 일어나는 일을 살펴봅니다.

철자를 수정하는 문법 검사기와 문장을 재작성하는 생성형 도구 사이에는 의미 있는 차이가 있습니다. Turnitin 은 이 선을 명시적으로 그립니다. Grammarly 에 대해 FAQ 는 이렇게 말합니다: "Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector."(저희가 AI 생성 콘텐츠가 없는 인간 작성 문서에 대해 수행한 테스트에 따르면, 대부분의 경우 Grammarly(무료 및 프리미엄) 및/또는 기타 문법 검사 도구에 의한 변경 사항은 저희 감지기에 의해 AI 작성으로 표시되지 않았습니다.) 핵심 수식어는 "in most cases"입니다. 면제는 절대적이지 않습니다.

그리고 FAQ 는 계속합니다: "Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector."(이것은 Grammarly 의 생성형 AI 기반 기능 (초안 생성, 패러프레이징, 요약 및 기타 기능 포함) 에 의해 생성된 콘텐츠는 제외한다는 점에 유의하십시오. 이 기능을 사용하여 작성된 콘텐츠는 저희 감지기에 의해 AI 생성으로 표시될 가능성이 높습니다.) 철자 및 구두점 수정은 한 범주입니다. 패러프레이징과 재작성은 또 다른 범주입니다. 두 번째 범주에서 AI 점수가 올라갑니다.

Turnitin 은 어떤 패러프레이저 및 바이패서 도구에 대해 훈련되고 테스트되었는지의 목록을 게시하지 않습니다. FAQ 는 이렇습니다: "However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools."(그러나 저희 솔루션의 무결성과 학문적 정직성 유지에 대한 효과성을 보호하기 위해, 이러한 도구들의 이름을 공개할 수 없습니다.) 따라서 Turnitin 외부의 누구도 어떤 특정 도구가 감지되고 어떤 도구가 감지되지 않는지 말할 수 없으며, 이름이 명시된 도구가 감지기를 "이긴다"는 주장은 Turnitin 의 자체 테스트에 대해 누구도 확인할 수 없는 주장입니다. 저희는 그런 주장을 하지 않으며, 그렇게 주장하는 사람을 신뢰하지 말 것을 권장합니다.

텍스트의 단어 확률 프로필이 감지기가 기계 출력과 연관시키는 분포에서 멀어질 때 AI 비율은 내려갑니다. 생성기가 스스로 선택하지 않았을 어휘, 문장 구조, 아이디어를 도입할 때 그런 일이 일어납니다. 새로운 아이디어를 추가하지 않는 패러프레이징은 그 반대를 합니다. 프로필을 중심 쪽으로 옮깁니다.

이미 텍스트를 패러프레이징 도구에 통과시켰고 AI 점수가 올랐다면, 앞으로의 길은 또 다른 패러프레이징 통과가 아닙니다. 또 다른 통과는 한 세트의 고빈도 단어를 다른 세트의 고빈도 단어로 교체합니다. 프로필은 움직이지 않습니다. flagged 된 구절을 자신의 단어 선택, 자신의 문장 형태, 그리고 이상적으로는 자신의 추가 분석이나 예시로 재작성해야 합니다. 그것이 감지기가 읽는 확률 분포를 옮깁니다.

이것의 실제 버전은 보고서를 앞에 두고 Turnitin AI writing report 읽는 법 에서 확인할 수 있습니다. 보고서는 어떤 세그먼트가 flagged 되었는지 보여주며, 바로 그 세그먼트들에서 당신의 단어 선택이 평균에서 벗어나 당신 것이 되어야 합니다.

HumanPen 은 문서 재작성기이며, 여기서 관련 있는 설계 선택은 무엇이 재작성되고 무엇이 재작성되지 않는지에 관한 것입니다. 문서를 AI 작성 보고서와 함께 업로드할 수 있으며, 보고서가 표시한 구절만 재작성됩니다. 문서의 나머지는 당신이 쓴 그대로 유지됩니다.

이 글에서 이것이 중요한 이유는 전체 문서 패러프레이징 통과는 위에서 설명한 메커니즘에 대해 최악의 시나리오이기 때문입니다. flagged 되지 않은 구절을 포함해 모든 것을 재작성하며, 모든 것을 고빈도 중심으로 옮김으로써 그렇게 합니다. 범위 지정된 재작성은 감지기가 이미 flagged 한 세그먼트만 건드리며, 그것들을 더욱 매끄럽게 하는 것이 아니라 단어 확률 프로필을 옮기는 것을 목표로 그렇게 합니다.

청구는 실제로 재작성된 단어만 계상합니다. 후속 보고서가 여전히 구절을 표시한다면, 이것들은 무료로 재실행될 수 있습니다. 저희는 다음 보고서가 무엇을 말할지 알려드리지 않습니다. 누구도 할 수 없기 때문입니다. 하지만 메커니즘은 메커니즘이며, 범위 지정된 재작성은 그것에 반대하는 것이 아니라 그것과 함께 작동합니다.

패러프레이징은 항상 AI 점수를 올리나요? 항상은 아니지만, 패턴에 이름이 있을 정도로 자주 있습니다. Turnitin 은 "text that has been paraphrased without developing new ideas"(새로운 아이디어를 개발하지 않고 패러프레이징된 텍스트) 를 거짓 양성에 취약한 프로필 중 하나로 나열합니다. 그 프로필이 중요하게 여기는 것은 새로운 분석이 추가되었는지이지, 어떤 편집 작업이 문장을 만들어냈는지가 아닙니다. 같은 아이디어 안에 머무는 텍스트는 감지기가 AI 출력과 연관시키도록 훈련된 단어 확률 프로필을 유지합니다. 특정 점수가 올라갈지는 원래 텍스트가 어떻게 생겼는지와 도구가 그것을 무엇으로 교체했는지에 따라 달라집니다.

Grammarly 를 사용해 철자를 수정했습니다. AI 점수가 올라갈까요? Turnitin 은 대부분의 경우 Grammarly 및 기타 문법 검사 도구에 의한 변경 사항은 "were not flagged as AI-written by our detector."(저희 감지기에 의해 AI 작성으로 표시되지 않았다) 고 말합니다. 수식어 "in most cases"가 그 문장에서 역할을 합니다. 패러프레이징, 요약 또는 초안 생성과 같은 Grammarly 의 생성형 기능을 사용했다면, FAQ 는 그 콘텐츠가 "will likely be flagged as AI-generated."(AI 생성으로 표시될 가능성이 높다) 고 말합니다.

유사도 점수는 내려가는데 AI 점수는 왜 올라갈까요? 서로 다른 것을 측정하기 때문입니다. Turnitin 은 두 점수가 "completely independent and do not influence each other."(완전히 독립적이며 서로 영향을 주지 않는다) 고 말합니다. 패러프레이징은 일치하는 텍스트를 제거함으로써 유사도를 낮춥니다. 대체 단어들은 고빈도 표현인 경향이 있어 AI 점수를 높일 수 있으며, 감지기는 AI 생성 텍스트와 겹치는 단어 확률 패턴을 읽습니다.

AI 점수를 수정하기 위해 패러프레이징 도구를 다시 실행할 수 있나요? 다시 실행하는 것은 한 세트의 흔한 단어를 다른 세트의 흔한 단어로 교체합니다. 단어 확률 프로필은 유용한 방향으로 움직이지 않습니다. 프로필을 옮기는 것은 flagged 된 구절을 자신의 어휘, 자신의 문장 구조, 자신의 추가 아이디어로 재작성하는 것입니다.

Turnitin 이 제가 사용한 패러프레이징 도구를 감지하나요? Turnitin 은 "trained and tested to detect leading paraphraser and bypasser tools"(주요 패러프레이저 및 바이패서 도구를 감지하도록 훈련되고 테스트되었다) 고 말하지만 어떤 도구들은 밝히지 않습니다. FAQ 는 목록을 공유하는 것이 "would make it easier for students to evade our system."(학생들이 저희 시스템을 회피하기 쉽게 만들 것) 이라고 말합니다. Turnitin 외부의 누구도 특정 도구가 그 목록에 있는지 확인할 수 없습니다.