Turnitin 리포트가 표시한 단락만 다시 쓰기

지금 설명하려는 그 방식을 구현한 HumanPen 을 만들고 있기 때문에, 이 글이 중립적인 비교 분석은 아닙니다. 그래도 메커니즘 자체는 기록할 가치가 있습니다. 직접 손으로 처리하더라도 알아둘 내용은 마찬가지니까요.

전체 다시 쓰기 도구는 실행 비용은 저렴하지만, 확인 비용이 비쌉니다.

실제로 사용자가 감당해야 하는 비용은 검증입니다. 그리고 검증 부담은 '무엇이 잘못되었는가'가 아니라 '무엇이 바뀌었는가'에 따라 커집니다. 다시 쓰기가 들어간 곳은 어디든 숫자가 살아 있는지, 용어가 앞문단과 일관되게 유지되었는지, 인문 인용이 주장을 뒷받침하는 자료에 여전히 연결되어 있는지, "Table 2 참조"가 실제로 Table 2 를 가리키는지, 신중한 표현이 과도한 단정으로 바뀌지 않았는지 모두 확인해야 합니다. 제가 가장 무서운 것은 "association"(연관성) 이 "causation"(인과성) 으로 바뀌는 경우입니다. 문장 자체는 완벽하게 읽히니까요.

아무도 건드리지 않은 단락은 확인할 필요가 없습니다.

저희가 비교 분석 글 에서 쓰는 예를 들어보겠습니다. 10,000 단어 논문에서 2,800 단어가 flagged 되었다고 칩시다. 전체를 다시 쓰면, 의심할 이유조차 없었던 나머지 7,200 단어까지 같은 수정 작업을 위해 다시 읽게 됩니다.

나중에 드러나는 두 번째 비용도 있습니다. 전체 다시 쓰기가 이미 깨끗했던 단락까지 바꿔버리면, 다음 리포트는 처음 리포트와 비교할 수 없게 됩니다. 새로 flagged 되는 항목이 생겼을 때, 이것이 예전에도 flagged 되었는지 알 수 없습니다. 텍스트 자체가 달라졌기 때문입니다. 선택적 다시 쓰기는 flagged 되지 않은 텍스트를 컨트롤로 남겨둡니다.

Turnitin 공식 문서는 명확합니다. AI writing indicator 와 similarity score 는 서로 독립이며, AI writing 하이라이트는 Similarity Report 에 전혀 나타나지 않는다고요 (Using the AI Writing Report). Similarity Report 는 기존 소스와의 중복을 표시합니다. 이를 리포트 기반 워크플로에 넣으면, AI writing 으로 분류되지 않은 구간에 작업하게 됩니다. HumanPen 은 Similarity Report 를 AI Writing Report 로 읽지 않습니다.

리포트 해석 방식에 영향을 미치는 두 가지 사항:

• 20% 미만에는 숫자가 없습니다. Turnitin 은 1~19 점 구간에 퍼센트 대신 별표 (*) 를 표시하며, 이를 해당 밴드에서 false positive rate 가 더 높기 때문이라고 설명합니다. 그러니까 퍼센트는 항상 알 수 있는 것이 아닙니다. 하지만 하이라이트는 있습니다.
• 퍼센트는 문서 전체의 비율이 아닙니다. Turnitin 이 분석하는 것은 qualifying text, 즉 표준 문법 문장으로 된 장문 프로즈만입니다. 리스트, 불릿, 비문장 구조는 분석 대상 밖입니다. Turnitin 의 공식 설명에 따르면 "a document containing several different writing types would result in a disparity between the percentage and the highlights"(여러 다른 글쓰기 유형이 포함된 문서는 퍼센트와 하이라이트 사이에 불일치를 초래합니다). 따라서 하이라이트와 퍼센트는 항상 일치하지 않으며, 얼마나 벌어지는지는 문서에서 프로즈가 아닌 부분의 양에 따라 다릅니다.

행동할 수 있는 것은 숫자가 아니라 하이라이트된 구간입니다.

다시 쓰기는 쉬운 반쪽입니다.

1. 파싱 대상이 아닌 파일에서 하이라이트를 추출합니다. Turnitin 에서 AI writing indicator 는 강사와 관리자만 볼 수 있습니다. 강사는 리포트 PDF 를 다운로드해 학생과 공유할 수 있으므로, 작성자에게 도달하는 것은 대개 PDF 이지 데이터 피드가 아닙니다. PDF 리포트는 렌더링입니다. 텍스트 레이어는 줄별로 배치된 글리프 런이며, 하이라이트는 그 위에 그려진 색상 도형입니다. 파일 어디에도 "이 문자들이 flagged 되었다"라고 명시되어 있지 않습니다. 이를 복원하려면 하이라이트의 기하학과 텍스트 레이어의 기하학을 교차시켜, 어떤 글리프가 안에 포함되는지 읽어내야 합니다.
2. 출력값을 정규화합니다. 원본 텍스트와 다르기 때문입니다. 단어는 소스에서 한 번도 쓰인 적 없는 하이픈으로 줄바꿈되어 있고, 합자는 두 글자를 입력했는데 한 글리프로 돌아오며, straight apostrophe 는 곡선으로 바뀝니다. 러닝 헤드, 페이지 번호, 푸터가 추출 스트림에 끼어들어 있어, 단락이 저널 이름과 함께 들어올 수도 있습니다. 이 중 어느 하나도 정확한 문자열 매칭을 무력화하며, 증상은 매처가 조용히 아무것도 반환하지 않는 것뿐입니다.
3. 양쪽에서 동일한 정규화를 적용하여 소스 파일로 다시 매칭합니다. 손실이 발생한 단락 렌더링을 원본 단락과 비교하므로, 본질적으로 fuzzy match 입니다. 그리고 fuzzy match 는 누군가에게 보여줘야 하는 것입니다.
4. 매칭을 단락 전체로 확장합니다. 하이라이트는 단락 경계와 일치할 의무가 없으며, 설계를 결정하는 케이스는 일치하지 않는 경우입니다. 구간이 단락 내부 어딘가에서 시작해 절 중간에서 끝나는 경우입니다. flagged 된 문자만 다시 쓰면, 단락의 절반이 나머지 절반과 다른 어조로 돌아오고, 문장은 건드리지 않은 부분에 소개된 대명사와 정의된 용어에 기대게 됩니다. 그래서 단락이 최소 다시 쓰기 단위입니다. 부분 하이라이트는 전체 단락으로 확장되며, 이 확장된 리스트가 작성자에게 보여져 확인을 받게 됩니다.
5. 파일 내부에서 제자리로 다시 씁니다. 추출 → 재작성 → 붙여넣기가 아닙니다. 각 다시 작성된 단락은 원래 자리로 돌아갑니다. 그리고 보호 세트는 통과 중에 그대로 둡니다. 인용 마커, 참고문헌 항목, 수식, 코드, 캡션, 그림 번호, 각주, 테이블 셀, 교차참조 필드, 목차가 여기에 속합니다.

3 단계는 휴리스틱이며, 휴리스틱은 때로 틀립니다.

문서에서 두 번 나타나는 하이라이트된 문장 (methods boilerplate 에서 흔히 발생) 은 잘못된 인스턴스와 매칭될 수 있습니다. 리포트 생성 후 편집한 단락은 아예 매칭되지 않을 수도 있습니다. 캡션이나 테이블 셀이 본문 프로즈처럼 보일 수도 있습니다. 도구가 잘못된 매칭을 조용히 처리하면, 리포트가 flagged 하지 않은 단락을 다시 쓰고도 그 사실을 전혀 모르게 됩니다. 바로 이 접근 방식이 피하려고 하는 것입니다.

그래서 작업 시작 전에 매칭된 단락을 보여줍니다. 목록에 추가하거나 제외할 수 있으며, 확인하지 않은 것은 범위에 들지 않습니다. 범위는 곧 가격이기도 합니다. 실제 다시 쓰인 단어 수에 따라 과금되기 때문에, 해당 화면이 예산 추정치가 됩니다.

리포트 기반 방식은 실제로 리포트가 있을 때만 의미가 있습니다. 리포트가 없다면, 전체 문서 처리 또는 직접 구간을 선택하는 것이 정직한 답이며, 저희 도구도 이 두 가지를 모두 제공합니다.

출력물은 사람이 검토해야 합니다. 자동화된 다시 쓰기는 수정이 필요한 디테일을 생성하며, 고의로 문법이나 철자 오류를 주입하지 않는다고 해서 결과가 그대로 제출 가능한 상태가 되는 것은 아닙니다.

매칭은 업로드한 파일을 기준으로 실행됩니다. 따라서 리포트 생성 이후에 대폭 편집했다면, 매칭이 적어지고 제안 범위가 짧아질 것입니다. 보여지는 범위가 리포트의 하이라이트보다 얇아 보인다면, 대개 이것이 이유입니다.

이 글의 어느 곳에도 detection score 비교는 없습니다. 고의입니다. Turnitin 은 명확히 밝히고 있습니다. 탐지기가 커버하는 paraphrasing 및 우회 도구의 이름을 공개하지 않겠다고요. 공개 목록이 회피를 돕기 때문입니다 (AI writing detection FAQs). 즉, Turnitin 밖의 누구도 "우리가 detector X 를 이겼다"는 주장을 확인할 수 없습니다. 그래서 저는 그런 주장을 하지 않습니다. Turnitin 은 또한 자사 indicator 가 학생에 대한 조치의 유일한 근거가 되어서는 안 된다고 명시합니다. 예기보다 높은 숫자가 나올 때 기억해둘 만합니다.

새 리포트가 여전히 구간을 flagged 한다면, eligible results 는 AI 를 무료로 계속 낮출 수 있습니다. 이는 지원이지, 최종 숫자에 대한 약속은 아닙니다.

Turnitin 리포트에서 flagged 된 단락만 다시 쓰는 도구가 있나요? 네. HumanPen 은 Turnitin 이나 iThenticate AI Writing Report 를 불러와, 하이라이트된 구간을 원본 문서와 매칭하고, 매칭된 단락을 보여준 다음, 확인한 것만 다시 씁니다. 파일은 들어간 형식 그대로 돌아옵니다.

이걸 그냥 손으로 할 수 있나요? 네. flagged 된 단락이 대여섯 개라면 완전히 합리적입니다. 리포트를 문서 옆에 열고, 각 하이라이트를 찾아, 그 단락을 직접 다시 쓰고, 나머지는 그대로 두세요. 같은 스코핑 이점을 얻습니다. 도구가 주는 이점은 긴 PDF 에서 매칭을 해주며, 이후 파일을 다시 조립하지 않아도 된다는 점입니다.

iThenticate 에서도 Turnitin 에서처럼 작동하나요? 네. 둘 다 AI Writing Report 를 생성하며, 둘 다 지원됩니다. interchangeable 하지 않은 것은 Similarity Report 입니다. 이건 완전히 다른 것을 측정합니다.

도구가 실제로 이를 수행하는지 테스트하려면 어떻게 하나요? 리포트에서 문장 중간에서 시작하는 하이라이트를 하나 찾으세요. 리포트를 도구에 넣고 제안 범위를 보세요. 해당 단락 전체가 포함되어야 하며, flagged 되지 않았는데 이전이나 다음 단락이 포함되어서는 안 됩니다. 하이라이트된 조각만 제안하는 도구는 두 사람이 쓴 단락을 돌려줄 것이고, 섹션 전체를 제안하는 도구는 리포트에서 작업하지 않는 것입니다.