무작위 임상시험 보고서와 AI 탐지: CONSORT 2025가 여러분이 쓰기 전에 이미 정해 둔 것

임상시험 보고서의 대부분은 사전에 규정되어 있고, 그중 상당 부분은 이미 여러분이 쓴 내용을 다시 서술한 것이기 때문입니다. CONSORT 2025는 보고서가 다뤄야 할 서른 개 항목을 나열하고, 제목에 특정한 단어를 넣으라고 하고, 참가자 수는 흐름도로, 기초 특성은 표로 밀어냅니다. 연속된 산문으로 남는 것은 방법 서술과 고찰뿐이며, 방법 서술은 등록된 프로토콜을 압축해 다시 쓴 것입니다. Turnitin은 임상시험을 전혀 언급하지 않는 문서에서 산문 문장만 측정한다고 밝히고 있고, 자사의 거짓 양성에는 구조적 변동이 적은 텍스트나 새로운 생각을 더하지 않고 바꿔 쓴 텍스트가 포함될 수 있다고 밝히고 있습니다. 방법 섹션에 표시가 붙었다고 해서 그 섹션이 어떻게 쓰였는지에 대한 증거가 되는 것은 아닙니다. 그리고 덜 균일해 보이도록 체크리스트 내용을 잘라내면 보고서는 오히려 나빠집니다.

공급업체 쪽에는 임상시험에 대해 이런 이야기를 하는 내용이 어디에도 없습니다. 우리는 AI Writing Report를 정의하는 세 페이지(Using the AI Writing Report, AI writing detection capabilities FAQs, File requirements for an AI Writing Report)를 2026년 8월 27일에 읽었고, 렌더링된 본문 텍스트는 세 페이지를 합쳐 38,174자였습니다. 그리고 검색했습니다. `CONSORT` 0건, `clinical` 0건, `trial` 0건, `randomis` 0건, `randomiz` 0건, `protocol` 0건, `checklist` 0건, `registr` 0건. 같은 검사에서 도구가 정상 작동하고 있음도 확인했습니다. `prose` 12건, `qualifying` 12건.

반대 방향이 잘못 이해하기 쉬운 쪽이라서, 그쪽도 함께 세었습니다. SPIRIT-CONSORT 사이트맵에 나열된 열세 개의 콘텐츠 페이지와 CONSORT 2025 체크리스트, 그리고 열두 쪽짜리 확장판까지 모두 61,768자입니다. `detection` 0건, `detector` 0건, `Turnitin` 0건, `generative` 0건, `large language` 0건, `ChatGPT` 0건, `plagiarism` 0건. 같은 검사에서의 민감도는 `consort` 107건, `trial` 167건, `randomis` 36건입니다. `Artificial intelligence`는 정확히 한 건만 나오는데, 확장판 페이지에서 중재가 AI 시스템인 임상시험을 위한 SPIRIT 확장을 언급하는 부분입니다. 그것은 AI 도구에 대한 임상시험을 보고하기 위한 표준이며, 저자가 AI 도구를 사용하는 것과는 다른 주제입니다. 따라서 아래에서 끌어내는 연결은 우리가 만든 것입니다. 서로를 언급한 적이 없는 두 문서 묶음에서 조립한 것입니다.

CONSORT 2025 체크리스트의 항목 1a는 `Identification as a randomised trial`라고 되어 있습니다. 각 항목을 풀어서 설명하는 확장판 체크리스트는 이를 다음과 같이 분명하게 적고 있습니다.

`Use the word "randomised" in the title` (제목에 "randomised"라는 단어를 사용하라는 뜻입니다)

보고 가이드라인이 한 줄의 단어 하나까지 규정하고 있는 셈입니다. 이것은 좋은 규칙이고, 그럴 만한 이유가 있어서 존재합니다. 색인 작업자와 체계적 문헌고찰 검토자가 여러분의 임상시험을 찾을 수 있어야 하기 때문입니다. 동시에 이것은 이 장르의 모든 보고서 첫 줄이 전 세계적으로 같은 단어를 싣고 있다는 뜻이기도 합니다.

항목 1b는 초록을 규정합니다. 필수 항목 목록은 일곱 개의 글로 되어 있고, 그중 세 개가 다시 열 개로 펼쳐지며, 둘을 합쳐 초록이 담아야 하는 열네 가지를 지정합니다. 목적, 임상시험 설계와 틀, 적격성 기준과 장소, 중재와 비교 대상, 주요 결과, 참가자 배정 방법, 눈가림 대상, 집단별 무작위배정된 수, 집단별 분석된 수, 효과 크기와 정밀도를 포함한 집단별 결과, 중요한 유해 사건, 전반적 해석, 등록 기관명과 번호, 그리고 자금 출처입니다. 목록 아래에는 지침이 하나 더 있고, 원문에서는 별표로 인쇄되어 있습니다.

`Do not report information that does not appear in the body of the paper` (본문에 등장하지 않는 정보는 보고하지 말라는 뜻입니다)

이것을 집필상의 제약으로 읽으면 매우 이례적입니다. 여러분의 초록은 자기 논문을 압축한 것이어야 하고, 동시에 새로운 것을 담지 말아야 합니다. 공급업체 쪽에는 여기에 해당하는 표현이 있습니다. Turnitin이 자사 거짓 양성의 생김새를 설명하는 단락입니다. 그것은 `text that has been paraphrased without developing new ideas`입니다. 두 문서가 같은 이야기를 하고 있다고 주장하는 사람은 아무도 없습니다. 실제로도 같지 않습니다. 그러나 항목 1b에 맞춰 작성된 초록은 구조상 그 설명에 들어맞고, 섹션 이름을 제외하면 첫 단어부터 마지막 단어까지 산문 문장입니다.

이 부분은 다른 대부분의 장르에는 대응물이 없는 부분이며, 임상시험 보고서가 체크리스트를 그저 덧붙인 논문과는 다른 문제인 이유입니다.

임상시험이 시작되기 전에 프로토콜이 있었습니다. CONSORT 항목 3은 그것이 어디 있는지 말하라고 요구합니다. `Where the trial protocol and statistical analysis plan can be accessed`. 확장판 체크리스트는 그 위치의 URL을 요구합니다. 항목 2는 등록 기관명, 식별 번호, URL, 등록일을 요구합니다. 항목 10은 `Important changes to the trial after it commenced including any outcomes or analyses that were not prespecified, with reason`을 보고하라고 요구합니다.

이 세 가지를 포개면 구체적인 상황이 드러납니다. 적격성 기준, 무작위배정 방법, 배정 은폐, 눈가림 절차, 계획된 분석이 모두 논문에서 공개적으로 가리키는 문서에 적혀 있고, 논문은 같은 내용을 더 짧은 형태로 다시 보고합니다. 그것은 지름길이 아닙니다. 전향적 등록의 목적이 바로 그것입니다.

프로토콜 쪽에도 같은 그룹의 자체 가이드라인인 SPIRIT 2025가 있습니다. CONSORT와 함께 공개되고 같은 연구비로 지원된 34개 항목 체크리스트입니다. 따라서 두 문서는 다루는 주제 이상의 것을 공유합니다. 함께 개정되는 짝을 이룬 번호 목록에 맞춰 작성되었습니다.

여러분의 방법 섹션이 서식처럼 읽힌다고 느낀 적이 있다면, 그 이유가 이것입니다. 학술 출판에서 가장 세밀하게 규정된 두 문서가, 하나씩 이어서, 정렬된 두 체크리스트에 맞춰 같은 절차를 서술하고 있습니다.

CONSORT는 무엇을 보고해야 하는지만 말하지 않습니다. 가장 무거운 항목 몇 개에 대해서는 어떤 형태로 보고해야 하는지까지 말합니다.

이제 그 옆에 Turnitin이 무엇을 읽는지에 대한 정의를 놓아 보겠습니다.

`This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.` (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법에 맞춰 쓰인 문장 블록만 분석하며, 목록이나 글머리 기호(문장이 되지 않는 짧은 구조)처럼 문장이 아닌 다른 형태의 글은 포함하지 않습니다.)

그리고 같은 페이지에서 그다음에 이어지는 문장입니다.

`This percentage is not necessarily the percentage of the entire submission.` (이 비율이 반드시 제출물 전체에 대한 비율인 것은 아니라는 뜻입니다.)

참고문헌 목록도 제외됩니다. 공급업체가 2023년 8월에 낸 릴리스 노트에 따르면, 참고문헌 인용 안의 AI 작성 문장을 강조 표시하던 버그가 수정되었고 `Bibliographies are now excluded when processing the AI writing report.`라고 합니다. 그 노트는 또한 변경 사항이 적용되려면 제출물을 다시 제출해야 한다고 덧붙입니다.

따라서 흐름도, 기초 특성 표, 유해 사건 표, 등록 줄, 참고문헌 목록을 빼고 나면, 측정에 남는 것은 서론, 방법 서술, 표 주변의 결과 서술, 그리고 고찰입니다. 다시 말해, CONSORT가 가장 촘촘하게 규정한 부분에서 여러분의 실제 숫자를 담은 부분의 거의 전부를 뺀 것입니다. Turnitin AI 탐지에서 "대상 텍스트"란?은 일반 원칙을 다루고, Turnitin은 표 안의 텍스트를 읽을까요?는 표의 경우를 다루며, 표 셀 안의 장문 산문에 대한 그 릴리스 노트의 부분도 포함합니다.

짚어 둘 만한 두 번째 결과가 있습니다. 분석 대상 산문이 몇백 단어에 불과한 짧은 보고서는 Turnitin이 `mostly "all or nothing" because we're predicting on a single segment without the opportunity to overlap`라고 설명하는 양상에 들어맞습니다. 그리고 그다음 문장은 `some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated`라고 합니다. 큰 도표와 표 세 개, 참고문헌 마흔 개를 갖춘 임상시험 보고서는, 측정되는 의미에서 페이지 수가 암시하는 것보다 짧습니다. 짧은 문서와 Turnitin의 전부 아니면 전무 문제에서 이를 자세히 다룹니다.

두 항목은 내용을 나열하는 데서 더 나아갑니다. 둘 다 긴 표 안에 한 줄로 놓여 있어서 놓치기 쉽습니다.

무작위배정 이후의 탈락과 제외를 다루는 항목 22b는 다음을 덧붙입니다.

`The wording "protocol deviation" is not sufficiently explicit and exact reasons should be reported` ("protocol deviation"이라는 표현은 충분히 명시적이지 않으므로 정확한 이유를 보고해야 한다는 뜻입니다)

보고 가이드라인이 특정 표현을 콕 집어 거부하는 일은 드뭅니다. 여기서 그것이 중요한 이유는 어떤 탐지 도구와도 무관합니다. 개정 과정에서 구체적인 이유를 깔끔한 요약 표현으로 바꾸면 항목 22b를 위반하게 됩니다. 이 실패는 교정자에게는 보이지 않고, 체크리스트를 아는 심사자에게는 분명합니다.

해석을 다루는 항목 29가 다른 하나입니다.

`Avoid overinterpretation ('spin')` (과도한 해석, 이른바 'spin'을 피하라는 뜻입니다)

고찰은 대개 논문에서 자유로운 부분으로 설명됩니다. 이 장르에서는 주장이 어디까지 갈 수 있는지에 대한 지침이 함께 붙습니다. 결과를 기존 근거와 연결하고 이득과 유해 사건의 균형을 맞추라는 요구 사항과 나란히입니다. 그리고 항목 30은 한계 단락이 다뤄야 할 네 가지를 지정합니다. 방법론적 한계, 부정확성, 일반화 가능성, 그리고 해당하는 경우 분석의 다중성입니다.

다음에 무엇을 할지 정하는 구분이 여기 있습니다. 그리고 그것은 대부분의 개정 조언이 내놓는 구분과는 다릅니다.

CONSORT는 무엇이 들어가야 하는지, 여러 지점에서 어떤 형태여야 하는지, 그리고 두 지점에서 피해야 할 표현을 규정합니다. 여러분의 문장을 대신 써 주지는 않습니다. 그 질문이 왜 중요했는지를 어떻게 표현할지에 대해서는 체크리스트 어디에도 나와 있지 않습니다.

고정되어 있고, 번호로 추적할 수 있습니다. 여기서 쓸모 있는 것은 건드리지 말라는 일반적인 경고가 아닙니다. 이것들 하나하나에 가리킬 수 있는 항목 번호가 있다는 점입니다. 흐름도의 수는 22a와 22b입니다. 등록 기관명, 번호, URL, 날짜는 항목 2입니다. 실제로 적용된 적격성 기준은 12a입니다. 배정 순서를 누가 어떤 방법으로 생성했는지는 17a입니다. 누가 눈가림되었고 눈가림이 어떻게 이루어졌는지는 20a와 20b입니다. 효과 크기와 정밀도를 포함한 집단별 결과, 그리고 이분형 결과에 대한 절대 효과와 상대 효과는 항목 26입니다. 이 사실만으로 대화의 모양이 달라집니다. "이 부분은 뺄 수 없습니다"라는 말도 근거가 딸려 있으면 다르게 받아들여지기 때문입니다. CONSORT, STROBE, PRISMA를 아울러 표현과 과학적 내용을 분리하는 일반적인 원칙은 방법과 결과: 바꿔 써도 되는 것과 그대로 유지해야 하는 것에서 확인할 수 있습니다.

여러분의 것이고, 대개 충분히 쓰이지 않습니다. 항목 6은 `Importance of the research question`과 `Why a new trial is needed in the context of available evidence`를 요구하며, 하위 항목으로 중재가 어떻게 작동할 수 있는지와 왜 그 비교 대상을 택했는지를 다룹니다. 항목 29는 여러분의 결과가 기존 근거와 어떻게 연결되는지 묻습니다. 이것들은 논거이고, 논거는 그 안의 사고가 다르면 모양도 달라집니다. 여러분의 서론이 같은 분야의 다른 어떤 임상시험의 서론과 바꿔 놓을 수 있다면, 그것은 가이드라인이 아니라 습관의 문제입니다. 그리고 그곳은 보고서에서 변화를 줘도 잃을 것이 없는 유일한 지점입니다.

체크리스트 자체도 모든 설계를 포괄한다고 주장하지 않습니다. 확장판 페이지는 2010년 체크리스트를 기반으로 한 CONSORT 확장 스물두 개와 2025년 판을 기반으로 한 확장 한 개를 나열하고, 그 목록이 `is by no means exhaustive`라고 자체적으로 밝힙니다. 군집, 교차, 계단식 쐐기, 예비, 실용적, 비열등성, 유해 사건, 환자 보고 결과 등 각각에 추가 항목이 있습니다. 여러분의 임상시험이 그중 하나라면, 논문에서 규정된 비중은 더 작아지는 것이 아니라 더 커집니다.

1. 숫자를 보기 전에 표시가 어디에 있는지부터 봐야 합니다. 방법 섹션이 하나의 연속된 블록으로 돌아오는 데에는 먼저 이해해 둘 만한 기계적인 설명이 있습니다. Turnitin이 내 방법론 섹션 전체를 표시했습니다
2. 페이지 수가 아니라 분석 대상 산문을 세어야 합니다. 흐름도와 표, 참고문헌 목록을 빼고 나서 연속된 산문이 얼마나 남는지 확인하면 됩니다. 전부 아니면 전무 양상이 적용되는 것은 페이지 수가 아니라 그 숫자입니다.
3. 어떤 표현에도 손대기 전에 체크리스트 내용부터 표시해야 합니다. 확장판 체크리스트를 원고 옆에 펼쳐 놓고, 항목이 요구해서 존재하는 문장마다 표시를 하면 됩니다. 이는 다시 쓰는 중에가 아니라, 처음에, 냉정한 상태에서 결정할 일입니다.
4. 공급업체 자체의 입장을 대화에 가져가야 합니다. 해당 FAQ는 그 비율이 `should not be used as the sole basis for action or a definitive grading measure by instructors`라고 밝히고 있으며, 거짓 양성에 대한 단락은 마지막에 비율을 읽을 때 텍스트의 성격을 고려하라고 독자에게 권합니다. AI 비율이 높을 때 교수가 하도록 안내받는 일에 그 지침이 모여 있습니다.
5. 누군가 기준값을 들이밀면, AI 20%는 너무 높은가요?에서 공개된 어떤 숫자도 합격선으로 작동하지 않는 이유를 설명합니다.
6. 공개 여부는 별도로 확인해야 합니다. AI 지원을 받은 개정을 신고해야 하는지는 탐지 도구의 문제가 아니라 저널의 문제이며, 출판사 AI 공개 정책 비교는 주요 정책을 나란히 놓고 보여 줍니다.

임상시험 보고서를 개정하는 데에는 글쓰기와는 거의 관련이 없는 특정한 비용이 따릅니다. 열어 본 문단은 나중에 반드시 다른 세 문서와 대조해 다시 읽어야 합니다. 작성된 체크리스트, 등록된 프로토콜, 그리고 항목 3이 모두에게 소재를 알리도록 한 통계 분석 계획서입니다. 원고 전체를 열면 원고 전체를 다시 검증하겠다고 떠안은 셈입니다. 여기서 확인을 놓치는 것은 오타가 아닙니다. 그것은 연구에 참여하겠다고 동의한 사람들에게 무슨 일이 일어났는지에 대한, 공개된 주장입니다.

이것이 범위가 중요한 이유입니다. HumanPen 도구는 우리 것이므로, 다음 몇 문장은 권유가 아니라 경계가 어떻게 작동하는지에 대한 당사자의 설명으로 받아들이시기 바랍니다. 범위는 무엇이든 실행되기 전에 정해집니다. 구간을 직접 추가하거나, 탐지 보고서를 불러와 표시된 구간이 범위를 정하게 하거나, 둘 중 하나입니다. 사이트는 규칙을 이렇게 적고 있습니다. 엔진이 다시 쓰는 가장 작은 단위는 문단이라고요. 문단의 절반만 표시하면 경계가 문단 끝까지 자라고, 승인을 위해 보여지는 것은 그렇게 자란 버전입니다. 그 밖의 부분은 열리지 않습니다. 요금도 같은 경계를 따르며, 실제로 다시 쓰인 단어만 셉니다. 돌아오는 것은 편집 가능한 문서이고, 다시 쓰기가 보존하려는 것에는 의미, 구조, 용어, 인용, 레이아웃, 스타일이 포함됩니다. 또한 복잡한 문서는 다운로드 후에 검토하라는 것이 사이트 자체의 조언입니다. 어떤 구간이 조건을 충족하고 여전히 표시되어 있다면, 그 구간은 무료로 다시 실행할 수 있습니다. Turnitin 보고서가 표시한 문단만 다시 쓰기는 그 보고서 기반 버전을 단계별로 보여 줍니다.

이후 점수가 어떻게 될지는 우리를 포함해 누구도 미리 약속할 수 없습니다. 무엇을 쓰든, 다시 제출하기 전에 돌려받은 방법 문단을 프로토콜 옆에, 돌려받은 효과 크기를 분석 결과 옆에 놓아야 합니다. 한 자릿수를 잃은 신뢰구간은 표시된 문장 하나보다 더 나쁜 문제입니다.

CONSORT를 따르면 AI 점수가 올라가나요? 공급업체가 공개한 어떤 자료에도 그런 말은 없습니다. 위에서 설명한 확인에서도 해당 보고서 세 페이지에는 임상시험, 프로토콜, 보고 가이드라인에 대한 언급이 전혀 없습니다. 공개되어 있는 것은 거짓 양성에 구조적 변동이 많지 않은 내용이 포함될 수 있다는 점입니다. 그리고 CONSORT는 임상시험 보고서의 일부에서 구조적 변동을 의도적으로 제거합니다.

제 방법 섹션이 등록된 프로토콜을 반복하고 있습니다. 문제인가요? 보고 측면에서는 아닙니다. 프로토콜이 있어야 임상시험이 전향적이 되고, 항목 3은 그것이 어디 있는지 말하라고 요구하며, 항목 10은 그로부터의 이탈을 보고하라고 요구합니다. 문제가 되는 것은 아주 좁은 의미에서뿐입니다. 자기 문서를 두 번째로 서술한 것은 촘촘하고 균일한 산문이 되고, 그것은 측정에 가장 많이 노출되는 형태라는 뜻입니다.

흐름도와 기초 특성 표도 비율에 포함되나요? 분석되는 것은 대상이 되는 산문 문장뿐이며, 수를 보여 주는 도표와 평균값의 격자는 산문 문장이 아닙니다. 2023년 8월 릴리스 노트는 표 셀 안의 장문 산문이 처리된다고, 그리고 기존 제출물은 재처리를 위해 다시 제출해야 한다고 분명히 밝히고 있습니다. 따라서 완전한 문장으로 가득한 표는 숫자로 된 표와는 다른 경우입니다.

참가자 흐름 서술을 바꿔서 점수를 낮춰도 되나요? 문장을 옮길 수는 있지만, 항목 22b는 제외의 정확한 이유를 요구하며 `protocol deviation`은 충분한 표현이 아니라고 명시적으로 거부합니다. 개정에서 이유가 요약 표현으로 바뀌면, 보고서는 여러분이 제출한 판보다 준수도가 낮아집니다. 어떤 점수도 그것을 상쇄하지 못합니다.

초록 전체가 표시되었습니다. 항목 1b에 맞춰 작성된 초록에는 열네 가지 필수 항목이 있고, 본문에 없는 것은 넣지 말라는 지침이 있으며, 중간을 끊어 주는 표나 목록, 참고문헌도 없습니다. 문서에서 가장 촘촘한 대상 텍스트입니다. 공급업체의 지침은 그 비율이 판단의 유일한 근거가 아니라는 것이며, 거짓 양성에 대한 단락이야말로 질문하는 사람 앞에 내놓아야 할 부분입니다.

이 내용이 CONSORT 2010 논문이나 관찰 연구에도 적용되나요? 위에서 인용한 항목은 CONSORT 2025의 것이며, 2025년에 30개 항목 체크리스트로 공개되었습니다. 관찰 연구는 전혀 다른 가이드라인을 따릅니다. 어느 쪽이든 일반적인 대응은 같습니다. 어떤 문장을 바꿀지 정하기 전에, 여러분의 문장 중 어느 것이 보고 기준에 규정된 것인지부터 알아내야 합니다.