Um revisor por pares sinalizou meu artigo como IA. O que a Turnitin diz

O FAQ da Turnitin é explícito sobre os limites do indicador de escrita por IA:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Portanto, é preciso enfatizar que a porcentagem do indicador de escrita por IA não deve ser usada como única base para ação ou como medida definitiva de nota pelos instrutores.)

Isso vem da própria Turnitin. A porcentagem é um sinal, não uma conclusão. Se um revisor por pares sinalizou seu artigo com base numa pontuação da Turnitin, a documentação diz que essa pontuação nunca foi feita para ser a palavra final. O que as revistas realmente fazem numa submissão é outra questão: as revistas verificam artigos em busca de escrita por IA.

O FAQ enquadra a pontuação como uma entrada entre várias:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Não foi feito para dar respostas definitivas isoladamente. Mais importante que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essa informação com seu conhecimento pessoal dos estudantes, do trabalho deles e da política institucional.)

A pontuação foi feita para ser interpretada por um educador que tem contexto que a ferramenta não tem. Ela não conhece seu processo de escrita, seu histórico de rascunhos ou sua voz. A documentação diz que a pessoa que lê a pontuação importa mais que a pontuação em si.

Um revisor por pares que sinaliza seu artigo só com base na porcentagem está usando a ferramenta de um jeito que o FAQ diz que não deveria ser usado. A pontuação deve ser equilibrada com o conhecimento pessoal que se tem do estudante e do trabalho dele.

O FAQ descreve características específicas de texto que podem gerar falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos — identificar por erro texto escrito por humanos como gerado por IA — podem incluir conteúdo sem muita variação estrutural, texto que se repete literalmente ou texto parafraseado sem desenvolver ideias novas.)

Se seu artigo foi sinalizado, pense se ele tem alguma dessas características. Texto sem variação estrutural, com frases repetidas ou que parafraseia fontes sem acrescentar análise nova pode ser sinalizado mesmo que você tenha escrito cada palavra. Esses são padrões documentados de falso positivo, não especulação.

Vale notar isso porque essas características são comuns na escrita acadêmica. Revisões de literatura, seções de metodologia e descrições de resultados podem ter pouca variação estrutural ou frases repetidas por natureza. Um falso positivo não quer dizer que o texto é por IA. Quer dizer que o texto divide padrões que o modelo associa a produção por IA. A Turnitin sinalizou toda minha seção de metodologia é esse caso trabalhado em detalhe.

O FAQ estabelece uma meta específica de falso positivo:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Nos esforçamos para maximizar a eficácia do nosso detector mantendo nossa taxa de falso positivo — identificar por erro texto totalmente escrito por humanos como gerado por IA — abaixo de 1% para documentos com mais de 20% de escrita por IA.)

A frase seguinte: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Em outras palavras, podemos sinalizar um documento escrito por humanos como sendo por IA em um a cada 100 documentos totalmente escritos por humanos.)

A meta é abaixo de 1% para documentos com mais de 20% de escrita por IA. Isso quer dizer que a Turnitin documentou que falsos positivos acontecem e定了 um limite para a frequência deles. O limite é uma meta, não uma garantia. Falsos positivos fazem parte dos parâmetros de design do sistema. O que uma taxa de falso positivo de 1% significa quando uma universidade submete 75.000 artigos transforma essa meta em número de pessoas.

O FAQ observa que o acesso ao indicador de IA é restrito:

"Please note, only instructors and administrators are able to see the indicator." (Note que só instrutores e administradores conseguem ver o indicador.)

Estudantes não veem a pontuação. Revisores por pares em muitos fluxos editoriais também podem não ter acesso direto ao indicador de IA da Turnitin. Se um revisor por pares sinalizou seu artigo como IA, pode ter sido a partir do relatório de similaridade, de um detector diferente ou da própria avaliação dele da escrita. Vale esclarecer qual ferramenta gerou o sinal e quem teve acesso a qual relatório. No lado das revistas, em geral isso significa iThenticate: o iThenticate detecta escrita por IA.

Resumindo o que a documentação diz:

• A porcentagem do indicador de escrita por IA não deve ser usada como única base para ação ou medida definitiva de nota.
• A pontuação não foi feita para dar respostas definitivas isoladamente. O conhecimento que o educador tem do estudante e a política institucional importam mais.
• Falsos positivos podem incluir conteúdo sem variação estrutural, texto que se repete ou texto parafraseado sem desenvolver ideias novas.
• A meta de falso positivo é abaixo de 1% para documentos com mais de 20% de escrita por IA. Falsos positivos são parte documentada do sistema.
• Só instrutores e administradores conseguem ver o indicador de IA. Estudantes não o veem.

Se um revisor por pares sinalizou seu artigo e você quer tratar as passagens que foram sinalizadas, importe o relatório e trabalhe nelas. Passagens elegíveis podem ser reanalisadas sem custo adicional.