Divergências na detecção de IA entre CNKI, VIP e Turnitin explicadas

Diferentes sistemas de detecção de IA produzem números completamente discrepantes sobre o mesmo manuscrito porque utilizam dados de treinamento, escopos de idioma, pré-processamento e limiares de classificação distintos. A porcentagem gerada por uma ferramenta não é uma medida universal.

Equipe HumanPen

· 10 min de leitura

Resposta direta: nenhum detector é um padrão universal

Você deve confiar apenas no sistema oficialmente designado pela sua instituição de ensino ou pelo periódico acadêmico em que vai publicar — nenhum outro número tem peso administrativo, e a porcentagem de nenhum detector isolado representa uma medição objetiva e universal de escrita por IA. Não existe um parâmetro universal nem uma escala calibrada entre essas plataformas. A pesquisa por trás desta análise não realizou uma comparação controlada com o mesmo arquivo entre CNKI, VIP e Turnitin e, portanto, não pode declarar qual sistema é "correto", "mais rigoroso" ou "mais preciso".

Embora nossa análise mais ampla aborde por que os detectores de IA divergem entre plataformas (incluindo comparações entre sistemas como CNKI versus Wanfang), a divergência específica no confronto entre CNKI, VIP e Turnitin destaca como escolhas de engenharia distintas produzem resultados completamente conflitantes. Quando três sistemas apresentam números díspares — como 3% no CNKI, 67% no VIP e outro valor no Turnitin —, eles não estão medindo a mesma grandeza subjacente com margens de erro diferentes. Eles estão executando classificações estatísticas distintas, baseadas em corpora de treinamento divergentes, modelos de linguagem diferentes e definições de engenharia próprias sobre o que constitui uma frase elegível.

Em uma avaliação acadêmica ou na entrega final para graduação, fazer pré-verificações em múltiplos mecanismos comerciais independentes e tentar conciliar os resultados só gera confusão, sem alterar em nada as exigências institucionais que você precisa cumprir. A única pontuação com valor institucional é aquela gerada pela plataforma oficial exigida pela sua universidade ou departamento, avaliada segundo as diretrizes locais vigentes.

Primeira distinção: correspondência de similaridade versus classificação de escrita por IA

Uma fonte frequente de angústia é confundir relatórios tradicionais de similaridade com relatórios de classificação de escrita por IA. Embora ambos apresentem uma porcentagem, seus funcionamentos técnicos quase não têm nada em comum.

A verificação tradicional de similaridade — muitas vezes chamada de checagem de duplicação ou detecção de plágio — é um processo de correspondência em índice. O software divide seu texto em sequências de caracteres ou n-gramas e faz buscas em uma base de dados de artigos científicos indexados, dissertações acadêmicas e páginas da web à procura de sequências coincidentes. Uma pontuação de similaridade reflete quanto do seu texto compartilha frases idênticas ou quase idênticas com fontes externas já publicadas.

Em contrapartida, a classificação de escrita por IA não faz buscas em uma base de dados de referência. Ela não tenta localizar o comando (prompt) que você digitou nem o servidor onde um modelo gerou determinado parágrafo. Em vez disso, o detector de IA usa um classificador de aprendizado de máquina para analisar propriedades estatísticas e estilísticas do texto — como a probabilidade de tokens e a variação na estrutura das frases.

Como esses dois mecanismos operam de forma independente, seus números frequentemente divergem na mesma submissão:

  • Um trabalho pode apresentar 2% de similaridade (indicando ausência de cópia textual direta de literatura existente) e 60% de classificação de IA (caso o modelo considere o ritmo das frases e o vocabulário de transição típicos de grandes modelos de linguagem).
  • Por outro lado, um artigo pode apresentar 35% de similaridade (devido a dispositivos legais devidamente citados, protocolos biomédicos padronizados ou citações longas em bloco) e 0% de classificação de IA (porque o texto foi redigido inteiramente por seres humanos).

Interpretar uma porcentagem de detecção de IA sob a ótica de um relatório tradicional de duplicidade leva a revisões equivocadas. Você não consegue eliminar uma marcação de classificação de IA apenas "atribuindo fontes" com citações, e uma pontuação baixa de similaridade não garante uma probabilidade baixa de IA.

Por que as ferramentas divergem: quatro diferenças técnicas

Quando detectores comerciais apresentam pontuações divergentes sobre a mesma versão de um texto, quatro diferenças estruturais explicam essa variação.

1. Corpora de treinamento e escopo principal de idiomas

Os detectores são reconhecedores estatísticos de padrões treinados em corpora específicos. Sua confiabilidade depende diretamente do quanto o seu texto se aproxima do gênero e do idioma dos dados com os quais eles foram treinados.

O CNKI (中国知网) e o VIP (维普) foram desenvolvidos para a produção acadêmica em chinês, projetados para avaliar a sintaxe, as convenções e as expressões de transição típicas da escrita acadêmica nesse idioma.

O sistema de detecção de escrita por IA da Turnitin foi desenvolvido principalmente para o inglês e opera em um conjunto restrito de idiomas compatíveis. De acordo com o guia Using the AI Writing Report da Turnitin, para "generate an AI Writing Report and percentage," ("gerar um AI Writing Report e uma porcentagem"), o arquivo "must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish." ("deve ser escrito em um idioma compatível: inglês, espanhol, japonês, árabe, alemão, holandês, turco."). O chinês não é um idioma suportado pela detecção de IA da Turnitin. Um relatório autêntico da Turnitin não gera uma porcentagem de IA para textos em chinês. Se você tiver em mãos um "número do Turnitin" para um manuscrito em chinês, esse valor não pode ser uma porcentagem autêntica de detecção de IA da Turnitin: trata-se da pontuação tradicional de similaridade (correspondência de texto com fontes indexadas), de uma pontuação obtida a partir de um resumo em inglês ou tradução, ou de um resultado fornecido por revendedores terceirizados não autorizados que utilizam um serviço totalmente diferente.

2. Pré-processamento de texto, segmentação e tokenização

Antes de calcular qualquer probabilidade, o algoritmo precisa dividir o texto bruto em unidades discretas. As regras que regem essa divisão variam substancialmente entre as ferramentas.

  • Diferenças de tokenização: textos em inglês utilizam limites naturais entre palavras (espaços), enquanto textos em chinês exigem segmentação algorítmica de palavras (分词) ou avaliação em nível de caracteres. A forma como cada ferramenta lida com terminologia especializada, citações em chinês clássico ou notações alfanuméricas cria divergências imediatas na representação interna dos recursos estatísticos.
  • Regras de segmentação: em seu blog explicando o que líderes acadêmicos precisam saber sobre a detecção de escrita por IA, a Turnitin destaca que "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis." ("as frases do envio são extraídas e segmentadas em seções sobrepostas para análise de previsão."). As plataformas chinesas utilizam sua própria lógica de análise para determinar onde um segmento começa e termina.
  • Tratamento de elementos que não são prosa: a decisão de analisar ou descartar tabelas, fórmulas matemáticas, trechos de código, agradecimentos e listas de referências bibliográficas altera diretamente o denominador do cálculo. Se um sistema inclui textos metodológicos padronizados e outro os remove, as porcentagens finais de cada um para o documento divergirão de maneira significativa.

3. Limiares de decisão e modelos de agregação

Uma pontuação de detecção não é uma contagem absoluta; ela é o resultado da aplicação de um limiar de probabilidade.

Dentro do classificador, cada segmento de texto analisado recebe uma pontuação de probabilidade. Para gerar um relatório, o desenvolvedor precisa definir um limite de decisão: com qual nível de confiança um segmento deve ser sinalizado como gerado por IA? Um sistema configurado com um limiar conservador só sinalizará o texto quando o modelo tiver uma confiança muito alta, suprimindo falsos positivos e gerando uma pontuação geral baixa para o documento (como 3%). Outro sistema calibrado com um limiar mais sensível sinalizará segmentos sob uma exigência de confiança menor, resultando em uma pontuação substancialmente mais alta (como 67%) exatamente para o mesmo manuscrito.

Além disso, as métricas em nível de documento refletem definições matemáticas distintas que são apenas parcialmente divulgadas. Por exemplo, a Turnitin descreve seu método em linhas gerais: as pontuações dos segmentos são geradas, as frases individuais herdam essas pontuações e a porcentagem do documento reflete a proporção de texto elegível sinalizada. Por sua vez, o CNKI define sua métrica como a probabilidade estimada de que o conteúdo do artigo tenha sido gerado por IA ("文章内容存在AI生成的概率大小").

Como cada plataforma define e agrega sua pontuação de maneira diferente sob fórmulas apenas parcialmente divulgadas, uma "porcentagem" de uma ferramenta não pode ser convertida matematicamente na "porcentagem" de outra.

4. Variações no documento enviado para análise

Na prática, muitas das discrepâncias observadas decorrem de diferenças no que foi efetivamente enviado. É comum que os usuários enviem apenas o corpo do texto limpo para uma plataforma e, em outra, façam o upload do arquivo completo — com página de rosto, resumo, sumário e referências. Modificar a estrutura do documento altera os limites de segmentação e a contagem total de caracteres, gerando resultados inconsistentes até mesmo dentro da ferramenta de um mesmo desenvolvedor.

Blogs comerciais e o mito do detector "mais rigoroso"

Os resultados de busca no Baidu, no Bing e em fóruns comerciais estão repletos de artigos promocionais que afirmam ranquear sistemas de detecção. Muitos fazem alegações numéricas categóricas, sustentando que uma plataforma é invariavelmente trinta por cento mais rigorosa que outra, que determinada ferramenta identifica qualquer tradução ou que certo serviço é o único verdadeiramente confiável.

Essas alegações raramente citam documentação técnica primária de engenharia, metodologias revisadas por pares ou amostras controladas. Na maioria das vezes, elas partem de intermediários terceirizados, empresas de redação acadêmica ou serviços de reescrita automática que tentam canalizar estudantes ansiosos para testes prévios pagos ou softwares comerciais de paráfrase.

Reportagens investigativas e publicações especializadas em educação têm destacado repetidamente que as ferramentas comerciais de detecção de IA produzem resultados instáveis em diferentes rodadas de teste e plataformas, alimentando a ansiedade do público em vez de oferecer um padrão científico calibrado. Estudantes que testam versões preliminares em diferentes serviços terceirizados não autorizados frequentemente se veem presos em um ciclo de marketing agressivo, no qual supostos "rankings" comparativos servem principalmente para vender serviços sem comprovação ou créditos adicionais de verificação.

Como não existe um estudo empírico abrangente e controlado que mantenha todas as variáveis constantes entre essas plataformas proprietárias, qualquer afirmação de que uma ferramenta específica representa o padrão "verdadeiro" não passa de posicionamento comercial, e não de um fato comprovado.

Guia prático para agir com calma: o que fazer quando as pontuações divergem

Se você se deparar com resultados conflitantes entre diferentes plataformas de detecção, não entre em pânico nem comece a reescrever o texto de forma aleatória. Siga este roteiro prático de decisão:

  1. Confirme qual plataforma de detecção sua faculdade ou instituição adota oficialmente. Universidades e departamentos acadêmicos não avaliam trabalhos com base na média de ferramentas comerciais. Como as diretrizes institucionais podem autorizar cada faculdade a escolher seu próprio sistema de detecção de AIGC, consulte os comunicados oficiais do seu departamento ou universidade para saber qual ferramenta específica é utilizada, como os envios são processados e se algum teste prévio é reconhecido.
  2. Leia as normas e os procedimentos reais da instituição. Descubra se sua instituição utiliza a pontuação de IA como um indicador de triagem inicial ou como critério probatório. Muitos regulamentos acadêmicos declaram explicitamente que uma porcentagem automatizada não pode servir como base única para imputar má conduta acadêmica, exigindo parecer de docentes, confirmação do orientador ou uma audiência acadêmica antes que qualquer medida seja adotada.
  3. Guarde todo o histórico de redação e o registro comprobatório. A defesa mais sólida contra um alerta indevido é a documentação autêntica do seu processo de escrita. Conserve: versões de arquivos com data e hora e históricos de revisão (por exemplo, no Word, WPS ou no seu sistema de controle de versão); esquemas iniciais, cadernos de laboratório, dados brutos de experimentos e transcrições de entrevistas; bibliotecas em gerenciadores de referências que comprovem a organização bibliográfica; o relatório oficial completo em PDF da verificação institucional, contendo o registro de data e hora do envio e o mapeamento dos trechos destacados.
  4. Consulte as diretrizes institucionais sobre o uso de ferramentas, em vez de perseguir números específicos. A permissão para o uso de ferramentas de reescrita, paráfrase ou humanização não segue uma regra universal; o que é aceito depende exclusivamente da sua instituição, do seu programa acadêmico e das normas do trabalho. Os autores devem sempre consultar as políticas de integridade acadêmica de sua universidade para conhecer os níveis permitidos de auxílio editorial. Além disso, nenhuma ferramenta ou método de reescrita pode prometer ou garantir um resultado específico em detectores ou uma redução de pontuação. Confiar cegamente em substituições automáticas de frases pode introduzir erros factuais, distorcer a terminologia acadêmica e corromper citações, o que pode comprometer a qualidade científica do seu manuscrito durante a avaliação dos pareceristas.

Perguntas frequentes

Posso usar uma pontuação baixa no CNKI ou no Turnitin para recorrer de uma pontuação alta no VIP (ou vice-versa)? Em geral, não. As comissões avaliadoras das instituições analisam os trabalhos estritamente no ambiente de software designado por elas. Apresentar um resultado não oficial gerado por outra ferramenta comercial tem pouco valor probatório, já que as instituições sabem que diferentes detectores utilizam métricas e limiares incomparáveis. Recursos formais devem ser fundamentados em evidências do seu processo de escrita — como histórico de versões, rascunhos e anotações de fontes —, e não no relatório de uma empresa concorrente.

Se eu traduzir um artigo em chinês para o inglês, a pontuação de detecção de IA continuará a mesma? Não. A tradução automática altera fundamentalmente a sequência de tokens, a sintaxe e a extensão das frases. Traduzir o texto muda totalmente o domínio linguístico, transferindo a análise de modelos calibrados para o chinês para modelos calibrados para o inglês. Uma pontuação de 5% em chinês não permite prever um resultado de 5% em inglês.

Vale a pena pagar por várias verificações prévias em ferramentas de terceiros antes de submeter o trabalho? Pagar por múltiplos testes preliminares em plataformas comerciais de terceiros não é recomendável. Além do custo financeiro acumulado, submeter pesquisas ainda não publicadas a sites não autorizados expõe seu trabalho ao risco de interceptação de documentos, contaminação de metadados ou arquivamento indevido em repositórios externos.

Uma pontuação de 0% de IA garante que meu trabalho será aceito sem questionamentos? Não. Uma pontuação de 0% indica apenas que o classificador específico não encontrou padrões estatísticos que ultrapassassem o limiar definido nas seções analisadas daquele arquivo. Isso não certifica a autoria, não comprova a exatidão factual nem atesta a qualidade da pesquisa. A integridade acadêmica é determinada pelo mérito científico e pela autoria genuína, não por uma porcentagem automatizada.

Fontes e referências

  • Orientações da Turnitin sobre o uso do AI Writing Report: https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
  • Blog da Turnitin sobre detecção de escrita por IA: https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
  • Portal de detecção de AIGC do China National Knowledge Infrastructure (CNKI): https://aigc.cnki.net/
  • Portal de verificação de trabalhos acadêmicos da VIP Information (CQVIP): http://vpcs.cqvip.com/

Continue lendo