Com que frequência os chatbots confundem textos humanos com IA? Um teste de 2026 com 15 modelos

Isso depende muito do modelo. Em um preprint de 2026, 15 modelos de IA de uso geral — do tipo usado por trás de chatbots — foram consultados via API com uma única pergunta fixa para avaliar se 1.000 textos escritos por humanos vinham de uma pessoa ou de uma máquina. A geração anterior (GPT-4o e outros quatro modelos de 2024–25) respondeu "máquina" para 36,5% dos textos humanos, em média. A geração mais recente (oito modelos de 2026, incluindo GPT-5.5, Claude Opus 4.7 e Gemini 3.1 Pro Preview) fez isso em 3,6% dos casos, com modelos variando individualmente entre 0,1% e 8,6%. Portanto, a frequência com que um chatbot responde erroneamente "máquina" para a escrita humana varia drasticamente conforme o modelo: neste teste, foi de mais de um terço das vezes até quase nunca. Uma taxa assim descreve um grande conjunto de textos, não a sua redação específica, e a resposta de um chatbot não serve como prova por si só: os textos testados não eram trabalhos acadêmicos de estudantes, e uma captura de tela pode nem mostrar qual modelo respondeu nem como a pergunta foi feita.

O estudo "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (Uso de LLMs para detectar textos gerados por LLMs: uma análise entre gerações), de autoria de Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li e Shujun Li, da University of Kent, Shanghai Jiao Tong University e University of Birmingham, foi publicado no arXiv em 28 de setembro de 2026. Trata-se de um preprint que ainda não passou por revisão por pares.

Eles começaram com 1.000 textos escritos por humanos do M4GT-Bench, um conjunto de dados público de pesquisa que o artigo descreve como "covering a broad range of topics, styles, and formats" (cobrindo uma ampla variedade de tópicos, estilos e formatos). Examinamos o arquivo disponibilizado e encontramos verbetes de enciclopédia, tutoriais práticos, respostas de fóruns, resumos científicos e pareceres de revisão por pares de artigos acadêmicos. O estudo não descreve nenhum deles como trabalho acadêmico de estudantes. Cada um dos 15 modelos também produziu 1.000 textos a partir dos comandos correspondentes, a maioria pedindo entre 150 e 300 palavras.

Em seguida, cada modelo atuou por sua vez como detector. Cada texto foi submetido a cada modelo com a mesma instrução, que começava com "Please determine whether the following text is generated by large language models or by a human" (Por favor, determine se o texto a seguir foi gerado por grandes modelos de linguagem ou por um humano), e o modelo precisava responder "human" ou "machine" e apresentar sua justificativa. Isso gerou mais de 233.000 avaliações válidas.

Os pesquisadores agruparam os modelos por data de lançamento:

• Mais antigos (2023 ao início de 2024): GPT-3.5 Turbo Instruct e Mixtral 8×22B Instruct.
• Geração anterior (2024–25): GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B e um modelo Qwen de 72 bilhões de parâmetros (listado como Qwen2.5-72B Instruct na tabela de modelos do artigo e como Qwen2-72B em outras partes do texto).
• Mais recentes (2026): GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro e Kimi K2.6.

O acesso aos modelos ocorreu principalmente via OpenRouter e pelas APIs dos próprios fornecedores, e o artigo não menciona testes nos aplicativos do ChatGPT, Gemini ou Claude. O estudo também não informa as datas exatas dos testes: ele define o grupo mais novo como os modelos mais recentes "at the time of our experiments" (no momento de nossos experimentos) e registra uma checagem das configurações padrão dos modelos em 3 de setembro de 2026.

Nosso artigo anterior, O ChatGPT é um detector de IA? O que a OpenAI publicou sobre seu próprio classificador, baseia-se no classificador que a OpenAI desenvolveu, testou e retirou do ar em 2023, argumentando a partir disso que perguntar a um modelo de chat se algo foi escrito por IA não é detecção. Aquele texto não citava medições reais de modelos de chat fazendo esse papel. Este estudo preenche essa lacuna: 15 modelos de chat testados diretamente com essa pergunta, em condições de API que se aproximam mais da situação de um professor colando uma redação em uma janela de chat do que um classificador dedicado, embora ainda não sejam exatamente a mesma coisa.

Cada número representa a média entre os modelos daquele grupo. O intervalo na última coluna varia conforme a geração que escreveu os textos de IA.

Os três grupos erraram em direções opostas. Os modelos mais antigos responderam quase sempre "humano", de modo que acusaram injustamente menos pessoas do que a geração seguinte, mas deixaram passar mais de quatro em cada cinco textos de IA. A geração anterior foi para o outro extremo: pegou mais textos de IA, mas classificou mais de um terço dos textos humanos como escritos por máquinas. O grupo mais recente teve taxas baixas em ambos os tipos de erro, embora tenha deixado passar mais textos de IA gerados por modelos de 2026 (13,4%) do que textos de IA mais antigos.

Essa primeira linha é uma armadilha se você a ler isoladamente. Uma taxa de falso alarme de 13% parece bem melhor do que 36,5%, mas veio de modelos que quase nunca diziam "máquina". Um detector que nunca acusa ninguém também nunca pega ninguém.

A média de 3,6% esconde uma grande dispersão. Os resultados divulgados pelos autores mostram a taxa de cada modelo da geração mais recente sobre os mesmos 1.000 textos humanos:

Considerando todos os 15 modelos, a taxa variou de 0,1% a 55,3%, sendo a mais alta a do Llama 3.3 70B, da geração anterior. A principal conclusão do artigo é mais ampla: a eficácia da detecção "is primarily driven by detector capability rather than generator provenance" (é determinada principalmente pela capacidade do detector, e não pela procedência do gerador). O modelo que você consulta importa mais do que o modelo que escreveu o texto.

Esta tabela ilustra como os modelos divergem entre si. Ela não serve como tabela de consulta direta para a sua situação: um aplicativo de chat pode rodar uma versão diferente da testada, a pergunta do seu professor provavelmente foi formulada de outro jeito e cada modelo respondeu apenas uma vez para cada texto.

As capturas de tela geralmente vêm acompanhadas de justificativas: estrutura rígida demais, conteúdo genérico demais, texto fluido demais. Neste estudo, todos os modelos precisaram apresentar um motivo. Em seguida, os pesquisadores usaram outro modelo de IA, o GPT-5.6 Sol, para comparar lado a lado uma amostra dessas explicações, e ele descobriu que as mesmíssimas características eram usadas para defender conclusões opostas. Uma escrita detalhada e coerente, segundo os autores, "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (pode ser tratada como evidência de expertise humana por um detector, mas como evidência de geração padronizada por LLM por outro.)

Eles também alertam que as explicações "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (podem ser justificativas criadas a posteriori, em vez de descrições precisas e confiáveis de como a decisão foi tomada). Uma contagem de palavras-chave feita pelos autores sobre essas mesmas justificativas apontou na mesma direção, e eles ressaltam que avaliadores humanos ainda precisam confirmar essas descobertas. Se a captura de tela afirma que sua redação tem estrutura clara e transições suaves, isso apenas descreve o seu texto — não prova de onde ele veio.

• Como os chatbots lidam com redações de estudantes. Nenhum dos textos humanos foi descrito como trabalho acadêmico de aluno, e os textos de ambos os lados eram curtos: os textos humanos tinham uma mediana de 233 palavras, segundo a nossa contagem, e a maioria dos textos de IA foi solicitada com 150 a 300 palavras. Um ensaio longo pode produzir resultados diferentes, e o estudo não dá nenhuma base para prever em qual direção.
• Se perguntar de novo muda a resposta. Cada modelo avaliou cada texto apenas uma vez; portanto, o estudo não diz nada sobre a frequência com que o mesmo chatbot muda de ideia em uma segunda tentativa.
• Se as conclusões se sustentam a longo prazo. Trata-se de um preprint, e os próprios autores chamam a divisão em três gerações de "rather simplistic" (bastante simplista).
• Os modelos do próximo ano. Muitos dos modelos inicialmente avaliados pelos pesquisadores já tinham sido descontinuados ou retirados de circulação, o que explica em parte por que o grupo mais antigo tem apenas dois. Os números descrevem esses 15 modelos específicos, não o que vier a ser lançado depois.

1. Descubra exatamente o que foi executado. Pergunte, com educação: qual chatbot foi usado, você poderia ver a conversa inteira (incluindo a pergunta exata que foi digitada), e essa foi a única verificação feita ou há também um relatório do Turnitin ou de outra ferramenta? A resposta muda completamente aquilo a que você precisa responder.
2. Leia as regras do seu curso e da sua instituição. Procure saber como suspeitas de uso de IA são tratadas e o que é aceito como prova. Algumas universidades restringem quais ferramentas de detecção os professores podem usar ou o peso que o resultado de um detector pode ter; o artigo 19 universidades que limitam o uso de detectores de IA ou suas evidências: declarações oficiais reúne essas diretrizes oficiais. Se um chatbot se enquadra ou não nessas normas, depende de como o regulamento da sua instituição foi redigido.
3. Apresente o seu processo de escrita. Rascunhos, anotações, fontes consultadas e o histórico do próprio arquivo. O guia Como provar que você não usou IA: histórico de versões no Word e no Google Docs explica como exportar esses registros. Conseguir explicar em detalhes como você construiu sua linha de raciocínio é algo que o veredito de um chatbot não tem como enxergar.
4. Se você citar este estudo, mencione os dois lados. "Chatbots are wrong a third of the time" (os chatbots erram um terço das vezes) se aplica apenas à geração anterior. Os modelos mais recentes neste teste rotularam entre 0,1% e 8,6% dos textos humanos como produzidos por máquinas, enquanto a geração anterior errou muito mais. Além disso, uma taxa percentual descreve um grande volume de textos, e não a sua redação específica — que é justamente o argumento central de O que significa uma taxa de falsos positivos de 1% quando uma universidade envia 75.000 trabalhos.
5. Não responda com outra captura de tela. Um chatbot diferente dizendo "humano" carrega exatamente as mesmas limitações descritas acima. Seus rascunhos são evidências reais de como a redação foi construída; a opinião de um segundo chatbot não é.

A resposta de um chatbot não é um relatório formal e não traz trechos sinalizados, e reescrever uma redação que já está sob questionamento não resolveria o problema. A função de humanização do HumanPen foi criada para outro cenário: um rascunho que você ainda não entregou, com um relatório do Turnitin ou iThenticate já emitido, e uma disciplina que permita a reformulação textual assistida por ferramentas. Verifique essa última condição nas regras do seu curso antes de tudo. Importe o relatório do Turnitin ou iThenticate e reescreva apenas os trechos sinalizados. Você recebe um arquivo editável no mesmo formato.

Isso significa que o ChatGPT agora consegue detectar textos de IA? Não com base apenas nessas evidências. O artigo descreve testes realizados via API, e não no aplicativo do ChatGPT: foram avaliados o GPT-5.5 e outros 14 modelos, cada um recebendo uma única pergunta padronizada. Nessa configuração, os modelos mais recentes rotularam erroneamente 3,6% dos textos humanos em média e deixaram passar de 6,1% a 13,4% dos textos de IA, dependendo de qual geração os produziu.

Um chatbot mais novo é sempre mais confiável? Não necessariamente. A geração anterior rotulou mais textos humanos como "máquina" do que a mais antiga (36,5% contra 13,0%). Além disso, um dos modelos da geração anterior, o Qwen 72B, fez isso para apenas 4,4% dos textos humanos — taxa menor do que a de três modelos da geração mais recente (Claude Opus 4.7 com 6,1%, MiMo-V2.5-Pro com 7,9% e DeepSeek-V4-Pro com 8,6%) —, embora tenha chegado a esse resultado respondendo "humano" quase todas as vezes.

Este estudo passou por revisão por pares? Não. Ele foi disponibilizado no arXiv como um preprint em 28 de setembro de 2026. Os autores tornaram públicos todos os textos, os prompts, as respostas brutas de cada modelo e o código de análise.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li e Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, submetido em 28 de setembro de 2026 (preprint, não revisado por pares); acessado em 2 de outubro de 2026 (Tabelas 1 e 5; Seções 3, 4 e 5; Apêndices A.2 e A.3).
• Dados e resultados divulgados pelos autores, hyyuan/detect-llm-generated-texts no GitHub: taxas por modelo obtidas em `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, textos humanos de `dataset/human-generated-text/human.json`; acessado em 2 de outubro de 2026.