Por que escritores não nativos de inglês são sinalizados com mais frequência por detectores de IA

Em 2023, um grupo de Stanford — Liang, Yuksekgonul, Mao, Wu e Zou — testou sete detectores de GPT amplamente utilizados em dois conjuntos de redações. O primeiro era 91 TOEFL essays taken from a Chinese educational forum, todas escritas por estudantes. O segundo continha 88 redações de estudantes americanos do oitavo ano, do conjunto ASAP da Hewlett Foundation. Nenhum dos dois conjuntos envolvia IA. O trabalho foi publicado na Patterns, uma revista da Cell Press.

Nas redações dos estudantes americanos do oitavo ano, os detectores quase acertaram tudo. Já nas redações TOEFL, a taxa média de falsos positivos foi de 61,22%. Todos os sete detectores concordaram que 18 das 91 redações (19,78%) eram de IA, e 89 das 91 (97,80%) foram sinalizadas por pelo menos um.

O contraste é o resultado importante. As mesmas sete ferramentas tiveram desempenho muito melhor no conjunto de redações americanas do oitavo ano do que no conjunto TOEFL. Isso não estabelece uma taxa de erro para todos os escritores multilíngues ou para todos os detectores usados atualmente. Mostra que uma alegação de precisão agregada pode esconder resultados muito piores para uma população específica de escritores.

Leia 61,22% como um resultado para esta amostra e estes sete detectores de 2023, não como sua probabilidade pessoal de ser sinalizado. O estudo é um alerta sobre erro desigual, não uma previsão universal.

A descoberta foi contestada. Um fornecedor de detector argumentou que 91 redações de um fórum estudantil eram muito poucas e de origem muito estreita para sustentar uma taxa geral. Essas são limitações reais: a amostra é de conveniência, os grupos de comparação diferem em idade e origem linguística, e os produtos detectores mudaram desde 2023. A conclusão defensável é, portanto, mais restrita que a manchete: o estudo identificou uma grande disparidade que as instituições não deveriam ignorar.

As instituições chegaram à mesma cautela de uma perspectiva de risco. A Vanderbilt University desativou o detector de IA do Turnitin em agosto de 2023. Observou que mesmo uma taxa de falso positivo de 1% em nível de documento criaria uma sobrecarga séria de revisão em aproximadamente 75.000 envios anuais. Essa conta é uma ilustração, não uma previsão de que exatamente 750 estudantes seriam acusados: nem todo trabalho é elegível, a taxa-base é desconhecida e uma sinalização não precisa virar uma acusação. O ponto é que pequenas porcentagens ainda exigem um processo justo em escala institucional.

O que fortaleceria a evidência? Estudos maiores e pré-registrados devem amostrar escritores em diferentes idiomas nativos, níveis de proficiência, disciplinas e tipos de tarefa; comparar grupos pareados por idade; publicar resultados por versão do detector; e reportar tanto falsos positivos quanto falsos negativos. Precisão agregada não basta. Instituições que consideram implantar devem perguntar se o fornecedor avaliou a população estudantil real e se há resultados por subgrupo, em vez de importar uma taxa de manchete de outro corpus.

Para um relatório individual, nem o número de Stanford nem um benchmark de fornecedor decidem o caso. A evidência relevante é local: que texto se qualificou, onde caem os destaques, qual versão do modelo rodou, o que a tarefa permitia e como os rascunhos do estudante se desenvolveram. Pesquisa de população diz ao revisor qual modo de falha levar a sério; não substitui a revisão do trabalho em questão.

Os primeiros explicadores públicos de detectores focavam em dois sinais estatísticos: perplexidade e burstiness. Sistemas comerciais modernos podem combinar muitos sinais aprendidos, e seus internals geralmente não são divulgados, então esses dois termos são melhor tratados como uma maneira de entender o problema, não uma descrição completa de todo produto atual.

Perplexidade mede o quão surpreendentes são suas escolhas de palavras para um modelo de linguagem: se a próxima palavra é a que o modelo teria previsto, a perplexidade é baixa. Burstiness mede o quanto o comprimento e a estrutura das frases variam ao longo de uma passagem; frases regulares e uniformes pontuam baixo.

Num detector que usa esses sinais, baixa perplexidade e baixa variação podem contribuir para uma classificação como máquina. Não é um teste universal, e até a mesma passagem pode ter perplexidade diferente sob diferentes modelos de referência. Um classificador ainda tem que combinar seus sinais e escolher um limiar no qual rotular o resultado.

Um detector não observa autoria ou intenção. Ele observa características do texto submetido e as compara com padrões aprendidos dos dados de treinamento.

Essa distinção importa para a escrita em segunda língua. Um vocabulário de trabalho menor, estruturas de frases repetidas e aderência estrita a modelos de sala de aula podem se parecer com características encontradas em texto gerado. Um classificador melhor pode reduzir esse erro, mas nenhuma arquitetura transforma uma semelhança textual em observação direta de quem escreveu a passagem.

O limiar também importa. Abaixá-lo captura mais texto gerado, mas também admite mais texto humano; aumentá-lo faz o reverso. Um número de precisão anunciado descreve um conjunto de dados num ponto de operação. Não garante desempenho igual em diferentes níveis de proficiência, disciplinas, comprimentos de documento ou versões posteriores do modelo.

O artigo não para em comparar dois grupos. Ele manipula a linguagem em ambas as direções enquanto mantém as redações-fonte e seus argumentos fixos. Isso torna o mecanismo proposto mais persuasivo, embora ainda não isole o vocabulário de toda outra mudança estilística feita pelo modelo.

Direção um. Os pesquisadores pegaram as redações TOEFL que haviam sido unanimemente sinalizadas e pediram ao GPT-4 para enriquecer as escolhas de palavras. A perplexidade subiu significativamente (P = 9,36E-05), e o número unanimemente detectado caiu de 18 redações para 1 de 91 (1,10%). Mesmos autores, mesmos argumentos, mesmas redações — só o vocabulário mudou.

Direção dois, que é a mais forte. Pegaram as redações dos estudantes americanos do oitavo ano, que os detectores tinham julgado quase perfeitamente, e pediram ao ChatGPT para "simplify word choices as if written by a non-native speaker." A classificação errônea saltou de uma média de 5,19% para 56,65%.

A autoria das redações subjacentes não mudou, mas as classificações sim. A intervenção, portanto, sustenta um papel causal da linguagem de superfície — especialmente variedade lexical — em vez de um rótulo demográfico ser de alguma forma visível ao detector. Como GPT-4 e ChatGPT também podem mudar sintaxe, cadência e fraseado, seria exagero dizer que o experimento prova que vocabulário é a única causa.

A conclusão do próprio artigo é que detectores "may unintentionally penalize writers with constrained linguistic expressions," e adverte contra implantá-los em ambientes avaliativos ou educacionais.

O resultado também explica por que pedir a um escritor multilíngue para soar mais formal pode sair pela culatra. Conselhos acadêmicos frequentemente recompensam transições padrão, vocabulário conservador e estrutura de frases uniforme. Essas escolhas podem ser apropriadas para clareza, mas reduzem exatamente a variação que detectores estatísticos mais antigos tratavam como evidência de humano. A solução não é forçar vocabulário decorativo num trabalho; é evitar tratar o detector como um teste de autoria.

O mesmo artigo relata algo que complica qualquer uso dessas pontuações como evidência. A equipe gerou redações com ChatGPT-3.5 — os detectores as pegaram de forma confiável. Depois aplicaram um único prompt de autoedição, "elevate the provided text by employing literary language," e a detecção caiu de 100% para 13%.

Isso não é oferecido aqui como uma técnica. É oferecido como um fato sobre o instrumento: uma medida que um prompt de uma linha move em 87 pontos percentuais é uma base fraca para uma acusação, e é também por que ninguém pode honestamente prometer a você um resultado particular de detector. Nós não.

Há dois limites nesse resultado. Primeiro, descreve os sete detectores e saídas de modelo testados em 2023, não todo produto em 2026. Segundo, robustez a evasão e justiça a escritores humanos são propriedades diferentes: um detector pode ficar mais difícil de enganar e ainda reter falsos positivos desiguais. Qualquer avaliação atual deve testar ambos, nas populações e gêneros de escrita onde a pontuação será realmente usada.

Um detector pode ser útil para triagem sem ser confiável o suficiente para adjudicação. Quanto maior a consequência, mais evidência independente e revisão processual são necessárias.

Nada disso é conselho sobre como escrever para contornar um detector. É o que fazer quando uma estatística está sendo lida como evidência sobre você.

• Mantenha seus rascunhos, a partir de agora. Preserve o histórico de versões no Word ou Google Docs, arquivos de esboço, notas de leitura e feedback do supervisor. Esses artefatos mostram como o trabalho se desenvolveu ao longo do tempo; são evidência mais forte que uma pontuação de detector concorrente.
• Peça o relatório completo, não apenas a porcentagem de manchete. Destaques de passagens podem mostrar se as sinalizações se agrupam em métodos, definições ou background — seções onde se espera linguagem convencional. Não os descreva como probabilidades em nível de seção, a menos que o relatório realmente as forneça.
• Pergunte como o número está sendo usado. Solicite a política relevante do curso ou instituição, o detector e versão, e as evidências consideradas além da pontuação. Muitas instituições tratam uma sinalização como razão para olhar, não como uma conclusão.
• Edite para significado e propriedade. Substitua redações que você não usaria naturalmente, verifique toda alegação e citação, e certifique-se de que consegue explicar o argumento. Não distorça prosa clara meramente para fabricar variação no comprimento das frases.

Se um processo formal começou, mantenha o arquivo enviado inalterado e trabalhe a partir de uma cópia. Anote uma linha do tempo simples: quando pesquisou, rascunhou, recebeu feedback e revisou. Peça tempo suficiente para revisar as evidências e traga um assessor ou representante estudantil onde as regras permitirem. O guia separado sobre preparar uma resposta a uma marcação indevida cobre esse processo em detalhe.

Se você é um educador, não espere que um estudante levante a questão do viés. Defina com antecedência quem revisa uma sinalização, que corroboração é necessária, como origem linguística e deficiência são consideradas, e como o estudante recebe o relatório subjacente. Uma ferramenta pode ser triagem opcional apenas se o processo humano for capaz de discordar dela.