Por que os detectores de IA sinalizam redações bem escritas

O sistema não está atribuindo nota à escrita. Nas três páginas de ajuda da Turnitin que pesquisamos, "quality", "style", "polished", "well written", "vocabulary" e "clarity" estavam ausentes. O controle de sensibilidade "300 words" estava presente nas três páginas, então o caminho de busca estava lendo o texto da página em vez de retornar vazios. O FAQ não apresenta o detector como uma medida de quão boa é a escrita. O que a Turnitin publica é uma lista não quantificada de texto que falsos positivos podem incluir. Prosa acadêmica cuidadosa pode se assemelhar a dois itens dessa lista quando repete termos fixos ou usa estruturas paralelas, mas a Turnitin não diz com que frequência essas propriedades aparecem entre os erros.

Isso não prova que o polimento é inofensivo, e não vamos fingir que prova. O que uma empresa documenta é a parte que ela escolheu documentar, e um modelo treinado contém muito mais do que suas páginas de ajuda. Estabelece algo mais restrito e útil: "well written" não é uma quantidade sobre a qual este sistema faz relatórios, então uma sinalização não é um veredicto sobre isso, e o conselho que as pessoas constroem com base no pressuposto de que é, que sempre termina em escrever abaixo do seu próprio nível, não tem nada publicado por trás.

Pesquisamos o texto renderizado de três páginas recuperadas em 18 de agosto de 2026 porque `guides.turnitin.com` retornou 403 para uma busca linha de comando simples: "Using the AI Writing Report", "Turnitin's AI writing detection capabilities FAQs" e "File requirements for an AI Writing Report". Essas páginas definem o mecanismo e as regras de arquivo; notas de lançamento e páginas de problemas conhecidos estavam fora desta busca. A tabela registra presença ou ausência insensível a maiúsculas/minúsculas em vez de contagens exatas, que podem mudar conforme as páginas ao vivo mudam.

A linha inferior é a razão pela qual o resto da tabela significa alguma coisa: um resultado vazio e uma recuperação quebrada deixam o mesmo rastro, então um termo conhecido por estar em todas as três páginas precisa estar presente primeiro. No FAQ, "writing" e "segment" estão presentes, enquanto "vocabulary", "word choice" e "clarity" estão ausentes. "Breakdown" está presente no guia do relatório, mas apenas como nome de um painel de interface, não como uma estatística.

Depois, há as imagens, que uma busca de texto não consegue ver. O próprio artigo do FAQ não contém imagens; o logotipo do site pertence à estrutura da página, não ao artigo. O guia do relatório traz capturas de tela sem texto alternativo, então as abrimos separadamente. Elas incluem um relatório de amostra mostrando 56% de IA ao lado de 23% de similaridade, uma página de prosa destacada e mensagens de status. Nenhuma usa alguma das palavras acima. Uma traz uma frase que não aparece em lugar nenhum no texto da própria página:

"AI detection includes the possibility of false positives. Although some text in this submission is likely AI generated, scores below the 20% threshold are not surfaced because they have a higher likelihood of false positives." (A detecção de IA inclui a possibilidade de falsos positivos. Embora algum texto nesta submissão seja provavelmente gerado por IA, pontuações abaixo do limite de 20% não são exibidas porque têm maior probabilidade de falsos positivos.)

Isso é o produto se recusando a imprimir um número na faixa onde ele menos confia em si mesmo, e vale a pena guardar isso, porque em todo o resto deste material a taxa de erro é descrita em vez de agida.

Algo está fazendo o trabalho, e o FAQ o nomeia sob o título "What parameters or flags does Turnitin's model take into account when detecting AI writing?":

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nossos classificadores são treinados para detectar essas diferenças na probabilidade de palavras e são proficientes nas sequências particulares de probabilidade de palavras de escritores humanos.)

A mesma resposta cuida de acrescentar que o modelo "is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions" (não é explicitamente programado para avaliar sinais específicos como 'burstiness', 'perplexity' ou outras métricas individuais às vezes referenciadas em discussões públicas), e que ele "learns statistical patterns from our training data" (aprende padrões estatísticos de nossos dados de treinamento) em vez disso. Ambas as frases estão na página e ler qualquer uma sem a outra leva você a algum lugar errado: o fornecedor está negando duas métricas públicas nomeadas, não negando que probabilidade de palavras é a moeda. O que isso significa para os termos sobre os quais as pessoas discutem está exposto em o que os detectores de IA medem.

Agora siga as unidades publicadas para cima em vez de para baixo. Palavras, depois sentenças, depois isto:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1 ... Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é submetido à Turnitin, sentenças da submissão são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1 ... Cada sentença qualificada dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas sentenças podem ter múltiplas pontuações, que são então agrupadas em uma única pontuação. Essas pontuações de sentença são ainda mais agregadas e usadas para computar a pontuação geral de escrita de IA do documento.)

A cadeia para aí. O maior objeto que é classificado é um segmento, com algumas sentenças de largura, e o número do documento é uma agregação desses, não um segundo julgamento feito depois de ler a coisa toda. Quase tudo que faz uma redação ser boa é maior que um segmento: um argumento que se sustenta por oito páginas, evidência escolhida bem, uma objeção levantada na seção dois e respondida na seção cinco. Nada disso é um objeto na escala onde a classificação acontece. Não é que o sistema pese seu raciocínio e não goste dele. Não há lugar.

Ao discutir falsos positivos em prosa acadêmica, o fornecedor aponta para um corpus de teste pré-ChatGPT:

"To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforçar nosso framework de testes e diagnosticar tendências estatísticas de falsos positivos, antes de cada atualização ou lançamento de novo modelo, realizamos testes em mais de 700.000 artigos acadêmicos adicionais que foram escritos antes do lançamento do ChatGPT para validar ainda mais nossa taxa de falsos positivos de menos de 1%.)

O FAQ se faz a mesma pergunta de novo sob seu próprio título, "How does Turnitin ensure that the false positive rate for a document remains less than 1%?", e repete o número com a palavra "over" omitida: "we perform additional tests on 700,000 additional academic papers that were written before the release of ChatGPT". Mesmo corpus, duas frases ligeiramente diferentes na mesma página.

Leia como a Turnitin descreve essa população de referência: artigos acadêmicos selecionados porque foram escritos antes do lançamento do ChatGPT. Isso é uma descrição baseada em data, não uma declaração de que cada artigo foi independentemente verificado como escrito por humano. A alegação mais restrita ainda é útil: a Turnitin diz que re-executa este corpus acadêmico pré-ChatGPT antes de lançamentos de modelo para observar a taxa de falsos positivos. A página não descreve verificação de autoria artigo por artigo.

O que não resolve isso, e estaríamos exagerando se disséssemos que resolve. O fornecedor publica o alvo e não a distribuição por trás dele, e o próprio alvo carrega um limite que sua própria próxima frase silenciosamente omite. A versão completa desse argumento, incluindo o que acontece quando você multiplica uma pequena taxa pelo volume anual de uma universidade real, está em o que uma taxa de falsos positivos de 1% significa.

A página afirma uma taxa de falsos positivos de menos de 1%, mas não publica como os erros são distribuídos pelo corpus de teste. Não fornece taxas de subgrupos e não mostra se algum tipo de texto responde por mais erros que outro.

O que a página publica é uma lista não quantificada de texto que falsos positivos podem incluir, seguida de conselho para ler a porcentagem:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Às vezes falsos positivos (sinalizar incorretamente texto escrito por humano como gerado por IA) podem incluir conteúdo sem muita variação estrutural, texto que literalmente se repete, ou texto que foi parafraseado sem desenvolver novas ideias. Se nosso indicador mostra uma quantidade maior de escrita por IA em tal texto, aconselhamos que você leve isso em consideração ao olhar para a porcentagem indicada.)

Leia o que está naquela lista e o que não está. Não vocabulário sofisticado, não sentenças longas, não um argumento forte. Nomeia três propriedades possíveis de texto, mas não dá frequência para nenhuma delas. A terceira descreve um processo em vez de qualquer coisa que você teria produzido escrevendo por conta própria.

As duas primeiras valem a pena comparar com a prática acadêmica comum, e o que segue é nossa leitura, não a do fornecedor. Se seu campo pede que você chame uma coisa por um nome toda vez que aparece, pode repetir o mesmo termo de propósito porque um sinônimo introduziria ambiguidade. Se você coloca itens comparáveis em sentenças paralelas para que um leitor possa mantê-los lado a lado, pode reduzir a variação estrutural pela mesma razão. Nenhuma escolha é um lapso. A Turnitin diz que falsos positivos podem incluir essas propriedades. Não diz com que frequência, que erros estão concentrados ali, ou que as propriedades se correlacionam com erros.

O que não estamos dizendo, porque é uma alegação muito maior do que qualquer coisa disto suporta, é que escrita polida é sinalizada. Aquela frase circula amplamente, e ao que geralmente está conectada é uma instrução para soar menos capaz do que você é. As edições que a lista publicada realmente suporta, e o que fazê-las à mão custa, são trabalhadas em como humanizar texto de IA sem uma ferramenta.

Observe também para quem aquela segunda frase foi escrita. Pede que quem quer que esteja olhando para a porcentagem pondere que tipo de texto a produziu. A instrução é apontada para a pessoa segurando o relatório, não para a pessoa que escreveu o artigo.

A próxima pergunta óbvia é se falsos positivos são mais comuns em sua disciplina, sua seção, ou seu gênero. O FAQ tem um título que chega perto, "Does the Turnitin model take into account that AI writing detection technology might be biased against particular subject-areas or second language writers?", e a resposta é sobre a amostra de treinamento:

"One of the guiding principles of our company and of our AI team has been to minimize the risk of harm to students, especially those disadvantaged or disenfranchised by the history and structure of our society. Hence, while creating our sample dataset, we took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments and less common subject areas such as anthropology, geology, sociology, and others." (Um dos princípios orientadores de nossa empresa e de nossa equipe de IA tem sido minimizar o risco de dano aos estudantes, especialmente aqueles desfavorecidos ou marginalizados pela história e estrutura de nossa sociedade. Assim, ao criar nosso conjunto de dados de amostra, levamos em conta grupos estatisticamente sub-representados como aprendizes de segunda língua, usuários de inglês de países não anglófonos, estudantes de faculdades e universidades com matrículas diversas e áreas disciplinares menos comuns como antropologia, geologia, sociologia, e outras.)

Os nomes das disciplinas "anthropology", "geology" e "sociology" aparecem apenas em parágrafos descrevendo como a amostra foi construída. "Discipline", "genre" e "subgroup" estão ausentes das três páginas. Então áreas disciplinares aparecem como entrada para treinamento, não como um detalhamento de testes publicado. Não há taxa de falsos positivos publicada para antropologia, e o fornecedor não coloca números por trás da resposta sobre viés, razão pela qual precisa ser lida como uma declaração de intenção.

Essa lacuna é a razão pela qual o número que todos alcançam nesta questão vem de fora da empresa: um estudo de 2023 em 91 redações TOEFL, cujo escopo, edições controladas e limites reais percorremos em por que escritores de inglês não nativo são sinalizados por detectores de IA com mais frequência. É também por isso que dois detectores podem entregar ao mesmo parágrafo dois veredictos diferentes, que é uma confusão separada coberta em por que detectores discordam.

Há mais uma razão pela qual "sinalizou minha boa redação" é o enquadramento errado, e é sobre do que a porcentagem é porcentagem. Apenas parte de seu documento é elegível para ser pontuada:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (Este texto qualificante inclui apenas sentenças em prosa, o que significa que analisamos apenas blocos de texto que estão escritos em sentenças gramaticais padrão e não incluem outros tipos de escrita como listas, marcadores (estruturas curtas não-sentenciais), ou outras estruturas não-sentenciais. Esta porcentagem não é necessariamente a porcentagem de toda a submissão.)

Duas mudanças anunciadas em agosto de 2023 moveram o limite mais longe. Uma diz que prosa de formato longo dentro de tabelas agora é processada; a outra diz que um bug que às vezes destacava escrita por IA dentro de uma bibliografia foi corrigido e bibliografias agora estão excluídas do processamento. Ambas as notas de lançamento terminam da mesma maneira, dizendo-lhe para reenviar um artigo existente antes que qualquer mudança se aplique a ele.

Então a bibliografia que você passou duas noites alinhando e critérios de inclusão escritos como marcadores curtos, não-sentenciais ficam fora do conjunto pontuado. Tabelas são condicionais: prosa de formato longo dentro delas pode ser processada, enquanto células numéricas, fragmentos e outro conteúdo de tabela não-sentencial podem permanecer fora da prosa qualificante. A porcentagem portanto não precisa descrever toda a submissão. Essa é também a razão mecânica pela qual pode discordar da quantidade de texto colorido na sua frente, que desmontamos linha por linha em como ler um relatório de escrita de IA da Turnitin.

Muito pouco disto é sobre como você escreve, e a maior parte é sobre quanto peso o número pode carregar.

• Soar menos capaz é o único movimento para descartar. Tudo acima argumenta contra isso, e a troca é desproporcional de uma maneira comum: as notas de um examinador são certas, enquanto o efeito na pontuação é algo que ninguém mediu e você geralmente não tem permissão para assistir.
• Pergunte quais passagens, não qual número. Os destaques dizem-lhe onde o classificador pousou. A porcentagem diz-lhe quanto do texto qualificante ele pousou, que é uma quantidade diferente de quanto de sua redação.
• Espere que um documento curto seja medido grosseiramente. As palavras do fornecedor: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." A frase depois dela é a que importa: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." Abaixo de 300 palavras de texto qualificante, os requisitos de arquivo dizem que não há relatório para ler.
• Se sua prosa é convencional porque o gênero exige, verifique para quem o conselho do fornecedor foi escrito. Aquela frase é endereçada a quem quer que leia a porcentagem, não a você. Vale saber antes de concluir que o artigo é a coisa que tem que mudar.
• Desconfie de qualquer promessa sobre o número resultante, inclusive a nossa. A posição da própria Turnitin é que predições individuais "may not always be explainable in simple feature-by-feature terms" (podem nem sempre ser explicáveis em termos simples de característica por característica). Ninguém fora da empresa pode mapear uma edição em um movimento na pontuação.

Nada disto é um argumento para reescrever. Onde o trabalho é seu e você está preparado para dizê-lo, o artigo não é o objeto que deveria estar mudando.

Uma reescrita ganha seu lugar em um ponto específico: quando um relatório existe, passagens particulares são marcadas nele, e essas passagens serão revisadas de qualquer maneira. Esse é o formato para o qual HumanPen foi construído. Entregue-lhe o arquivo mais o relatório de IA da Turnitin ou iThenticate e as passagens marcadas se tornam o escopo, com tudo fora delas mantendo as palavras que você escreveu. Nossa própria página afirma a regra de granularidade: "A paragraph is the smallest unit the engine rewrites: if your selection covers only part of one, it is expanded to the full paragraph and shown that way for you to confirm." A cobrança conta as palavras realmente reescritas, então um trabalho escopado custa o que o escopo custa em vez do que o arquivo pesa.

Se um novo relatório ainda sinaliza passagens, resultados elegíveis podem continuar baixando IA gratuitamente. O que ninguém pode lhe entregar é o número no próximo relatório. Depois de tudo acima, uma ferramenta que lhe cita um está citando um número que não tem.

Prosa bem escrita tem maior probabilidade de ser sinalizada? Essa é uma alegação maior do que o material publicado suporta, e não estamos fazendo isso. O que está documentado é uma lista de três tipos de texto que a Turnitin diz que falsos positivos podem incluir, nenhum dos quais é um julgamento de qualidade, mais um efeito medido em escritores com um alcance lexical menor em inglês de uma amostra de 2023. Trate a versão ampla como uma alegação em circulação em vez de uma descoberta.

Usar vocabulário avançado aumenta minha pontuação de IA? Nada do que o fornecedor publica fala sobre isso: "vocabulary" e "word choice" estavam ambos ausentes das três páginas de ajuda que pesquisamos. Um experimento controlado de 2023 moveu a escolha de palavras diretamente e empurrou contra a teoria popular em vez de com ela: os pesquisadores enriqueceram a redação de redações já sinalizadas, e as sinalizações caíram. Isso estabelece que a escolha de palavras não foi inerte naquele experimento. Não estabelece nada sobre seu documento.

Minha escrita se repete porque a terminologia tem que ser consistente. Esse é o caso convencional, e responde a um item na própria lista de falsos positivos do fornecedor. Seu conselho nessa situação é dirigido à pessoa lendo o relatório: leve a natureza do texto em consideração ao olhar para a porcentagem.

Devo adicionar variação de comprimento de sentença de propósito? Não como um exercício de formatação. Onde a variação já estava carregando significado, restaurá-la é revisão comum. Fabricá-la em uma seção cujas convenções requerem uniformidade substitui a escrita que sua disciplina pediu por escrita que não pediu, em troca de um efeito que ninguém pode medir de fora.

Posso verificar a pontuação eu mesmo antes de enviar? Geralmente não. A posição da Turnitin é que o indicador de escrita de IA e relatório são para instrutores e administradores, e chega a um estudante apenas se um instrutor baixar o relatório e repassá-lo. Qualquer conselho que assume que você pode assistir o número se mover está assumindo acesso que a maioria dos estudantes não tem.