ZeroGPT x Turnitin na detecção de IA: por que as pontuações não batem

ZeroGPT e Turnitin são detectores de IA diferentes: modelos diferentes, dados de treinamento diferentes e limiares de classificação diferentes. Uma pontuação baixa no ZeroGPT não quer dizer que você vai levar uma pontuação baixa no Turnitin. O FAQ do Turnitin descreve o mecanismo: o texto é dividido em segmentos sobrepostos, e cada um recebe uma probabilidade entre 0 e 1. O FAQ fixa a meta de manter os falsos positivos abaixo de 1% em documentos com mais de 20% de escrita por IA. O Turnitin também adota a convenção do asterisco para pontuações na faixa de 1-19%: omite o percentual exato para não dar ao número uma precisão que ele não tem. O ZeroGPT divulga os seus próprios números de acurácia, mas são números informados pelo próprio fornecedor, e não há como conferi-los na documentação do Turnitin. Se a sua instituição usa o Turnitin, a sua pontuação no ZeroGPT não serve de previsão.

O FAQ descreve o processo de detecção assim:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando um trabalho é enviado ao Turnitin, as frases do texto são extraídas e divididas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA.)

Como os segmentos se sobrepõem, uma mesma frase pode receber várias pontuações, que depois são combinadas em uma porcentagem para o documento inteiro. O ZeroGPT usa um modelo próprio, que não aparece em nenhum material do Turnitin e pode se apoiar numa lógica de classificação completamente diferente.

O FAQ afirma:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Buscamos maximizar a eficácia do nosso detector mantendo a nossa taxa de falsos positivos — identificar como gerado por IA um texto escrito inteiramente por um humano — abaixo de 1% em documentos com mais de 20% de escrita por IA.)

A frase seguinte: “In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.” (Em outras palavras: a cada 100 documentos escritos inteiramente por humanos, podemos sinalizar um como escrito por IA.)

Para pontuações baixas, o Turnitin adota uma convenção de omissão:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar a possível ocorrência de falsos positivos, nenhuma pontuação ou destaque é atribuído a resultados de detecção de IA na faixa de 1% a 19%. Quando a IA é detectada abaixo do limiar de 20% no relatório, o resultado passa a ser indicado com um asterisco (*%), sem atribuição de percentual.)

O ZeroGPT não segue essa convenção: em geral, ele mostra um percentual específico mesmo na faixa de baixa confiança. Um trabalho que aparece como “*%” no Turnitin pode aparecer como “12%” no ZeroGPT. Essa diferença de exibição não indica qual das duas ferramentas é mais precisa: indica apenas que elas tratam a faixa incerta de maneiras diferentes. O lado do Turnitin dessa história está em O que significa o asterisco (*%) na pontuação de IA do Turnitin.

O FAQ descreve um comportamento específico para documentos curtos:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, com apenas algumas centenas de palavras, a predição será basicamente «tudo ou nada», porque fazemos a predição em um único segmento, sem oportunidade de sobreposição.)

A frase seguinte: “This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.” (Isso significa que um texto que mistura conteúdo gerado por IA e conteúdo original pode ser sinalizado como inteiramente gerado por IA.)

Isso é particularidade da forma como o Turnitin segmenta o texto. O ZeroGPT pode apresentar esse mesmo comportamento em textos curtos, ou não. Se você testa um resumo de 300 palavras no ZeroGPT e recebe 0%, isso não diz nada sobre o que o Turnitin fará com o mesmo texto, porque a predição de segmento único do Turnitin pode disparar para um extremo quando o texto é curto. Por que o Turnitin diz que o seu trabalho é 100% IA é esse disparo levado ao limite.

No Turnitin, a pontuação de IA e a de similaridade são independentes: “The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.” (A pontuação de Similarity e o percentual de detecção de escrita por IA são completamente independentes e não influenciam um ao outro.) Algumas ferramentas gratuitas misturam IA e similaridade em um número só, o que torna os resultados delas estruturalmente incomparáveis com o percentual de IA separado do Turnitin.

Para a sua submissão, a única pontuação que importa é a gerada pela ferramenta que a sua instituição usa. Se a sua faculdade usa o Turnitin, não adianta testar no ZeroGPT: isso não vai revelar qual será a sua pontuação no Turnitin. Passar o trabalho por vários detectores gratuitos pode dar uma ideia geral de se o seu texto tem padrões típicos de IA, mas não substitui o resultado da ferramenta institucional. Por que o mesmo texto recebe pontuações diferentes em cada detector explica por que essa dispersão é estrutural, e não um defeito de um deles.

Resumindo o que vimos até aqui:

• ZeroGPT e Turnitin são detectores diferentes, com modelos diferentes. As pontuações não vão coincidir.
• O detector do Turnitin divide o texto em segmentos sobrepostos e atribui uma probabilidade a cada um.
• A meta de falsos positivos do Turnitin é ficar abaixo de 1% em documentos com mais de 20% de escrita por IA.
• O Turnitin usa um asterisco para pontuações de 1-19%, para não atribuir ao número uma precisão que ele não tem numa faixa sujeita a falsos positivos.
• Textos curtos recebem predições do tipo tudo ou nada no Turnitin, porque a avaliação é feita em um único segmento.
• A única pontuação que importa é a da ferramenta que a sua instituição usa.

Se você recebeu um relatório de IA do Turnitin e quer resolver os trechos sinalizados, importe o relatório e trabalhe neles. Os trechos elegíveis podem ser reprocessados sem custo.