Undetectable AI vs Turnitin: o que a documentação realmente diz

O detector do Undetectable AI e a detecção de escrita por IA do Turnitin são construídos por equipes diferentes, com modelos subjacentes diferentes. Cada um foi treinado com os seus próprios dados e classifica o texto do seu próprio jeito. Quando dois detectores usam modelos diferentes, eles produzem pontuações diferentes para o mesmo texto. Uma passagem que o Undetectable AI marca como 70% de IA pode receber 25% no Turnitin, ou o contrário. Nenhum dos dois resultados está necessariamente errado. São estimativas de probabilidade feitas por modelos diferentes, treinados com conjuntos de dados diferentes.

Não existe uma pontuação universal de detecção de IA para a qual todas as ferramentas convirjam — ponto desenvolvido em por que o mesmo texto tem pontuações diferentes em cada detector. Cada detector produz a sua própria estimativa. Tratar pontuações de ferramentas diferentes como se medissem a mesma coisa, nas mesmas unidades, só gera confusão.

Não estamos dizendo qual das duas ferramentas é mais precisa. Estamos descrevendo o que a documentação do Turnitin afirma sobre o próprio sistema e por que esse sistema gera pontuações que não vão coincidir com as do Undetectable AI.

O Turnitin documenta um processo específico para chegar à sua pontuação de escrita por IA:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases da submissão são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas em uma única pontuação. Essas pontuações de frase são agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.)

O processo passa por extrair as frases, dividi-las em unidades sobrepostas, pontuar cada segmento, reunir as pontuações das frases e agregar tudo em uma porcentagem no nível do documento. Outros detectores, incluindo o Undetectable AI, podem usar estratégias de segmentação diferentes, unidades de predição diferentes ou métodos de agregação diferentes. As duas ferramentas não vão gerar os mesmos números para o mesmo texto.

A documentação do Turnitin também deixa claro que a porcentagem de detecção de escrita por IA e a pontuação de Similarity são coisas separadas. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (A pontuação de Similarity e a porcentagem de detecção de escrita por IA são completamente independentes e não influenciam uma à outra.) A pontuação de Similarity indica a porcentagem de texto correspondente encontrada no documento enviado, quando comparado ao acervo abrangente de conteúdo do Turnitin para verificação de similaridade. Um documento pode ter similaridade alta e IA baixa, ou o contrário. Relatório de escrita por IA do Turnitin x relatório de Similarity mostra o que cada número está contando. Os dois números não se influenciam.

O Turnitin publica uma meta específica de falsos positivos:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Buscamos maximizar a eficácia do nosso detector mantendo a nossa taxa de falsos positivos — identificar incorretamente um texto totalmente escrito por humanos como gerado por IA — abaixo de 1% para documentos com mais de 20% de escrita por IA.)

A documentação reformula isso assim: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Em outras palavras, podemos sinalizar um documento escrito por humano como escrito por IA em um a cada 100 documentos inteiramente escritos por humanos.) Essa reformulação deixa de fora a ressalva "mais de 20% de escrita por IA". A versão com o limite de 20% é a mais precisa.

Para validar essa meta, o Turnitin descreve a sua estrutura de testes: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforçar a nossa estrutura de testes e diagnosticar tendências estatísticas de falsos positivos, antes de cada atualização ou lançamento de novo modelo, realizamos testes em mais de 700.000 artigos acadêmicos adicionais escritos antes do lançamento do ChatGPT, para validar ainda mais a nossa taxa de falsos positivos inferior a 1%.)

Isso é o que o Turnitin diz sobre o próprio sistema. Para ver no que dá esse um por cento ao longo de um ano de submissões, veja o que significa uma taxa de falsos positivos de 1%. O Undetectable AI pode ter metas de precisão diferentes, processos de validação diferentes ou pode simplesmente não publicar números comparáveis. Não dá para fazer uma comparação direta de precisão. O que podemos fazer é relatar o que a documentação do Turnitin declara.

O tamanho do documento afeta a forma como o detector do Turnitin processa o texto. Em documentos curtos, o mecanismo de pontuação se comporta de outro jeito. A documentação diz:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, com apenas algumas centenas de palavras, a predição será basicamente "tudo ou nada", porque estamos fazendo a predição em um único segmento, sem a oportunidade de sobreposição.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que parte do texto que mistura conteúdo gerado por IA e conteúdo original pode ser sinalizada como inteiramente gerada por IA.)

O mecanismo de sobreposição que dilui as pontuações em documentos mais longos não entra em ação quando o texto é um único segmento. Algumas centenas de palavras misturando conteúdo humano e de IA podem voltar como 100%, e esse é um dos mecanismos por trás de por que o Turnitin diz que o seu trabalho é 100% IA. É um comportamento estrutural em textos curtos.

Se o Undetectable AI pontua esse mesmo documento curto de forma diferente, é em parte porque as duas ferramentas não processam textos curtos do mesmo jeito.

O Turnitin omite as pontuações numéricas abaixo de 20%. A documentação diz:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar a possível incidência de falsos positivos, nenhuma pontuação ou destaque é atribuído a pontuações de detecção de IA na faixa de 1% a 19%. Quando IA é detectada abaixo do limite de 20% no relatório, isso agora é indicado com um asterisco (*%) e nenhuma porcentagem é atribuída.)

Um documento que o modelo do Turnitin estime em 8% de IA vai mostrar um asterisco no relatório, e não o número 8%. Nenhum destaque é aplicado ao texto. A ideia é não dar visibilidade a possíveis falsos positivos numa faixa de baixa confiança, o que é descrito em mais detalhe em o que significa o asterisco (*%) na pontuação de IA do Turnitin.

O Undetectable AI pode exibir pontuações nessa faixa como uma porcentagem cheia. Outras ferramentas podem destacar o texto em qualquer nível acima de zero. O Turnitin, por sua vez, omite de propósito tanto o número quanto os destaques abaixo de 20%. Essa convenção de pontuação faz com que as duas ferramentas apresentem resultados bem diferentes para o mesmo documento com pouca IA.

Se você está comparando os resultados do Undetectable AI e do Turnitin no mesmo documento, aqui vai o resumo:

• Modelos separados, pontuações separadas. Undetectable AI e Turnitin usam modelos de detecção diferentes. Não se espera que as pontuações coincidam.
• O Turnitin pontua segmentando e agregando. As frases são extraídas, divididas em unidades sobrepostas, pontuadas, reunidas e agregadas. A pontuação de IA e a pontuação de Similarity são totalmente independentes.
• O Turnitin busca menos de 1% de falsos positivos em documentos com mais de 20% de escrita por IA, validado com mais de 700.000 artigos acadêmicos adicionais escritos antes do ChatGPT.
• Documentos curtos recebem pontuações tudo ou nada. Algumas centenas de palavras podem voltar como 0% ou 100%, mesmo sendo um texto misto.
• Pontuações abaixo de 20% aparecem como um asterisco. Nenhuma porcentagem numérica ou destaque aparece na faixa de 1% a 19%.

As passagens elegíveis podem ser reprocessadas sem custo.