O mito de perplexity e burstiness: o que o Turnitin realmente usa

Se você pesquisar "como o Turnitin detecta escrita feita por IA", vai encontrar dezenas de artigos repetindo a mesma afirmação: o Turnitin usa perplexity e burstiness para detectar texto gerado por IA. Essa afirmação aparece em sites como aihumaniser.pro, blog.aibusted.com e humanizethisai.com, e em vários artigos chineses no sohu.com. Eles definem as duas métricas, atribuem as duas ao Turnitin e dão conselhos sobre como "reduzir a sua pontuação de perplexity" para passar pela detecção.

O problema é que essa afirmação está factualmente errada. A própria documentação do Turnitin diz o contrário. Nós lemos as perguntas frequentes oficiais, e elas contradizem diretamente a narrativa de perplexity e burstiness em torno da qual os sites concorrentes construíram os seus conselhos. O mito se espalhou tanto que muitos estudantes e escritores agora acreditam que precisam otimizar uma métrica que o Turnitin não calcula.

Isso importa porque uma estratégia construída sobre uma premissa falsa leva a decisões ruins. Se você acredita que o Turnitin calcula uma pontuação de perplexity, pode acabar se concentrando em inserir palavras aleatórias para manipular uma métrica que não existe. O mecanismo real é diferente.

As perguntas frequentes oficiais do Turnitin abordam diretamente a questão de perplexity e burstiness. A documentação afirma: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (O nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness', 'perplexity' ou outras métricas individuais às vezes citadas em discussões públicas.) A frase seguinte continua: "Instead, it learns statistical patterns from our training data." (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.)

Esta é uma negativa inequívoca. O Turnitin não faz nenhum cálculo de perplexity sobre o seu texto. O modelo não olha uma pontuação de burstiness nem verifica se o comprimento das suas frases varia o suficiente. O sistema não funciona calculando um pequeno conjunto de métricas nomeadas para depois colocá-las em uma fórmula.

A documentação vai além e explica por quê. O Turnitin afirma: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Como resultado, os seus resultados são gerados por muitos padrões aprendidos que atuam em conjunto, e não por um pequeno conjunto de regras transparentes e legíveis por pessoas. Por isso, previsões individuais nem sempre podem ser explicadas de forma simples, característica por característica.) O processo de decisão do modelo não pode ser reduzido a uma lista de métricas. O classificador aprendeu padrões a partir dos dados de treinamento, e esses padrões atuam em conjunto de maneiras que não se explicam como características isoladas.

Há o risco de ler demais a declaração oficial. Se o Turnitin diz que não usa perplexity, e a perplexity é uma medida da probabilidade das palavras, isso significa que o Turnitin ignora totalmente a probabilidade das palavras? Não. A mesma página de perguntas frequentes traz o contrapeso decisivo: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Os nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e conhecem bem as sequências de probabilidade das palavras típicas de quem escreve como um humano.)

Essa frase impede uma interpretação simplista. O Turnitin nega ter programado explicitamente burstiness e perplexity como métricas nomeadas. Não nega que a probabilidade das palavras seja central para o que o classificador faz. A mesma documentação confirma que a probabilidade das palavras é exatamente aquilo para o que o classificador é treinado. A distinção está entre calcular uma métrica nomeada chamada "perplexity" e aprender padrões de probabilidade das palavras a partir dos dados de treinamento.

Perplexity é uma medida da probabilidade das palavras. Perplexity baixa significa que as palavras são previsíveis dado o contexto. Perplexity alta significa que são menos previsíveis. O classificador do Turnitin aprende padrões de probabilidade das palavras, portanto o conceito que a perplexity mede é relevante para o que o modelo faz. O que o Turnitin nega é o cálculo explícito de uma única pontuação de perplexity como característica nomeada. O modelo baseado em transformer aprende padrões estatísticos complexos a partir dos dados de treinamento, e esses padrões incluem informação sobre a probabilidade das palavras sem se reduzirem a uma única métrica nomeada.

O GPTZero, por outro lado, declara publicamente que usa perplexity e burstiness como métricas nomeadas. Essa é uma diferença real entre os dois detectores. Confundir os dois leva a maus conselhos. O que funciona no GPTZero não vale necessariamente para o Turnitin, porque as duas ferramentas usam abordagens diferentes.

Se o Turnitin não calcula perplexity e burstiness, o que ele faz então? A documentação descreve um fluxo bem diferente da abordagem baseada em métricas que os artigos dos concorrentes descrevem. O Turnitin afirma: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase elegível dentro dessas seções herda a pontuação da seção. Como as seções se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas em uma única pontuação. Essas pontuações por frase são agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.)

O seu trabalho não é avaliado como um bloco único. As frases são extraídas e divididas em seções sobrepostas. Cada seção recebe uma pontuação entre 0 e 1. Como as seções se sobrepõem, uma mesma frase pode aparecer em várias seções e herdar várias pontuações. Essas pontuações são reunidas e depois agregadas na porcentagem final do documento.

Esse mecanismo é fundamentalmente diferente de calcular uma pontuação de perplexity e uma de burstiness e combiná-las. O classificador avalia o texto no nível da seção e aprende padrões estatísticos que distinguem a escrita humana da escrita gerada por IA. Esses padrões incluem informação sobre a probabilidade das palavras, aprendida a partir dos dados de treinamento em vez de programada como métricas nomeadas.

Entender o mecanismo real muda os conselhos que você deve seguir. Se você acredita que o Turnitin calcula perplexity, pode acabar introduzindo palavras imprevisíveis. Se acredita que ele calcula burstiness, pode variar o comprimento das suas frases. Nenhuma das duas estratégias mira o alvo certo.

O classificador do Turnitin aprende padrões estatísticos a partir dos dados de treinamento. Ele não calcula uma pontuação de perplexity para o seu texto. Os padrões que aprendeu são complexos e nem sempre explicáveis de forma simples, característica por característica, como diz a documentação. Não existe uma fórmula simples com a qual você possa "vencer" o detector otimizando uma única métrica.

O que você pode fazer é escrever de formas que reflitam uma autoria humana genuína. A escrita humana costuma incluir escolhas de palavras e formulações que diferem dos padrões estatísticos que os modelos de IA produzem. O classificador é treinado para reconhecer as sequências de probabilidade das palavras características de quem escreve como um humano. Escrever com a sua própria voz, com a sua variação natural, é exatamente o que o classificador foi criado para reconhecer como humano.

O mito de perplexity e burstiness leva a esforço desperdiçado. Quem escreve gasta tempo otimizando métricas que o Turnitin não calcula. A distinção entre o GPTZero (que realmente usa perplexity e burstiness) e o Turnitin (que não usa) significa que um conselho calibrado para uma ferramenta pode ser irrelevante para a outra.

Passagens elegíveis podem ser reprocessadas sem custo. Experimente a ferramenta HumanPen aqui.