El mito de perplexity y burstiness: qué usa Turnitin en realidad

Si buscas «cómo detecta Turnitin la escritura con IA», encontrarás decenas de artículos que repiten la misma afirmación: Turnitin usa perplexity y burstiness para detectar texto generado por IA. Esa afirmación aparece en sitios como aihumaniser.pro, blog.aibusted.com y humanizethisai.com, y en varios artículos chinos en sohu.com. Allí definen ambas métricas, se las atribuyen a Turnitin y dan consejos para «bajar tu puntuación de perplexity» y pasar la detección.

El problema es que esa afirmación es falsa. La propia documentación de Turnitin dice lo contrario. Hemos leído las preguntas frecuentes oficiales y contradicen de lleno el relato de perplexity y burstiness sobre el que los sitios de la competencia han construido sus consejos. El mito se ha difundido tanto que muchos estudiantes y escritores creen ahora que deben optimizar para una métrica que Turnitin no calcula.

Esto importa porque una estrategia construida sobre una premisa falsa lleva a malas decisiones. Si crees que Turnitin calcula una puntuación de perplexity, podrías concentrarte en meter palabras al azar para manipular una métrica que no existe. El mecanismo real es distinto.

Las preguntas frecuentes oficiales de Turnitin abordan directamente la cuestión de perplexity y burstiness. La documentación afirma: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Nuestro modelo no está programado explícitamente para evaluar señales concretas como 'burstiness', 'perplexity' u otras métricas individuales que a veces se mencionan en los debates públicos.) La frase siguiente continúa: «Instead, it learns statistical patterns from our training data.» (En cambio, aprende patrones estadísticos a partir de nuestros datos de entrenamiento.)

Es una negación inequívoca. Turnitin no hace ningún cálculo de perplexity sobre tu texto. El modelo no mira una puntuación de burstiness ni comprueba si la longitud de tus frases varía lo suficiente. El sistema no funciona calculando un pequeño conjunto de métricas con nombre y metiéndolas en una fórmula.

La documentación va más allá y explica por qué. Turnitin afirma: «As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms.» (Como resultado, sus salidas se generan a partir de muchos patrones aprendidos que actúan en conjunto, y no a partir de un pequeño conjunto de reglas transparentes y legibles para las personas. Por eso, las predicciones individuales no siempre pueden explicarse de forma sencilla característica por característica.) El proceso de decisión del modelo no se puede reducir a una lista de métricas. El clasificador aprendió patrones de los datos de entrenamiento, y esos patrones actúan en conjunto de maneras que no se explican como características individuales.

Hay riesgo de leer de más la declaración oficial. Si Turnitin dice que no usa perplexity, y la perplexity es una medida de la probabilidad de las palabras, ¿significa eso que Turnitin ignora por completo la probabilidad de las palabras? No. La misma página de preguntas frecuentes aporta el contrapeso decisivo: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (Nuestros clasificadores están entrenados para detectar estas diferencias en la probabilidad de las palabras y conocen bien las secuencias de probabilidad de palabras propias de quienes escriben como humanos.)

Esta frase impide una interpretación simplista. Turnitin niega haber programado explícitamente burstiness y perplexity como métricas con nombre. No niega que la probabilidad de las palabras sea central en lo que hace el clasificador. La misma documentación confirma que la probabilidad de las palabras es exactamente aquello sobre lo que se entrena el clasificador. La distinción está entre calcular una métrica con nombre llamada «perplexity» y aprender patrones de probabilidad de palabras a partir de los datos de entrenamiento.

La perplexity es una medida de la probabilidad de las palabras. Una perplexity baja significa que las palabras son predecibles dado el contexto. Una perplexity alta significa que lo son menos. El clasificador de Turnitin aprende patrones de probabilidad de palabras, así que el concepto que mide la perplexity sí es relevante para lo que hace el modelo. Lo que Turnitin niega es el cálculo explícito de una única puntuación de perplexity como característica con nombre. El modelo basado en transformadores aprende patrones estadísticos complejos de los datos de entrenamiento, y esos patrones incluyen información sobre la probabilidad de las palabras sin reducirse a una sola métrica con nombre.

GPTZero, en cambio, sí declara públicamente que usa perplexity y burstiness como métricas con nombre. Esa es una diferencia real entre los dos detectores. Confundirlos lleva a dar malos consejos. Lo que funciona en GPTZero no vale necesariamente para Turnitin, porque las dos herramientas emplean enfoques distintos.

Si Turnitin no calcula perplexity ni burstiness, ¿qué hace entonces? La documentación describe un proceso bastante distinto del enfoque basado en métricas que describen los artículos de la competencia. Turnitin afirma: «When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Cuando se envía un trabajo a Turnitin, las frases del envío se extraen y se dividen en secciones superpuestas para el análisis de predicción. Cada sección la clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o generado por IA. Cada frase calificable dentro de esas secciones hereda la puntuación de la sección. Como las secciones se superponen, algunas frases pueden tener varias puntuaciones, que después se agrupan en una sola. Estas puntuaciones por frase se agregan a su vez y se usan para calcular la puntuación general de escritura con IA del documento.)

Tu trabajo no se evalúa como un único bloque. Las frases se extraen y se dividen en secciones superpuestas. Cada sección recibe una puntuación entre 0 y 1. Como las secciones se superponen, una misma frase puede aparecer en varias secciones y heredar varias puntuaciones. Esas puntuaciones se agrupan y luego se agregan en el porcentaje final del documento.

Este mecanismo es fundamentalmente distinto de calcular una puntuación de perplexity y otra de burstiness y combinarlas. El clasificador evalúa el texto a nivel de sección y aprende patrones estadísticos que distinguen la escritura humana de la generada por IA. Esos patrones incluyen información sobre la probabilidad de las palabras, aprendida de los datos de entrenamiento en lugar de programada como métricas con nombre.

Entender el mecanismo real cambia los consejos que conviene seguir. Si crees que Turnitin calcula perplexity, podrías introducir palabras imprevisibles. Si crees que calcula burstiness, podrías variar la longitud de tus frases. Ninguna de las dos estrategias apunta al objetivo correcto.

El clasificador de Turnitin aprende patrones estadísticos de los datos de entrenamiento. No calcula una puntuación de perplexity para tu texto. Los patrones que aprendió son complejos y no siempre explicables de forma sencilla característica por característica, como dice la documentación. No existe una fórmula sencilla con la que «vencer» al detector optimizando una sola métrica.

Lo que puedes hacer es escribir de forma que se note una autoría humana genuina. La escritura humana suele incluir elecciones de palabras y giros que se apartan de los patrones estadísticos que producen los modelos de IA. El clasificador está entrenado para reconocer las secuencias de probabilidad de palabras características de los escritores humanos. Escribir con tu propia voz, con su variación natural, es justo lo que el clasificador está diseñado para reconocer como humano.

El mito de perplexity y burstiness hace que el esfuerzo acabe en el sitio equivocado. Quien escribe pierde tiempo optimizando métricas que Turnitin no calcula. La distinción entre GPTZero (que sí usa perplexity y burstiness) y Turnitin (que no) implica que un consejo calibrado para una herramienta puede ser irrelevante para la otra.

Los pasajes que cumplen los requisitos pueden volver a procesarse sin coste. Prueba la herramienta HumanPen aquí.