Probabilidad de las palabras y Turnitin: qué lee realmente el clasificador

Cada palabra de una frase tiene una probabilidad de aparecer en ese contexto concreto. Si escribes «El experimento mostró un resultado», la palabra siguiente es más probable que sea «significativo» y no «piña». Los modelos de lenguaje estiman esas probabilidades a partir del contexto previo, y el clasificador de Turnitin hace lo mismo, aunque de otra manera.

La probabilidad de las palabras indica hasta qué punto cada elección resulta predecible a partir de las palabras anteriores. Los modelos de generación de texto tienden a elegir la opción más esperable, la más común desde el punto de vista estadístico. Las personas, en cambio, eligen con frecuencia palabras menos predecibles: verbos insólitos, sustantivos propios de su campo o giros que rompen el patrón estadístico que seguiría un modelo de IA.

Turnitin lo dice sin rodeos: sus clasificadores están «trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (entrenados para detectar estas diferencias en la probabilidad de las palabras y habituados a las secuencias de probabilidad propias de las personas que escriben). El clasificador no cuenta palabras clave. Compara la distribución de probabilidad de las palabras que eliges con los patrones que aprendió de unos datos de entrenamiento que contenían tanto texto humano como texto generado por IA.

Esto importa porque dos textos pueden ser gramaticalmente perfectos y aun así diferir mucho en la probabilidad de sus palabras. Una persona puede introducir una metáfora inesperada, usar una expresión coloquial dentro de una frase académica o repetir una palabra allí donde un modelo de IA habría usado un sinónimo. Cada una de esas decisiones desplaza el perfil de probabilidad que lee el clasificador.

Cuando un trabajo llega a Turnitin, el proceso empieza por la segmentación. Se extraen las frases, se dividen en secciones que se solapan y cada sección recibe una puntuación independiente del modelo de detección de IA. Cada segmento obtiene un valor entre 0 y 1, que representa la probabilidad de que el texto esté generado por IA en lugar de escrito por una persona.

Turnitin describe el proceso con claridad: «Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.» (Cada segmento es clasificado por el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o esté generado por IA.) Las frases que caen dentro de segmentos solapados heredan esas puntuaciones, y cuando una frase aparece en varios segmentos solapados, sus puntuaciones se combinan en un único valor. Esas puntuaciones por frase se agregan después en la puntuación global de escritura con IA del documento.

En el centro de este proceso hay un modelo basado en transformers. La documentación de arquitectura de Turnitin afirma: «Our current system uses a modern deep learning approach based on the transformer architecture.» (Nuestro sistema actual emplea un enfoque moderno de aprendizaje profundo basado en la arquitectura transformer.) El transformer lee secuencias de probabilidad de palabras a lo largo de los segmentos y aprende qué secuencias son características de la escritura humana y cuáles lo son de la generación por IA.

La clave es que el clasificador no mira una palabra aislada. Lee secuencias de decisiones léxicas a lo largo de segmentos enteros de texto. Una sola palabra insólita apenas moverá tu puntuación, pero un patrón sostenido de elecciones de baja probabilidad, del tipo que a una persona le sale sin pensar, se registrará como humano. Al contrario, un patrón sostenido de elecciones muy probables y estadísticamente predecibles se registrará como propio de la IA.

Muchos artículos sobre detección de IA mencionan la «perplejidad» como una métrica central. La perplejidad es, por definición, una medida de la probabilidad de las palabras. Cuantifica cuánto sorprende a un modelo de lenguaje una secuencia de palabras concreta. Una perplejidad baja significa que las palabras eran predecibles; una alta, que no lo eran.

Aquí entra un matiz decisivo. Turnitin niega explícitamente calcular la perplejidad como una métrica con nombre propio: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Nuestro modelo no está programado explícitamente para evaluar señales concretas como «burstiness», «perplexity» u otras métricas individuales que a veces se mencionan en debates públicos.) Y añaden: «Instead, it learns statistical patterns from our training data.» (En cambio, aprende patrones estadísticos a partir de nuestros datos de entrenamiento.)

Entonces, ¿Turnitin comprueba o no la perplejidad? La respuesta es más matizada que un sí o un no. La perplejidad es una medida de la probabilidad de las palabras y el clasificador de Turnitin está entrenado con patrones de probabilidad de palabras. Pero no calcula una única puntuación de perplejidad para introducirla en una fórmula. El transformer aprende patrones estadísticos complejos a partir de los datos de entrenamiento: patrones que incluyen la probabilidad de las palabras, pero que no se reducen a una métrica con nombre propio.

Turnitin lo explica así: «As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules.» (Como resultado, sus resultados se generan a partir de muchos patrones aprendidos que actúan en conjunto, y no de un pequeño conjunto de reglas transparentes y legibles para las personas.) La conclusión práctica es que decir «Turnitin comprueba la perplejidad» es una simplificación excesiva. El clasificador aprende patrones de probabilidad de palabras de forma global, y esos patrones influyen en la puntuación de cada segmento sin reducirse a una fórmula que puedas calcular por tu cuenta.

En julio de 2026, Turnitin introdujo un cambio arquitectónico importante. Su documentación lo confirma: «In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate.» (En julio de 2026 actualizamos la arquitectura de nuestro modelo para consolidar un conjunto de varios modelos en un único modelo. Esta actualización mejora y simplifica el informe de escritura con IA y mantiene una tasa de falsos positivos inferior al 1%.)

Antes de este cambio, el sistema usaba varios modelos cuyos resultados se combinaban. Un conjunto de varios modelos puede añadir complejidad a la manera de agregar las puntuaciones, y distintos modelos pueden ponderar de forma distinta los patrones de probabilidad de las palabras. Pasar a un único modelo significa que los patrones de probabilidad que el clasificador aprendió durante el entrenamiento se aplican de manera uniforme en todo el documento.

La tasa de falsos positivos se mantiene por debajo del 1%: de cada 100 documentos escritos enteramente por una persona, menos de uno se marca por error como generado por IA. Para mantener esa tasa tan baja, el modelo puede dejar pasar texto genuinamente generado por IA, un equilibrio que examinamos en la siguiente sección.

Entender que el clasificador lee secuencias de probabilidad de palabras da lugar a varias observaciones prácticas.

Primero: un texto muy pulido y formulario tiende a parecerse más a la IA. El propio Turnitin señala que los falsos positivos suelen darse con «content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (contenido sin mucha variación estructural, texto que se repite literalmente o texto que se ha reformulado sin desarrollar ideas nuevas). Cuando un texto es uniforme en su estructura y emplea palabras comunes y predecibles, puede parecerse a los patrones de alta probabilidad que el clasificador asocia con la generación por IA.

Segundo: un texto con verdadera idiosincrasia tiende a parecer más humano. Las elecciones de palabras insólitas, las estructuras de frase variadas y las formulaciones originales crean secuencias de baja probabilidad asociadas a la autoría humana. No se trata de inyectar errores, sino de expresar las ideas de un modo que refleje una voz personal genuina y no un promedio estadístico.

Tercero: Turnitin reconoce abiertamente que parte del texto de IA pasará inadvertido. Afirman: «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Para mantener esta baja tasa de falsos positivos del 1%, existe la posibilidad de que pasemos por alto parte del texto escrito por IA en un documento.) Y ofrecen un ejemplo concreto: «If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.» (Si identificamos que el 50% de un documento está probablemente escrito por una herramienta de IA, podría contener hasta un 65% de escritura con IA.) Si tu documento queda marcado con un porcentaje intermedio, la proporción real de texto de IA puede ser mayor.

Esta diferencia de calibración tiene dos implicaciones. Para los estudiantes: un falso positivo es poco frecuente, pero posible, sobre todo con prosa académica muy pulida o repetitiva. Para el profesorado: el porcentaje que se comunica debe leerse como una estimación conservadora, no como una medición precisa. La recomendación es clara: escribe con una variación real en el vocabulario y en la estructura, y ten presente que la puntuación refleja una valoración de probabilidad, no un recuento definitivo. Prueba HumanPen aquí.