ZeroGPT frente a Turnitin: por qué no coinciden sus puntuaciones de detección de IA

ZeroGPT y Turnitin son detectores de IA distintos: modelos distintos, datos de entrenamiento distintos y umbrales de clasificación distintos. Que ZeroGPT te dé una puntuación baja no significa que Turnitin vaya a darte otra igual. Según sus preguntas frecuentes, Turnitin divide el texto en segmentos que se solapan y asigna a cada uno una probabilidad entre 0 y 1. En esas mismas preguntas frecuentes se fija como objetivo mantener los falsos positivos por debajo del 1% en los documentos con más de un 20% de texto escrito con IA. Además, Turnitin recurre a un asterisco en las puntuaciones de entre el 1% y el 19%: oculta la cifra exacta para no aparentar más precisión de la que tiene. ZeroGPT publica sus propias cifras de precisión, pero son las que declara el propio proveedor y no se pueden contrastar con la documentación de Turnitin. Si tu centro usa Turnitin, la puntuación de ZeroGPT no te anticipa nada.

Las preguntas frecuentes describen así el proceso de detección:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Cuando se envía un trabajo a Turnitin, las frases del texto se extraen y se dividen en secciones solapadas para someterlas a un análisis predictivo. Cada sección la clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o esté generado por IA.)

Como los segmentos se solapan, una misma frase puede recibir varias puntuaciones que luego se combinan en un porcentaje a nivel de documento. ZeroGPT usa su propio modelo, que no aparece documentado en los materiales de Turnitin y que bien podría clasificar el texto de una manera totalmente distinta.

Las preguntas frecuentes afirman:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Nos esforzamos por maximizar la eficacia de nuestro detector y, al mismo tiempo, mantener la tasa de falsos positivos —es decir, identificar como generado por IA un texto escrito por completo por una persona— por debajo del 1% en los documentos con más de un 20% de texto de IA.)

Y la frase siguiente: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Dicho de otro modo: podría ocurrir que marcáramos como escrito por IA uno de cada 100 documentos escritos íntegramente por una persona.)

Para las puntuaciones bajas, Turnitin opta por no dar la cifra:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar la posible aparición de falsos positivos, no se atribuye ninguna puntuación ni resaltado a las detecciones de IA situadas entre el 1% y el 19%. Cuando el informe detecta IA por debajo del umbral del 20%, ahora se indica con un asterisco (*%) y no se atribuye ningún porcentaje.)

ZeroGPT no sigue esta convención: incluso en el rango de baja confianza suele mostrar un porcentaje concreto. Un trabajo que en Turnitin aparece como «*%» puede aparecer en ZeroGPT como «12%». Que lo muestren de forma distinta no indica cuál de las dos herramientas es más precisa; indica que cada una maneja el rango incierto a su manera. De la parte que le toca a Turnitin se ocupa Qué significa el asterisco (*%) en una puntuación de IA de Turnitin.

Las preguntas frecuentes describen un comportamiento concreto en los documentos cortos:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En los documentos más cortos, de apenas unos cientos de palabras, la predicción será casi siempre «todo o nada», porque se hace sobre un único segmento y no hay ocasión de solapar.)

Y la frase siguiente: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Esto significa que un texto que mezcle contenido generado por IA con contenido original podría quedar marcado como si estuviera generado por IA por completo.)

Esto es propio de la forma en que Turnitin segmenta el texto. ZeroGPT puede comportarse igual o no en los textos cortos; no hay modo de saberlo. Si pruebas un resumen de 300 palabras en ZeroGPT y te sale 0%, eso no te dice nada de lo que hará Turnitin con el mismo texto, porque su predicción sobre un único segmento puede irse al extremo cuando la entrada es corta. Ese vaivén llevado hasta el final es justo lo que explica Por qué Turnitin dice que tu trabajo es 100% IA.

En Turnitin, la puntuación de IA y la de similitud son independientes: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (La puntuación de similitud y el porcentaje de detección de escritura con IA son totalmente independientes y no se influyen entre sí.) Algunas herramientas gratuitas meten la IA y la similitud en una sola cifra, y por eso sus resultados no son comparables, ni siquiera en su estructura, con el porcentaje de IA que Turnitin ofrece por separado.

Para tu entrega, lo único que cuenta es la puntuación que emita la herramienta que usa tu centro. Si tu universidad usa Turnitin, por muchas veces que pases el texto por ZeroGPT no vas a saber qué puntuación te dará Turnitin. Pasar el trabajo por varios detectores gratuitos puede darte una idea general de si el texto tiene patrones que recuerdan a la IA, pero eso no sustituye el resultado de la herramienta institucional. Por qué un mismo texto recibe una puntuación distinta en cada detector explica por qué esa dispersión es estructural y no un fallo de una de ellas.

En resumen, lo que hemos visto hasta aquí:

• ZeroGPT y Turnitin son detectores distintos, con modelos distintos: sus puntuaciones no van a coincidir.
• El detector de Turnitin divide el texto en segmentos solapados y asigna a cada uno una probabilidad.
• Turnitin se propone mantenerse por debajo del 1% de falsos positivos en los documentos con más de un 20% de texto escrito con IA.
• Turnitin usa un asterisco en las puntuaciones del 1% al 19% para no aparentar una precisión que no tiene en un rango tan propenso a los falsos positivos.
• En los documentos cortos, Turnitin evalúa un único segmento y la predicción acaba siendo de todo o nada.
• La única puntuación que cuenta es la de la herramienta que usa tu centro.

Si recibes un informe de IA de Turnitin y quieres ocuparte de los pasajes marcados, importa el informe y trabaja sobre ellos. Los pasajes que cumplan los requisitos se pueden volver a procesar sin coste.