Undetectable AI frente a Turnitin: lo que dice realmente la documentación

El detector de Undetectable AI y la detección de escritura con IA de Turnitin los han construido equipos distintos, con modelos subyacentes distintos. Cada uno se entrenó con sus propios datos y clasifica el texto con su propio criterio. Cuando dos detectores usan modelos diferentes, dan puntuaciones diferentes sobre el mismo texto. Un fragmento que Undetectable AI marca como 70% de IA puede recibir un 25% en Turnitin, o al revés. Ninguno de los dos resultados es necesariamente erróneo: son estimaciones de probabilidad hechas por modelos distintos, entrenados con conjuntos de datos distintos.

No existe una puntuación de detección de IA universal a la que converjan todas las herramientas —una idea que se desarrolla en por qué el mismo texto puntúa distinto en cada detector—. Cada detector produce su propia estimación. Tratar las puntuaciones de herramientas distintas como si midieran lo mismo, en las mismas unidades, solo sirve para confundirse.

No estamos diciendo cuál de las dos herramientas es más precisa. Nos limitamos a describir lo que la documentación de Turnitin cuenta sobre su propio sistema, y por qué ese sistema produce puntuaciones que no van a coincidir con las de Undetectable AI.

Turnitin documenta un proceso concreto para llegar a su puntuación de escritura con IA:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." («Cuando se envía un trabajo a Turnitin, las frases del envío se extraen y se dividen en secciones superpuestas para el análisis de predicción. Cada sección la clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o generado por IA. Cada frase válida dentro de esas secciones hereda la puntuación de la sección. Como las secciones se superponen, algunas frases pueden tener varias puntuaciones, que luego se combinan en una sola. Esas puntuaciones por frase se agregan a su vez y se usan para calcular la puntuación general de escritura con IA del documento.»)

El proceso consiste en extraer las frases, dividirlas en unidades superpuestas, puntuar cada sección, combinar las puntuaciones de las frases y agregarlo todo en un porcentaje a nivel de documento. Otros detectores, incluido Undetectable AI, pueden usar estrategias de segmentación distintas, unidades de predicción distintas u otros métodos de agregación. Las dos herramientas no van a dar cifras iguales sobre el mismo texto.

La documentación de Turnitin aclara también que el porcentaje de detección de escritura con IA y la puntuación de similitud son cosas separadas. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (La puntuación de similitud y el porcentaje de detección de escritura con IA son completamente independientes y no se influyen entre sí.) La puntuación de similitud indica el porcentaje de texto coincidente encontrado en el documento enviado, al compararlo con la amplia colección de contenidos que Turnitin usa para la comprobación de similitud. Un documento puede tener mucha similitud y poca IA, o al revés. En informe de escritura con IA de Turnitin frente al informe de similitud se ve qué cuenta cada cifra. Los dos números no se influyen entre sí.

Turnitin publica un objetivo concreto de falsos positivos:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." («Nos esforzamos por maximizar la eficacia de nuestro detector manteniendo nuestra tasa de falsos positivos —identificar erróneamente como generado por IA un texto escrito íntegramente por un humano— por debajo del 1% en documentos con más de un 20% de escritura con IA.»)

La documentación lo reformula así: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (En otras palabras, podríamos marcar como escrito con IA un documento escrito por un humano por cada 100 documentos escritos íntegramente por humanos.) En esa reformulación se pierde el matiz de «más de un 20% de escritura con IA». La versión que incluye el umbral del 20% es la más precisa.

Para validar ese objetivo, Turnitin describe su marco de pruebas: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforzar nuestro marco de pruebas y diagnosticar tendencias estadísticas de falsos positivos, antes de cada actualización o lanzamiento de un modelo nuevo realizamos pruebas con más de 700.000 artículos académicos adicionales, escritos antes del lanzamiento de ChatGPT, con el fin de seguir validando que nuestra tasa de falsos positivos se mantiene por debajo del 1%.)

Esto es lo que Turnitin dice de su propio sistema. Para ver en qué se traduce ese uno por ciento a lo largo de un año de entregas, consulta qué significa una tasa de falsos positivos del 1%. Undetectable AI puede tener otros objetivos de precisión, otros procesos de validación o puede no publicar cifras comparables. No podemos hacer una comparación directa de precisión. Lo único que podemos hacer es contar lo que dice la documentación de Turnitin.

La extensión del documento influye en cómo procesa el texto el detector de Turnitin. Con documentos cortos, el mecanismo de puntuación se comporta de otra manera. La documentación lo dice así:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En los documentos más cortos, de apenas unos cientos de palabras, la predicción será casi siempre «todo o nada», porque estamos prediciendo sobre un único segmento, sin oportunidad de superponer.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Esto significa que un texto que mezcla contenido generado por IA y contenido original podría quedar marcado como generado por IA en su totalidad.)

El mecanismo de superposición que promedia las puntuaciones en los documentos largos no entra en juego cuando el texto es un único segmento. Unos cientos de palabras que mezclen contenido humano y de IA pueden devolver un 100%, y ese es uno de los mecanismos que hay detrás de por qué Turnitin dice que tu trabajo es 100% IA. Es un comportamiento estructural en las entradas cortas.

Si Undetectable AI puntúa ese mismo documento corto de otra forma, es en parte porque las dos herramientas no procesan las entradas cortas del mismo modo.

Turnitin oculta las puntuaciones numéricas por debajo del 20%. La documentación lo explica así:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar posibles casos de falsos positivos, no se atribuye ninguna puntuación ni ningún resaltado a las puntuaciones de detección de IA en el rango del 1% al 19%. Cuando se detecta IA por debajo del umbral del 20% en el informe, ahora se indica con un asterisco (*%) y no se atribuye ningún porcentaje.)

Un documento al que el modelo de Turnitin atribuye un 8% de IA mostrará un asterisco en el informe, no la cifra del 8%. El texto no recibe ningún resaltado. La idea es no dar visibilidad a posibles falsos positivos en un rango de poca fiabilidad, algo que se explica con más detalle en qué significa el asterisco (*%) en una puntuación de IA de Turnitin.

Undetectable AI puede mostrar las puntuaciones de ese rango como un porcentaje completo. Otras herramientas resaltan el texto a partir de cualquier valor que no sea cero. Turnitin, en cambio, oculta deliberadamente tanto la cifra como los resaltados por debajo del 20%. Esta convención de puntuación hace que las dos herramientas muestren resultados muy distintos para un mismo documento con poca IA.

Si estás comparando los resultados de Undetectable AI y Turnitin sobre el mismo documento, este es el resumen:

• Modelos distintos, puntuaciones distintas. Undetectable AI y Turnitin usan modelos de detección diferentes. No se espera que sus puntuaciones coincidan.
• Turnitin puntúa segmentando y agregando. Extrae las frases, las divide en unidades superpuestas, las puntúa, combina las puntuaciones y las agrega. La puntuación de IA y la puntuación de similitud son totalmente independientes.
• Turnitin se marca como objetivo menos de un 1% de falsos positivos en documentos con más de un 20% de escritura con IA, validado con más de 700.000 artículos académicos adicionales escritos antes de ChatGPT.
• Los documentos cortos reciben puntuaciones de todo o nada. Unos cientos de palabras pueden volver como 0% o como 100%, incluso si el texto es mixto.
• Las puntuaciones por debajo del 20% se muestran como un asterisco. En el rango del 1-19% no aparece ni porcentaje numérico ni resaltados.

Los fragmentos que cumplan los requisitos se pueden volver a procesar sin coste.