El detector de IA de Scribbr frente a Turnitin: lo que dice realmente la documentación

El detector de IA de Scribbr es una herramienta gratuita al alcance de cualquiera. La detección de escritura con IA de Turnitin es exclusiva de instituciones, y si tu propia universidad la tiene activada es otra pregunta, que se responde en ¿usan las universidades detectores de IA?. Las dos herramientas las construyen equipos distintos con modelos distintos. Cada una se entrenó con sus propios datos y clasifica el texto con su propio criterio. Cuando dos detectores usan modelos distintos, dan puntuaciones distintas al mismo texto. Un pasaje que Scribbr marca con un 65 % de IA puede recibir un 30 % en Turnitin, o al revés. Ninguno de los dos resultados es necesariamente erróneo. Son estimaciones de probabilidad de modelos distintos entrenados con conjuntos de datos distintos.

No existe una puntuación universal de detección de IA en la que confluyan todas las herramientas, y las razones están expuestas en por qué el mismo texto puntúa distinto en cada detector. Cada detector produce su propia estimación. Tratar las puntuaciones de herramientas distintas como si midieran lo mismo y en las mismas unidades solo genera confusión.

No afirmamos cuál de las dos herramientas es más precisa. Contamos lo que dice la documentación de Turnitin sobre su propio sistema y por qué ese sistema produce puntuaciones que no van a cuadrar con las de Scribbr.

Turnitin documenta un proceso concreto para llegar a su puntuación de escritura con IA:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y se dividen en secciones solapadas para el análisis de predicción. Cada sección la clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o generado por IA. Cada oración válida dentro de esas secciones hereda la puntuación de la sección. Como las secciones se solapan, algunas oraciones pueden tener varias puntuaciones, que luego se agrupan en una sola. Esas puntuaciones por oración se agregan y se usan para calcular la puntuación de escritura con IA del documento completo.)

El proceso pasa por extraer las oraciones, dividirlas en unidades solapadas, puntuar cada unidad, agrupar las puntuaciones de las oraciones y agregarlo todo en un porcentaje a nivel de documento. Otros detectores, Scribbr incluido, pueden usar estrategias de segmentación distintas, unidades de predicción distintas o métodos de agregación distintos. Las dos herramientas no darán las mismas cifras con el mismo texto.

La documentación de Turnitin aclara también que el porcentaje de detección de escritura con IA y la puntuación de similitud son cosas distintas. «The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.» (La puntuación de similitud y el porcentaje de detección de escritura con IA son completamente independientes y no se influyen mutuamente.) Un documento puede tener una similitud alta y poca IA, o al revés. Las dos cifras no se influyen entre sí.

Turnitin publica un objetivo concreto de falsos positivos:

«We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.» (Nos esforzamos por maximizar la eficacia de nuestro detector manteniendo nuestra tasa de falsos positivos -es decir, identificar erróneamente como generado por IA un texto escrito enteramente por una persona- por debajo del 1 % en documentos con más de un 20 % de escritura con IA.)

El matiz importa. El objetivo se enuncia concretamente para documentos con más de un 20 % de escritura con IA, un umbral que no significa lo que la gente supone, como se ve en ¿es demasiado un 20 % de IA?. Esto es lo que dice Turnitin sobre su propio sistema. Scribbr puede tener otros objetivos de precisión, otros procesos de validación o puede no publicar cifras comparables. No podemos hacer una comparación directa de precisión. Solo podemos contar lo que dice la documentación de Turnitin.

La extensión del documento afecta a la manera en que el detector de Turnitin procesa el texto. En los documentos cortos, el mecanismo de puntuación se comporta de otra forma. La documentación indica:

«In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.» (En documentos más cortos, de solo unos cientos de palabras, la predicción será básicamente «todo o nada», porque estamos prediciendo sobre un único segmento sin oportunidad de solapamiento.)

«This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.» (Esto significa que algunos textos que mezclan contenido generado por IA y contenido propio podrían marcarse como enteramente generados por IA.)

El mecanismo de solapamiento que promedia las puntuaciones en los documentos largos no actúa cuando el texto es un único segmento. Unos cientos de palabras que mezclen contenido humano y de IA pueden devolver un 100 %, una de las vías que se describen en por qué Turnitin dice que tu trabajo es 100 % IA. Es un comportamiento estructural con entradas cortas. Puede que Scribbr procese los documentos cortos con otro mecanismo y llegue a un resultado distinto con el mismo texto.

Turnitin oculta las puntuaciones numéricas por debajo del 20 %. La documentación indica:

«To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.» (Para evitar la posible aparición de falsos positivos, no se atribuye ninguna puntuación ni resaltado a los valores de detección de IA en el rango del 1 % al 19 %. Cuando se detecta IA por debajo del umbral del 20 % en el informe, ahora se indica con un asterisco (*%) y no se atribuye ningún porcentaje.)

Un documento que el modelo de Turnitin estima en un 10 % de IA mostrará un asterisco en el informe, no el número 10 %. No se aplica ningún resaltado al texto. La razón es no dar visibilidad a posibles falsos positivos en un rango de baja confianza, algo que qué significa el asterisco (*%) en una puntuación de IA de Turnitin explica con más detalle.

Scribbr puede mostrar las puntuaciones de este rango como un porcentaje completo. Otras herramientas pueden resaltar el texto a partir de cualquier nivel distinto de cero. Turnitin oculta deliberadamente tanto la cifra como los resaltados por debajo del 20 %. Esta convención hace que las dos herramientas presenten resultados muy distintos para el mismo documento con poca IA.

Si estás comparando los resultados de Scribbr y Turnitin en el mismo documento, este es el resumen:

• Modelos distintos, puntuaciones distintas. Scribbr y Turnitin usan modelos de detección distintos. No se espera que sus puntuaciones coincidan.
• Turnitin puntúa segmentando y agregando. Las oraciones se extraen, se dividen en unidades solapadas, se puntúan, se agrupan y se agregan. La puntuación de IA y la de similitud son totalmente independientes.
• Turnitin se marca menos de un 1 % de falsos positivos en documentos con más de un 20 % de escritura con IA.
• Los documentos cortos reciben puntuaciones de todo o nada. Unos cientos de palabras pueden volver como 0 % o 100 % aunque el texto sea mixto.
• Las puntuaciones por debajo del 20 % aparecen como un asterisco. En el rango del 1-19 % no aparece ni porcentaje numérico ni resaltados.

Los pasajes que cumplen los requisitos se pueden volver a procesar sin coste.