La tasa de falsos positivos de Turnitin, explicada

Turnitin lo deja claro en su documentación: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Nos esforzamos por maximizar la eficacia de nuestro detector manteniendo nuestra tasa de falsos positivos —identificar erróneamente texto completamente escrito por humanos como generado por IA— por debajo del 1% en documentos con más de un 20% de escritura con IA.)

Esa es la cifra oficial. Pero ojo al matiz que la acompaña: ese objetivo se aplica a documentos con más de un 20% de escritura con IA, no a todos los documentos. Turnitin no está diciendo que uno de cada cien documentos en general sea un falso positivo. La tasa se define dentro de una población concreta: documentos que ya tienen al menos un 20% de contenido generado por IA.

Turnitin reformula el número en lenguaje sencillo para que quede claro: aproximadamente uno de cada cien documentos completamente escritos por humanos podría ser marcado como sospechoso. Esta ilustración no cambia el objetivo; simplemente repite la misma cifra condicional, y la condición sigue vigente. Cómo se ve esto en el extremo más radical es otra cuestión: ¿puede un 100% de IA en Turnitin seguir siendo texto humano?

El objetivo del 1% no es una cifra de marketing. Turnitin describe el proceso de validación que hay detrás: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforzar nuestro marco de pruebas y diagnosticar tendencias estadísticas de falsos positivos, antes de cada actualización o lanzamiento de un nuevo modelo, realizamos pruebas con más de 700.000 trabajos académicos adicionales que fueron escritos antes del lanzamiento de ChatGPT para validar aún más nuestra tasa de falsos positivos inferior al 1%.)

Tres detalles de esa frase merecen atención. Primero, el corpus de prueba es amplio: más de 700.000 trabajos. Segundo, los trabajos son anteriores a ChatGPT, así que son genuinamente humanos. Tercero, las pruebas se ejecutan antes de cada actualización o lanzamiento de modelo, no solo una vez. La cifra del 1% se revalida con un corpus nuevo de escritura académica conocida como humana cada vez que el modelo cambia.

Esto importa cuando ves la cifra repetida en sitios de terceros. La cifra oficial está ligada a un procedimiento de prueba específico. Cuando alguien dice "Turnitin has a 1% false positive rate" (Turnitin tiene una tasa de falsos positivos del 1%) sin matices, normalmente se refiere a documentos con más de un 20% de escritura con IA, validados contra trabajos académicos anteriores a ChatGPT. El matiz forma parte de lo que la afirmación oficial realmente dice.

La parte más importante de la documentación no es el objetivo del 1% en sí. Es el compromiso que Turnitin acepta explícitamente para alcanzarlo. La declaración completa dice: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para mantener esta baja tasa del 1% de falsos positivos, existe la posibilidad de que podamos pasar por alto parte del texto escrito con IA en un documento. Nos sentimos cómodos con eso, ya que no queremos señalar incorrectamente texto escrito por humanos como escrito por IA. Por ejemplo, si identificamos que el 50% de un documento probablemente fue escrito por una herramienta de IA, podría contener hasta un 65% de escritura con IA.)

Esto es inusual. Un producto de detección está declarando públicamente que prefiere pasar por alto texto con IA antes que marcar erróneamente texto humano. La frase "We're comfortable with that" (Nos sentimos cómodos con eso) es la empresa haciendo explícito un compromiso. Los falsos positivos son lo que optimizan; los falsos negativos son el costo aceptado.

La última frase detalla la consecuencia práctica. Cuando el informe dice que un documento tiene un 50% de IA, la proporción real podría llegar hasta el 65%. El porcentaje reportado puede subestimar el contenido real con IA. Esa es una propiedad diseñada del sistema, no un error; y se deriva directamente del objetivo de baja tasa de falsos positivos.

Una vez que mantienes el matiz asociado, la "false positive rate" (tasa de falsos positivos) se convierte en una herramienta más precisa que la versión simplificada. Esto es lo que implican realmente los números documentados.

Primero, la tasa tiene como objetivo documentos con más de un 20% de escritura con IA. Los documentos por debajo de ese umbral están fuera de la condición declarada, y Turnitin no hace una afirmación separada sobre ellos. La cifra oficial del 1% no es una afirmación global sobre todos los envíos.

Segundo, pasar por alto texto con IA forma parte del diseño. Como el sistema se ajusta contra falsos positivos, algo de texto con IA se cuela. Una puntuación reportada que no es alta no significa de forma fiable que el documento sea completamente humano. Puede significar que el contenido con IA fue subestimado.

Tercero, una puntuación reportada alta es una señal más fuerte que una puntuación baja. Si el informe dice que un documento tiene, digamos, un 80% de IA, la lógica del compromiso sigue aplicando: la proporción real podría ser aún mayor. Pero la dirección del error es lo importante: el sesgo conocido del modelo es subestimar, así que una puntuación alta es más difícil de descartar que una baja.

En la práctica, esto se lee así: los falsos positivos ocurren raramente, los falsos negativos ocurren con más frecuencia, una puntuación baja no es prueba de autoría humana, y una puntuación alta es comparativamente más fiable. Nada de esto contradice los documentos. Es lo que implica el compromiso documentado. El proveedor también publica orientación para la persona que evalúa tu puntuación: lo que tu instructor debe hacer cuando tu porcentaje de IA es alto.

La propia guía de Turnitin sitúa la puntuación dentro de un marco de decisión más amplio. La documentación establece: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nuestro modelo de detección de escritura con IA puede no ser siempre preciso —puede identificar erróneamente texto escrito por humanos, generado por IA y parafraseado con IA—, por lo que no debe usarse como única base para acciones adversas contra un estudiante.)

Continúa: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Se necesita un escrutinio adicional y juicio humano junto con la aplicación por parte de una organización de sus políticas académicas específicas para determinar si se ha producido una falta académica.)

Ese es el marco en el que deben operar estudiantes y educadores. El porcentaje es un dato. El veredicto es una decisión tomada por humanos: el instructor, el departamento, la institución, aplicando sus propias políticas académicas. Turnitin mismo dice que la puntuación no debe llevar la decisión por sí sola. La empresa también mantiene un canal para el error mismo: cómo reportar un falso positivo a Turnitin.

Si no estás de acuerdo con una puntuación, el camino documentado es tratar el número como un dato más y plantearlo con la persona que tiene el contexto académico: tu instructor. Ese es el paso que describen los documentos oficiales, y es el paso más consistente con el propio enfoque de la empresa. Si eso no lo resuelve, cómo apelar una marca falsa de detección de IA y qué evidencia aceptará tu universidad establece qué viene después.

Teniendo todo esto en mente, la conclusión práctica es simple: la puntuación existe para ser interpretada, y un número marcado es el inicio de una conversación, no el final. Si quieres ver cómo se lee tu propio borrador antes de enviarlo, nuestra nueva versión gratuita te permite comprobar tu texto. Pruébala aquí.