Turnitin publica dos tasas de falsos positivos distintas. La de las frases es del 4 %.

Si tienes delante un informe con un par de frases marcadas, el 4 % es la probabilidad de que cualquiera de esas frases marcadas esté escrita en realidad por una persona. El marcador sobre esa frase concreta puede ser erróneo, y «alrededor del 4 %» es la frecuencia con la que eso ocurre. Es una cifra por frase, no por documento, y la una no se puede deducir de la otra.

Annie Chechitelli, directora de producto de Turnitin, lo explicó así en junio de 2023:

«Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content.» (Nuestra tasa de falsos positivos a nivel de frase ronda el 4 %. Esto significa que hay un 4 % de probabilidades de que una frase concreta marcada como escrita por IA esté en realidad escrita por una persona. Esto ocurre con más frecuencia en documentos que mezclan contenido escrito por personas y por IA, sobre todo en las transiciones entre unos y otros.)

El 4 % se aplica a una frase que ya está marcada. Dice algo sobre la fiabilidad de un marcador individual, no sobre cuántos marcadores verás en un documento completo.

Para documentos, Turnitin publica una tasa aparte, más baja:

«Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing.» (Nuestra tasa de falsos positivos por documento, es decir, identificar erróneamente como generado por IA, dentro de un documento, un texto escrito íntegramente por una persona, es inferior al 1 % en documentos con un 20 % o más de escritura por IA.)

Dos cosas destacan. Por un lado, la tasa describe el caso de un documento entero marcado erróneamente como portador de texto de IA cuando en realidad está escrito íntegramente por una persona. Y por otro, la cifra de menos del 1 % está condicionada expresamente a documentos que contienen un 20 % o más de escritura por IA, es decir, documentos mixtos en los que sí hay texto de IA.

Aquí está la parte en la que es fácil equivocarse y donde conviene ser preciso: ninguna de las dos cifras publicadas se aplica a un trabajo que escribiste tú por completo.

El 4 % se describe como una característica de los documentos mixtos, «particularly in the transitions between human- and AI-written content.» (sobre todo en las transiciones entre contenido escrito por personas y por IA). Un trabajo sin texto de IA no tiene esas transiciones, así que el escenario al que Turnitin vincula el 4 % no describe tu situación.

Pero la cifra de menos del 1 % tampoco entra a cubrirte. Lee otra vez su propio enunciado: es «less than 1% for documents with 20% or more AI writing.» (menos del 1 % en documentos con un 20 % o más de escritura por IA). Esa cifra lleva una condición, y un documento sin escritura de IA no la cumple.

Así que las dos cifras tienen un ámbito, y un trabajo enteramente humano queda fuera de las dos. Conviene saberlo antes de que alguien te lance cualquiera de ellas como si con eso la cuestión estuviera zanjada.

Turnitin dio un dato concreto sobre dónde aparecen esas frases mal marcadas:

«As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing.» (Como expliqué en mi artículo anterior, existe una correlación entre estas frases y su proximidad en el documento a texto realmente escrito por IA. En el 54 % de los casos, estas frases están situadas justo al lado de texto escrito de verdad por IA.)

«Estas frases» se refiere a los falsos positivos: las frases escritas por una persona que aun así quedaron marcadas. Más de la mitad están justo al lado de texto escrito de verdad por IA. Esto coincide con la afirmación anterior de que las transiciones entre escritura humana y escritura por IA son el punto donde se concentran los falsos positivos.

Y por eso el dato apunta en la dirección contraria en tu caso. Si los marcadores están dispersos por un trabajo en el que no hay texto de IA por ninguna parte, el mecanismo que Turnitin describe aquí no es el que los está produciendo. Es un relato de dónde se agrupan sus errores en documentos mixtos, y nada más.

El mismo artículo deja claro que un resaltado es un punto de partida, no una conclusión, y se lo dice al profesorado, que es justo quien tú quieres que lo lea:

«Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion.» (Considera las frases resaltadas como zonas de interés, porque se prevé que estén cerca de donde hay escritura por IA. Pero en un pequeño porcentaje de las veces el modelo de IA puede equivocarse. Así que usa la información para iniciar una conversación, no para sacar una conclusión.)

También descarta aquello con lo que los estudiantes más a menudo creen que se les está midiendo. No hay ninguna cifra que debas alcanzar:

«Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score.» (Recuerda que no existe una puntuación «correcta» ni una puntuación «objetivo» en el indicador de escritura por IA, igual que ocurre con el Similarity Score.)

Nada de lo anterior te dice si tienes un problema, porque ninguna cifra publicada puede hacerlo. Lo que sí te da es una manera de mantener la conversación en el informe mismo y no en un porcentaje.

• Pregunta qué pasajes son, y consigue el informe en lugar de una captura de pantalla. Dos frases resaltadas y una cifra a nivel de documento son cosas distintas. Los resaltados son la única parte que tiene una ubicación a la que puedes señalar.
• Pregunta qué cifra te están citando y lee su condición en voz alta. La cifra de menos del 1 % lleva «for documents with 20% or more AI writing» (para documentos con un 20 % o más de escritura por IA) en su propia frase. Si esa condición no describe tu trabajo, dilo.
• Llévate contigo la instrucción del propio Turnitin. Dice al profesorado que use un resaltado para empezar una conversación, no para llegar a una conclusión. Esa frase va dirigida a la persona que tiene tu informe, y más arriba está citada palabra por palabra.
• Guarda lo que muestre cómo se escribió el trabajo: borradores, historial de versiones, notas, las lecturas que hiciste. Eso sí es prueba de autoría. Un porcentaje no lo es.