Por qué las bibliografías anotadas reciben puntuaciones de IA poco fiables en Turnitin

Un artículo de ayuda de Turnitin señala limitaciones conocidas del modelo con ciertos formatos:

«The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.» (El modelo no detecta de forma fiable el texto generado por IA cuando no es prosa, como poesía, guiones o código, y tampoco detecta la escritura breve o no convencional, como viñetas, tablas o bibliografías anotadas.)

La frase siguiente: «This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.» (Esto significa que un documento con varios tipos de escritura distintos daría lugar a una discrepancia entre el porcentaje y los resaltados.)

Las bibliografías anotadas se mencionan expresamente en esta lista. El modelo no detecta de forma fiable el texto generado por IA en este formato. Es una limitación de cobertura reconocida en el artículo de ayuda, no un problema de configuración por tu parte. Si tu bibliografía anotada recibe una puntuación de IA alta, esa puntuación procede de un modelo que trabaja fuera de su rango de cobertura fiable.

La bibliografía no es solo poco fiable: está excluida del procesamiento por completo. Una nota de versión de 2023 indica:

«We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.» (Hemos corregido un error que a veces resaltaba escritura de IA dentro de las referencias incluidas en una bibliografía. Ahora las bibliografías se excluyen al procesar el informe de escritura de IA.)

La frase siguiente: «Resubmit to reprocess existing submissions that contain highlighted reference sections.» (Vuelve a enviar para reprocesar los envíos existentes que contengan secciones de referencias resaltadas.)

Esto significa que las entradas de la bibliografía, es decir, las citas en sí, no se analizan. Si enviaste un documento antes de esta corrección y viste resaltados en tu lista de referencias, volver a enviarlo haría que el documento se reprocesara sin la bibliografía. Por qué Turnitin marca mis referencias y citas repasa hasta dónde llegan realmente las exclusiones. La misma nota de versión también abordó el contenido de las tablas:

«We are now able to process long-form prose text in tables.» (Ahora podemos procesar texto en prosa de formato largo dentro de tablas.)

La frase siguiente: «Resubmit to reprocess existing submissions that contain tables.» (Vuelve a enviar para reprocesar los envíos existentes que contengan tablas.)

En las bibliografías anotadas, las entradas de las citas quedan excluidas. Los párrafos de anotación, es decir, la prosa que escribes sobre cada fuente, son el texto calificable que se procesa. La puntuación que ves refleja solo la prosa de las anotaciones, no las citas.

El detector solo procesa texto calificable. La página de preguntas frecuentes de Turnitin sobre «AI writing detection capabilities» (capacidades de detección de escritura con IA) lo explica:

«This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Este texto calificable incluye únicamente oraciones en prosa, lo que significa que solo analizamos bloques de texto escritos con oraciones gramaticales estándar y que no incluimos otros tipos de escritura, como listas, viñetas, es decir estructuras cortas que no llegan a ser oraciones, u otras estructuras que tampoco son oraciones.)

La frase siguiente: «This percentage is not necessarily the percentage of the entire submission.» (Este porcentaje no es necesariamente el porcentaje de todo el envío.)

En las bibliografías anotadas esto crea una dinámica concreta. Las entradas de la bibliografía, con sus citas formateadas, sangrías francesas y enlaces DOI, quedan excluidas. Los párrafos de anotación son oraciones en prosa, así que son texto calificable. El porcentaje del informe refleja solo la prosa de las anotaciones. Si tus anotaciones son 300 palabras de un documento de 1000 palabras, el porcentaje cubre esas 300 palabras, no el documento completo. Esa diferencia entre el porcentaje y la extensión es lo primero que conviene revisar al leer un informe de escritura con IA de Turnitin.

La página de preguntas frecuentes de Turnitin sobre «AI writing detection capabilities» (capacidades de detección de escritura con IA) formula la limitación de forma más breve:

«The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures).» (El modelo no detecta de forma fiable el texto generado por IA cuando no es prosa o cuando es código, y tampoco detecta la escritura breve o no convencional, como las viñetas, es decir estructuras cortas que no llegan a ser oraciones.)

La frase siguiente: «This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.» (Esto significa que un documento con varios tipos de escritura distintos daría lugar a una discrepancia entre el porcentaje y los resaltados.)

Una bibliografía anotada es exactamente este tipo de documento mixto. La discrepancia entre el porcentaje y los resaltados es un comportamiento conocido.

El proceso de detección divide el texto calificable en secciones superpuestas:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y se dividen en secciones superpuestas para el análisis de predicción. Cada sección la clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea obra de una persona o esté generado por IA. Cada oración calificable dentro de esas secciones hereda la puntuación de la sección. Como las secciones se superponen, algunas oraciones pueden tener varias puntuaciones, que después se agrupan en una sola. Esas puntuaciones por oración se agregan a su vez y se usan para calcular la puntuación global de escritura con IA del documento.)

En las bibliografías anotadas, solo las oraciones en prosa de las anotaciones pasan por este proceso: las entradas de las citas nunca entran. Las puntuaciones de sección reflejan la valoración de probabilidad del texto de las anotaciones únicamente. El porcentaje global es una agregación de esas puntuaciones por oración que proceden solo de las anotaciones.

La prosa de las anotaciones suele seguir una fórmula previsible: resumes la fuente, evalúas su credibilidad y describes su relevancia. Esa repetición coincide con los patrones que la documentación asocia a los falsos positivos:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A veces los falsos positivos, es decir marcar por error como generado por IA un texto escrito por una persona, pueden incluir contenido con poca variación estructural, texto que se repite literalmente o texto parafraseado sin desarrollar ideas nuevas.)

La frase siguiente: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Si nuestro indicador muestra una cantidad mayor de escritura con IA en un texto así, te recomendamos que lo tengas en cuenta al mirar el porcentaje indicado.)

Las anotaciones suelen tener poca variación estructural porque la fórmula resumen–evaluación–relevancia se repite en todas las entradas. El fraseo se repite porque los estudiantes usan verbos parecidos ("argues", "claims", "demonstrates") en anotaciones distintas. Las ideas están parafraseadas a partir de la fuente sin desarrollar argumentos nuevos, y parafrasear por sí solo ya empuja la cifra en la dirección equivocada, como explica por qué parafrasear hace subir tu puntuación de IA en Turnitin. La propia guía de Turnitin dice que conviene poner el porcentaje en contexto en lugar de aceptarlo tal cual cuando el texto coincide con estos patrones.

Para resumir lo que hemos visto:

• Un artículo de ayuda de Turnitin dice que el modelo no detecta de forma fiable el texto generado por IA en bibliografías anotadas.
• Las bibliografías quedan excluidas del procesamiento. Solo se analiza la prosa de las anotaciones.
• El porcentaje refleja únicamente la prosa de las anotaciones, no el envío completo.
• La prosa de las anotaciones tiende a coincidir con los patrones de falsos positivos: poca variación estructural, fraseo repetitivo e ideas parafraseadas.
• Turnitin recomienda: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Si nuestro indicador muestra una cantidad mayor de escritura con IA en un texto así, te recomendamos que lo tengas en cuenta al mirar el porcentaje indicado.)
• Si tuviste un envío antiguo con referencias resaltadas, volver a enviarlo hará que el documento se reprocese sin la bibliografía.

Si recibes un informe de IA de Turnitin sobre una bibliografía anotada y quieres trabajar los pasajes marcados, importa el informe y trabaja en ellos. Los pasajes que cumplen los requisitos pueden volver a procesarse sin coste.