¿Tu revisión bibliográfica sacó una puntuación alta de IA? Esto es por qué

Las revisiones bibliográficas tienen una predisposición estructural a sacar puntuaciones altas de IA por razones inherentes al género mismo. Una revisión bibliográfica resume y sintetiza investigación previa, lo que implica parafrasear de forma extensa. Cada párrafo vuelve a contar lo que encontraron otros investigadores, frecuentemente con estructuras de oración similares porque el material de origen sigue patrones parecidos. El FAQ de Turnitin menciona como características propensas a falsos positivos el "content without a lot of structural variation" (contenido sin mucha variación estructural) y el "text that has been paraphrased without developing new ideas" (texto que ha sido parafraseado sin desarrollar ideas nuevas). Una revisión bibliográfica puede encajar en ambas descripciones por su propia naturaleza, sin que haya intervención de IA alguna. La puntuación alta puede reflejar el perfil estadístico del texto más que su origen real. Entender esto no hace que la puntuación desaparezca, pero sí explica por qué una revisión bibliográfica escrita enteramente por un humano puede recibir un porcentaje alto de IA.

El FAQ de Turnitin afirma:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." ("A veces los falsos positivos (marcar incorrectamente texto escrito por humanos como generado por IA) pueden incluir contenido sin mucha variación estructural, texto que se repite literalmente o texto que ha sido parafraseado sin desarrollar ideas nuevas.")

La frase siguiente añade: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." ("Si nuestro indicador muestra una cantidad mayor de escritura por IA en ese tipo de texto, le aconsejamos que lo tome en consideración al observar el porcentaje indicado.")

Tres de esas descripciones encajan con las revisiones bibliográficas por diseño. "Content without a lot of structural variation" (contenido sin mucha variación estructural) describe una sección donde cada párrafo sigue el mismo patrón: el investigador X encontró Y, el investigador Z encontró W, el investigador A confirmó B. "Text that literally repeats itself" (texto que se repite literalmente) alude a las frases recurrentes que conectan los resúmenes: "De manera similar", "En contraste", "Basándose en", "Consistente con". "Text that has been paraphrased without developing new ideas" (texto parafraseado sin desarrollar ideas nuevas) describe justo lo que hace una revisión bibliográfica a nivel de oración. Estás reformulando hallazgos, no generando argumentos originales, en la mayor parte del texto. El FAQ está diciendo que este tipo de texto es exactamente el que puede producir falsos positivos. Y Turnitin aconseja a los educadores que tomen esto en consideración al interpretar la puntuación.

Hay también una razón estructural por la que las revisiones bibliográficas producen porcentajes más altos que otras secciones. Turnitin solo analiza "texto cualificado", definido en el FAQ como "prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences" (oraciones en prosa, es decir, solo analizamos bloques de texto escritos en oraciones gramaticales estándar). El FAQ continúa: "This percentage is not necessarily the percentage of the entire submission." ("Este porcentaje no es necesariamente el porcentaje de todo el trabajo.")

Una sección de resultados puede contener tablas, figuras y ecuaciones que quedan excluidas del análisis. Una sección de metodología puede incluir listas y viñetas. Pero una revisión bibliográfica es casi enteramente prosa. Cada párrafo es texto cualificado. Esto significa que una proporción mayor del documento está siendo evaluada, y una proporción mayor implica más segmentos produciendo valores de probabilidad que alimentan la puntuación agregada. Una revisión bibliográfica y una sección de resultados de la misma longitud pueden dar porcentajes de IA distintos en parte porque la revisión tiene más texto cualificado para que el detector lo evalúe. El mismo argumento de densidad explica por qué Turnitin marcó toda mi sección de metodología es una queja tan frecuente.

Las notas de lanzamiento de Turnitin de mayo de 2023 describen un patrón relevante para las revisiones bibliográficas:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." ("Desde el lanzamiento, hemos observado una mayor incidencia de detecciones falsas positivas en las primeras o últimas oraciones de un documento. Muchas veces estas oraciones consisten en contenido de introducción o conclusión escrito de forma genérica. Como resultado, hemos modificado nuestra lógica de detección para ayudar a reducir estos falsos positivos.")

La frase siguiente añade: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." ("También trabajamos en hacer más precisa la detección de los límites de segmentos, lo que podría llevar en algunos casos poco frecuentes a un cambio de límites comparado con una versión anterior.")

Esta fue una mejora de 2023, no un defecto actual. Pero el patrón que describe, contenido de introducción y conclusión genérico, es justo lo que suelen contener los párrafos de apertura y cierre de una revisión bibliográfica. Si tu revisión arranca con "La investigación sobre X ha crecido significativamente en los últimos años" y termina con "En resumen, la literatura sugiere que...", ese tipo de construcciones genéricas fueron históricamente asociadas con falsos positivos. La lógica de detección se actualizó para reducir esto, pero el patrón subyacente sigue estando presente en muchas revisiones bibliográficas.

Hay una cosa más que entender. El FAQ de Turnitin afirma: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." ("La puntuación de similitud y el porcentaje de detección de escritura por IA son completamente independientes y no se influyen mutuamente.")

Una revisión bibliográfica típicamente tiene una puntuación de similitud de moderada a alta porque referencia y cita investigación existente. Eso es esperado y no es un problema. Pero algunos estudiantes suponen que una puntuación alta de similitud implica que la de IA también será alta, o que bajar la similitud bajará la de IA. Nada de eso es cierto. Las dos mediciones son independientes. Tu revisión puede tener un 30% de similitud (por fuentes correctamente citadas) y una puntuación baja de IA, o un 5% de similitud y una puntuación alta de IA. Trabajar en una no afecta a la otra; leer las dos puntuaciones como si fueran lo mismo es donde la mayoría se equivoca.

Para resumir lo que hemos visto:

• Las revisiones bibliográficas encajan en el perfil propenso a falsos positivos de Turnitin: baja variación estructural, repetición y parafraseo sin ideas nuevas.
• Las revisiones bibliográficas son casi enteramente prosa, lo que significa más texto cualificado para que el detector lo puntúe.
• El contenido de introducción y conclusión genérico fue históricamente asociado con falsos positivos (abordado en una actualización de 2023).
• La puntuación de IA y la de similitud son independientes. Bajar una no baja la otra.
• Turnitin aconseja a los educadores que tomen en consideración el tipo de texto al interpretar puntuaciones altas de IA en este tipo de contenido.

Si tienes un informe de Turnitin que muestra qué pasajes de tu revisión bibliográfica fueron marcados, importa el informe y trabaja en esos pasajes específicos. El resto de tu revisión permanece palabra por palabra, lo cual importa porque revisar una revisión bibliográfica sin romper la cadena de evidencia es la parte que sale mal cuando reescribes de forma amplia. Los pasajes elegibles pueden volverse a ejecutar sin cargo adicional.