Por qué las introducciones y conclusiones se marcan como IA (y qué hacer)

Las introducciones y conclusiones tienen más probabilidades de marcarse como IA que los párrafos del cuerpo. Las notas de la versión de mayo de 2023 de Turnitin indican: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Desde el lanzamiento, hemos observado una mayor incidencia de detecciones falsas positivas en las primeras o últimas oraciones de un documento. Muchas veces estas oraciones consisten en contenido de introducción o conclusión redactado de forma genérica). La lógica de detección se actualizó para reducir estos falsos positivos, pero el patrón de redacción genérica y formulárica en introducciones y conclusiones sigue existiendo. Si tu introducción arranca con una afirmación muy amplia y tu conclusión repite la tesis con lenguaje predecible, esos pasajes pueden generar perfiles de probabilidad léxica que se solapan con texto generado por IA, incluso después de la mejora de 2023.

La nota de la versión de mayo de 2023 describe el patrón y la respuesta:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde el lanzamiento, hemos observado una mayor incidencia de detecciones falsas positivas en las primeras o últimas oraciones de un documento. Muchas veces estas oraciones consisten en contenido de introducción o conclusión redactado de forma genérica. Como resultado, hemos modificado nuestra lógica de detección para ayudar a reducir estos falsos positivos)

La oración siguiente: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (También trabajamos en hacer que la detección de límites de segmento fuera más precisa, lo que podría llevar, en algunos casos raros, a un cambio de límites en comparación con una versión anterior)

Esta fue una mejora de 2023, no la descripción de un defecto actual. La lógica de detección se modificó para ayudar a reducir los falsos positivos en esas posiciones. Pero la nota nos dice algo importante: las primeras y últimas oraciones de un documento eran intrínsecamente más propensas a falsos positivos. La mejora redujo el problema. No lo eliminó.

La nota de la versión apunta a "introduction or conclusion content written in a generic way" (contenido de introducción o conclusión redactado de forma genérica). El contenido genérico es el hilo conductor aquí. Las introducciones suelen arrancar con contexto amplio: "En los últimos años, X se ha convertido en un tema importante". Las conclusiones suelen repetir la tesis: "Este trabajo ha demostrado que X conduce a Y". Estas construcciones son predecibles, formuláricas y estructuralmente uniformes. Las preguntas frecuentes de Turnitin mencionan "content without a lot of structural variation" (contenido sin mucha variación estructural) como una característica propensa a falsos positivos. Las introducciones y conclusiones genéricas son exactamente ese tipo de contenido. Los patrones de probabilidad léxica en estas secciones tienden a ser más predecibles que en los párrafos del cuerpo, donde el argumento es más específico y el lenguaje más variado. La forma general de esto se explica en por qué los ensayos bien escritos se marcan como IA.

La tubería de detección funciona segmentando el texto:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y segmentan en secciones superpuestas para el análisis de predicción. El modelo de detección de IA clasifica cada segmento y le asigna un valor entre 0 y 1, que indica la probabilidad de que el texto sea humano o generado por IA. Cada oración que cumple los requisitos dentro de estos segmentos hereda la puntuación del segmento. Como los segmentos se superponen, algunas oraciones pueden tener varias puntuaciones, que luego se combinan en una sola)

La nota de la versión también menciona "segment boundaries detection" (detección de límites de segmento). Las primeras y últimas oraciones de un documento están en el borde de la estructura de segmentos. Antes de la mejora de 2023, estas posiciones tenían una tasa más alta de falsos positivos. La mejora hizo que la detección de límites de segmento fuera más precisa, lo que ayudó. Pero el contenido en sí, si está redactado de forma genérica, aún puede generar patrones de probabilidad léxica que desencadenen la clasificación como similar a IA. Qué son esos patrones es el tema de ¿usa Turnitin perplejidad y explosividad?.

Las preguntas frecuentes de Turnitin también señalan:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En documentos más cortos, donde solo hay unos pocos cientos de palabras, la predicción será principalmente "todo o nada" porque estamos prediciendo sobre un solo segmento sin oportunidad de superposición)

La oración siguiente: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Esto significa que parte del texto que es una mezcla de contenido generado por IA y original podría marcarse como totalmente generado por IA)

En un ensayo corto, la introducción y la conclusión pueden representar una proporción grande del texto total. Si ambas aparecen marcadas, el comportamiento de todo o nada de los documentos cortos significa que el documento completo podría clasificarse como generado por IA. Este es un resultado extremo, pero ayuda a explicar por qué un ensayo corto con una introducción y conclusión genéricas puede recibir una puntuación sorprendentemente alta. Por qué Turnitin dice que tu trabajo es 100% IA recorre ese caso extremo de principio a fin.

Para resumir lo que hemos cubierto:

• Las notas de la versión de Turnitin de mayo de 2023 describen un patrón de falsos positivos más altos en las primeras y últimas oraciones de los documentos.
• La lógica de detección se actualizó en 2023 para reducir esto, pero el patrón subyacente de redacción genérica en introducciones y conclusiones sigue existiendo.
• Las introducciones y conclusiones genéricas comparten la característica de "baja variación estructural" que las preguntas frecuentes enumeran como propensa a falsos positivos.
• Los documentos cortos amplifican el problema porque la introducción y la conclusión representan una proporción mayor del texto total.
• Hacer que tu introducción y conclusión sean más específicas, menos formuláricas y más variadas en estructura puede ayudar a abordar el patrón.

Si tienes un informe de Turnitin que muestra qué pasajes fueron marcados, importa el informe y trabaja en esos pasajes específicos. Los pasajes elegibles pueden volver a ejecutarse sin cargo.