Por qué la escritura creativa aparece marcada como IA en Turnitin

La escritura creativa puede activar falsos positivos en el detector de IA de Turnitin por varias razones que la propia Turnitin documenta. El modelo analiza lo que denomina "texto que cumple los requisitos" ("qualifying text"), que incluye únicamente oraciones de prosa escritas en forma gramatical estándar. Un artículo de ayuda de Turnitin indica que el modelo "no detecta de forma fiable texto generado por IA en forma de no prosa, como poesía, guiones o código" ("The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code"). Las piezas creativas cortas enfrentan un problema adicional: las FAQ señalan que en documentos de unos pocos cientos de palabras, "la predicción será mayoritariamente de 'todo o nada' porque estamos prediciendo sobre un único segmento sin oportunidad de superposición" ("the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap"). Las FAQ también enumeran características que producen falsos positivos, como "contenido sin mucha variación estructural" ("content without a lot of structural variation") y "texto que se repite literalmente" ("text that literally repeats itself"). La escritura creativa que emplea motivos repetitivos o estructuras de oración uniformes puede encajar en este perfil aunque esté totalmente escrita por humanos.

Las FAQ definen lo que examina el modelo:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto que cumple los requisitos incluye únicamente oraciones de prosa, lo que significa que solo analizamos bloques de texto escritos en oraciones gramaticales estándar y no incluimos otros tipos de escritura como listas, viñetas (estructuras cortas que no son oraciones) u otras estructuras que no sean oraciones).

La frase siguiente: "Este porcentaje no es necesariamente el porcentaje de todo el envío" ("This percentage is not necessarily the percentage of the entire submission").

Un artículo de ayuda de Turnitin proporciona una lista más amplia de tipos de texto que el modelo no detecta de forma fiable:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (El modelo no detecta de forma fiable texto generado por IA en forma de no prosa, como poesía, guiones o código, ni tampoco detecta escritura corta o no convencional como viñetas, tablas o bibliografías anotadas).

Esto se refiere a un límite de tipo de contenido, no a un límite de formato de archivo. Los requisitos actuales de archivo de Turnitin aceptan .docx, .pdf, .txt y .rtf, pero un archivo aceptado puede mezclar prosa extensa que cumple los requisitos con poesía, diálogos tipo guion o estructuras no convencionales. Un artículo de ayuda indica que esas formas creativas no se detectan de forma fiable; no dice que todas esas secciones se excluyan siempre. Las FAQ señalan que el texto que no se considera prosa extensa no se incluye, de modo que el porcentaje puede no representar todo el envío.

Los encargos de escritura creativa suelen ser breves. Una pieza de microficción de 500 palabras que cumpla los requisitos entra en el rango de "unos pocos cientos de palabras" que describen las FAQ. Dice lo siguiente:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En documentos más cortos donde solo hay unos pocos cientos de palabras, la predicción será mayoritariamente de 'todo o nada' porque estamos prediciendo sobre un único segmento sin oportunidad de superposición).

La frase siguiente: "Esto significa que cierto texto que es una mezcla de contenido original y generado por IA podría marcarse como completamente generado por IA" ("This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated").

Los requisitos actuales de archivo de Turnitin establecen un límite aparte: para generar un informe AI Writing Report y un porcentaje, un envío debe contener al menos 300 palabras de texto en prosa en formato de escritura extensa.

Por debajo de ese mínimo, el envío no cumple los requisitos publicados para obtener un informe de IA o un porcentaje. Una vez que una pieza que sí cumple los requisitos contiene solo unos pocos cientos de palabras, las FAQ actuales indican que la predicción es mayoritariamente de todo o nada y que texto que mezcla contenido original y generado por IA puede marcarse como completamente generado por IA. Por qué Turnitin dice que tu trabajo es 100% IA rastrea ese cambio segmento a segmento.

Las FAQ enumeran características de texto que tienden a producir falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A veces los falsos positivos (marcar incorrectamente texto escrito por humanos como generado por IA) pueden incluir contenido sin mucha variación estructural, texto que se repite literalmente o texto que ha sido parafraseado sin desarrollar ideas nuevas).

La frase siguiente: "Si nuestro indicador muestra una cantidad mayor de escritura por IA en ese tipo de texto, le aconsejamos que lo tenga en cuenta al examinar el porcentaje indicado" ("If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated").

Varias de estas características se solapan con técnicas comunes de escritura creativa. Una pieza que emplea la repetición deliberada como recurso estilístico puede encajar en "texto que se repite literalmente". Una pieza con una voz narrativa consistente y un ritmo de oración uniforme puede encajar en "contenido sin mucha variación estructural". El consejo oficial es tomar el porcentaje "en consideración" en lugar de tratarlo como definitivo. Los hábitos estilísticos individuales se leen del mismo modo, que es la pregunta detrás de es el guion largo un rasgo de IA.

El modelo de detección procesa tu texto dividiéndolo en segmentos superpuestos y asignando a cada uno una puntuación de probabilidad:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y segmentan en secciones superpuestas para el análisis de predicción. Cada segmento es clasificado por el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea probablemente humano o generado por IA).

En un documento extenso, los segmentos se superponen, lo que significa que una misma oración puede recibir varias puntuaciones que se combinan. Esta combinación suaviza los errores de predicción individuales. En una pieza creativa corta, puede haber solo un segmento sin superposición, que es por lo que la predicción se vuelve de todo o nada. Qué miden los detectores de IA más allá de la perplejidad y la explosividad explica en qué se basa la puntuación de cada segmento.

Para resumir lo que hemos visto:

• El porcentaje se basa en prosa extensa que cumple los requisitos y no es necesariamente un porcentaje de todo el envío.
• Un artículo de ayuda de Turnitin enumera la poesía, los guiones y las bibliografías anotadas como tipos de texto que el modelo no detecta de forma fiable.
• Para documentos elegibles de solo unos pocos cientos de palabras, Turnitin indica que la predicción será mayoritariamente de todo o nada porque no hay superposición.
• Los envíos con menos de 300 palabras de prosa extensa que cumpla los requisitos no satisfacen los requisitos actuales para obtener un informe de IA o un porcentaje.
• Las FAQ aconsejan a los instructores que tengan en cuenta el porcentaje cuando el texto tenga poca variación estructural o se repita.
• Las técnicas de escritura creativa como la repetición deliberada y la voz consistente pueden encajar en características propensas a falsos positivos.

Si recibes un informe de Turnitin sobre una pieza de escritura creativa y quieres abordar los pasajes marcados, importa el informe y trabaja en ellos. Los pasajes elegibles pueden volverse a ejecutar sin coste adicional.