Qué comprueba la detección de IA de Turnitin: cómo se construye la puntuación

La detección de escritura con IA de Turnitin es un análisis distinto de la revisión de similitud (plagio). La puntuación de similitud busca texto que coincida con fuentes existentes. La puntuación de escritura con IA busca regularidades estadísticas en la elección de palabras que se parezcan al texto generado por máquina. Las preguntas frecuentes de Turnitin dicen que ambas son «completely independent and do not influence each other.» (completamente independientes y no se influyen entre sí). El detector de IA funciona dividiendo tu entrega en segmentos de texto superpuestos, clasificando cada segmento según la probabilidad de que lo haya escrito una persona o una IA, y agrupando esas puntuaciones en un porcentaje a nivel de documento. Solo se analizan las oraciones en prosa. Las listas, las viñetas y otras estructuras que no son oraciones quedan fuera. Y solo el profesorado y el personal administrativo pueden ver la puntuación de IA, salvo que el docente decida compartir el informe en PDF.

Las preguntas frecuentes de Turnitin describen el proceso así:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Cuando se envía un trabajo a Turnitin, las oraciones del envío se extraen y se dividen en secciones superpuestas para el análisis de predicción. Cada sección es clasificada por el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea probablemente humano o generado por IA. Cada oración válida dentro de estas secciones hereda la puntuación de la sección. Como las secciones se superponen, algunas oraciones pueden tener varias puntuaciones, que luego se combinan en una sola. Estas puntuaciones de oración se agregan a su vez y se usan para calcular la puntuación general de escritura con IA del documento.)

Léelo como una cadena de procesamiento. Tu texto entra, se divide en fragmentos superpuestos, cada fragmento recibe una puntuación de probabilidad, las oraciones heredan la puntuación de sus segmentos, las puntuaciones superpuestas se combinan en una sola y el resultado se agrega en un único número. El modelo no lee tu argumento ni comprueba si tus ideas son originales: lee rasgos estadísticos de tus secuencias de palabras.

Dos afirmaciones de las mismas preguntas frecuentes aclaran qué mide el modelo y qué no. Primero: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Nuestro modelo no está programado explícitamente para evaluar señales concretas como la 'burstiness', la 'perplexity' u otras métricas individuales que a veces se mencionan en debates públicos.) La frase siguiente dice: «Instead, it learns statistical patterns from our training data.» (En cambio, aprende patrones estadísticos de nuestros datos de entrenamiento.) Segundo: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (Nuestros clasificadores están entrenados para detectar estas diferencias en la probabilidad de las palabras y conocen bien las secuencias concretas de probabilidad de palabras propias de los escritores humanos.)

La primera afirmación dice que el modelo no calcula dos métricas mencionadas por su nombre. La segunda dice que el modelo se entrena con la probabilidad de las palabras. Ambas cosas son compatibles: el modelo no calcula un número llamado perplexity para compararlo con un umbral, pero sí aprende a partir de datos de probabilidad de las palabras. La distinción importa porque gran parte de los consejos para evitar la detección de IA se basan en la idea de que basta con mover una métrica con nombre propio. Si el modelo no calcula esa métrica, ajustarla no es la palanca que la gente cree. Qué miden los detectores de IA más allá de la perplexity y la burstiness profundiza en esto.

Solo cuentan las oraciones en prosa. Las preguntas frecuentes lo dicen así:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto válido incluye solo oraciones en prosa, es decir, analizamos únicamente bloques de texto escritos en oraciones gramaticales estándar y no incluimos otros tipos de escritura como listas, viñetas (estructuras cortas que no son oraciones) u otras estructuras que no son oraciones.)

La frase siguiente: «This percentage is not necessarily the percentage of the entire submission.» (Este porcentaje no es necesariamente el porcentaje de toda la entrega.)

Esto significa que, si tu documento contiene muchas listas, viñetas u otro contenido que no sea prosa, el porcentaje de IA se aplica solo a la parte en prosa, no al documento completo. El porcentaje que ves puede representar una parte de tu texto más pequeña de la que supones.

Las puntuaciones entre el 1 % y el 19 % no se muestran como números. Las preguntas frecuentes lo explican así:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar la posible aparición de falsos positivos, no se asigna ninguna puntuación ni resaltado a las puntuaciones de detección de IA en el rango del 1 % al 19 %. Cuando se detecta IA por debajo del umbral del 20 % en el informe, ahora se indica con un asterisco (*%) y no se asigna ningún porcentaje.)

Si tu informe muestra un asterisco en lugar de un número, el detector encontró algunos patrones propios de IA, pero no los suficientes como para justificar un porcentaje concreto. Fue una decisión de diseño deliberada, pensada para reducir los falsos positivos en el rango bajo. El resto lo tienes en Qué significa el asterisco (*%) en una puntuación de IA de Turnitin.

Las preguntas frecuentes son claras sobre el acceso: «only instructors and administrators are able to see the indicator.» (solo el profesorado y el personal administrativo pueden ver el indicador). El alumnado no puede consultar directamente su propia puntuación de IA. Las preguntas frecuentes continúan: «However, with the PDF download feature, instructors can download and share the AI report with students.» (Sin embargo, con la función de descarga en PDF, el profesorado puede descargar el informe de IA y compartirlo con el alumnado). Si eres estudiante y quieres saber tu puntuación, tienes que pedirle a tu docente que comparta la versión en PDF del informe y, después, el siguiente paso es cómo leer un informe de escritura con IA de Turnitin.

Para resumir lo que hemos visto:

• La puntuación de IA y la puntuación de similitud de Turnitin son medidas completamente independientes.
• El detector de IA divide el texto en segmentos superpuestos y clasifica cada uno según patrones de probabilidad de palabras.
• Solo se analizan las oraciones en prosa. Las listas, las viñetas y las estructuras que no son oraciones quedan fuera.
• Las puntuaciones entre el 1 % y el 19 % muestran solo un asterisco, no un número, para reducir los falsos positivos.
• Solo el profesorado y el personal administrativo pueden ver la puntuación de IA, pero pueden compartir el PDF con el alumnado.

Si tienes un informe de IA de Turnitin y quieres trabajar los pasajes marcados, importa el informe y abórdalos directamente. Los pasajes que cumplen los requisitos pueden volver a procesarse sin coste.