Por qué las propuestas de investigación aparecen como IA en Turnitin
Las propuestas de investigación son documentos breves y muy estructurados, con mucho lenguaje metodológico y resúmenes parafraseados de la bibliografía. Estas características coinciden con lo que la propia documentación de Turnitin describe como propenso a falsos positivos. Aquí te explicamos cómo funciona el mecanismo de detección con las propuestas, qué mejoras se han aplicado y por qué una sola puntuación de IA nunca debería usarse como único criterio de juicio.
Equipo de HumanPen
· 5 min de lectura
La respuesta breve
Las propuestas de investigación recurren a un conjunto limitado de estructuras convencionales. Las secciones de metodología describen procedimientos estándar, y Turnitin me marcó todo el capítulo de metodología cubre cómo se ve eso una vez que ocurre. Las revisiones bibliográficas resumen el trabajo previo de forma parafraseada. Estos patrones son comunes y se alinean con lo que la documentación de Turnitin identifica como territorio de falsos positivos. Las propuestas cortas de solo unos pocos cientos de palabras enfrentan un riesgo adicional: el detector las trata como "all or nothing" (todo o nada) porque no hay suficiente texto para que haya superposición entre segmentos. El resultado es que propuestas genuinamente escritas por humanos pueden devolver puntuaciones altas de IA sin ninguna participación de IA.
Lo que dice Turnitin sobre los falsos positivos
Las FAQ describen cualidades específicas del texto que pueden activar falsos positivos:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." ("A veces los falsos positivos (marcar incorrectamente texto escrito por humanos como generado por IA) pueden incluir contenido sin mucha variación estructural, texto que se repite literalmente o texto que ha sido parafraseado sin desarrollar ideas nuevas.")
Esta descripción se mapea estrechamente con las propuestas de investigación. Una sección de metodología que describe un muestreo intencional y entrevistas semiestructuradas usa lenguaje que aparece en miles de propuestas. Las revisiones bibliográficas condensan estudios complejos en oraciones de resumen, lo cual es parafraseo por naturaleza, y el parafraseo tiende a mover el número en la dirección equivocada, como explica por qué parafrasear hace que suba tu puntuación de IA de Turnitin. Ninguna de estas actividades desarrolla ideas nuevas en ese momento. La siguiente oración de las FAQ es importante:
"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." ("Si nuestro indicador muestra una cantidad mayor de escritura con IA en este tipo de texto, le aconsejamos que tome eso en consideración al observar el porcentaje indicado.")
Esto es un reconocimiento explícito de que el porcentaje por sí solo no es suficiente para documentos con estas características. Deberíamos tratar una puntuación alta en una propuesta como una señal que vale la pena investigar, no como un veredicto definitivo.
Cómo funciona el mecanismo de detección
Para entender por qué las propuestas son vulnerables, necesitamos observar cómo procesa Turnitin un envío:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score." ("Cuando se envía un documento a Turnitin, las oraciones del envío se extraen y segmentan en secciones superpuestas para el análisis de predicción. Cada segmento es clasificado por el modelo de detección de IA y recibe un valor entre 0 y 1, que denota la probabilidad de que el texto sea probablemente humano o generado por IA. Cada oración calificada dentro de estos segmentos hereda la puntuación del segmento.")
La frase clave es "qualifying sentence" (oración calificada). Las FAQ aclaran qué cuenta como texto que cumple los requisitos:
"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." ("Este texto calificable incluye solo oraciones en prosa, lo que significa que solo analizamos bloques de texto que están escritos en oraciones gramaticales estándar y no incluyen otros tipos de escritura como listas, viñetas (estructuras cortas que no son oraciones) u otras estructuras que no son oraciones.")
Para las propuestas, esto significa que los párrafos de metodología, la prosa de la revisión bibliográfica y el texto de justificación narrativa se analizan. Las preguntas de investigación formateadas como viñetas o las tablas de cronograma con entradas breves no. La disparidad entre lo que se puntúa y lo que aparece en la página puede resultar confusa cuando solo ves el porcentaje.
Los documentos cortos y el problema de todo o nada
Muchas propuestas de investigación son cortas. Una propuesta de tesis puede tener entre 1.500 y 3.000 palabras. Una sección narrativa de solicitud de subvención puede ser aún más corta. Las FAQ abordan esto directamente:
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." ("En documentos más cortos donde solo hay unos pocos cientos de palabras, la predicción será mayormente 'todo o nada' porque estamos prediciendo sobre un solo segmento sin la oportunidad de superposición.")
La siguiente oración deja clara la consecuencia:
"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." ("Esto significa que algún texto que es una mezcla de contenido generado por IA y original podría marcarse como completamente generado por IA.")
Incluso las propuestas por encima de unas pocas cientos de palabras pueden verse afectadas si la prosa calificable se concentra en unos pocos párrafos densos. Menos segmentos significan menos promediado, y un solo segmento con puntuación alta puede elevar el porcentaje general significativamente.
Qué mejoró Turnitin en 2023
Turnitin ha realizado cambios para reducir ciertos falsos positivos. Una nota de versión de mayo de 2023 describe una corrección:
"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." ("Desde el lanzamiento, hemos observado una mayor incidencia de detección de falsos positivos en las primeras o últimas oraciones de un documento. Muchas veces estas oraciones consisten en contenido de introducción o conclusión escrito de manera genérica. Como resultado, hemos cambiado nuestra lógica de detección para ayudar a reducir estos falsos positivos.")
Esta mejora es relevante para las propuestas porque sus introducciones a menudo siguen un patrón formulárico: plantear el problema, describir la brecha, presentar la pregunta de investigación. La misma nota de versión menciona otro refinamiento:
"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." ("También trabajamos en hacer que nuestra detección de límites de segmentos sea más precisa, lo que podría llevar en algunos casos raros a un cambio de límites en comparación con una versión anterior.")
Estas fueron mejoras de 2023, no defectos actuales. Si comparaste la puntuación de una propuesta antes y después de esa actualización, podrías haber visto una reducción. Los patrones estructurales subyacentes que describimos antes todavía existen en la redacción de propuestas hoy.
Una sola puntuación no es suficiente
Las FAQ son explícitas sobre las limitaciones de la puntuación de escritura con IA:
"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." ("Nuestro modelo de detección de escritura con IA puede no ser siempre preciso (puede identificar erróneamente texto escrito por humanos, generado por IA y parafraseado por IA), por lo que no debe usarse como única base para acciones adversas contra un estudiante.")
La siguiente oración refuerza esto:
"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." ("Se requiere un mayor escrutinio y juicio humano junto con la aplicación por parte de una organización de sus políticas académicas específicas para determinar si ha ocurrido mala conducta académica.")
Una fuente separada de Turnitin enmarca la puntuación como una pieza de información entre muchas:
"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." ("No está destinado a proporcionar respuestas definitivas de forma aislada. Más importante que cualquier herramienta es el educador que ve la puntuación y toma decisiones equilibrando esta información con su conocimiento personal de sus estudiantes, su trabajo y la política institucional.")
La siguiente oración completa el pensamiento:
"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." ("Cuando los educadores observan la puntuación de escritura con IA y la utilizan como un solo punto de datos en lugar de una respuesta definitiva, entonces se está usando según lo previsto.")
Para las propuestas de investigación, esto significa que un porcentaje alto de IA debería provocar una conversación, no una conclusión. Qué se le indica a tu profesor que haga cuando tu porcentaje de IA es alto es la orientación del proveedor que se supone que debe seguir esa conversación.
Qué significa esto para ti
Si tu propuesta de investigación recibió una puntuación alta de IA en Turnitin, esto es lo que debes tener en cuenta:
- Las propuestas usan lenguaje convencional, parafraseado y estructuralmente uniforme que las FAQ identifican como territorio de falsos positivos.
- Las propuestas cortas con prosa limitada pueden producir predicciones de "all or nothing" (todo o nada) porque hay muy pocos segmentos para la superposición.
- El porcentaje refleja solo la prosa calificable, no todo tu documento.
- Turnitin mejoró el manejo de la primera y la última oración en 2023, pero la vulnerabilidad central del lenguaje de las propuestas permanece.
- La puntuación de IA debe servir como un solo punto de datos, no como única base para el juicio.
Si quieres abordar los pasajes marcados, import your Turnitin report y trabaja con ellos. Los pasajes elegibles pueden volver a ejecutarse sin costo.
Seguir leyendo