¿Tu ensayo en inglés tiene una tasa de IA demasiado alta? Empieza por leer el informe

Cuando Turnitin dice que tu ensayo en inglés tiene una tasa de IA alta, el primer paso no es bajarla. Es averiguar qué número es exactamente, qué regla de visualización lo produjo y en qué lado de la división de probabilidad del modelo aterrizaron tus elecciones de palabras. La solución no es un dial llamado perplexity. La solución es mover la probabilidad de tus palabras de vuelta hacia tu propio patrón humano.

Equipo de HumanPen

· 13 min de lectura

La respuesta corta

El informe de escritura con IA de Turnitin no muestra ningún número entre 1% y 19%; muestra un asterisco y retiene los resaltados. Solo a partir del 20% aparece un porcentaje preciso, con pasajes resaltados que realmente puedes mirar. Así que cuando dices "mi tasa de IA es demasiado alta", lo primero que hay que hacer no es bajarla. Es averiguar si estás mirando un número o una estrella, porque solo el número viene con algo sobre lo que puedes actuar.

El segundo paso es preguntar por qué es alta. El modelo de Turnitin corta tu texto en segmentos solapados, asigna a cada uno una probabilidad entre 0 y 1, agrupa esas puntuaciones y las consolida en un porcentaje del documento. Si tus elecciones de palabras caen del lado generado por IA de la división de probabilidad del modelo, tu puntuación sube. Escribir en inglés siendo hablante nativo de chino tiene tres tendencias estadísticas que empujan tu probabilidad hacia el lado de la IA. Desglosamos cada una a continuación.

El tercer paso es la revisión. La dirección no es bajar una métrica llamada perplexity, porque Turnitin no calcula explícitamente una. La dirección es mover la probabilidad de tus palabras de vuelta hacia tu propio patrón humano: usa las palabras que realmente alcanzas, usa estructuras de oraciones que normalmente no produces y revisa los pasajes marcados uno a uno en lugar de hacerlo de una sola vez en todo el archivo.

Lo que significa realmente "demasiado alta"

El informe de escritura con IA de Turnitin tiene una regla de visualización especial para puntuaciones bajas. La FAQ de capacidades de detección lo dice así:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Para evitar posibles incidencias de falsos positivos, no se asigna ninguna puntuación ni resaltados para las puntuaciones de detección de IA en el rango de 1% a 19%. Cuando se detecta IA por debajo del umbral del 20% en el informe, se indica ahora con un asterisco (%) y no se atribuye ningún porcentaje.)

Así que si la "tasa de IA" que tienes en la mano es un número con signo de porcentaje, es al menos 20. Si estás mirando un asterisco, estás en algún punto entre 1 y 19, y el informe no te dice dónde. Cero es la única cifra exacta que se muestra por debajo de veinte.

Esta distinción parece pedante, pero decide lo que puedes hacer después. Un asterisco significa ningún pasaje resaltado, ninguna forma de localizar qué activó la marca y nada que revisar. Un número de 20 o superior viene con resaltados, y los resaltados son lo único que te permite localizar y cambiar el texto marcado. Así que "mi tasa de IA es demasiado alta, ¿qué hago?" solo tiene una respuesta accionable cuando tu informe muestra 20% o más y puedes ver los resaltados. Trabajamos el informe en sí en cómo leer un informe de escritura con IA de Turnitin.

Una cosa más que confirmar primero. Turnitin declara que "only instructors and administrators are able to see the indicator" (solo los instructores y administradores pueden ver el indicador), y que "The AI writing detection indicator and report are not visible to students. However, with the PDF download feature, instructors can download and share the AI report with students." (El indicador y el informe de detección de escritura con IA no son visibles para los estudiantes. Sin embargo, con la función de descarga en PDF, los instructores pueden descargar y compartir el informe de IA con los estudiantes.) Si tienes un informe en tus manos, es porque alguien decidió descargarlo y dártelo. Confirma que tienes el PDF completo, no una captura de pantalla.

Por qué es alta: tu probabilidad de palabras está del lado de la IA

Turnitin describe la cadena de cálculo en su FAQ:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Cuando se envía un trabajo a Turnitin, se extraen las oraciones del envío y se segmentan en secciones solapadas para el análisis de predicción. El modelo de detección de IA clasifica cada segmento y le asigna un valor entre 0 y 1, que denota la probabilidad de que el texto sea probablemente humano o generado por IA. Cada oración que cumple los requisitos dentro de estos segmentos hereda la puntuación del segmento. Como los segmentos se solapan, algunas oraciones pueden tener múltiples puntuaciones, que luego se consolidan en una única puntuación. Estas puntuaciones de oraciones se agregan y se utilizan para calcular la puntuación general de escritura con IA del documento.)

Esto es una cadena de probabilidad. El modelo asigna una puntuación entre 0 y 1 a cada una de tus oraciones; cuanto más cerca de 1, más parecida a la IA. Esas puntuaciones se agregan en el porcentaje que ves.

Así que el significado mecánico de "tasa de IA alta" es específico: tu escritura, en el espacio de probabilidad del modelo, cae del lado generado por IA. No porque usaras IA, sino porque las características estadísticas de tus elecciones de palabras y patrones de oraciones resultan estar más cerca del patrón promedio del texto generado por IA.

Aquí hay que corregir una afirmación generalizada. Muchas respuestas describen el mecanismo de Turnitin como "medir perplexity y burstiness" y luego te dicen cómo bajar esos dos valores. Turnitin niega explícitamente esto en su FAQ:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Nuestro modelo no está programado explícitamente para evaluar señales específicas como "burstiness", "perplexity" u otras métricas individuales a las que a veces se hace referencia en debates públicos.)

La oración justo después:

"Instead, it learns statistical patterns from our training data." (En cambio, aprende patrones estadísticos de nuestros datos de entrenamiento.)

Pero esto no significa que Turnitin ignore la probabilidad de palabras. La misma página de FAQ dice en otro lugar:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nuestros clasificadores están entrenados para detectar estas diferencias en la probabilidad de palabras y son expertos en las secuencias particulares de probabilidad de palabras de los escritores humanos.)

Esas dos afirmaciones hay que leerlas juntas. Turnitin no calcula explícitamente una puntuación llamada perplexity, pero su clasificador está haciendo un juicio a nivel de probabilidad de palabras, porque la perplexity es en sí misma una medida de probabilidad de palabras. La afirmación correcta es: no puedes ajustar un dial llamado perplexity, porque ese dial no existe como entrada explícita. Lo que puedes cambiar es tu propia distribución de probabilidad de palabras, para que el modelo la coloque de nuevo del lado escrito por humanos.

Por qué los hablantes nativos de chino que escriben en inglés reciben más marcas

Esta sección trata sobre tres tendencias estadísticas. Cada una empuja tu probabilidad de palabras hacia el lado de la IA. No son defectos de los hablantes nativos de chino. Son patrones que aparecen cuando escribes en una segunda lengua mientras gestionas al mismo tiempo gramática, vocabulario y argumentación.

Primero, la tendencia a recurrir a palabras "seguras" de alta frecuencia. Cuando escribes en inglés como segunda lengua, el instinto natural es elegir palabras con significados estables y bajo riesgo de error. Esas palabras son de alta frecuencia. También son las palabras a las que recurre más a menudo el texto generado por IA, porque los modelos de lenguaje seleccionan por probabilidad y las palabras de alta frecuencia tienen alta probabilidad. Cuanto más se concentra tu distribución de palabras en la parte superior de la tabla de frecuencias, más cerca se sienta de la distribución promedio generada por IA. La frase que ya citamos, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers", va exactamente sobre esto: el clasificador lee secuencias de probabilidad de palabras, y los escritores humanos tienen sus propias secuencias características. La concentración de alta frecuencia no es una de ellas.

Segundo, baja variación estructural. El propio Turnitin enumera las características que tienden a producir falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A veces los falsos positivos (marcar incorrectamente texto escrito por humanos como generado por IA) pueden incluir contenido sin mucha variación estructural, texto que literalmente se repite, o texto que ha sido parafraseado sin desarrollar nuevas ideas.)

La oración siguiente:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si nuestro indicador muestra una cantidad mayor de escritura con IA en dicho texto, te aconsejamos que tengas eso en cuenta al mirar el porcentaje indicado.)

Cuando escribes en inglés como segunda lengua, el presupuesto cognitivo que queda para la estructura de las oraciones es estrecho. El resultado es consistencia estructural: sujeto-verbo-objeto, sujeto-verbo-objeto, sujeto-verbo-objeto. La baja variación estructural es exactamente el primer elemento de la propia lista de Turnitin de características propensas a falsos positivos. El consejo oficial a los educadores es descontar las puntuaciones altas en ese tipo de texto, y esa oración tiene que viajar con la primera.

Tercero, posible uso de traducción automática o Grammarly. El texto de salida de la traducción automática es producido por un modelo de lenguaje, así que su distribución de probabilidad de palabras naturalmente se sienta del lado de la IA. La situación de Grammarly es más específica. La FAQ de Turnitin tiene una declaración dedicada: los cambios de ortografía, gramática y puntuación no se marcan "en la mayoría de los casos", pero las características generativas de Grammarly, incluyendo la generación de borradores, la paráfrasis y el resumen, no están cubiertas por esa exención. La redacción oficial es que el contenido producido usando esas características "will likely be flagged as AI-generated" (probablemente será marcado como generado por IA). Así que si usaste la reescritura de oraciones de Grammarly, es esperable, no sorprendente, que esos pasajes sean marcados.

Por qué los detectores de IA tienen sesgo contra escritores no nativos en inglés sitúa esta familia de preguntas en un marco más amplio.

Cómo bajarla: cambia la probabilidad de palabras, no la perplexity

Primero, qué no hacer.

No intentes bajar la perplexity. Ya citamos a Turnitin diciendo que su modelo no está programado explícitamente para evaluar la perplexity como una métrica individual. Cualquier consejo que te diga que "bajes la perplexity" parte de una premisa falsa. No puedes bajar un valor que Turnitin no calcula explícitamente. Mucho marketing de herramientas humanizadoras está construido sobre esa premisa falsa.

No te detengas en una sola oración. Turnitin puntúa segmentos de varias oraciones solapadas, así que un cambio confinado a una oración compite contra el párrafo que la rodea. Un pasaje marcado lo está por la forma de toda su distribución: qué pone primero, dónde gira, cuánto corre antes de detenerse. La unidad sobre la que trabajar es el pasaje, no la oración.

No reescribas todo el documento. Los documentos cortos tienen un comportamiento extremo documentado:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (En documentos más cortos donde solo hay unos pocos cientos de palabras, la predicción será mayoritariamente "todo o nada" porque estamos prediciendo en un único segmento sin oportunidad de solapamiento.)

La oración siguiente:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Esto significa que algún texto que es una mezcla de contenido generado por IA y original podría ser marcado enteramente como generado por IA.)

Así que un documento corto reescrito a medias es especialmente arriesgado. Reescribes la mitad, la otra mitad se llama IA, y todo vuelve alto.

Ahora, qué hacer.

Consigue el informe primero. Ya citamos esto: los estudiantes no pueden ver el indicador, pero los instructores pueden descargar el PDF y compartirlo. Tienes derecho a pedir ese PDF. Una vez que lo tengas, busca los pasajes resaltados. Solo los informes de 20% y superior tienen resaltados. Saber qué pasajes están marcados es la condición previa para revisarlos.

Revisa los pasajes marcados uno por uno. La dirección es cambiar la forma de la oración. Toma el patrón sujeto-verbo-objeto al que tiendes por defecto y reemplázalo con una estructura que normalmente no escribes: una oración subordinada, una inversión, un paréntesis, una referencia entre oraciones. Estas estructuras cambian tu secuencia de probabilidad de palabras, que es lo que lee el modelo. La puntuación de una oración también está influenciada por sus vecinas, porque los segmentos se solapan, así que revisar un pasaje desplaza las puntuaciones de las oraciones de alrededor.

Usa las palabras que realmente alcanzas. Resiste la atracción hacia el vocabulario seguro de alta frecuencia. Usa la palabra que realmente quieres, aunque sea menos común. La parte distintiva de la secuencia de probabilidad de palabras de un escritor humano a menudo está en las elecciones que se desvían de la parte superior de la tabla de frecuencias.

Cuida el límite del texto que califica. Turnitin analiza solo oraciones gramaticales estándar:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto que califica incluye solo oraciones en prosa, lo que significa que solo analizamos bloques de texto que están escritos en oraciones gramaticales estándar y no incluyen otros tipos de escritura como listas, viñetas (estructuras cortas que no son oraciones) u otras estructuras que no son oraciones.)

La oración siguiente:

"This percentage is not necessarily the percentage of the entire submission." (Este porcentaje no es necesariamente el porcentaje del envío completo.)

Así que el número que ves es un porcentaje sobre el texto que califica, no sobre todo el archivo. Cuando revises, apunta al texto que califica. Editar una lista con viñetas no mueve ese numerador.

El compromiso de diseño: el modelo prefiere fallos por defecto a falsas alarmas

Una cosa más, porque afecta cómo lees tu propia puntuación. Turnitin revela el compromiso de diseño en su FAQ:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para mantener esta baja tasa del 1% para falsos positivos, existe la posibilidad de que pasemos por alto algún texto escrito por IA en un documento. Nos sentimos cómodos con eso porque no queremos resaltar incorrectamente texto escrito por humanos como escrito por IA. Por ejemplo, si identificamos que el 50% de un documento está probablemente escrito por una herramienta de IA, podría contener hasta un 65% de escritura con IA.)

La dirección es explícita: el modelo preferiría pasar por alto texto de IA que marcar texto humano. Eso significa que el informe tiene una tendencia incorporada a informar por debajo, no por encima. Si estás mirando una puntuación alta, esa puntuación está del lado conservador del diseño del modelo, no del lado agresivo. Esto no prueba que la puntuación sea correcta. Significa que no deberías tratarla como un techo.

Cómo se ve en la práctica "cambiar la estructura"

"Cambiar la estructura" suena abstracto. Un ejemplo lo hace concreto.

  • Original: "The results show that the method is effective.",
  • Reconstruida: "What the results show is not that the method works in general, but that it works under the specific condition we tested." La oración pasa de un simple sujeto-verbo-objeto a una construcción enfatizada con un giro. La secuencia de probabilidad de palabras es diferente. El modelo ve una distribución diferente.

Cambiar la estructura no se trata de escribir oraciones elaboradas. Se trata de escribir las estructuras de oraciones que normalmente no produces, porque las estructuras que normalmente no produces son exactamente donde vive tu firma de probabilidad de escritor humano.

Cinco minutos con el informe

  1. Confirma que tienes el PDF, no una captura de pantalla. Una captura de pantalla no tiene fecha, ni posiciones de resaltado, ni forma de decir de qué informe se trata.
  2. Comprueba si la cifra es un porcentaje o un asterisco. Un porcentaje significa 20% o más, y resaltados desde los que trabajar. Un asterisco significa 1% a 19%, sin resaltados, y nada que localizar.
  3. Encuentra los pasajes resaltados específicos. Esos son los que hay que revisar. Deja el resto en paz. Cambiar texto que no fue marcado es esfuerzo desperdiciado.
  4. Lee cada pasaje marcado y diagnostica qué tendencia lo produjo. ¿Estructura de oración uniforme? ¿Vocabulario de alta frecuencia? ¿Una reescritura de Grammarly? Diferentes causas necesitan diferentes correcciones.
  5. Reconstruye la estructura de la oración. Reescribe las oraciones marcadas en estructuras que no sueles usar.
  6. Vuelve a comprobar después de revisar. Los detectores cambian, y Turnitin dice que su modelo itera, así que no se puede prometer ningún resultado fijo. Lo que puedes hacer es ejecutar otro informe después de la revisión y ver si los resaltados han disminuido. Por qué diferentes detectores de IA discrepan explica por qué los resultados de diferentes detectores no pueden validarse entre sí.

Preguntas frecuentes

¿Una tasa de IA alta significa que usé IA? No. El modelo de Turnitin lee distribuciones de probabilidad de palabras, no registros de uso. Pueden MARCARTE sin que hayas usado IA, si tu vocabulario es de alta frecuencia, tu estructura de oraciones es uniforme, o usaste traducción automática. El propio Turnitin enumera las características que tienden a producir falsos positivos, y aconseja a los educadores descontar las puntuaciones altas en ese tipo de texto.

¿Puedo comprobar mi propia tasa de IA? No a través del indicador de Turnitin. La declaración oficial es que el indicador y el informe no son visibles para los estudiantes, y que los instructores pueden descargar el informe como PDF y compartirlo. Cada informe que ves, lo ves porque alguien eligió mostrártelo.

¿Qué pasajes debo revisar primero? Los que el informe marca realmente. Turnitin informa a nivel de pasaje, así que los pasajes marcados son el único lugar del que tienes evidencia para trabajar; revisar un pasaje no marcado cambia tu ensayo sin cambiar nada a lo que el informe está respondiendo.

¿Me marcarán por usar Grammarly? Los cambios de ortografía, gramática y puntuación no se marcan en la mayoría de los casos. Pero las características generativas de Grammarly, incluyendo la generación de borradores, la paráfrasis y el resumen, probablemente serán marcadas como generadas por IA. Distingue entre las dos.

¿Es más probable que los trabajos cortos sean marcados? Los documentos de unos pocos cientos de palabras tienen predicciones que son mayoritariamente todo o nada, y el contenido mixto puede ser marcado enteramente como IA. Ten especial cuidado con las reescrituras parciales en documentos cortos.

¿Puede una herramienta humanizadora bajar mi puntuación? Este artículo no hace ninguna afirmación de eficacia. La dirección de diseño de Turnitin es preferir fallos por defecto a falsas alarmas, el modelo itera, y ninguna promesa sobre un resultado futuro de detección es una que una herramienta pueda hacer honestamente. Lo que podemos decir es que revisar con el informe en la mano te dice qué pasajes se movieron, y revisar a ciegas no.

Seguir leyendo