Humanizar texto de IA sin cambiar el significado: lo que dice el mecanismo

La expresión "humanize AI text without changing meaning" (humanizar texto de IA sin cambiar el significado) esconde un supuesto: que el detector lee el significado en primer lugar. La documentación de Turnitin describe un proceso que no hace nada de eso. El texto enviado se divide en segmentos con solapamiento, cada segmento se clasifica mediante un modelo que asigna una probabilidad de que sea humano o generado por IA, y esas probabilidades se agrupan y agregan en una puntuación a nivel de documento. El detector lee patrones estadísticos en la elección de palabras, no lo que las palabras significan. Así que "no cambiar el significado" y "no cambiar los patrones que el detector lee" son dos restricciones distintas. Una reescritura puede mantener todas las ideas de un párrafo intactas y aun así alterar las estadísticas lo suficiente como para cambiar la puntuación, porque los dos objetivos miden cosas diferentes.

Las FAQ de Turnitin describen el proceso así:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Cuando se envía un trabajo a Turnitin, se extraen las oraciones de la presentación y se segmentan en secciones superpuestas para el análisis de predicción. Cada segmento es clasificado por el modelo de detección de IA y recibe un valor entre 0 y 1, que denota la probabilidad de que el texto sea probablemente humano o generado por IA. Cada oración que califica dentro de estos segmentos hereda la puntuación del segmento. Dado que los segmentos se superponen, algunas oraciones pueden tener múltiples puntuaciones, que luego se agrupan en una sola. Estas puntuaciones de oraciones se agregan y se utilizan para calcular la puntuación general de escritura con IA del documento).

Léelo como un proceso en cadena. Tu texto entra, se corta en piezas con solapamiento, cada pieza recibe una probabilidad, las oraciones heredan puntuaciones de sus segmentos, las puntuaciones solapadas se agrupan y las puntuaciones agrupadas se agregan en un solo número. En ningún momento de este proceso el modelo analiza de qué trata tu párrafo. Trabaja con características estadísticas de las secuencias de palabras, y esas características son las que producen la puntuación.

Dos cosas en las FAQ son fáciles de leer como contradictorias, pero no lo son. La primera es esta:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Nuestro modelo no está programado explícitamente para evaluar señales específicas como "burstiness", "perplexity" u otras métricas individuales a las que a veces se hace referencia en debates públicos).

La oración siguiente dice: "Instead, it learns statistical patterns from our training data." (En cambio, aprende patrones estadísticos de nuestros datos de entrenamiento).

La segunda viene de una pregunta diferente en la misma página: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nuestros clasificadores están entrenados para detectar estas diferencias en la probabilidad de las palabras y son expertos en las secuencias particulares de probabilidad de palabras de los escritores humanos).

La primera afirmación dice que el modelo no está diseñado para calcular dos métricas con nombre. La segunda dice que el modelo se entrena con probabilidad de palabras. Son consistentes: el modelo no calcula un número llamado "perplexity" para compararlo con un umbral, pero sí aprende de patrones de probabilidad de palabras. La distinción importa porque muchos consejos de reescritura parten del supuesto de que solo necesitas mover una métrica con nombre. Si el modelo no calcula esa métrica, moverla no es la palanca que la gente cree. Profundizamos más en esto en lo que miden los detectores de IA más allá de perplexity y burstiness.

Si el detector lee patrones de probabilidad de palabras y no el significado, entonces una reescritura que preserve el significado no es automáticamente una reescritura que cambie la puntuación. Los dos objetivos operan en ejes diferentes.

Imagina un párrafo que dice: "The results indicate a significant correlation between variables X and Y." (Los resultados indican una correlación significativa entre las variables X e Y). Podrías reescribirlo como "The findings show a meaningful link between X and Y." (Los hallazgos muestran un vínculo significativo entre X e Y). El significado es el mismo. Pero el perfil de probabilidad de palabras de la nueva oración es diferente del original. Si esa diferencia mueve la puntuación hacia arriba o hacia abajo depende de si la nueva secuencia de palabras se parece más o menos a lo que el modelo aprendió a asociar con texto generado por IA, y no puedes saberlo solo leyendo la oración.

Por eso "without changing meaning" (sin cambiar el significado) es un objetivo que tiene sentido para un humano, pero no se corresponde con lo que el detector mide. Al detector le da igual si tu reescritura preserva el argumento. Está leyendo otra cosa completamente. Los cambios que realmente modifican las estadísticas es la versión manual del mismo problema.

Las FAQ de Turnitin también enumeran texto que los falsos positivos pueden incluir:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A veces, los falsos positivos (marcar incorrectamente texto escrito por humanos como generado por IA) pueden incluir contenido sin mucha variación estructural, texto que literalmente se repite a sí mismo, o texto que ha sido parafraseado sin desarrollar ideas nuevas).

La oración siguiente: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si nuestro indicador muestra una mayor cantidad de escritura con IA en dicho texto, le recomendamos que tenga eso en cuenta al observar el porcentaje indicado).

El tercer ítem de esa lista es el que hay que leer con cuidado, y leer con cuidado significa que dice menos de lo que la gente cree que dice. Turnitin describe el estado en el que está el texto terminado, igual que los dos primeros ítems describen estados: poca variación estructural, repetición literal, ideas que no avanzaron. Nada allí trata sobre qué operaciones de edición pusieron el texto en ese estado. Reemplazar una palabra por otra mejor es una edición ordinaria. Cualquier herramienta de reescritura lo hace, la nuestra también, y nada en la lista argumenta en contra de ello. Lo que la lista sí te dice es que un pasaje puede salir del otro lado de una reescritura diciendo exactamente lo mismo que decía al entrar, y que Turnitin trata el texto en ese estado como propenso a un falso positivo. Es una afirmación sobre el resultado, lo que significa que puedes comprobarlo tú mismo releyendo el párrafo. Cuando el significado realmente no debe moverse, lo que puedes reformular y lo que debe mantenerse exacto traza la línea sección por sección.

Para resumir lo que hemos cubierto:

• El detector lee patrones de probabilidad de palabras a través de una cadena de segmentos con solapamiento, no el significado.
• El modelo no calcula "burstiness" ni "perplexity" como métricas con nombre, pero sus clasificadores se entrenan con probabilidad de palabras.
• Preservar el significado y cambiar las estadísticas que lee el detector son dos restricciones separadas, no una.
• El texto que ha sido parafraseado sin desarrollar ideas nuevas está en la propia lista de contenido propenso a falsos positivos de Turnitin.
• La puntuación de IA y la puntuación de similitud son independientes y no se influyen mutuamente.

La implicación práctica es que una buena reescritura hace dos cosas a la vez: mantiene las ideas intactas y cambia el perfil de probabilidad de palabras de los pasajes marcados. Si tienes un informe de Turnitin, impórtalo y trabaja en los pasajes específicos que fueron marcados. Los pasajes elegibles se pueden volver a ejecutar sin cargo.