Por qué los detectores de IA señalan con más frecuencia a escritores no nativos de inglés

En 2023, un equipo de Stanford —Liang, Yuksekgonul, Mao, Wu y Zou— pasó siete detectores de GPT de uso habitual sobre dos conjuntos de ensayos. El primero fue 91 ensayos TOEFL obtenidos de un foro educativo chino00130-7), todos escritos por estudiantes. El segundo fue 88 ensayos de alumnos de octavo grado en EE. UU., del conjunto de datos ASAP de la Fundación Hewlett. No hubo IA involucrada en ninguno de los dos conjuntos. El trabajo se publicó en Patterns, una revista de Cell Press.

Con los ensayos de octavo grado de EE. UU., los detectores funcionaron casi a la perfección. Con los ensayos TOEFL, la tasa media de falsos positivos fue del 61,22 %. Los siete detectores coincidieron en señalar como escritos por IA 18 de los 91 ensayos (19,78 %), y 89 de los 91 (97,80 %) fueron marcados por al menos uno.

El contraste es el resultado importante. Los mismos siete herramientas funcionaron mucho mejor con el conjunto de octavo grado de EE. UU. que con el conjunto TOEFL. Esto no establece una tasa de error para todos los escritores multilingües ni para todos los detectores actuales. Sí demuestra que una afirmación de precisión agregada puede ocultar un resultado mucho peor para una población de escritores concreta.

Interpreta el 61,22 % como un resultado para esta muestra y estos siete detectores de 2023, no como tu probabilidad personal de ser señalado. El estudio es una advertencia sobre el error desigual, no una predicción universal.

El hallazgo ha sido cuestionado. Un proveedor de detectores argumentó que 91 ensayos de un solo foro estudiantil eran demasiado pocos y de origen demasiado estrecho para sostener una tasa general. Esas son limitaciones reales: la muestra es por conveniencia, los grupos de comparación difieren en edad y en antecedentes lingüísticos, y los productos detectores han cambiado desde 2023. La conclusión defendible es, por tanto, más estrecha que el titular: el estudio identificó una gran disparidad que las instituciones no deberían dar por superada.

Desde una perspectiva de riesgo, las instituciones han llegado a la misma precaución. Vanderbilt University desactivó el detector de IA de Turnitin en agosto de 2023. Señaló que incluso una tasa de falsos positivos del 1 % a nivel de documento generaría una carga de revisión seria frente a unas 75.000 entregas anuales. Esa cuenta es una ilustración, no una predicción de que exactamente 750 estudiantes serán acusados: no todos los trabajos son elegibles, la tasa base es desconocida y una señal no tiene por qué convertirse en imputación. El punto es que los porcentajes pequeños siguen requiriendo un proceso justo a escala institucional.

¿Qué reforzaría la evidencia? Estudios más amplios y preregistrados deberían muestrear escritores de distintas lenguas maternas, niveles de competencia, disciplinas y tipos de trabajo; comparar grupos emparejados por edad; publicar resultados por versión del detector; y reportar tanto falsos positivos como falsos negativos. La precisión agregada por sí sola no basta. Las instituciones que consideran su implementación deberían preguntar si el proveedor ha evaluado la población estudiantil concreta y si hay resultados por subgrupos, en lugar de importar una tasa titular de otro corpus.

Para un informe individual, ni el número de Stanford ni un punto de referencia del proveedor resuelven el caso. La evidencia relevante es local: qué texto se sometió, dónde caen los resaltados, qué versión del modelo se ejecutó, qué permitía la tarea y cómo evolucionaron los borradores del estudiante. La investigación poblacional indica a un revisor qué modo de fallo tomar en serio; no sustituye la revisión del trabajo concreto.

Las explicaciones públicas iniciales de los detectores se centraban en dos señales estadísticas: perplexity y burstiness. Los sistemas comerciales actuales pueden combinar muchas señales aprendidas, y sus mecanismos internos suelen no divulgarse, así que estos dos términos funcionan mejor como una forma de entender el problema que como una descripción completa de todos los productos actuales.

Perplexity mide lo sorprendentes que son tus elecciones de palabras para un modelo de lenguaje: si la siguiente palabra es la que el modelo habría predicho, la perplejidad es baja. Burstiness mide cuánto varían la longitud y la estructura de las oraciones en un pasaje; las oraciones uniformes y regulares puntúan bajo.

En un detector que usa estas señales, una perplejidad baja y una variación baja pueden contribuir a una clasificación como texto de máquina. No son una prueba universal, e incluso el mismo pasaje puede tener distinta perplejidad bajo distintos modelos de referencia. Un clasificador aún tiene que combinar sus señales y elegir un umbral en el que etiquetar el resultado.

Un detector no observa autoría ni intención. Observa rasgos del texto sometido y los compara con patrones aprendidos de datos de entrenamiento.

Esa distinción importa para la escritura en segunda lengua. Un vocabulario activo más reducido, marcos oracionales repetidos y una adhesión estricta a modelos de clase pueden parecerse a rasgos encontrados en texto generado. Un mejor clasificador puede reducir ese error, pero ninguna arquitectura convierte una semejanza textual en observación directa de quién escribió el pasaje.

El umbral también importa. Bajarlo capta más texto generado pero también admite más texto humano; subirlo hace lo contrario. Un número de precisión anunciado describe un conjunto de datos en un punto de operación concreto. No garantiza un rendimiento igual entre niveles de competencia, disciplinas, longitudes de documento o versiones posteriores del modelo.

El artículo no se detiene en comparar dos grupos. Manipula la lengua en ambas direcciones manteniendo fijos los ensayos de origen y sus argumentos. Eso hace más persuasivo el mecanismo propuesto, aunque aún no aísla el vocabulario de todos los demás cambios estilísticos realizados por el modelo.

Primera dirección. Los investigadores tomaron los ensayos TOEFL que habían sido señalados por unanimidad y pidieron a GPT-4 que enriqueciera las elecciones de palabras. La perplejidad subió significativamente (P = 9,36E-05), y el número detectado por unanimidad cayó de 18 ensayos a 1 de 91 (1,10 %). Mismos autores, mismos argumentos, mismos ensayos: solo cambió el vocabulario.

Segunda dirección, la más sólida. Tomaron los ensayos de octavo grado de EE. UU., que los detectores habían juzgado casi a la perfección, y pidieron a ChatGPT que "simplificara las elecciones de palabras como si las hubiera escrito un hablante no nativo". La clasificación errónea saltó de una media del 5,19 % al 56,65 %.

La autoría de los ensayos subyacentes no cambió, pero las clasificaciones sí. La intervención respalda por tanto un papel causal del lenguaje superficial —especialmente la variedad léxica— en lugar de que una etiqueta demográfica sea de algún modo visible para el detector. Como GPT-4 y ChatGPT también pueden cambiar sintaxis, cadencia y fraseo, sería excesivo decir que el experimento prueba que el vocabulario es la única causa.

La propia conclusión del artículo es que los detectores "pueden penalizar sin querer a escritores con expresiones lingüísticas limitadas", y advierte contra su despliegue en entornos evaluativos o educativos.

El resultado también explica por qué pedir a un escritor multilingüe que suene más formal puede salir mal. El consejo académico suele recompensar transiciones estándar, vocabulario conservador y estructura oracional uniforme. Esas elecciones pueden ser apropiadas para la claridad, pero reducen exactamente la variación que los detectores estadísticos más antiguos tomaban como evidencia de autoría humana. El remedio no es forzar vocabulario decorativo en un trabajo; es evitar tratar el detector como una prueba de autoría.

El mismo artículo reporta algo que complica cualquier uso de estas puntuaciones como evidencia. El equipo generó ensayos con ChatGPT-3.5: los detectores los captaron de forma fiable. Luego aplicaron un único prompt de autoedición, "elevate the provided text by employing literary language" (eleva el texto proporcionado empleando lenguaje literario), y la detección cayó del 100 % al 13 %.

Esto no se ofrece aquí como una técnica. Se ofrece como un hecho sobre el instrumento: una medida que un prompt de una línea mueve 87 puntos porcentuales es una base débil para una acusación, y también explica por qué nadie puede prometerte honestamente un resultado concreto del detector. Nosotros no lo hacemos.

Hay dos límites en ese resultado. Primero, describe los siete detectores y salidas de modelo probados en 2023, no todos los productos en 2026. Segundo, la robustez frente a la evasión y la equidad para escritores humanos son propiedades distintas: un detector puede volverse más difícil de engañar y retener aún así falsos positivos desiguales. Cualquier evaluación actual debería probar ambas, en las poblaciones y géneros de escritura donde la puntuación se usará realmente.

Un detector puede ser útil para el triaje sin ser lo bastante fiable para la adjudicación. Cuanto mayor es la consecuencia, más evidencia independiente y revisión procesal se necesitan.

Nada de esto es consejo sobre cómo escribir para burlar un detector. Es qué hacer cuando una estadística se lee como evidencia sobre ti.

• Guarda tus borradores, empezando ya. Conserva el historial de versiones en Word o Google Docs, archivos de esquema, notas de lectura y retroalimentación del supervisor. Estos artefactos muestran cómo evolucionó el trabajo a lo largo del tiempo; son evidencia más sólida que una puntuación de detector rival.
• Pide el informe completo, no el porcentaje titular. Los resaltados de pasajes pueden mostrar si las señales se agrupan en métodos, definiciones o antecedentes: secciones donde cabe esperar lenguaje convencional. No los describas como probabilidades a nivel de sección a menos que el informe las proporcione realmente.
• Pregunta cómo se usa el número. Solicita el curso o la política institucional relevante, el detector y la versión, y la evidencia considerada más allá de la puntuación. Muchas instituciones tratan una señal como razón para mirar, no como un hallazgo.
• Edita por significado y autoría. Sustituye redacciones que no usarías naturalmente, verifica cada afirmación y cita, y asegúrate de poder explicar el argumento. No distorsiones una prosa clara solo para fabricar variación en la longitud de las oraciones.

Si ha comenzado un proceso formal, mantén el archivo sometido sin cambios y trabaja desde una copia. Escribe una cronología simple: cuándo investigaste, redactaste, recibiste retroalimentación y revisaste. Pide tiempo suficiente para revisar la evidencia y lleva a un asesor o representante estudiantil donde las normas lo permitan. La guía separada sobre preparar una respuesta a una señal falsa cubre ese proceso en detalle.

Si eres educador, no esperes a que un estudiante plantee la cuestión del sesgo. Define por adelantado quién revisa una señal, qué corroboración se requiere, cómo se consideran los antecedentes lingüísticos y la discapacidad, y cómo recibe el estudiante el informe subyacente. Una herramienta puede ser un triaje opcional solo si el proceso humano es capaz de disentir de ella.