¿Con qué frecuencia dicen los chatbots que un texto humano es de IA? Una prueba de 2026 con 15 modelos

Depende en gran medida del modelo. En un preprint de 2026, se preguntó a través de sus API y con una única pregunta fija a 15 modelos de IA de propósito general —del tipo que impulsa a los chatbots— si 1.000 textos escritos por humanos procedían de una persona o de una máquina. La generación anterior (GPT-4o y otros cuatro modelos de 2024–25) respondió «máquina» en el 36.5% de los textos humanos de media. La generación más reciente (ocho modelos de 2026, entre ellos GPT-5.5, Claude Opus 4.7 y Gemini 3.1 Pro Preview) lo hizo en el 3.6%, con modelos individuales que oscilaron entre el 0.1% y el 8.6%. Por tanto, la frecuencia con la que un chatbot responde erróneamente «máquina» ante un texto humano varía enormemente según el modelo: en esta prueba, desde más de un tercio de las veces hasta casi nunca. Una tasa de ese tipo describe un conjunto amplio de textos, no tu ensayo en particular, y la respuesta de un chatbot no constituye una prueba por sí sola: los textos evaluados no eran trabajos académicos de estudiantes, y una captura de pantalla no permite saber qué modelo respondió ni cómo se formuló la pregunta.

El estudio se titula "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (Uso de LLM para detectar textos generados por LLM: un análisis intergeneracional), cuyos autores son Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li y Shujun Li, de la Universidad de Kent, la Universidad Jiao Tong de Shanghái y la Universidad de Birmingham. Se publicó en arXiv el 28 de septiembre de 2026. Se trata de un preprint que no ha sido revisado por pares.

Comenzaron con 1.000 textos escritos por personas procedentes de M4GT-Bench, un conjunto de datos público para investigación que el artículo describe como "covering a broad range of topics, styles, and formats" (que abarca una amplia variedad de temas, estilos y formatos). Al revisar el archivo publicado, encontramos artículos enciclopédicos, guías prácticas, respuestas en foros, resúmenes de investigación y revisiones por pares de artículos científicos. En ningún caso el estudio señala que alguno de ellos fuera un trabajo de un estudiante. Asimismo, cada uno de los 15 modelos redactó 1.000 textos a partir de instrucciones equivalentes, en las que mayoritariamente se pedían entre 150 y 300 palabras.

Después, cada modelo asumió el papel de detector. Todos los textos se enviaron a cada modelo con la misma instrucción, que comenzaba con "Please determine whether the following text is generated by large language models or by a human" (Por favor, determina si el siguiente texto ha sido generado por modelos de lenguaje extensos o por un ser humano), y el modelo debía responder «human» o «machine» y justificar su respuesta. Esto produjo más de 233.000 evaluaciones válidas.

Los investigadores agruparon los modelos según su fecha de lanzamiento:

• Los más antiguos (de 2023 a principios de 2024): GPT-3.5 Turbo Instruct y Mixtral 8×22B Instruct.
• Generación anterior (2024–25): GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B y un modelo Qwen de 72.000 millones de parámetros (que figura como Qwen2.5-72B Instruct en la tabla de modelos del artículo y como Qwen2-72B en otras partes del mismo).
• Generación más reciente (2026): GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro y Kimi K2.6.

El acceso a los modelos se realizó principalmente a través de OpenRouter y de las API de los propios proveedores; el artículo no menciona haber realizado pruebas en las aplicaciones de ChatGPT, Gemini o Claude. Tampoco indica las fechas concretas de ejecución: se refiere al grupo más nuevo como los modelos más recientes "at the time of our experiments" (en el momento de nuestros experimentos) y documenta haber verificado los ajustes predeterminados de los modelos el 3 de septiembre de 2026.

Nuestro artículo anterior ¿Es ChatGPT un detector de IA? Lo que OpenAI publicó sobre su propio clasificador se articula en torno al clasificador que OpenAI creó, evaluó y retiró en 2023, y sostiene a partir de ahí que preguntarle a un modelo conversacional si un texto fue escrito por IA no constituye una detección. Dicho artículo no incluía mediciones de modelos de chat realizando esta tarea. Este estudio las aporta: 15 modelos de chat sometidos directamente a esa pregunta, en condiciones de API que se aproximan más a la situación de un profesor pegando un ensayo en una ventana de chat que un clasificador independiente, aunque sigan sin ser exactamente lo mismo.

Cada cifra es la media de los modelos de ese grupo. El rango de la última columna varía según qué generación haya redactado los textos de IA.

Los tres grupos fallaron en direcciones distintas. Los modelos más antiguos respondieron en su mayoría «humano», por lo que señalaron erróneamente a menos personas que la generación siguiente, pero dejaron pasar más de cuatro de cada cinco textos de IA. La generación anterior se fue al otro extremo: detectó más texto de IA, pero catalogó más de un tercio de los textos humanos como generados por máquinas. El grupo más reciente obtuvo cifras bajas en ambos aspectos, aunque pasó por alto más textos de IA redactados por modelos de 2026 (13.4%) que textos de IA más antiguos.

Esa primera fila es una trampa si se lee de forma aislada. Una tasa de falsas alarmas del 13% parece mejor que un 36.5%, pero procedía de modelos que casi nunca decían «máquina». Un detector que nunca acusa a nadie tampoco descubre a nadie.

La media del 3.6% esconde una gran dispersión. Los resultados publicados por los autores muestran la tasa de cada modelo de última generación ante los mismos 1.000 textos humanos:

Entre los 15 modelos, la tasa osciló entre el 0.1% y el 55.3%, situándose la más alta en Llama 3.3 70B, de la generación anterior. La principal conclusión del estudio es más amplia: la eficacia de la detección "is primarily driven by detector capability rather than generator provenance" (está determinado principalmente por la capacidad del detector y no por la procedencia del generador). El modelo al que se le pregunta importa más que el modelo que escribió el texto.

Esta tabla ilustra hasta qué punto difieren los modelos. No debe tomarse como una referencia directa para tu caso: una aplicación de chat puede ejecutar una versión distinta a la evaluada, la pregunta de tu profesor probablemente estuvo formulada de otra forma y cada modelo respondió una sola vez por cada texto.

Las capturas de pantalla suelen incluir justificaciones: redacción demasiado estructurada, demasiado genérica o demasiado fluida. En este estudio, todos los modelos tuvieron que aportar una razón. A continuación, los investigadores hicieron que otro modelo de IA, GPT-5.6 Sol, comparara en paralelo una muestra de esas explicaciones, y descubrió que se utilizaban los mismos rasgos para argumentar en ambos sentidos. Una redacción detallada y coherente, señalan los autores, "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (puede ser considerado por un detector como prueba de competencia humana, pero por otro como indicio de una generación formularia por parte de un LLM).

También advierten de que las explicaciones "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (pueden ser justificaciones a posteriori más que descripciones precisas y fiables de cómo se tomó la decisión). El recuento de palabras clave que hicieron los autores sobre esas mismas explicaciones apuntó en la misma dirección, y señalan que aún es necesario que anotadores humanos confirmen estas conclusiones. Si la captura de pantalla dice que tu ensayo tiene una estructura clara y transiciones fluidas, eso describe tu ensayo; no demuestra en absoluto de dónde provino.

• Cómo evalúan los chatbots los trabajos de estudiantes. Ninguno de los textos humanos fue descrito como un trabajo académico de estudiantes, y en ambos casos eran textos breves: según nuestro cálculo, los textos humanos tenían una mediana de 233 palabras, y a los de IA se les solicitaba mayoritariamente entre 150 y 300. Un ensayo largo podría arrojar resultados distintos, y el estudio no ofrece ningún motivo para intuir en qué dirección.
• Si volver a preguntar cambia la respuesta. Cada modelo juzgó cada texto una sola vez, por lo que el estudio no dice nada sobre con qué frecuencia un mismo chatbot cambia de postura en un segundo intento.
• Si estos hallazgos se sostendrán. Se trata de un preprint, y los propios autores califican su división en tres generaciones como "rather simplistic" (bastante simplista).
• Los modelos del próximo año. Muchos de los modelos considerados en un inicio por los investigadores ya habían sido retirados o descontinuados, razón por la cual el grupo más antiguo solo cuenta con dos. Las cifras describen a estos 15 modelos, no a lo que venga después.

1. Averigua exactamente qué se ejecutó. Pregunta con cortesía: ¿qué chatbot fue?, ¿podrías ver la conversación completa, incluida la pregunta formulada?, ¿es esta la única comprobación o hay también un informe de Turnitin u otro sistema? La respuesta cambia aquello a lo que tienes que responder.
2. Lee la normativa de tu asignatura y de tu institución. Busca cómo se gestionan las sospechas de uso de IA y qué tiene validez como prueba. Algunas universidades limitan qué herramientas de detección puede utilizar el personal o qué peso probatorio tienen los resultados de los detectores; 19 universidades que limitan el uso o las pruebas de detectores de IA: declaraciones oficiales recopila el redactado oficial. Que un chatbot quede cubierto por esas normas dependerá de cómo estén redactadas las de tu centro.
3. Presenta tu proceso de escritura. Borradores, notas, las fuentes consultadas y el propio historial del archivo. En Cómo demostrar que no usaste IA: historial de versiones en Word y Google Docs se explica cómo exportarlo. Poder explicar de viva voz cómo fuiste construyendo la argumentación es algo que el veredicto de un chatbot no puede ver.
4. Si citas este estudio, cita los dos extremos. "Chatbots are wrong a third of the time" (los chatbots se equivocan un tercio de las veces) corresponde únicamente a la generación anterior. Los modelos más recientes de esta prueba clasificaron entre el 0.1% y el 8.6% de los textos humanos como obra de máquinas; la generación anterior, muchísimo más. Y un porcentaje describe un conjunto enorme de textos, no tu ensayo individual, que es la idea central de Qué significa una tasa de falsos positivos del 1% cuando una universidad entrega 75.000 trabajos.
5. No respondas con otra captura de pantalla. Que un chatbot distinto diga «humano» arrastra todas las limitaciones anteriores. Tus borradores son una prueba de cómo se redactó el ensayo; la opinión de un segundo chatbot no lo es.

La respuesta de un chatbot no es un informe oficial ni tiene pasajes señalados, y reelaborar un ensayo que ya está siendo cuestionado no aclararía nada. La función para humanizar de HumanPen está diseñada para un caso distinto: un borrador que todavía no has entregado, un informe de Turnitin o iThenticate sobre él, y una asignatura que permita reformular el texto con la ayuda de herramientas. Comprueba primero esto último en la normativa de tu asignatura. Importa el informe de Turnitin o iThenticate y reformula solo los pasajes señalados. Recibirás un archivo editable en el mismo formato.

¿Significa esto que ChatGPT ya puede detectar textos escritos por IA? No únicamente a partir de estas pruebas. El artículo describe evaluaciones realizadas a través de API, no en la aplicación de ChatGPT: se analizaron GPT-5.5 y otros 14 modelos, planteando a cada uno una única pregunta fija. En esa configuración, los modelos más recientes catalogaron erróneamente el 3.6% de los textos humanos de media y pasaron por alto entre el 6.1% y el 13.4% de los textos de IA, en función de qué generación los hubiera redactado.

¿Es siempre más fiable un chatbot más nuevo? No necesariamente. La generación anterior catalogó más textos humanos como «máquina» que la más antigua (36.5% frente a 13.0%). Y un modelo de la generación anterior, Qwen 72B, lo hizo en el 4.4% de los textos humanos, menos que tres de los modelos más recientes (Claude Opus 4.7 con un 6.1%, MiMo-V2.5-Pro con un 7.9% y DeepSeek-V4-Pro con un 8.6%), aunque logró esa cifra respondiendo «humano» casi siempre.

¿Ha sido revisado por pares este estudio? No. Se publicó como preprint en arXiv el 28 de septiembre de 2026. Los autores han publicado los textos, las instrucciones empleadas, las respuestas sin procesar de cada modelo y su código de análisis.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li y Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, enviado el 28 de septiembre de 2026 (preprint, no revisado por pares); consultado el 2 de octubre de 2026 (tablas 1 y 5; secciones 3, 4 y 5; apéndices A.2 y A.3).
• Datos y resultados publicados por los autores, hyyuan/detect-llm-generated-texts en GitHub: tasas por modelo obtenidas de `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, textos de autoría humana de `dataset/human-generated-text/human.json`; consultado el 2 de octubre de 2026.