Un archivo llms.txt con datos falsos o instrucciones ocultas fue suficiente para que un modelo de lenguaje diera respuestas manipuladas en 22 de 24 preguntas, aunque en el mismo contexto tenía la documentación oficial con la respuesta correcta. Es la conclusión de un artículo publicado el 28 de octubre en arXiv por investigadores de Google, que propone un marco para evaluar la seguridad de este tipo de archivos. Nuestros compañeros de Seocretos han analizado qué significa el estudio para el SEO y la visibilidad en IA; aquí nos centramos en lo que revela sobre cómo los modelos tratan el contenido que leen de la web.
Las claves del estudio sobre llms.txt manipulados en 30 segundos
- Qué se probó: 24 preguntas sobre la documentación de ocho webs, como Stripe, Supabase o Zapier, con GPT-4.1 mini y cinco variantes de contexto.
- El resultado: con el llms.txt manipulado, 22 de 24 respuestas acabaron siendo falsas tras la revisión final; sin él, ninguna.
- El agravante: en ocho casos el modelo citaba la URL oficial correcta mientras decía algo que esa página contradecía.
- La salvedad: es un experimento controlado, con un solo modelo, archivos creados para la prueba y sin buscadores reales.
El llms.txt es un archivo en Markdown que algunas webs publican en su raíz para resumir su contenido y enlazar sus páginas clave, con la idea de que los modelos de lenguaje lo lean, como contamos cuando se propuso este estándar. El estudio parte de una pregunta sencilla: si un buscador con IA o un agente da por bueno lo que dice ese archivo, ¿qué ocurre cuando el archivo miente?
El modelo prefirió el archivo a la documentación
Los investigadores eligieron ocho servicios (WithJoy, Stripe, Supabase, ClickUp, Linear, PostHog, Zapier y Asana) y formularon tres preguntas sobre hechos verificables de cada uno. En todas las pruebas, el modelo recibía un resumen de la documentación oficial que incluía la respuesta correcta. Lo único que variaba era el llms.txt añadido: ninguno, uno normal, uno manipulado, o solo los enlaces de uno u otro sin su texto.
La manipulación se hizo de dos maneras. En 12 casos se incluyeron instrucciones dirigidas al modelo para que cambiara su respuesta, lo que en seguridad se conoce como inyección indirecta de instrucciones. En los otros 12 se añadieron datos falsos presentados como ciertos. Con el archivo normal o sin archivo no hubo ninguna respuesta manipulada. Con el archivo manipulado, la evaluación automática detectó 21 de 24, y una revisión semántica posterior elevó la cifra a 22, un 91,7 %. Cuando solo se pasaban los enlaces y se descartaba el texto, el ataque desaparecía, aunque los autores no comprobaron qué pasaría si esos enlaces llevaran a páginas también manipuladas.
Cuando la cita no respalda la respuesta
El hallazgo más preocupante es el de las citas. En ocho de las respuestas manipuladas, el modelo presentaba como fuente la URL oficial de la documentación, pese a que lo que afirmaba la contradecía. Para un usuario, una respuesta con un enlace al sitio oficial parece verificada; en estos casos, el enlace solo daba apariencia de credibilidad a un dato falso.
El problema no es exclusivo del llms.txt. Es la misma debilidad que aparece en cualquier sistema que mezcla contenido externo con sus instrucciones, desde los navegadores con IA hasta los agentes que leen correos o páginas web, y que hemos tratado al hablar de la inyección de instrucciones y el envenenamiento de datos. Un modelo no distingue de forma fiable entre lo que debe obedecer y lo que solo debe leer, y tiende a dar peso a lo que parece un documento oficial del propio sitio.
Lo que el experimento no demuestra
El estudio tiene límites claros. Se usó un solo modelo, pequeño, a temperatura 0,7 y con una única ejecución por caso; los archivos no eran los reales de esas webs, y no se publicó el detalle de preguntas y respuestas. Tampoco se probó en ningún buscador real. Según los datos que recogen los propios autores, los buscadores con IA apenas leen hoy estos archivos: Ahrefs encontró que el 97 % de los dominios con llms.txt no recibió ninguna petición de bots a ese fichero, y Google dice que no lo usa para posicionar. Si algún sistema lo adoptara, es esperable que añadiera filtros.
La lección es más amplia que el archivo concreto. Quien construya buscadores, asistentes o agentes que lean contenido de terceros debería tratar ese contenido como no fiable, separar los datos de las instrucciones y comprobar que lo que se cita respalda de verdad lo que se responde. Y quien mida la visibilidad de una marca en la IA debería revisar no solo si aparece citada, sino si lo que se dice de ella es cierto.
Preguntas frecuentes
¿Qué demostró el estudio sobre llms.txt?
Que un llms.txt manipulado logró respuestas falsas de GPT-4.1 mini en 22 de 24 preguntas, aunque el modelo tenía en su contexto la documentación oficial con la respuesta correcta.
¿Qué tiene que ver con la inyección de instrucciones?
La mitad de las manipulaciones eran instrucciones ocultas dirigidas al modelo, una forma de inyección indirecta de instrucciones. La otra mitad eran datos falsos presentados como ciertos.
¿Afecta a ChatGPT o Google hoy?
El estudio no lo prueba. Se hizo pasando el contenido directamente al modelo, y los datos disponibles indican que los buscadores con IA apenas leen hoy estos archivos.
Fuente: Seocretos, a partir del artículo de investigadores de Google en arXiv analizado por Lino Uruñuela
