¿Sabes si ChatGPT puede leer tu sitio web? Probablemente no, y no es tu culpa: casi nadie lo revisa. Y al revisarlo a veces sale la sorpresa: alguien le cerró la puerta a los motores de IA hace años, sin querer, y nadie se había dado cuenta.
Los bots de IA no funcionan como imaginas
Hay un malentendido muy común sobre cómo funcionan ChatGPT, Perplexity o Claude. La gente asume que cuando le preguntas algo a uno de estos motores, el bot sale corriendo a buscar en internet en ese momento, como si fuera una búsqueda de Google en tiempo real. No siempre funciona así: buena parte de lo que responden sale de lo que ya recolectaron antes.
Lo que hacen estos motores es mucho más parecido a cómo funciona una enciclopedia. Antes de que llegues tú con tu pregunta, alguien ya fue a recolectar la información, la organizó y la dejó disponible para consulta rápida. Ese «alguien» son los crawlers — rastreadores en español, aunque nadie los llama así. Son bots automatizados que recorren el internet de forma continua, leen páginas web, y van construyendo una especie de mapa del conocimiento disponible que los modelos de lenguaje pueden consultar al momento de generar una respuesta.
OpenAI tiene el suyo: GPTBot. Google tiene varios para sus propios modelos. Anthropic tiene ClaudeBot. Perplexity tiene PerplexityBot. Cada uno tiene un nombre, y casi todos se presentan con ese nombre cuando visitan una página.
Y los que respetan las reglas, antes de entrar a tu sitio, leen un archivo. El mismo archivo.
El letrero en la puerta que nadie volvió a leer
Ese archivo se llama robots.txt. Existe en muchísimos sitios web (no en todos), vive en una dirección muy específica — tudominio.com/robots.txt — y su función es exactamente la que parece: decirle a cada robot que llega a tu puerta qué puede ver y qué no.
La sintaxis es sencilla. Hay una instrucción llamada «User-agent» que le habla a un bot específico (o a todos, con un asterisco), y una instrucción llamada «Disallow» que señala las rutas bloqueadas. Algo así:
- User-agent: * — le habla a todos los bots
- Disallow: / — les bloquea todo el sitio
- User-agent: GPTBot — le habla específicamente al bot de OpenAI
- Disallow: /blog/ — le bloquea solo la carpeta del blog
Los bots que respetan las reglas — y la mayoría de los principales sí lo hacen — leen este archivo antes de rastrear. Si dice que no pueden entrar, se dan la vuelta. Así de simple, así de silencioso.
El problema no es la tecnología. El problema es quién escribió ese archivo y cuándo.
En muchos casos lo escribió el programador que montó el sitio hace tres o cinco años. A veces lo generó automáticamente un plugin de WordPress. A veces lo heredaron de una plantilla. A veces hay una regla de seguridad que alguien puso «por precaución» y que nadie revisó después. Y cuando GPTBot llegó por primera vez a tocar esa puerta — que fue bien después de que ese archivo fue escrito — ya estaba cerrada. Sin que nadie lo hubiera decidido conscientemente.
O, en el otro extremo: el sitio no tiene robots.txt. También es muy común. Y en ese caso los bots interpretan que pueden entrar a todo — lo cual puede no ser lo que quieres tampoco, si hay zonas del sitio que son privadas o que no quieres que indexen.
Mi opinión, no necesariamente amable:
Yo entiendo que el robots.txt no es algo que le quite el sueño a nadie. Es técnico, es aburrido y suena a cosa de programadores. Pero hay un error de percepción aquí que me parece importante corregir: mucha gente que está invirtiendo en contenido, en SEO, en redes sociales — en construir presencia digital — no ha verificado si los motores de IA pueden siquiera leer lo que están produciendo.
Es como pagar una campaña de publicidad espectacular y olvidarse de abrir la tienda. El trabajo de contenido existe. El esfuerzo existe. Pero si la puerta está cerrada para los rastreadores de IA, ese trabajo no alimenta los modelos que cada vez más personas consultan antes de tomar una decisión.
Y lo que más me llama la atención no es que la gente no lo haya revisado — es que muchos no sabían que esto existía. El robots.txt lleva décadas siendo parte del funcionamiento de internet. Google lo lee desde el principio. Lo que cambió es que ahora hay muchos más «lectores» del letrero: GPTBot, ClaudeBot, PerplexityBot, y los que van a llegar.
Abrir la puerta no garantiza que te citen — pero cerrarla puede dejarte fuera
Aquí hay una distinción importante que vale la pena hacer con claridad. Permitirle la entrada a los crawlers de IA es una condición necesaria pero no suficiente para aparecer en las respuestas de estos motores.
Que GPTBot pueda rastrear tu sitio no significa que ChatGPT te vaya a citar la próxima vez que alguien pregunte por tu sector. Para eso hacen falta más cosas: contenido que responda preguntas concretas, estructura técnica que los modelos puedan interpretar, autoridad de marca que los modelos reconozcan como fuente confiable. Todo eso es lo que trabaja la optimización GEO y AEO, y es un proceso que toma tiempo.
Pero cerrarles la puerta a los crawlers complica todo lo demás: si el bot no puede leer tu contenido, no puede aprender de él directamente.
El robots.txt es la primera puerta, no la única. Y muchas empresas ni siquiera han revisado si esa primera puerta está abierta.
La visibilidad en IA empieza antes de lo que crees
Antes de hablar de estrategia de contenido, de schema markup, de Entity Authority o de cualquier otra táctica de GEO — hay que asegurarse de que los rastreadores de IA puedan llegar al contenido. El robots.txt es el paso cero. No el único, pero sí el primero.
Qué pasa exactamente cuando revisas tu robots.txt
Para que quede claro lo que implica revisar este archivo — porque «solo es un archivo de texto» puede sonar a que basta con abrirlo y leerlo — vale la pena ver qué información concreta te dice y qué no.
Lo que sí te dice el robots.txt:
- Qué bots tienen acceso a tu sitio (o a qué partes de él)
- Qué bots están bloqueados explícitamente
- Si hay alguna regla heredada que aplica a «todos» los bots y que podría estar cerrando la puerta sin querer
- Si el archivo existe o no (también es información útil)
Lo que NO te dice:
- Si los bots que tienes permitidos realmente están rastreando tu sitio
- Si tu contenido es lo suficientemente bueno para que los modelos lo citen
- Si hay otras barreras técnicas que impidan el rastreo (JavaScript bloqueando contenido, por ejemplo, o tiempos de carga muy altos)
- Si los bots están ignorando el robots.txt — algunos lo hacen
Es la primera puerta, no la vista completa de la casa. Pero si la primera puerta está cerrada, el resto pesa mucho menos.
Cómo revisar el tuyo ahora mismo
La forma más directa es abrir una pestaña del navegador y escribir tudominio.com/robots.txt. Si existe el archivo, verás texto plano con las reglas. Si no carga nada o da error 404, el archivo no existe — lo cual tiene sus propias implicaciones.
Lo que debes buscar específicamente:
Busca «User-agent: *» seguido de «Disallow: /»
Esta combinación bloquea a todos los bots de todo el sitio. Si la ves, es la señal más clara de que algo está cerrado que quizás no debería estarlo. Puede haber sido intencional — algunos sitios no quieren ser rastreados — pero en muchos casos es una regla heredada de una configuración de desarrollo que nunca se cambió.
Busca menciones explícitas de GPTBot, ClaudeBot o PerplexityBot
Si tu archivo tiene estas líneas con «Disallow», esos bots específicos están bloqueados. Si no aparecen mencionados pero hay una regla abierta para todos los bots, deberías verificar si esa regla los incluye o los excluye.
Revisa si hay un archivo llms.txt además del robots.txt
El llms.txt es un estándar más nuevo — no universal todavía — que algunos sitios usan para darle a los modelos de lenguaje instrucciones más específicas sobre cómo interpretar su contenido. No es obligatorio ni lo reemplaza al robots.txt, pero si ya estás pensando en visibilidad en IA, vale la pena conocerlo.
Si no entiendes lo que ves, pídele ayuda a alguien que sí
El formato del robots.txt es técnico pero no complicado. Cualquier desarrollador puede leerlo en dos minutos. Si no tienes uno a la mano, también hay herramientas que lo interpretan por ti.
En AEON42 tenemos una herramienta gratuita para esto — pones tu dominio y tu correo, y en segundos te dice qué bots de IA pueden leer tu sitio y cuáles no. Solo necesitas un navegador, sin instalar nada. Puedes revisarlo en [la herramienta de crawlers de AEON42](https://aeon42.com/herramientas/crawlers-ia), y aquí te contamos qué es AEON42.
Lo que esto tiene que ver con una estrategia de visibilidad en IA de verdad
El robots.txt es el punto de partida, pero la visibilidad en IA — aparecer en ChatGPT, en Perplexity, en Google AI Overviews cuando alguien pregunta por lo que tú haces — es una disciplina más amplia. Implica trabajar el contenido para que responda preguntas concretas, no solo para que «exista». Implica estructura técnica que los modelos puedan interpretar. Implica construir lo que en el mundo del SEO técnico se llama autoridad de entidad: que los modelos de lenguaje reconozcan tu marca como una fuente confiable dentro de tu industria.
Nada de eso funciona si el primer paso no está resuelto. Y el primer paso es tan simple — y tan ignorado — como revisar un archivo de texto en tu propio servidor.
Si quieres entender mejor el panorama completo de cómo funciona la optimización para motores de IA y para búsqueda orgánica, hay más contexto en el sitio. Pero empieza por lo básico: abre tu robots.txt hoy.
Y si prefieres que alguien lo revise y lo corrija por ti — que lo deje bien configurado para los crawlers de IA que ya existen y los que van a llegar — el equipo de Play.Interactive puede encargarse. Empieza con un brief y en 3 a 5 días hábiles tienes una propuesta detallada, sin costo. Puedes suscribirte al newsletter para enterarte cuando hay nuevas herramientas disponibles o escribirnos directo.
Preguntas frecuentes
La mayoría de los principales sí lo respetan — GPTBot de OpenAI, ClaudeBot de Anthropic y PerplexityBot están documentados como bots que siguen las instrucciones del robots.txt. Pero no todos los bots en internet lo hacen, y es importante saber que el archivo no es una barrera técnica sino una señal de cumplimiento voluntario.
No necesariamente un problema, pero sí una variable sin controlar. Cuando no hay robots.txt, la mayoría de los bots interpretan que pueden rastrear todo el sitio. Eso puede estar bien si quieres visibilidad total, pero también puede significar que zonas privadas o en construcción queden expuestas al rastreo. Lo ideal es tener un archivo configurado deliberadamente, no ausente.
No de forma automática. Permitir el acceso al crawler es el requisito mínimo para que los modelos puedan aprender de tu contenido, pero no garantiza que te citen. Para que un motor de IA te recomiende también influyen la calidad del contenido, cómo está estructurado, la autoridad que tiene tu dominio y qué tan bien responde tu sitio las preguntas que hacen los usuarios. El robots.txt abierto es el paso cero, no el único.
Al menos cada vez que alguien toca la configuración de tu sitio: un rediseño, una migración, la instalación de un plugin nuevo, un cambio de plataforma. También vale la pena revisarlo cuando incorporas una nueva estrategia de contenido o de SEO — para asegurarte de que los bots que quieres que entren, pueden entrar. No es un archivo que cambia solo, pero sí uno que puede cambiar sin que te avisen.
El robots.txt es el estándar de décadas para decirle a cualquier bot qué puede rastrear y qué no. El llms.txt es una propuesta más reciente, específicamente orientada a modelos de lenguaje: no controla el acceso sino que les da contexto sobre cómo interpretar el contenido del sitio. No reemplaza al robots.txt ni está universalmente adoptado todavía, pero es parte del vocabulario de la visibilidad en IA que va a seguir creciendo.