Robots.txt para bots de IA: comprobador gratis

Qué revisa el comprobador

01
robots.txt para 14 bots

Leemos tu robots.txt y lo evaluamos bot a bot con las reglas del estándar (RFC 9309): si un bot tiene un grupo con su nombre, sigue ese grupo e ignora el de «*».
02
Respuesta del servidor

Pedimos tu página como un navegador y como siete bots de IA. Si el navegador entra y un bot recibe un 403, un 429, un 503 o una página de verificación, lo más probable es que tu cortafuegos lo esté frenando.
03
Meta robots y X-Robots-Tag

Buscamos noindex, nosnippet y max-snippet:0, que sacan la página de los resultados o impiden usar su texto en las respuestas.
04
Contenido sin JavaScript

Comprobamos si el H1 y el texto principal están en el HTML que envía el servidor y contamos las palabras visibles. Una web que se monta con JavaScript puede llegar vacía a los rastreadores de IA.
05
Datos estructurados

Listamos los tipos de JSON-LD, detectamos errores de sintaxis y miramos si tu Organization o LocalBusiness enlaza tus perfiles con sameAs.
06
llms.txt

Vemos si existe, si es texto plano y no una página HTML, si empieza por un título «# » y cuántos enlaces tiene. Probamos hasta cinco.
07
Sitemap

Lo buscamos en tu robots.txt y en /sitemap.xml, contamos las URL y miramos la fecha de la última actualización.
08
hreflang

Revisamos los idiomas y países declarados (es-ES, es-MX, es-419, x-default...), la autorreferencia y el x-default. Importa si vendes en varios países de habla hispana.

Bots de búsqueda frente a bots de entrenamiento

No todos los bots de IA hacen lo mismo. Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) rastrean tu web para que el asistente pueda mostrarla y enlazarla cuando responde con búsqueda. Los que van a petición del usuario (ChatGPT-User, Claude-User, Perplexity-User) abren una página cuando alguien se lo pide al asistente. Los de entrenamiento (GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent) recogen contenido para entrenar modelos.

Las empresas de IA los tratan por separado. OpenAI, por ejemplo, explica en su documentación que puedes bloquear GPTBot y dejar pasar a OAI-SearchBot: así, no entrena con tu contenido y sigues saliendo en la búsqueda de ChatGPT. Cerrar el paso a los de entrenamiento es una decisión de negocio legítima; cerrárselo a los de búsqueda te saca de esas respuestas.

Google va aparte. Googlebot alimenta el buscador, las AI Overviews y el Modo IA, mientras que Google-Extended solo decide si tu contenido entrena a Gemini y se usa en la app de Gemini y en Vertex AI. Bloquear Google-Extended no te saca de las AI Overviews: para eso, Google remite a nosnippet, max-snippet o noindex.

Los 14 bots que comprobamos: para qué sirve cada uno y qué pasa si lo bloqueas
Bot	Empresa	Para qué sirve
`OAI-SearchBot` Búsqueda	OpenAI	Resultados de búsqueda de ChatGPT Tu web deja de aparecer y de enlazarse en las respuestas con búsqueda de ChatGPT.
`ChatGPT-User` Petición de usuario	OpenAI	Visitas que pide el usuario ChatGPT no podrá abrir tu página cuando un usuario se lo pida.
`GPTBot` Entrenamiento	OpenAI	Entrenamiento de los modelos de OpenAI OpenAI no entrenará sus próximos modelos con tu contenido; la búsqueda de ChatGPT no cambia.
`Claude-SearchBot` Búsqueda	Anthropic	Calidad de la búsqueda de Claude Claude contará con menos información de tu web al responder con búsqueda.
`Claude-User` Petición de usuario	Anthropic	Visitas que pide el usuario Claude no podrá abrir tu página cuando un usuario se lo pida.
`ClaudeBot` Entrenamiento	Anthropic	Entrenamiento de los modelos de Anthropic Anthropic no entrenará sus próximos modelos con tu contenido; la búsqueda de Claude no cambia.
`PerplexityBot` Búsqueda	Perplexity	Índice y enlaces de Perplexity Perplexity no te mostrará ni te enlazará en sus respuestas.
`Perplexity-User` Petición de usuario	Perplexity	Visitas que pide el usuario Perplexity no podrá abrir tu página cuando un usuario se lo pida.
`Googlebot` Búsqueda	Google	Google, AI Overviews y Modo IA Google no podrá rastrear tu web, y eso te deja prácticamente fuera del buscador, de las AI Overviews y del Modo IA.
`Google-Extended` Mixto	Google	Entrenamiento y respuestas de Gemini Gemini no usará tu contenido para entrenarse ni para responder en su app y en Vertex AI; Google y las AI Overviews no cambian.
`Bingbot` Búsqueda	Microsoft	Bing y Microsoft Copilot Sales del índice de Bing y, con él, de las respuestas de Copilot.
`Applebot-Extended` Entrenamiento	Apple	Entrenamiento de los modelos de Apple Apple no entrenará sus modelos con tu contenido; Siri y Spotlight no cambian.
`CCBot` Entrenamiento	Common Crawl	Archivo abierto de Common Crawl Tu web no entrará en Common Crawl, un archivo con el que se entrenan muchos modelos de IA.
`Meta-ExternalAgent` Entrenamiento	Meta	Entrenamiento y Meta AI Meta no usará tu contenido para entrenar sus modelos ni para Meta AI.

Cómo configurar el robots.txt para los bots de IA

Cada bot sigue el grupo que lleva su nombre y, si lo tiene, ignora el grupo User-agent: *. Por eso un Disallow: / en el grupo general deja fuera a todos los que no tienen grupo propio. Y al revés: un grupo propio sin tus exclusiones de siempre les abre carpetas que quizá querías cerrar.

Lo más limpio es poner dos grupos al principio del archivo: uno para los bots de búsqueda y de usuario, con Allow: / y las mismas exclusiones que tu grupo general, y otro con Disallow: / para los de entrenamiento, si no quieres que tu contenido sirva para entrenar modelos. El ejemplo de abajo hace exactamente eso.

Vigila también que el archivo responda bien. Si /robots.txt devuelve un error 5xx o no contesta, los rastreadores tratan toda la web como cerrada; un 404, en cambio, equivale a dejar pasar a todos.

# Búsqueda de IA y visitas de usuarios: pueden entrar
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Entrenamiento de modelos: fuera (opcional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Sitemap: https://tumarca.com/sitemap.xml

Si tu web usa Cloudflare

Desde el 1 de julio de 2025, Cloudflare activa por defecto el bloqueo de rastreadores de IA en los dominios nuevos que se dan de alta. Muchos dueños de webs lo tienen activado sin saberlo: su robots.txt deja pasar a los bots de IA, pero el servidor los bloquea.

Se gestiona en el panel de Cloudflare (AI Crawl Control o los ajustes de bots), bot a bot. Si el comprobador marca a OAI-SearchBot, ChatGPT-User o PerplexityBot con bloqueo en el servidor, empieza por ahí. Recuerda que nuestra prueba es un indicio: las peticiones salen de servidores en la nube, no de las IP reales de cada bot.

¿Se lee tu contenido sin JavaScript?

Según los análisis que publicaron Vercel y MERJ en diciembre de 2024, GPTBot, ClaudeBot y PerplexityBot no ejecutan JavaScript: leen el HTML tal como lo envía el servidor. Googlebot sí lo ejecuta, así que una web puede verse bien en Google y llegar vacía a los rastreadores de IA.

Por eso buscamos el H1 y contamos las palabras visibles en el HTML sin procesar. Si tu web es una aplicación de una sola página que se monta en el navegador, sirve en el HTML al menos lo que un cliente necesita leer: qué haces, para quién, precios y respuestas a sus preguntas.

llms.txt: qué es y por qué le damos poco peso

El llms.txt es un archivo en Markdown que se coloca en la raíz de la web y resume, para los modelos de lenguaje, cuáles son tus páginas clave. Lo propuso Jeremy Howard (Answer.AI) en septiembre de 2024.

Ningún gran buscador de IA ha confirmado que lo use. Aun así lo revisamos, porque es barato y no hace daño. Si lo publicas, que sea texto plano, que empiece por un título con # y que sus enlaces funcionen. Tienes más información en nuestro glosario GEO.

Calculadora de ChatGPT Ads →

¿Te nombra la IA cuando un cliente pregunta por lo que vendes?

Que los bots puedan leer tu web es solo el primer paso. El diagnóstico gratis te dice dónde apareces hoy, a qué competidores nombran en tu lugar y de 3 a 5 preguntas que puedes ganar primero.

Pide tu diagnóstico gratis

Preguntas frecuentes

Preguntas frecuentes sobre robots.txt, bots de IA y llms.txt

¿Puede ChatGPT leer mi web?

Depende de tres cosas: que tu robots.txt deje pasar a OAI-SearchBot y ChatGPT-User, que tu servidor o tu cortafuegos no los rechace y que el contenido esté en el HTML sin necesidad de JavaScript. El comprobador revisa las tres en menos de medio minuto.

¿Debo bloquear GPTBot en mi robots.txt?

Solo si no quieres que OpenAI entrene sus modelos con tu contenido. Bloquear GPTBot no te saca de la búsqueda de ChatGPT, porque de eso se encarga OAI-SearchBot y OpenAI los trata por separado. Si quieres aparecer en ChatGPT, no bloquees ni OAI-SearchBot ni ChatGPT-User.

¿Qué pongo en el robots.txt para los bots de IA?

Un grupo para los bots de búsqueda y de usuario con Allow: / y tus exclusiones de siempre y, si lo prefieres, otro con Disallow: / para los de entrenamiento. Si el comprobador detecta un bloqueo, te da el bloque corregido para pegar al principio del archivo.

Mi robots.txt lo permite todo, ¿por qué sale un bot bloqueado?

Porque el bloqueo puede estar en el servidor y no en el robots.txt. Desde el 1 de julio de 2025, Cloudflare bloquea por defecto los rastreadores de IA en los dominios nuevos. Si usas Cloudflare, revisa AI Crawl Control en el panel.

¿Sirve de algo el llms.txt?

De momento, poco: ningún gran buscador de IA ha confirmado que lo lea. Es barato y no hace daño, por eso lo revisamos, pero no lo pongas por delante de un robots.txt correcto o de un contenido que se lea sin JavaScript.

¿Los datos estructurados ayudan a salir en ChatGPT?

Ayudan a que las máquinas entiendan quién eres sin tener que adivinarlo, sobre todo el schema Organization con tus perfiles en sameAs. No garantizan ninguna cita. Eso sí, un JSON-LD con errores de sintaxis se descarta entero, así que conviene que el tuyo esté limpio.