Gratis · Sin cuenta
Probador Gratuito de Robots.txt
Pega una URL, elige un crawler y ve si robots.txt permite o bloquea esa ruta.
Qué revisa el probador de robots.txt
Usa esta herramienta gratis para probar una URL pública contra el archivo robots.txt del sitio para Googlebot, Bingbot, GPTBot o un crawler comodín.
Veredicto por crawler
Ve si el user agent elegido está permitido o bloqueado para la ruta exacta que ingresaste.
Regla coincidente
Revisa la directiva Allow o Disallow, el grupo de user-agent y el número de línea que generó el veredicto.
Contexto de robots
Consulta declaraciones de sitemap, señales de crawl-delay y un extracto legible del archivo robots.txt.
Por qué robots.txt importa para SEO
Páginas importantes pueden bloquearse por accidente
Una sola regla Disallow puede impedir que los buscadores rastreen productos, artículos o carpetas completas.
Cada crawler puede ver reglas distintas
Googlebot, Bingbot, crawlers de IA y bots genéricos pueden coincidir con grupos de user-agent diferentes.
También incluye sitemaps y señales de rastreo
Robots.txt suele apuntar a sitemaps XML y puede incluir directivas de crawl-delay.
Cómo usar el resultado
Permitido
El crawler elegido no está bloqueado por robots.txt para esta URL.
Bloqueado
Revisa la regla coincidente y actualiza robots.txt si la URL debería poder rastrearse.
No disponible
Corrige primero la respuesta de robots.txt. Los crawlers pueden retrasar o evitar el rastreo cuando robots.txt no se puede leer.
Audita acceso de rastreo en todas tus páginas importantes
El probador gratis revisa una URL a la vez. SEO Core rastrea todo tu sitio, marca páginas bloqueadas y conecta problemas de robots con las páginas que necesitan atención.