¿Qué es AI Crawl Budget?
AI Crawl Budget es la asignación finita de recursos que los sistemas IA dedican a rastrear y re-rastrear un dominio. Similar al crawl budget de Googlebot, pero aplicado a bots como GPTBot, ClaudeBot y PerplexityBot.
Cómo optimizarlo
- Permitir explícitamente los bots IA en robots.txt
- Priorizar URLs de alto valor en el sitemap
- Reducir páginas duplicadas o de bajo valor
- Mantener tiempos de respuesta del servidor bajo 200ms
- Implementar caché eficiente