# Robots.txt optimisé pour BE Scale Library
User-agent: *
Allow: /

# Priorité maximale pour les pages principales
Allow: /fr/
Allow: /en/
Allow: /fr/category/
Allow: /en/category/
Allow: /fr/article/
Allow: /en/article/

# Optimisation pour les bots IA spécialisés
User-agent: GPTBot
Allow: /
Crawl-delay: 1

User-agent: ChatGPT-User
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# Bots de recherche académique et professionnel
User-agent: ia_archiver
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: LinkedInBot
Allow: /

# Sitemap
Sitemap: https://library.bescale.com/sitemap.xml
Sitemap: https://library.bescale.com/sitemap-fr.xml
Sitemap: https://library.bescale.com/sitemap-en.xml

# Crawl-delay optimisé pour éviter la surcharge
Crawl-delay: 1