# robots.txt voor rsparticipaties.nl

# Alle zoekmachines welkom
User-agent: *
Allow: /

# Blokkeer toegang tot admin en private directories
Disallow: /admin/
Disallow: /private/
Disallow: /.env
Disallow: /api/

# Sitemap locatie
Sitemap: https://rsparticipaties.nl/sitemap.xml

# Crawl delay voor beleefd crawlen
Crawl-delay: 1

# Specifieke regels voor veelvoorkomende bots
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

# Blokkeer scraping bots en spam bots
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10