Bot, AI & Scraper Blokkering

> AI Crawlers & Scrapers blokkeren (403 Forbidden)

Blokkeert bekende AI-bots zoals GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, CCBot, Google-Extended, Bytespider, Applebot-Extended, etc.

> Geautomatiseerde Scrapers & Tools blokkeren (403 Forbidden)

Blokkeert automatische scraping tools zoals HTTrack, Scrapy, PhantomJS, HeadlessChrome, cURL, Wget, Python-requests, libwww-perl, etc.

> Verzoeken met lege User-Agent header blokkeren

Veel eenvoudige bots en aanvalscripts sturen geen User-Agent header mee.

> Legitieme zoekmachines blokkeren (Google, Bing, DuckDuckGo, etc.)

Let op: Schakel dit alleen in als je wilt dat de hele site niet in zoekmachines (zoals Google en Bing) verschijnt.

Snelheidsbeperking (Rate Limiting per IP)

> Rate Limiter inschakelen

Voorkomt dat scrapers of bots de site overbelasten door tientallen verzoeken per seconde uit te voeren. Overschrijding geeft HTTP 429.

Maximaal aantal verzoeken per IP Aanbevolen: 60 verzoeken.

Tijdvenster (in seconden) Aanbevolen: 60 seconden (1 minuut).

Eigen Filters & IP-Lijsten

Aangepaste User-Agent Blocklist

Verzoeken waarvan de User-Agent dit patroon bevat krijgen een 403 Forbidden.

IP Whitelist (Altijd Toegang)

IP's op de whitelist worden nooit geblokkeerd door bot-filters of rate limiting.

IP Blocklist (Altijd Geblokkeerd)

IP's op de blocklist krijgen altijd direct een HTTP 403 Forbidden.

Dynamische robots.txt Preview

Deze robots.txt wordt automatisch geserveerd op /robots.txt en past zich aan je instellingen aan.

Beveiliging & Bot Bescherming