AI-crawlergids
Elke AI-crawler, en wat blokkeren je kost
42 crawlers op 20 platforms. Brandtrace gebruikt dezelfde catalogus om treffers in je serverlogs te classificeren. Ze zijn gegroepeerd op hun werk, want dat bepaalt of blokkeren gratis of duur is.
De drie soorten crawlers
- Training
- Verzamelt pagina's om toekomstige modellen te trainen. Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.
- Search
- Bouwt de index die een assistent doorzoekt bij een antwoord. Blokkeren verwijdert je uit antwoorden van nu.
- User-triggered
- Haalt je pagina op omdat iemand er zojuist naar vroeg. Blokkeren betekent dat die persoon hoort dat de pagina niet gelezen kon worden.
Per platform
- OpenAI3 crawlers
- Anthropic5 crawlers
- Google5 crawlers
- Perplexity2 crawlers
- xAI3 crawlers
- Meta5 crawlers
- Amazon3 crawlers
- Microsoft1 crawler
- Apple2 crawlers
- Cohere2 crawlers
- Common Crawl1 crawler
- DeepSeek1 crawler
- ByteDance1 crawler
- You.com1 crawler
- DuckDuckGo1 crawler
- Diffbot1 crawler
- Mistral1 crawler
- Allen AI2 crawlers
- Timpi1 crawler
- Huawei1 crawler
Bronnen
Is AI-crawlergids toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.