KI-Crawler-Verzeichnis
Jeder KI-Crawler und was es kostet, ihn zu blockieren
42 Crawler auf 20 Plattformen. Es ist derselbe Katalog, den Brandtrace zur Klassifizierung von Treffern in Server-Logs verwendet. Sie sind nach ihrer Aufgabe gruppiert, denn das entscheidet, ob das Blockieren kostenlos oder teuer ist.
Die drei Arten von Crawlern
- Training
- Sammelt Seiten zum Trainieren künftiger Modelle. Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.
- Search
- Baut den Index auf, den ein Assistent beim Antworten durchsucht. Blockieren entfernt Sie aus Antworten, die gerade entstehen.
- User-triggered
- Ruft Ihre Seite ab, weil jemand gerade danach gefragt hat. Blockieren bedeutet, dass dieser Person gesagt wird, die Seite könne nicht gelesen werden.
Nach Plattform
- OpenAI3 Crawler
- Anthropic5 Crawler
- Google5 Crawler
- Perplexity2 Crawler
- xAI3 Crawler
- Meta5 Crawler
- Amazon3 Crawler
- Microsoft1 Crawler
- Apple2 Crawler
- Cohere2 Crawler
- Common Crawl1 Crawler
- DeepSeek1 Crawler
- ByteDance1 Crawler
- You.com1 Crawler
- DuckDuckGo1 Crawler
- Diffbot1 Crawler
- Mistral1 Crawler
- Allen AI2 Crawler
- Timpi1 Crawler
- Huawei1 Crawler
Quellen
Darf KI-Crawler-Verzeichnis auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.