Crawler von Anthropic
Anthropic betreibt 5 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.
| User-Agent | Typ | Was er tut |
|---|---|---|
ClaudeBot | Training | Sammelt Seiten zum Trainieren künftiger Modelle. |
Claude-SearchBot | Suche | Baut den Index auf, den ein Assistent beim Antworten durchsucht. |
Claude-User | Nutzeranfrage | Ruft Ihre Seite ab, weil jemand gerade danach gefragt hat. |
Claude-Web | Nutzeranfrage | Ruft Ihre Seite ab, weil jemand gerade danach gefragt hat. |
anthropic-ai | Training | Sammelt Seiten zum Trainieren künftiger Modelle. |
Was das Blockieren kostet
- Training
- Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.
- Suche
- Blockieren entfernt Sie aus Antworten, die gerade entstehen.
- Nutzeranfrage
- Blockieren bedeutet, dass dieser Person gesagt wird, die Seite könne nicht gelesen werden.
robots.txt
Um jeden Anthropic-Crawler durchzulassen:
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /Um alle zu blockieren:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: anthropic-ai
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf Anthropic auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.