CCBot is a training crawler operated by Common Crawl. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawler von Common Crawl

Common Crawl betreibt 1 Crawler, der Ihre Website erreichen kann. Er erledigt eine bestimmte Aufgabe, daher ist eine pauschale Regel für ihn oft die falsche Wahl.

User-Agent	Typ	Was er tut
`CCBot`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.

Was das Blockieren kostet

Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.

robots.txt

Um jeden Common Crawl-Crawler durchzulassen:

User-agent: CCBot
Allow: /

Um alle zu blockieren:

User-agent: CCBot
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

Common Crawl — CCBot
RFC 9309 — Robots Exclusion Protocol

Darf Common Crawl auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.