cohere-ai is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is cohere-training-data-crawler?

cohere-training-data-crawler is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawler von Cohere

Cohere betreibt 2 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.

User-Agent	Typ	Was er tut
`cohere-ai`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.
`cohere-training-data-crawler`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.

Was das Blockieren kostet

Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.

robots.txt

Um jeden Cohere-Crawler durchzulassen:

User-agent: cohere-ai
Allow: /

User-agent: cohere-training-data-crawler
Allow: /

Um alle zu blockieren:

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

RFC 9309 — Robots Exclusion Protocol

Darf Cohere auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.