cohere-ai is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is cohere-training-data-crawler?

cohere-training-data-crawler is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawlers van Cohere

Cohere gebruikt 2 crawlers die je site kunnen bereiken. Ze doen verschillende taken, dus één algemene regel is bijna altijd de verkeerde keuze.

User-agent	Type	Wat hij doet
`cohere-ai`	Training	Verzamelt pagina's om toekomstige modellen te trainen.
`cohere-training-data-crawler`	Training	Verzamelt pagina's om toekomstige modellen te trainen.

Wat het blokkeren kost

Training: Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.

robots.txt

Om elke crawler van Cohere toe te laten:

User-agent: cohere-ai
Allow: /

User-agent: cohere-training-data-crawler
Allow: /

Om ze allemaal te blokkeren:

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.

Bronnen

RFC 9309 — Robots Exclusion Protocol

Is Cohere toegestaan op je site?

We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.