cohere-ai is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is cohere-training-data-crawler?

cohere-training-data-crawler is a training crawler operated by Cohere. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Robots de Cohere

Cohere exploite 2 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.

User-agent	Type	Ce qu'il fait
`cohere-ai`	Entraînement	Collecte des pages pour entraîner les futurs modèles.
`cohere-training-data-crawler`	Entraînement	Collecte des pages pour entraîner les futurs modèles.

Le coût du blocage

Entraînement: Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.

robots.txt

Pour autoriser tous les robots de Cohere :

User-agent: cohere-ai
Allow: /

User-agent: cohere-training-data-crawler
Allow: /

Pour tous les bloquer :

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.

Sources

RFC 9309 — Robots Exclusion Protocol

Cohere est-il autorisé sur votre site ?

Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.