Robots de Common Crawl
Common Crawl exploite 1 robot susceptible d'atteindre votre site. Il fait une tâche précise, donc une règle unique pour lui est souvent un mauvais choix.
| User-agent | Type | Ce qu'il fait |
|---|---|---|
CCBot | Entraînement | Collecte des pages pour entraîner les futurs modèles. |
Le coût du blocage
- Entraînement
- Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.
robots.txt
Pour autoriser tous les robots de Common Crawl :
User-agent: CCBot
Allow: /Pour tous les bloquer :
User-agent: CCBot
Disallow: /robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.
Sources
Common Crawl est-il autorisé sur votre site ?
Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.