Robots de Anthropic
Anthropic exploite 5 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.
| User-agent | Type | Ce qu'il fait |
|---|---|---|
ClaudeBot | Entraînement | Collecte des pages pour entraîner les futurs modèles. |
Claude-SearchBot | Recherche | Construit l’index consulté par un assistant lorsqu’il répond. |
Claude-User | Déclenché par l’utilisateur | Récupère votre page parce qu’une personne vient de la demander. |
Claude-Web | Déclenché par l’utilisateur | Récupère votre page parce qu’une personne vient de la demander. |
anthropic-ai | Entraînement | Collecte des pages pour entraîner les futurs modèles. |
Le coût du blocage
- Entraînement
- Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.
- Recherche
- Le blocage vous retire des réponses produites aujourd’hui.
- Déclenché par l’utilisateur
- Le blocage signifie que cette personne entendra que la page est illisible.
robots.txt
Pour autoriser tous les robots de Anthropic :
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /Pour tous les bloquer :
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: anthropic-ai
Disallow: /robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.
Sources
Anthropic est-il autorisé sur votre site ?
Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.