Robots de xAI
xAI exploite 3 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.
| User-agent | Type | Ce qu'il fait |
|---|---|---|
GrokBot | Recherche | Construit l’index consulté par un assistant lorsqu’il répond. |
Grok-DeepSearch | Recherche | Construit l’index consulté par un assistant lorsqu’il répond. |
xAI-Grok | Entraînement | Collecte des pages pour entraîner les futurs modèles. |
Le coût du blocage
- Recherche
- Le blocage vous retire des réponses produites aujourd’hui.
- Entraînement
- Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.
robots.txt
Pour autoriser tous les robots de xAI :
User-agent: GrokBot
Allow: /
User-agent: Grok-DeepSearch
Allow: /
User-agent: xAI-Grok
Allow: /Pour tous les bloquer :
User-agent: GrokBot
Disallow: /
User-agent: Grok-DeepSearch
Disallow: /
User-agent: xAI-Grok
Disallow: /robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.
Sources
xAI est-il autorisé sur votre site ?
Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.