Robots de Diffbot
Diffbot exploite 1 robot susceptible d'atteindre votre site. Il fait une tâche précise, donc une règle unique pour lui est souvent un mauvais choix.
| User-agent | Type | Ce qu'il fait |
|---|---|---|
Diffbot | Autre | Explore pour un produit annexe de l’éditeur. |
Le coût du blocage
- Autre
- Rarement déterminant pour la visibilité IA ; jugez-le selon la bande passante consommée.
robots.txt
Pour autoriser tous les robots de Diffbot :
User-agent: Diffbot
Allow: /Pour tous les bloquer :
User-agent: Diffbot
Disallow: /robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.
Sources
Diffbot est-il autorisé sur votre site ?
Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.