Crawlers van Diffbot
Diffbot gebruikt 1 crawler die je site kan bereiken. Deze voert een specifieke taak uit, dus één algemene regel ervoor is vaak de verkeerde keuze.
| User-agent | Type | Wat hij doet |
|---|---|---|
Diffbot | Overig | Crawlt voor een verwant product en voedt geen openbare assistent. |
Wat het blokkeren kost
- Overig
- Zelden bepalend voor AI-zichtbaarheid; beoordeel op bandbreedte, niet op citaties.
robots.txt
Om elke crawler van Diffbot toe te laten:
User-agent: Diffbot
Allow: /Om ze allemaal te blokkeren:
User-agent: Diffbot
Disallow: /robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.
Bronnen
Is Diffbot toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.