Crawlers van DeepSeek
DeepSeek gebruikt 1 crawler die je site kan bereiken. Deze voert een specifieke taak uit, dus één algemene regel ervoor is vaak de verkeerde keuze.
| User-agent | Type | Wat hij doet |
|---|---|---|
DeepSeekBot | Training | Verzamelt pagina's om toekomstige modellen te trainen. |
Wat het blokkeren kost
- Training
- Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.
robots.txt
Om elke crawler van DeepSeek toe te laten:
User-agent: DeepSeekBot
Allow: /Om ze allemaal te blokkeren:
User-agent: DeepSeekBot
Disallow: /robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.
Bronnen
Is DeepSeek toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.