Crawlers van Mistral
Mistral gebruikt 1 crawler die je site kan bereiken. Deze voert een specifieke taak uit, dus één algemene regel ervoor is vaak de verkeerde keuze.
| User-agent | Type | Wat hij doet |
|---|---|---|
MistralAI-User | Door gebruiker gestart | Haalt je pagina op omdat iemand er zojuist naar vroeg. |
Wat het blokkeren kost
- Door gebruiker gestart
- Blokkeren betekent dat die persoon hoort dat de pagina niet gelezen kon worden.
robots.txt
Om elke crawler van Mistral toe te laten:
User-agent: MistralAI-User
Allow: /Om ze allemaal te blokkeren:
User-agent: MistralAI-User
Disallow: /robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.
Bronnen
Is Mistral toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.