Crawlers van Microsoft
Microsoft gebruikt 1 crawler die je site kan bereiken. Deze voert een specifieke taak uit, dus één algemene regel ervoor is vaak de verkeerde keuze.
| User-agent | Type | Wat hij doet |
|---|---|---|
AzureAI-SearchBot | Zoeken | Bouwt de index die een assistent doorzoekt bij een antwoord. |
Wat het blokkeren kost
- Zoeken
- Blokkeren verwijdert je uit antwoorden van nu.
robots.txt
Om elke crawler van Microsoft toe te laten:
User-agent: AzureAI-SearchBot
Allow: /Om ze allemaal te blokkeren:
User-agent: AzureAI-SearchBot
Disallow: /robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.
Bronnen
Is Microsoft toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.