Crawlers van Meta
Meta gebruikt 5 crawlers die je site kunnen bereiken. Ze doen verschillende taken, dus één algemene regel is bijna altijd de verkeerde keuze.
| User-agent | Type | Wat hij doet |
|---|---|---|
FacebookBot | Zoeken | Bouwt de index die een assistent doorzoekt bij een antwoord. |
meta-webindexer | Training | Verzamelt pagina's om toekomstige modellen te trainen. |
meta-externalfetcher | Door gebruiker gestart | Haalt je pagina op omdat iemand er zojuist naar vroeg. |
Meta-ExternalAgent | Door gebruiker gestart | Haalt je pagina op omdat iemand er zojuist naar vroeg. |
Manus-User | Door gebruiker gestart | Haalt je pagina op omdat iemand er zojuist naar vroeg. |
Wat het blokkeren kost
- Zoeken
- Blokkeren verwijdert je uit antwoorden van nu.
- Training
- Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.
- Door gebruiker gestart
- Blokkeren betekent dat die persoon hoort dat de pagina niet gelezen kon worden.
robots.txt
Om elke crawler van Meta toe te laten:
User-agent: FacebookBot
Allow: /
User-agent: meta-webindexer
Allow: /
User-agent: meta-externalfetcher
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Manus-User
Allow: /Om ze allemaal te blokkeren:
User-agent: FacebookBot
Disallow: /
User-agent: meta-webindexer
Disallow: /
User-agent: meta-externalfetcher
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Manus-User
Disallow: /robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.
Bronnen
Is Meta toegestaan op je site?
We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.