GrokBot is a search crawler operated by xAI. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Grok-DeepSearch?

Grok-DeepSearch is a search crawler operated by xAI. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

xAI-Grok is a training crawler operated by xAI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawlers van xAI

xAI gebruikt 3 crawlers die je site kunnen bereiken. Ze doen verschillende taken, dus één algemene regel is bijna altijd de verkeerde keuze.

User-agent	Type	Wat hij doet
`GrokBot`	Zoeken	Bouwt de index die een assistent doorzoekt bij een antwoord.
`Grok-DeepSearch`	Zoeken	Bouwt de index die een assistent doorzoekt bij een antwoord.
`xAI-Grok`	Training	Verzamelt pagina's om toekomstige modellen te trainen.

Wat het blokkeren kost

Zoeken: Blokkeren verwijdert je uit antwoorden van nu.
Training: Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.

robots.txt

Om elke crawler van xAI toe te laten:

User-agent: GrokBot
Allow: /

User-agent: Grok-DeepSearch
Allow: /

User-agent: xAI-Grok
Allow: /

Om ze allemaal te blokkeren:

User-agent: GrokBot
Disallow: /

User-agent: Grok-DeepSearch
Disallow: /

User-agent: xAI-Grok
Disallow: /

robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.

Bronnen

RFC 9309 — Robots Exclusion Protocol

Is xAI toegestaan op je site?

We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.