GrokBot is a search crawler operated by xAI. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Grok-DeepSearch?

Grok-DeepSearch is a search crawler operated by xAI. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

xAI-Grok is a training crawler operated by xAI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawler von xAI

xAI betreibt 3 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.

User-Agent	Typ	Was er tut
`GrokBot`	Suche	Baut den Index auf, den ein Assistent beim Antworten durchsucht.
`Grok-DeepSearch`	Suche	Baut den Index auf, den ein Assistent beim Antworten durchsucht.
`xAI-Grok`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.

Was das Blockieren kostet

Suche: Blockieren entfernt Sie aus Antworten, die gerade entstehen.
Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.

robots.txt

Um jeden xAI-Crawler durchzulassen:

User-agent: GrokBot
Allow: /

User-agent: Grok-DeepSearch
Allow: /

User-agent: xAI-Grok
Allow: /

Um alle zu blockieren:

User-agent: GrokBot
Disallow: /

User-agent: Grok-DeepSearch
Disallow: /

User-agent: xAI-Grok
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

RFC 9309 — Robots Exclusion Protocol

Darf xAI auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.