What is Google-Extended?

Google-Extended is a training crawler operated by Google. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Google-Agent?

Google-Agent is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Gemini-Deep-Research?

Gemini-Deep-Research is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Google-CloudVertexBot?

Google-CloudVertexBot is a other crawler operated by Google. Crawls for a related product rather than a public assistant. Rarely load-bearing for AI visibility; judge it on bandwidth rather than citations.

Crawler von Google

Google betreibt 5 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.

User-Agent	Typ	Was er tut
`Google-Extended`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.
`Google-Agent`	Suche	Baut den Index auf, den ein Assistent beim Antworten durchsucht.
`Gemini-Deep-Research`	Suche	Baut den Index auf, den ein Assistent beim Antworten durchsucht.
`Google-CloudVertexBot`	Sonstige	Crawlt für ein verwandtes Produkt statt für einen öffentlichen Assistenten.
`CloudVertexBot`	Sonstige	Crawlt für ein verwandtes Produkt statt für einen öffentlichen Assistenten.

Was das Blockieren kostet

Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.
Suche: Blockieren entfernt Sie aus Antworten, die gerade entstehen.
Sonstige: Selten entscheidend für KI-Sichtbarkeit; nach Bandbreite statt Zitaten beurteilen.

robots.txt

Um jeden Google-Crawler durchzulassen:

User-agent: Google-Extended
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Gemini-Deep-Research
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: CloudVertexBot
Allow: /

Um alle zu blockieren:

User-agent: Google-Extended
Disallow: /

User-agent: Google-Agent
Disallow: /

User-agent: Gemini-Deep-Research
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: CloudVertexBot
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

Darf Google auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.