What is Google-Extended?

Google-Extended is a training crawler operated by Google. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Google-Agent?

Google-Agent is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Gemini-Deep-Research?

Gemini-Deep-Research is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Google-CloudVertexBot?

Google-CloudVertexBot is a other crawler operated by Google. Crawls for a related product rather than a public assistant. Rarely load-bearing for AI visibility; judge it on bandwidth rather than citations.

Crawlers van Google

Google gebruikt 5 crawlers die je site kunnen bereiken. Ze doen verschillende taken, dus één algemene regel is bijna altijd de verkeerde keuze.

User-agent	Type	Wat hij doet
`Google-Extended`	Training	Verzamelt pagina's om toekomstige modellen te trainen.
`Google-Agent`	Zoeken	Bouwt de index die een assistent doorzoekt bij een antwoord.
`Gemini-Deep-Research`	Zoeken	Bouwt de index die een assistent doorzoekt bij een antwoord.
`Google-CloudVertexBot`	Overig	Crawlt voor een verwant product en voedt geen openbare assistent.
`CloudVertexBot`	Overig	Crawlt voor een verwant product en voedt geen openbare assistent.

Wat het blokkeren kost

Training: Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.
Zoeken: Blokkeren verwijdert je uit antwoorden van nu.
Overig: Zelden bepalend voor AI-zichtbaarheid; beoordeel op bandbreedte, niet op citaties.

robots.txt

Om elke crawler van Google toe te laten:

User-agent: Google-Extended
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Gemini-Deep-Research
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: CloudVertexBot
Allow: /

Om ze allemaal te blokkeren:

User-agent: Google-Extended
Disallow: /

User-agent: Google-Agent
Disallow: /

User-agent: Gemini-Deep-Research
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: CloudVertexBot
Disallow: /

robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.

Bronnen

Is Google toegestaan op je site?

We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.