What is Google-Extended?

Google-Extended is a training crawler operated by Google. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Google-Agent?

Google-Agent is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Gemini-Deep-Research?

Gemini-Deep-Research is a search crawler operated by Google. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Google-CloudVertexBot?

Google-CloudVertexBot is a other crawler operated by Google. Crawls for a related product rather than a public assistant. Rarely load-bearing for AI visibility; judge it on bandwidth rather than citations.

Robots de Google

Google exploite 5 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.

User-agent	Type	Ce qu'il fait
`Google-Extended`	Entraînement	Collecte des pages pour entraîner les futurs modèles.
`Google-Agent`	Recherche	Construit l’index consulté par un assistant lorsqu’il répond.
`Gemini-Deep-Research`	Recherche	Construit l’index consulté par un assistant lorsqu’il répond.
`Google-CloudVertexBot`	Autre	Explore pour un produit annexe de l’éditeur.
`CloudVertexBot`	Autre	Explore pour un produit annexe de l’éditeur.

Le coût du blocage

Entraînement: Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.
Recherche: Le blocage vous retire des réponses produites aujourd’hui.
Autre: Rarement déterminant pour la visibilité IA ; jugez-le selon la bande passante consommée.

robots.txt

Pour autoriser tous les robots de Google :

User-agent: Google-Extended
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Gemini-Deep-Research
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: CloudVertexBot
Allow: /

Pour tous les bloquer :

User-agent: Google-Extended
Disallow: /

User-agent: Google-Agent
Disallow: /

User-agent: Gemini-Deep-Research
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: CloudVertexBot
Disallow: /

robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.

Sources

Google est-il autorisé sur votre site ?

Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.