Applebot is a search crawler operated by Apple. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Applebot-Extended?

Applebot-Extended is a training crawler operated by Apple. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Robots de Apple

Apple exploite 2 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.

User-agent	Type	Ce qu'il fait
`Applebot`	Recherche	Construit l’index consulté par un assistant lorsqu’il répond.
`Applebot-Extended`	Entraînement	Collecte des pages pour entraîner les futurs modèles.

Le coût du blocage

Recherche: Le blocage vous retire des réponses produites aujourd’hui.
Entraînement: Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.

robots.txt

Pour autoriser tous les robots de Apple :

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

Pour tous les bloquer :

User-agent: Applebot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.

Sources

Apple est-il autorisé sur votre site ?

Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.