Ai2Bot is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Ai2Bot-Dolma?

Ai2Bot-Dolma is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Robots de Allen AI

Allen AI exploite 2 robots susceptibles d'atteindre votre site. Ils font des tâches différentes : une règle unique pour tous est presque toujours un mauvais choix.

User-agent	Type	Ce qu'il fait
`Ai2Bot`	Entraînement	Collecte des pages pour entraîner les futurs modèles.
`Ai2Bot-Dolma`	Entraînement	Collecte des pages pour entraîner les futurs modèles.

Le coût du blocage

Entraînement: Le blocage ne coûte rien aujourd’hui, mais le prochain modèle ne vous connaîtra pas.

robots.txt

Pour autoriser tous les robots de Allen AI :

User-agent: Ai2Bot
Allow: /

User-agent: Ai2Bot-Dolma
Allow: /

Pour tous les bloquer :

User-agent: Ai2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /

robots.txt est respecté volontairement. C'est la bonne façon d'indiquer votre intention. Il ne contrôle pas l'accès : protégez le contenu réellement sensible par authentification.

Sources

Allen AI est-il autorisé sur votre site ?

Nous lirons votre robots.txt et vous dirons quels robots d'IA il laisse passer. Sans inscription.