Ai2Bot is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Ai2Bot-Dolma?

Ai2Bot-Dolma is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawlers van Allen AI

Allen AI gebruikt 2 crawlers die je site kunnen bereiken. Ze doen verschillende taken, dus één algemene regel is bijna altijd de verkeerde keuze.

User-agent	Type	Wat hij doet
`Ai2Bot`	Training	Verzamelt pagina's om toekomstige modellen te trainen.
`Ai2Bot-Dolma`	Training	Verzamelt pagina's om toekomstige modellen te trainen.

Wat het blokkeren kost

Training: Blokkeren kost vandaag niets, maar betekent dat het volgende model je niet kent.

robots.txt

Om elke crawler van Allen AI toe te laten:

User-agent: Ai2Bot
Allow: /

User-agent: Ai2Bot-Dolma
Allow: /

Om ze allemaal te blokkeren:

User-agent: Ai2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /

robots.txt wordt vrijwillig gerespecteerd. Het is de juiste manier om je intentie te tonen, maar het regelt geen toegang. Bescherm gevoelige inhoud met authenticatie.

Bronnen

Ai2 — Crawling notice
RFC 9309 — Robots Exclusion Protocol

Is Allen AI toegestaan op je site?

We lezen je robots.txt en vertellen welke AI-crawlers worden toegelaten. Geen registratie.