Ai2Bot is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

What is Ai2Bot-Dolma?

Ai2Bot-Dolma is a training crawler operated by Allen AI. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawler von Allen AI

Allen AI betreibt 2 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.

User-Agent	Typ	Was er tut
`Ai2Bot`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.
`Ai2Bot-Dolma`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.

Was das Blockieren kostet

Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.

robots.txt

Um jeden Allen AI-Crawler durchzulassen:

User-agent: Ai2Bot
Allow: /

User-agent: Ai2Bot-Dolma
Allow: /

Um alle zu blockieren:

User-agent: Ai2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

Ai2 — Crawling notice
RFC 9309 — Robots Exclusion Protocol

Darf Allen AI auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.