Applebot is a search crawler operated by Apple. Builds the index an assistant searches when it answers. Blocking this is the expensive one. It is how you get retrieved and cited in answers happening right now, so blocking it removes you from them.

What is Applebot-Extended?

Applebot-Extended is a training crawler operated by Apple. Collects pages to train future models. Blocking costs you nothing today and may cost you tomorrow: you keep your content out of the next model, which also means the next model has never heard of you.

Crawler von Apple

Apple betreibt 2 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.

User-Agent	Typ	Was er tut
`Applebot`	Suche	Baut den Index auf, den ein Assistent beim Antworten durchsucht.
`Applebot-Extended`	Training	Sammelt Seiten zum Trainieren künftiger Modelle.

Was das Blockieren kostet

Suche: Blockieren entfernt Sie aus Antworten, die gerade entstehen.
Training: Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.

robots.txt

Um jeden Apple-Crawler durchzulassen:

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

Um alle zu blockieren:

User-agent: Applebot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.

Quellen

Darf Apple auf Ihre Website?

Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.