Crawler von OpenAI
OpenAI betreibt 3 Crawler, die Ihre Website erreichen können. Sie erledigen unterschiedliche Aufgaben; eine pauschale Regel für alle ist fast immer falsch.
| User-Agent | Typ | Was er tut |
|---|---|---|
GPTBot | Training | Sammelt Seiten zum Trainieren künftiger Modelle. |
OAI-SearchBot | Suche | Baut den Index auf, den ein Assistent beim Antworten durchsucht. |
ChatGPT-User | Nutzeranfrage | Ruft Ihre Seite ab, weil jemand gerade danach gefragt hat. |
Was das Blockieren kostet
- Training
- Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.
- Suche
- Blockieren entfernt Sie aus Antworten, die gerade entstehen.
- Nutzeranfrage
- Blockieren bedeutet, dass dieser Person gesagt wird, die Seite könne nicht gelesen werden.
robots.txt
Um jeden OpenAI-Crawler durchzulassen:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /Um alle zu blockieren:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf OpenAI auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.