Crawler von You.com
You.com betreibt 1 Crawler, der Ihre Website erreichen kann. Er erledigt eine bestimmte Aufgabe, daher ist eine pauschale Regel für ihn oft die falsche Wahl.
| User-Agent | Typ | Was er tut |
|---|---|---|
YouBot | Suche | Baut den Index auf, den ein Assistent beim Antworten durchsucht. |
Was das Blockieren kostet
- Suche
- Blockieren entfernt Sie aus Antworten, die gerade entstehen.
robots.txt
Um jeden You.com-Crawler durchzulassen:
User-agent: YouBot
Allow: /Um alle zu blockieren:
User-agent: YouBot
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf You.com auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.