Crawler von Diffbot
Diffbot betreibt 1 Crawler, der Ihre Website erreichen kann. Er erledigt eine bestimmte Aufgabe, daher ist eine pauschale Regel für ihn oft die falsche Wahl.
| User-Agent | Typ | Was er tut |
|---|---|---|
Diffbot | Sonstige | Crawlt für ein verwandtes Produkt statt für einen öffentlichen Assistenten. |
Was das Blockieren kostet
- Sonstige
- Selten entscheidend für KI-Sichtbarkeit; nach Bandbreite statt Zitaten beurteilen.
robots.txt
Um jeden Diffbot-Crawler durchzulassen:
User-agent: Diffbot
Allow: /Um alle zu blockieren:
User-agent: Diffbot
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf Diffbot auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.