Crawler von Huawei
Huawei betreibt 1 Crawler, der Ihre Website erreichen kann. Er erledigt eine bestimmte Aufgabe, daher ist eine pauschale Regel für ihn oft die falsche Wahl.
| User-Agent | Typ | Was er tut |
|---|---|---|
PanguBot | Training | Sammelt Seiten zum Trainieren künftiger Modelle. |
Was das Blockieren kostet
- Training
- Blockieren kostet heute nichts, bedeutet aber, dass das nächste Modell Sie nicht kennt.
robots.txt
Um jeden Huawei-Crawler durchzulassen:
User-agent: PanguBot
Allow: /Um alle zu blockieren:
User-agent: PanguBot
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf Huawei auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.