Crawler von Mistral
Mistral betreibt 1 Crawler, der Ihre Website erreichen kann. Er erledigt eine bestimmte Aufgabe, daher ist eine pauschale Regel für ihn oft die falsche Wahl.
| User-Agent | Typ | Was er tut |
|---|---|---|
MistralAI-User | Nutzeranfrage | Ruft Ihre Seite ab, weil jemand gerade danach gefragt hat. |
Was das Blockieren kostet
- Nutzeranfrage
- Blockieren bedeutet, dass dieser Person gesagt wird, die Seite könne nicht gelesen werden.
robots.txt
Um jeden Mistral-Crawler durchzulassen:
User-agent: MistralAI-User
Allow: /Um alle zu blockieren:
User-agent: MistralAI-User
Disallow: /robots.txt wird freiwillig beachtet. Damit erklären Sie Ihre Absicht. Den Zugriff sperrt die Datei nicht, schützen Sie wirklich vertrauliche Inhalte daher durch Authentifizierung.
Quellen
Darf Mistral auf Ihre Website?
Wir lesen Ihre robots.txt und sagen Ihnen, welche KI-Crawler sie durchlässt. Keine Anmeldung.