Accès des robots IA

Ce que nous vérifions

Nous récupérons robots.txt et l’évaluons avec le catalogue de robots IA afin de déterminer ceux qui sont autorisés, bloqués ou partiellement autorisés.

Pourquoi c'est important

Un modèle ne peut pas citer une page qu’il n’a jamais été autorisé à lire ; le blocage vient souvent d’une ancienne règle générale.

Comment corriger

• Traitez les robots d’entraînement, de recherche et déclenchés par l’utilisateur séparément.
• Nommez les robots voulus ; un Disallow global bloque souvent la recherche par erreur.
• robots.txt exprime une intention. Protégez le contenu privé par une authentification.

Les six autres

• Données structurées20 points
• Hiérarchie des titres10 points
• Clarté de l’entité15 points
• llms.txt10 points
• Contenu lisible15 points
• Aptitude à la citation10 points