Toegang voor AI-crawlers

Wat we controleren

We halen robots.txt op en toetsen die aan de catalogus van AI-crawlers, zodat we zien welke zijn toegestaan, geblokkeerd of deels toegestaan.

Waarom het belangrijk is

Dit is de eerste en meest binaire poort. Een model kan geen pagina citeren die het nooit mocht lezen; vaak komt de blokkade van een oude algemene regel.

Hoe je dit oplost

• Behandel trainings-, zoek- en door gebruikers gestarte crawlers als afzonderlijke keuzes.
• Noem de crawlers die je bedoelt; een algemene Disallow blokkeert vaak per ongeluk zoekcrawlers.
• robots.txt geeft alleen een intentie aan. Privé-inhoud heeft authenticatie nodig.

De andere zes

• Gestructureerde data20 punten
• Koppenhiërarchie10 punten
• Duidelijke entiteit15 punten
• llms.txt10 punten
• Leesbare inhoud15 punten
• Citeerbaarheid10 punten