Tägliche robots.txt-Messung über die deutschen Top-1000-Websites: welche KI-Bots ausgesperrt werden, wie oft — und was die 20 größten Sites tun. Alle Zahlen kannst du frei zitieren.
Stand: 3. Juli 2026 · Panel: Deutschland (CrUX Top-1000), 891 Sites erreichbar
Anteil der erreichbaren Panel-Sites, die den jeweiligen Bot effektiv aussperren (robots.txt inkl. serverseitiger Blocks, soweit gemessen):
Gemessen wird täglich die robots.txt der deutschen Top-1000-Websites (CrUX-Panel); von 891 erreichbaren Sites werden die Regeln für 12 bekannte KI-Crawler ausgewertet. Eine Teilmenge wird zusätzlich auf serverseitige Blocks geprüft (z. B. 403 für Bot-User-Agents).
„Effektiv geblockt“ heißt: explizite robots.txt-Regel gegen den Bot oder ein nachgewiesener serverseitiger Block. Sites ohne Regel zählen als nicht geblockt — robots.txt ist zudem nur eine Bitte, kein technischer Zwang.
Beobachtet seit 3. Juli 2026. Die Seite wird mit jedem Site-Build aus der aktuellen Messung neu berechnet.