Robots.txt erlaubt den Bot – warum blockiert der CDN ihn trotzdem?

Die kurze Antwort

Ein Robots-Test kann für Googlebot, OAI-SearchBot oder einen anderen Produkt-Token „erlaubt“ melden, während der Live-Request einen 403, 429, Login oder eine Challenge bekommt. Das ist kein Widerspruch. RFC 9309 stellt ausdrücklich klar, dass robots.txt keine Zugriffskontrolle ist.

Halte deshalb zwei Befunde getrennt fest: Welche robots-Regel gilt für den Pfad? Und: Welche Antwort hat dieser Request tatsächlich erhalten?

Vor dem eigentlichen HTML fallen mehrere Entscheidungen

Die robots.txt ist nur eine Schicht. Danach können weitere Systeme eingreifen:

• Der CDN oder die Firewall bewertet Adresse, Header, Request-Rate und weitere Verbindungssignale.
• Eine Bot-Regel erlaubt, protokolliert, drosselt, blockiert oder fordert eine Challenge.
• Ein Reverse Proxy kann eine eigene Zugriffs- oder Cache-Regel anwenden.
• Erst wenn der Request weitergereicht wird, liefert die Anwendung ihre Antwort.

Cloudflare dokumentiert diese Trennung sichtbar: Verifizierte Bots, wahrscheinlich automatisierter Traffic, Managed Challenges und Skip-Regeln sind eigene Sicherheitsentscheidungen. Bei anderen Anbietern heißen die Produkte anders. Der Diagnoseweg bleibt gleich: Finde die Schicht, die den beobachteten Status erzeugt hat.

„Bei mir im Browser geht es“ reicht als Gegenbeweis nicht

Ein Browser und ein Crawler senden selten denselben Request. Sie unterscheiden sich bei IP-Adresse, Cookies, JavaScript, User-Agent, Verbindungsmerkmalen und Abrufrate. Dein Browser kann außerdem eine Challenge lösen oder bereits ein Freigabe-Cookie besitzen.

Beide Beobachtungen sind nützlich. Schreibe also nicht „Die Seite ist erreichbar“, sondern genauer: „Der Browser erhielt die Seite. Der crawlerähnliche Request erhielt eine Challenge.“ Damit verschwindet der Unterschied nicht in einer pauschalen Bewertung.

Wichtig: Eine Ausnahme nur für einen User-Agent-Text ist keine sichere Bot-Verifikation. Dieser Header wird vom Requester gesetzt und kann kopiert werden. Wenn die Identität für eine Firewall-Regel relevant ist, nutze die vom Betreiber veröffentlichte IP- oder DNS-Prüfung.

So findest du die blockierende Schicht

1. Notiere URL, Uhrzeit, Status, Redirects, Content-Type, wichtige Header und einen sicheren Ausschnitt oder Hash des Bodys.
2. Rufe die robots.txt getrennt ab und teste die Regel für den tatsächlichen Produkt-Token und Pfad.
3. Ordne die Antwort ein: echte Seite, Login, Managed Challenge, Blockseite, Rate Limit oder Upstream-Fehler.
4. Suche im selben Zeitfenster nach dem passenden CDN-, WAF-, Proxy- oder Origin-Ereignis.
5. Verifiziere die Bot-Identität, bevor du eine folgenreiche Ausnahme einrichtest.
6. Ändere nur die verantwortliche Regel und wiederhole anschließend genau denselben Test.

Eine öffentliche URL mit AnalyseSpider prüfen

Statuscodes zeigen das Ergebnis, nicht automatisch die Ursache

Ein 403 zeigt eine Verweigerung. Er verrät noch nicht, ob eine Länderregel, Bot-Regel, Authentifizierung oder die Anwendung selbst verantwortlich war. Ein 429 zeigt eine Drosselung. Auch ein 200 ist nicht automatisch die gewünschte Seite; manche Challenge-Seiten antworten erfolgreich und müssen am Inhalt erkannt werden.

Wenn ein echter Googlebot zu schnell crawlt, empfiehlt Google für die vorübergehende Drosselung 429 oder einen temporären 5xx-Status statt 403 oder 404. Diese Empfehlung ersetzt weder Kapazitätsplanung noch die Regeln für andere Clients.

Was der Crawler-Vergleich von AnalyseSpider belegen kann

Der Check kann eine neutrale Anfrage mit einer zweiten, begrenzten Anfrage vergleichen, die einen ausgewählten Crawler-Produkt-Token im User-Agent trägt. Unterscheiden sich Status, Ziel-URL, Canonical, noindex oder Body-Hash, ist genau dieser Antwortunterschied beobachtet.

Das bleibt eine Header-Simulation. Der Request kommt nicht aus dem echten Netzwerk des Betreibers und bildet dessen vollständiges Verhalten nicht nach. Die erste veröffentlichte Kontrollmessung zeigte bei sechs lokalen statischen Fixtures keinen Unterschied. Dieser negative Befund ist eine Baseline, keine allgemeine Aussage über CDNs.

Benchmark, Rohdaten und Grenzen ansehen

Ein belastbarer Befund klingt unspektakulär

„Robots erlaubt den Token. Der simulierte Request erhielt eine Challenge. Das verantwortliche Security-Ereignis und die echte Bot-Identität sind noch nicht verifiziert.“ Dieser Satz ist nützlicher als ein pauschales „AI-Crawler blockiert“, weil er zeigt, was als Nächstes geprüft werden muss.