Wähle zuerst den richtigen Produkt-Token
robots.txt gruppiert Regeln nach User-agent-Produkt-Token. OAI-SearchBot steht für die ChatGPT-Suche, GPTBot für mögliches OpenAI-Training und Googlebot für den Google-Suchindex. Ähnliche Firmennamen bedeuten nicht denselben Job.
Ein User-Agent-String im Log ist nur eine Behauptung. robots.txt steuert Zugriff; sie authentifiziert den Request nicht.
Die spezifischste passende Regel entscheidet
Nach RFC 9309 werden passende Gruppen und Pfadmuster ausgewertet. Die längste passende Regel gewinnt; bei gleicher Länge erhält Allow Vorrang. Ein Stern kann Zeichenfolgen abdecken, ein Dollarzeichen das Pfadende markieren.
- Teste mit dem exakten Pfad einschließlich relevanter Query.
- Prüfe wiederholte Gruppen desselben Tokens gemeinsam.
- Wenn keine exakte Gruppe existiert, kann die Stern-Gruppe gelten.
- robots.txt selbst ist implizit erreichbar.
Crawling ist nicht Indexierung
Eine Disallow-Regel verhindert in erster Linie den Abruf. Sie ist kein verlässlicher Weg, eine bekannte URL aus Suchergebnissen zu entfernen. Ein noindex muss vom Crawler gelesen werden können; blockierst du den Abruf, kann genau das scheitern.
Prüfe zusätzlich HTTP-Status, Content-Type, Meta-Robots, X-Robots-Tag und Firewall-Verhalten. Eine Allow-Entscheidung garantiert keinen Besuch.
Für vertrauliche Inhalte brauchst du Authentifizierung. robots.txt ist öffentlich und keine Zugriffskontrolle.
Direkt ausprobieren
Wähle einen Crawler-Preset und prüfe eine öffentliche URL oder eingefügte Regeln.
robots.txt-Regel testenPrimärquellen
Zuletzt geprüft am 28. August 2026.
- RFC 9309 — Robots Exclusion Protocol — Normative Gruppen-, Matching- und Abrufregeln.
- Google: Einführung in robots.txt — Crawling-Grenzen und Unterschied zur Indexierung.