Robots rule input
Wähle zuerst die Aufgabe. Der passende robots.txt-Token wird automatisch übernommen.
OAI-SearchBot betrifft ChatGPT Search. GPTBot betrifft mögliches Modelltraining.
The live check uses the protected crawler gateway and the selected crawler token. It does not guarantee indexing or a future visit.
Input is capped at 500 KiB and stays in this browser tab.
Use the product token from the robots.txt user-agent line, not a full browser user-agent string.
Waiting for a robots.txt rule set.
Robots rule decision
ENTSCHEIDUNG
PASSENDE REGELN
GRENZEN
Welches Preset passt?
Wähle OAI-SearchBot für die mögliche Aufnahme in die ChatGPT-Suche. GPTBot betrifft mögliches Modelltraining. Claude veröffentlicht ebenfalls getrennte Tokens. Für Google Search und dessen AI-Funktionen bleibt Googlebot relevant.
Was das Ergebnis belegt
Die Live-Prüfung liest die für die öffentliche Seite zurückgegebene Crawler-Entscheidung. Der lokale Test wendet Gruppenauswahl und Pfad-Matching nach RFC 9309 auf deine eingefügten Regeln an.
Du hast noch keine Datei? Mit dem robots.txt Generator erstellst du eine saubere Ausgangsversion und kannst sie anschließend hier für einen konkreten Pfad testen.
Den vollständigen robots.txt-Leitfaden lesen
The local mode does not fetch /robots.txt or verify its HTTP status and content type. Neither mode models undocumented vendor behaviour or proves that a crawler will obey the file. Robots rules are crawl controls, not authentication and not a reliable way to keep a URL out of search results.
Follow the complete robots.txt testing workflow or inspect the versioned fixture evidence.