Robots rule input
Wähle zuerst die Aufgabe. Der passende robots.txt-Token wird automatisch übernommen.
OAI-SearchBot betrifft ChatGPT Search. GPTBot betrifft mögliches Modelltraining.
The live check uses the protected crawler gateway and the selected crawler token. It does not guarantee indexing or a future visit.
Input is capped at 500 KiB and stays in this browser tab.
Use the product token from the robots.txt user-agent line, not a full browser user-agent string.
Waiting for a robots.txt rule set.
Robots rule decision
ENTSCHEIDUNG
PASSENDE REGELN
GRENZEN
Welches Preset passt?
Wähle OAI-SearchBot für die mögliche Aufnahme in die ChatGPT-Suche. GPTBot betrifft mögliches Modelltraining. Claude veröffentlicht ebenfalls getrennte Tokens. Für Google Search und dessen AI-Funktionen bleibt Googlebot relevant.
Was das Ergebnis belegt
Die Live-Prüfung liest die für die öffentliche Seite zurückgegebene Crawler-Entscheidung. Der lokale Test wendet Gruppenauswahl und Pfad-Matching nach RFC 9309 auf deine eingefügten Regeln an.
Den vollständigen robots.txt-Leitfaden lesen
The local mode does not fetch /robots.txt or verify its HTTP status and content type. Neither mode models undocumented vendor behaviour or proves that a crawler will obey the file. Robots rules are crawl controls, not authentication and not a reliable way to keep a URL out of search results.
Follow the complete robots.txt testing workflow or inspect the versioned fixture evidence.