robots.txt-Eingaben
Starte offen und sperre nur Pfade, die wirklich nicht gecrawlt werden sollen. robots.txt schützt keine vertraulichen Inhalte.
Nutze * für alle Crawler oder einen veröffentlichten Produkt-Token wie Googlebot.
Ein Pfad pro Zeile. Die Regel muss mit / beginnen.
Leer lassen, wenn nichts gesperrt werden soll.
Eine vollständige http- oder https-URL pro Zeile.
Alles erlauben ist als sichere Ausgangsbasis geladen.
Erstellte robots.txt
Was der robots.txt Generator erstellt
Das Tool schreibt eine gültige, übersichtliche Gruppe mit User-agent, Allow und Disallow. Vollständige Sitemap-URLs stehen getrennt darunter. Leere Zeilen und doppelte Eingaben werden bereinigt.
Lege die Datei anschließend unter /robots.txt auf dem betreffenden Host ab und öffne genau diese URL zur Kontrolle. Teste kritische Pfade danach mit dem Robots.txt Tester.
Was die Datei nicht leisten kann
robots.txt ist eine Crawling-Anweisung für kooperierende Bots. Sie ist weder Zugriffsschutz noch ein verlässlicher noindex-Mechanismus. Vertrauliche Inhalte brauchen Authentifizierung; für eine Indexierungsentscheidung musst du robots.txt, Antwort-Header, HTML und Search Console getrennt prüfen.
Setze „Alles sperren“ nur bewusst ein, etwa für eine nicht öffentliche Staging-Umgebung mit zusätzlichem Zugriffsschutz. Auf einer öffentlichen Website kann diese Regel Suchcrawler von allen Pfaden ausschließen.