Googlebot und Bingbot
Sie entdecken Seiten für Suchindizes. Erreichbarkeit ist nötig, aber keine Garantie für Indexierung oder Ranking.
Welcher Crawler besucht deine Website — und warum?
Google, Bing, ChatGPT und Claude verwenden unterschiedliche Bots für Suche, Training und einzelne Nutzeranfragen. Hier findest du die Namen, die richtige robots.txt-Regel und die Belege, die du für eine echte Prüfung brauchst.
Beginne mit der Aufgabe, nicht mit dem Bot-Namen.
Ein Name wie „AI-Crawler“ ist zu ungenau. Entscheidend ist, welches System den Abruf ausgelöst hat.
OAI-SearchBot und Claude-SearchBot
Sie unterstützen die Suchfunktionen ihrer Betreiber. Google verwendet für seine Suchoberflächen weiterhin die Regeln der Google-Suche; Google-Extended ist dafür nicht zuständig.
GPTBot und ClaudeBot
Diese Bots lassen sich getrennt von den Suchbots steuern. Eine Sperre für Training muss deshalb nicht automatisch die AI-Suche sperren.
ChatGPT-User und Claude-User
Sie können eine Seite abrufen, weil ein Mensch gerade danach fragt. So ein Abruf beweist keine automatische Aufnahme in einen Suchindex.
1. AbrufEin Client fordert eine URL an und erhält Status, Header und HTML.
2. VerarbeitungEin Such- oder AI-System kann den Inhalt speichern, rendern oder verwerfen.
3. AuswahlEine spätere Suche oder Antwort kann die Seite auswählen — muss es aber nicht.
Crawler und Steuerung im direkten Vergleich
Die Rollen stammen aus der aktuellen Dokumentation der Betreiber. Ein User-Agent ist kopierbarer Text und allein kein Identitätsnachweis.
Zuletzt gegen Primärquellen geprüft: 28. August 2026| Crawler oder Token | Betreiber und Aufgabe | Steuerung | Prüfung | Preset |
|---|---|---|---|---|
| GooglebotOffizielle Quelle | Google · Suchindex | robots.txt-Token Googlebot | Google-IP-Liste oder Reverse- und Forward-DNS | Regel testen |
| BingbotOffizielle Quelle | Microsoft · Bing-Suchindex | robots.txt-Token Bingbot | Verify-Bingbot oder Reverse- und Forward-DNS | Regel testen |
| OAI-SearchBotOffizielle Quelle | OpenAI · ChatGPT-Suche | Getrennt von GPTBot steuerbar | User-Agent plus veröffentlichte OpenAI-IP-Bereiche | Regel testen |
| GPTBotOffizielle Quelle | OpenAI · mögliches Modelltraining | Eigener robots.txt-Token | User-Agent plus veröffentlichte OpenAI-IP-Bereiche | Regel testen |
| ChatGPT-UserOffizielle Quelle | OpenAI · Nutzerabruf | Keine Steuerung der Suchaufnahme | User-Agent plus veröffentlichte OpenAI-IP-Bereiche | Regel testen |
| Claude-SearchBotOffizielle Quelle | Anthropic · Claude-Suche | Eigener robots.txt-Token | User-Agent plus veröffentlichte Anthropic-IP-Liste | Regel testen |
| ClaudeBotOffizielle Quelle | Anthropic · mögliches Modelltraining | Getrennt vom Suchbot steuerbar | User-Agent plus veröffentlichte Anthropic-IP-Liste | Regel testen |
| Claude-UserOffizielle Quelle | Anthropic · Nutzerabruf | Eigener robots.txt-Token | User-Agent plus veröffentlichte Anthropic-IP-Liste | Regel testen |
| Google-ExtendedOffizielle Quelle | Google · Gemini-Training und bestimmte Grounding-Nutzungen | Produkt-Token; beeinflusst Google Search nicht | Kein eigener HTTP-User-Agent | Regel testen |
Wie sicher ist ein Bot-Nachweis?
Verwende nur so viel Beweisstärke, wie deine Entscheidung verlangt. Für eine Statistik reicht oft eine markierte Vermutung. Für eine Firewall-Freigabe nicht.
- Behauptet
Der User-Agent enthält Googlebot, GPTBot oder ClaudeBot.
Nützlich zum Filtern. Leicht zu fälschen. - Beobachtet
Server-Log, IP-Adresse, Zeitpunkt, URL und Statuscode passen zusammen.
Belegt den Request — noch nicht den Betreiber. - Unterstützt
Die IP liegt in einem aktuell veröffentlichten Bereich des Betreibers.
Stärkerer Hinweis. Listen können sich ändern. - Verifiziert
Die vom Betreiber beschriebene IP- oder Reverse-/Forward-DNS-Prüfung ist bestanden.
Geeignet für wichtige Zugriffsentscheidungen.
Was dir ein Logeintrag wirklich sagt
Ein bestätigter Request mit Status 200 zeigt: Dieser Bot konnte diese URL zu diesem Zeitpunkt abrufen. Er zeigt nicht, ob JavaScript vollständig verarbeitet, die Seite indexiert oder später als Quelle zitiert wurde. Ein 403 oder 429 ist dagegen ein konkreter Hinweis auf Firewall-, Bot-Schutz- oder Lastprobleme.
- User-Agent als Kandidat markieren.
- IP und Zeitpunkt aus derselben Logzeile sichern.
- IP nach der Methode des Betreibers prüfen.
- Statuscode, URL und Antwortgröße auswerten.
Von der URL zum belastbaren Befund
Die Werkzeuge beantworten verschiedene Teile derselben Diagnose. Starte mit dem Material, das du bereits hast.
Crawler-Analyse-Tool
Prüft eine öffentliche URL, robots.txt, Indexierungsdirektiven und das erste HTML.
Tool öffnenrobots.txt-Tester
Zeigt, welche Regel für Googlebot, OAI-SearchBot, GPTBot oder Claude gewinnt.
Tool öffnenCrawler-Log-Analyse
Findet Bot-Kandidaten, Statuscodes und häufige Pfade in Apache- oder Nginx-Logs.
Tool öffnenWas eine Seite für Suche und AI technisch braucht
Das schafft technische Eignung. Indexierung, Ranking oder Zitation bleiben Entscheidungen des jeweiligen Systems.
Leitfaden zur AI-Suche lesen- Eine stabile öffentliche HTTPS-URL mit brauchbarer 200-Antwort.
- Eine robots.txt-Regel, die genau den gewünschten Bot nicht blockiert.
- Keine unbeabsichtigte Sperre durch CDN, Firewall oder Bot-Schutz.
- Eine klare Kernantwort und wichtige Links im Server-HTML.
- Konsistente interne Links, Canonicals und Sitemap-Einträge.
- Eigene, überprüfbare Inhalte statt austauschbarer Zusammenfassungen.
Und was ist mit Screaming Frog, Sitebulb oder Site-Audit-Tools?
Diese Crawler lösen eine andere Aufgabe: Sie prüfen eine Website im Auftrag des Betreibers. Ein fairer Vergleich braucht dieselbe unveränderte Testwebsite, dieselben Einstellungen und mehrere Läufe. Die erste kontrollierte Header-Baseline mit Rohdaten ist veröffentlicht. Ergebnisse realer Anbieter bleiben offen, bis wiederholbare Testläufe vorliegen — deshalb gibt es noch keinen künstlichen Sieger.
Benchmark und Rohdaten ansehenZwei typische Widersprüche sauber auflösen
robots.txt, CDN-Antwort und JavaScript-Rendering sind verschiedene Belege. Die beiden Leitartikel zeigen, wie du sie getrennt festhältst, statt aus einem Browserbild eine Crawler-Aussage abzuleiten.
Primärquellen und Pflege
Crawler-Namen, IP-Bereiche und Produktrollen ändern sich. Diese Seite stützt sich deshalb auf die Dokumentation der Betreiber und nennt das Prüfdatum.
Zuletzt gegen Primärquellen geprüft: 28. August 2026