Crawler vergleichen, ohne verschiedene Aufgaben zu vermischen.
Suchmaschinen-Bots, AI-Crawler und Site-Audit-Tools machen unterschiedliche Dinge. Wir trennen diese Gruppen und zeigen für jede veränderliche Angabe die Quelle.
Suchmaschinen- und AI-Crawler
Die Tabelle beschreibt veröffentlichte Funktionen. Sie beweist nicht, dass eine einzelne Anfrage wirklich von diesem Betreiber kam.
| Crawler | Wofür er eingesetzt wird | robots.txt | So prüfst du ihn | Geprüft |
|---|---|---|---|---|
| GooglebotQuelle | Baut den Google-Suchindex auf. | Automatische Standard-Crawler befolgen robots.txt. | Veröffentlichte IP-Bereiche oder bestätigter Reverse- und Forward-DNS. | 22 Aug 2026 |
| BingbotQuelle | Baut den Bing-Suchindex auf. | Bing veröffentlicht einen eigenen robots.txt-Token. | Bingbot-Verify-Tool und die von Bing beschriebene DNS-Prüfung. | 22 Aug 2026 |
| OAI-SearchBotQuelle | Kann Websites für die Suchfunktionen in ChatGPT erfassen. | Eigener Token, getrennt von GPTBot. | User-Agent plus die von OpenAI veröffentlichten IP-Bereiche. | 22 Aug 2026 |
| GPTBotQuelle | Sammelt Inhalte, die für Modelltraining genutzt werden können. | Eigener Token; eine Sperre signalisiert den Ausschluss vom Training. | User-Agent plus die von OpenAI veröffentlichten IP-Bereiche. | 22 Aug 2026 |
| ClaudeBot / Claude-SearchBotQuelle | Anthropic trennt Modelltraining und AI-Suche. | Anthropic erklärt, dass diese Bots robots.txt beachten. | Bot-Token plus die von Anthropic verlinkte IP-Liste. | 22 Aug 2026 |
So entsteht der Vergleich
Wir nutzen die aktuelle Dokumentation des Betreibers, notieren das Prüfdatum und trennen veröffentlichte Angaben von eigenen Tests. Ein User-Agent allein beweist keine Bot-Identität.
Vollständige Methode lesenUnd was ist mit Site-Audit-Crawlern?
Tools wie Contextter, Screaming Frog oder Sitebulb müssen anders verglichen werden. Dort zählen gefundene URLs, Redirect-Behandlung, Canonicals, wiederholbare Ergebnisse, Kosten und der Zugriff auf Rohdaten.
Diesen Vergleich veröffentlichen wir erst nach mehreren Läufen auf derselben unveränderten Testwebsite. Ein einzelner grüner Crawl reicht nicht für einen fairen Testsieger.
Vorhandene Test-Fixtures ansehen