Die kurze Antwort
Beginne mit dem User-Agent, aber höre dort nicht auf. Vergleiche die Quell-IP mit den offiziellen Angaben des Betreibers. Nutze veröffentlichte IP-Bereiche oder die vom Anbieter beschriebene DNS-Prüfung. Bewahre den Zeitpunkt und die ursprüngliche Log-Zeile auf.
Warum der User-Agent allein nicht reicht
Jeder HTTP-Client kann sich einen bekannten Bot-Namen geben. Eine Zeile mit „Googlebot“ beweist deshalb nur, dass dieser Text gesendet wurde. Sie beweist nicht, dass die Anfrage von Google kam.
Der User-Agent bleibt trotzdem nützlich: Er hilft dir, Kandidaten aus großen Log-Dateien zu filtern. Nenne das Ergebnis dann „angegebener Crawler“ oder „Crawler-Behauptung“, bis die Identität zusätzlich geprüft ist.
1. Sichere die ursprüngliche Beobachtung
Halte Zeitstempel, Quell-IP, angefragte URL, Methode, Statuscode und vollständigen User-Agent fest. Entferne personenbezogene oder vertrauliche Daten, die du für die Prüfung nicht brauchst.
2. Nutze die Methode des Betreibers
Google beschreibt zwei Wege: Abgleich mit veröffentlichten IP-Bereichen oder eine Vorwärts- und Rückwärts-DNS-Prüfung. Bing bietet ebenfalls ein offizielles Verifikationsverfahren. OpenAI und Anthropic veröffentlichen eigene Bot-Rollen und technische Angaben.
Übertrage eine Methode nicht ungeprüft auf einen anderen Anbieter. Eine passende Host-Endung bei Google sagt nichts über einen OpenAI-Crawler aus.
3. Prüfe DNS in beide Richtungen
Bei einer DNS-Prüfung suchst du zuerst den Hostnamen zur Quell-IP. Danach löst du genau diesen Hostnamen wieder in IP-Adressen auf. Die ursprüngliche IP muss in der zweiten Antwort enthalten sein. Zusätzlich muss die Host-Endung zur offiziellen Dokumentation passen.
Nur eine beliebige Rückwärtsauflösung reicht nicht. DNS-Antworten können außerdem zwischengespeichert sein. Speichere deshalb Zeitpunkt, Resolver und Ergebnis.
4. Entscheide nach dem Risiko
Für eine grobe Statistik kann eine User-Agent-Gruppe genügen, solange du sie als Behauptung beschriftest. Für Freigaben, Sperren, Sicherheitsentscheidungen oder Abrechnung brauchst du stärkere und aktuellere Belege.
- Niedriges Risiko: Kandidaten nach User-Agent gruppieren.
- Mittleres Risiko: offizielle IP-Bereiche oder dokumentierte DNS-Prüfung ergänzen.
- Hohes Risiko: wiederholt prüfen, Änderungen protokollieren und eine zweite Kontrollquelle nutzen.
Suchcrawler und AI-Crawler sind nicht dieselbe Sache
Ein Anbieter kann verschiedene Bots für Suche, Training oder eine vom Nutzer ausgelöste Anfrage verwenden. Bei OpenAI sind OAI-SearchBot und GPTBot getrennte Rollen. Anthropic nennt ebenfalls unterschiedliche Bots für Suche, Training und Nutzerabrufe.
Prüfe deshalb nicht nur „Ist der Bot echt?“, sondern auch: „Welche Aufgabe beschreibt der Betreiber für genau diesen Bot?“
Was ein sauberer Nachweis enthält
- die unveränderte Quellbeobachtung,
- die verwendete offizielle Dokumentation,
- Prüfmethode, Zeitpunkt und Ergebnis,
- eine klare Aussage darüber, was noch nicht bewiesen ist,
- eine neue Prüfung, wenn sich IP-Bereiche oder Anbieterangaben ändern.