Abrufen, indexieren und in einer Antwort zitiert werden sind drei verschiedene Dinge. Nur der erste Schritt lässt sich direkt testen. Alles danach hängt vom jeweiligen Such- oder AI-System ab.
Zuerst die drei Schritte auseinanderhalten
Wenn ein Bot deine Seite abruft, weißt du zunächst nur: Dieser eine Request hat eine Serverantwort erhalten. Daraus folgt noch nicht, dass die URL gespeichert, indexiert oder später als Quelle ausgewählt wird.
Auch die Bot-Namen haben unterschiedliche Aufgaben. OpenAI nutzt OAI-SearchBot für die ChatGPT-Suche und GPTBot für mögliches Modelltraining. ChatGPT-User ruft eine Seite im Auftrag eines Nutzers ab. Google verwendet für AI Overviews und AI Mode die normalen Voraussetzungen der Google-Suche; Google-Extended ist dagegen ein Steuertoken für bestimmte Gemini-Nutzungen und kein eigener HTTP-Crawler.
Kommt ein Crawler überhaupt an die Seite?
Teste die kanonische HTTPS-URL. Sie sollte stabil antworten, normalerweise mit Status 200. Danach prüfst du robots.txt, Meta-Robots und X-Robots-Tag einzeln. Eine Freigabe in robots.txt hilft nicht, wenn CDN, Firewall oder Bot-Schutz den Request trotzdem abweisen.
Wichtige Antworten und interne Links gehören außerdem in das ausgelieferte HTML. Eine Seite kann im Browser gut aussehen und einem Crawler trotzdem fast nur ein leeres JavaScript-Gerüst liefern.
Nicht jeder Bot braucht dieselbe Erlaubnis
Wer in der ChatGPT-Suche auffindbar sein möchte, darf OAI-SearchBot nicht blockieren. Ob GPTBot Inhalte für Training abrufen darf, ist eine getrennte Entscheidung. Anthropic trennt ebenfalls Suche, Training und nutzergetriggerte Abrufe. Für Google Search bleibt Googlebot entscheidend.
Ein User-Agent ist allerdings nur eine Behauptung. Bei wichtigen Entscheidungen solltest du die IP-Bereiche oder die vom Betreiber beschriebene Reverse- und Forward-DNS-Prüfung verwenden.
Eine erreichbare Seite ist noch keine gute Quelle
Der Inhalt braucht eine klare Aufgabe. Beantworte die eigentliche Frage früh, erkläre ungewohnte Begriffe und belege veränderliche Fakten mit Primärquellen. Eigene Messungen, nachvollziehbare Beispiele, Screenshots oder Testdaten sind oft wertvoller als eine weitere allgemeine Zusammenfassung.
- Eine URL, ein klarer Nutzerjob und eine passende H1
- Interne Links aus thematisch passenden Seiten — nicht nur ein Eintrag in der Sitemap
- Keine Serien nahezu gleicher Seiten für minimale Keyword-Varianten
Die Logs beenden das Rätselraten
Der URL-Check zeigt, was bei einem kontrollierten Abruf passiert. Ob ein bestimmter Crawler deine Seite tatsächlich besucht hat, siehst du erst in Server-, CDN- oder Firewall-Logs. Suche dort nach dem veröffentlichten Bot-Token, prüfe bei Bedarf die Identität und vergleiche Pfad, Statuscode und Zeitpunkt.
Webmaster-Tools ergänzen dieses Bild. Search Console kann den Google-Indexierungsstatus zeigen; Bing stellt eigene Webmaster Tools bereit. Für OpenAI oder Anthropic gibt es durch robots.txt oder eine Sitemap keine Aufnahmegarantie.
Was du dir sparen kannst
Eine llms.txt-Datei, spezielles AI-Markup oder hunderte automatisch erzeugte Frageseiten ersetzen weder Crawlbarkeit noch einen hilfreichen Hauptinhalt. Google verlangt für seine AI-Suchfunktionen kein besonderes AI-Schema. Strukturierte Daten sind nur sinnvoll, wenn sie zum sichtbaren Inhalt und zu einer unterstützten Suchfunktion passen.
Auch ein einzelner Treffer in einer Testabfrage ist kein stabiler Sichtbarkeitswert. Wenn du AI-Antworten beobachtest, notiere Anbieter, Prompt, Datum, Region und gefundene Quellen. Dann bleibt das Ergebnis eine brauchbare Stichprobe statt einer scheinbar exakten Kennzahl.
Eine URL in fünf Minuten prüfen
Für einen ersten technischen Check reichen diese Fragen:
- Liefert die kanonische HTTPS-URL eine brauchbare Antwort?
- Sind Überschrift, Kernantwort und wichtige Links im ersten HTML vorhanden?
- Erlauben robots.txt und Seiten-Direktiven den gewünschten Crawler?
- Gibt es passende interne Links und steht die URL in der Sitemap?
- Zeigen Logs später echte Requests — und nicht nur einen erlaubten Bot-Namen?