Sieh, was ein Crawler auf deiner Seite findet.
Prüfe eine öffentliche Domain oder URL. Du bekommst vier klare Antworten und konkrete nächste Schritte.
Die Seite wird sicher abgerufen und geprüft …
Die Prüfung konnte nicht abgeschlossen werden.
Crawler dürfen zugreifen
Indexierung erlaubt
Hauptinhalt erkennbar
Gefundene Crawler-Regeln
Suche, Training und ein vom Nutzer ausgelöster Abruf sind getrennte Aufgaben. Die Tabelle zeigt nur, was die beobachtete robots.txt für den jeweiligen Produkt-Token sagt.
| Crawler | Aufgabe | Zugriff |
|---|
Eine Freigabe beweist keinen Besuch. Eine Sperre von GPTBot sperrt nicht automatisch OAI-SearchBot für die ChatGPT-Suche. Rollen und Quellen ansehen →
Das solltest du als Nächstes tun
Technische Details
Ergebnis mitnehmen oder später vergleichen
Bis zu fünf Ergebnisse bleiben ausschließlich in diesem Browser und werden nach 24 Stunden verworfen.
Was hat sich seit der letzten Prüfung geändert?
Antwort für einen anderen Crawler-Token vergleichen
AnalyseSpider sendet einen zweiten begrenzten Request mit einem dokumentierten User-Agent. Der exakte String erscheint im Vergleich. Das simuliert einen Header, nicht die Identität oder das vollständige Verhalten des echten Crawlers.
Beobachtete Unterschiede
Diese Prüfung untersucht nur die Serverantwort dieser einen URL. Keine Inhalte hinter Logins, kein JavaScript-Rendering und keine Garantie für Google-Indexierung oder AI-Zitationen.
Ganze Website prüfen
Nutze einen vollständigen technischen Crawl, wenn du Probleme über viele Seiten hinweg finden und priorisieren möchtest.
Zu Crawl Foundry Site AuditFragen und Quellen für AI-Suche prüfen
Sieh, welche Folgefragen und Quellen bei echten OpenAI- und Gemini-Abfragen erscheinen.
Zu AI FanoutAnalyseSpider, Crawl Foundry und AI Fanout werden von Matthias Ramahi betrieben und sind keine unabhängigen Empfehlungen.
So funktioniert der Check
- URL prüfenGib eine öffentliche Domain oder URL ein und starte die Prüfung.
- Crawler-Antwort lesenWir holen die Serverantwort wie ein einfacher HTTP-Crawler und ordnen sie ein.
- Nächste Schritte umsetzenDu erhältst wenige konkrete Hinweise statt eines erfundenen Gesamtscores.
Crawler einfach erklärt
Was ist ein Crawler und was kann diese Prüfung wirklich zeigen?Was möchtest du prüfen?
Was findet ein Crawler auf meiner URL?Prüfe Abruf, Zugriff, Indexierung und sichtbaren Hauptinhalt.Wohin führt diese Weiterleitung?Setze die einzelnen Redirect-Schritte nachvollziehbar zusammen.Darf dieser Bot meine Seite aufrufen?Teste eine robots.txt-Regel für einen konkreten Crawler.Was zeigen meine Server-Logs?Finde Statuscodes, Pfade und angegebene Bot-Namen lokal im Browser.
Crawler verstehen
Googlebot, ChatGPT und Claude machen nicht dasselbe.
Einige Bots bauen Suchindizes auf. Andere holen eine Seite für einen Nutzer ab oder sammeln Trainingsdaten. Unser Vergleich zeigt die Aufgabe, die passende robots.txt-Regel und wie du echte Anfragen prüfst.
- GooglebotGoogle-Suche
- BingbotBing-Suche
- OAI-SearchBotChatGPT-Suche
- GPTBotModelltraining
- Claude-SearchBotClaude-Suche
Wissen, das bei einer echten Entscheidung hilft.
Jeder Artikel beantwortet eine konkrete Frage Schritt für Schritt. Keine kurzen Stichwortseiten und keine erfundenen SEO-Versprechen.
Wie kann eine Seite in AI-Suchen erscheinen?Was OAI-SearchBot, Google und Claude wirklich voraussetzen — und was keine Aufnahme garantiert.Warum wird meine Seite nicht indexiert?Prüfe Erreichbarkeit, Statuscode, robots.txt, noindex, Canonical und interne Links in einer sinnvollen Reihenfolge.Wie erkenne ich einen echten Crawler?Warum der User-Agent nur eine Behauptung ist und wann IP- oder DNS-Prüfungen nötig sind.
Du brauchst den Blick auf die ganze Website?
Der kostenlose Check hier prüft genau eine URL. Crawl Foundry Site Audit crawlt viele Seiten, verbindet die Befunde und hilft bei der Priorisierung.
AnalyseSpider und Crawl Foundry werden von Matthias Ramahi betrieben. Das ist ein verwandter nächster Schritt, keine unabhängige Empfehlung.
Eine alte Domain, eine neue Website.
AnalyseSpider wurde früher für Log-Analyse und IP-Werkzeuge genutzt. Die heutige Website ist eine neue Entwicklung unter neuer Eigentümerschaft. Alte Software, Texte, Daten und Kunden wurden nicht übernommen.
Hintergrund zur neuen Eigentümerschaft