Mit dem Aufkommen von AI Search ist eine neue Kategorie von Bots entstanden: AI-Userbots. User-Agents wie ChatGPT-User oder Perplexity-User greifen genau in dem Moment auf eine Webseite zu, in dem eine AI Informationen für eine spezifische Nutzeranfrage zusammenträgt.
In der SEO-Branche werden diese Zugriffe zunehmend als neue Währung behandelt. Die Logik klingt einleuchtend: Wenn ein AI-Userbot meine Seite abruft, fließen meine Inhalte in die generierte Antwort ein. Mehr Bot-Zugriffe bedeuten mehr AI-Sichtbarkeit.
Diese Interpretation ist nachvollziehbar, aber sie greift zu kurz. Bei der Analyse von AI-Userbot-Daten gibt es vier wesentliche Stolpersteine, die das Bild deutlich komplizierter machen.
1. Die reichweitenstärksten Systeme nutzen gar keine Userbots
Google AI Overviews und der AI Mode sind die mit Abstand reichweitenstärksten AI-Search-Systeme auf dem Markt. Sie arbeiten primär auf dem bestehenden Suchindex. Bei der Beantwortung einer Anfrage findet in der Regel kein Live-Zugriff durch einen speziellen Userbot statt. Der gesamte Prozess bleibt in den Server-Logfiles unsichtbar.
Das bedeutet: Wer seine AI-Search-Performance ausschließlich über Userbot-Zugriffe misst, übersieht den mit Abstand größten Kanal komplett.
2. Zugriff ist nicht gleich Berücksichtigung
Ein LLM kann im Rahmen von RAG (Retrieval Augmented Generation) zahlreiche Quellen parallel abrufen, um die Informationsdichte für eine Antwort zu erhöhen. Dass eine Seite dabei gecrawlt wurde, bedeutet jedoch nicht zwingend, dass sie am Ende als Quelle zitiert oder im Ergebnis berücksichtigt wird. Das Modell filtert und gewichtet im letzten Schritt erneut.
Ein Bot-Zugriff in den Logs ist also bestenfalls ein Signal dafür, dass eine Seite als Kandidat in Betracht gezogen wurde. Ob sie es in die finale Antwort geschafft hat, lässt sich daraus nicht ableiten.
3. Validierung statt Generierung
Die wesentlichen Entscheidungen über den Inhalt einer Antwort fallen im Foundation Model selbst. Userbots dienen in vielen Fällen nur dazu, bereits im Modell getroffene Entscheidungen mit aktuellen Fakten zu unterfüttern oder zu validieren.
Der Bot-Zugriff ist somit oft ein nachgelagerter Kontrollmechanismus, kein primärer Impulsgeber für die Antwort. Die Kausalität läuft anders, als die Logdaten suggerieren: Nicht der Zugriff auf die Webseite führt zur Antwort, sondern die geplante Antwort führt zum Zugriff auf die Webseite.
4. Caching verzerrt die Datenbasis
Um Latenzen zu reduzieren und Kosten zu senken, setzen AI-Search-Systeme auf Caching-Mechanismen. Ein einmaliger Bot-Zugriff kann die Grundlage für tausende identische Nutzeranfragen bilden, ohne dass weitere Log-Einträge generiert werden.
Das verzerrt die Datenbasis in beide Richtungen: Seiten mit wenigen Bot-Zugriffen können trotzdem massiv in AI-Antworten vertreten sein. Seiten mit vielen Bot-Zugriffen wurden möglicherweise nur für eine einzige Anfrage herangezogen, die anschließend gecacht wurde.
Historischer Vergleich: Die Metasuchmaschinen-Parallele
AI-Userbots erinnern an die Frühphase der Metasuchmaschinen. Diese fragten nach der Nutzeranfrage parallel verschiedene Suchmaschinen ab und aggregierten das Ergebnis mühsam live. Das Prinzip funktionierte, war aber ineffizient und wurde schnell obsolet, als Google einen so umfassenden und aktuellen Index aufgebaut hatte, dass die Informationen direkt aus einer zentralen Quelle geliefert werden konnten.
Fazit
AI-Userbot-Zugriffe sind ein Datenpunkt, aber kein verlässlicher Indikator für AI-Sichtbarkeit. Sie bilden nur einen Bruchteil der tatsächlichen AI-Search-Landschaft ab, sagen nichts über die tatsächliche Berücksichtigung in Antworten aus und werden durch Caching-Effekte systematisch verzerrt.
Meine Prognose: AI Search wird sich ähnlich entwickeln. Der Live-Zugriff via Userbot wird zum Spezialfall für flüchtige, zeitkritische Daten – etwa „Ist dieser Flug in Buchungsklasse XY gerade noch verfügbar?“. Für den Großteil der Informationen wird das Modell direkt auf sein trainiertes Wissen oder einen hocheffizienten, vorab gecrawlten Index zugreifen.
