Immer mehr der sichtbarsten Websites in Deutschland sperren KI-Bots zumindest teilweise aus. Besonders Publisher setzen auf ein KI-Opt-out und blockieren Trainingsbots wie GPTBot, Claude oder Common Crawl.
- Was bedeutet KI-Opt-out?
- Sollte man KI-Bots blockieren?
- Welche Auswirkungen hat das auf SEO?
- Welche KI-Bots gibt es?
- KI-Bots über die robots.txt blockieren
- Reicht die robots.txt aus?
- Kann man AI Overviews gezielt blockieren?
- Soll ich KI-Bots blockieren? Unsere Einschätzung
- Wie entwickelt sich das KI-Opt-out weiter?
- Häufige Fragen zum KI-Opt-out
Das zeigt das AI Bot Blocker Monitoring von Christian Rieber, das die robots.txt-Dateien der 200 sichtbarsten Domains Deutschlands auf Basis der SISTRIX-Sichtbarkeit auswertet. Während Publisher ihre Inhalte zunehmend schützen, verfolgen andere Branchen wie E-Commerce häufig eine offenere Strategie.
Der Grund für diese Entwicklung ist einfach: KI-Systeme benötigen große Mengen hochwertiger Inhalte für das Training ihrer Modelle. Viele Websitebetreiber möchten selbst entscheiden, ob ihre Texte dafür verwendet werden dürfen oder nicht.
Genau dafür gibt es das sogenannte KI-Opt-out. Über die robots.txt oder andere maschinenlesbare Signale können Websitebetreiber bestimmten KI-Bots den Zugriff untersagen. Bevor du diese Einstellungen übernimmst, solltest du jedoch wissen, welche Bots du blockierst und welche Folgen das für die Sichtbarkeit deiner Website haben kann. Denn nicht jeder KI-Bot erfüllt dieselbe Aufgabe.
In diesem Beitrag erfährst du, wie ein KI-Opt-out funktioniert, welche rechtliche Grundlage dahintersteht, wie du GPTBot, Claude und andere KI-Bots korrekt blockierst und welche Auswirkungen das auf SEO und KI-Sichtbarkeit haben kann.
Was bedeutet KI-Opt-out?
Ein KI-Opt-out ist der ausdrückliche Widerspruch gegen die Nutzung eigener Inhalte für das Training von KI-Modellen.
Der Begriff Opt-out bedeutet: Eine Nutzung ist grundsätzlich möglich, solange der Rechteinhaber nicht widerspricht. Für Websitebetreiber heißt das: Öffentlich zugängliche Inhalte können derzeit (noch) für Text und Data Mining verarbeitet werden, wenn kein wirksamer Vorbehalt gesetzt wurde.
Text und Data Mining beschreibt das automatisierte Auslesen und Analysieren großer Mengen von Texten, Bildern oder Daten. Genau solche Verfahren werden auch genutzt, um Trainingsdaten für KI-Systeme zu sammeln.
Die rechtliche Basis liegt in der europäischen DSM-Richtlinie. Sie erlaubt Text und Data Mining grundsätzlich auch für kommerzielle Zwecke. Rechteinhaber können dieser Nutzung aber widersprechen. Bei online verfügbaren Inhalten muss dieser Widerspruch maschinenlesbar sein. In der Praxis geschieht das über technische Signale wie die robots.txt oder vergleichbare Standards.
Der EU AI Act ergänzt diese Regelung. Er verpflichtet Anbieter großer KI-Modelle dazu, urheberrechtliche Nutzungsvorbehalte zu berücksichtigen und nachvollziehbar zu dokumentieren, wie sie mit solchen Opt-out-Signalen umgehen. Das ist Teil des Copyright-Kapitels im GPAI Code of Practice, der Anbieter von General-Purpose-KI-Modellen dazu verpflichtet, robots.txt und vergleichbare Opt-out-Signale zu respektieren. Für Websitebetreiber gewinnt die robots.txt dadurch zusätzlich an Bedeutung, weil sie den Widerspruch gegen das KI-Training technisch eindeutig kommuniziert.
Der AI Act erhöht den Druck auf KI-Anbieter, diesen Widerspruch ernst zu nehmen.
Sollte man KI-Bots blockieren?
Die technische Umsetzung ist einfach. Die strategische Abwägung ist aktuell wesentlich schwieriger.
Publisher haben oft ein starkes Interesse daran, Trainingsbots zu blockieren. Ihr Geschäftsmodell basiert auf exklusiven Inhalten und Werbung. Wenn diese Inhalte kostenlos in Trainingsdaten einfließen, kann daraus ein Wettbewerbsnachteil entstehen und Umsätze gefährden.
Für Online-Shops, Marken oder SaaS-Anbieter kann die Bewertung anders ausfallen. Sie profitieren möglicherweise davon, wenn Produkte, Marken und Fachbegriffe in KI-Systemen bekannt sind und in Antworten erwähnt werden, da es das Produkt nur im eigenen Shop oder im Abo gibt.
Wichtig ist die Unterscheidung zwischen Training und Grounding. Trainingsbots sammeln Inhalte für spätere KI-Modelle. Grounding-Bots greifen Inhalte live ab, wenn eine aktuelle Antwort erstellt wird.
Wer Trainingsbots blockiert, kann Grounding-Bots trotzdem zulassen. Das ist oft die sinnvollere Strategie: Inhalte werden nicht für Modelltraining verwendet, können aber weiterhin als aktuelle Quelle in KI-Antworten erscheinen.
Welche Auswirkungen hat das auf SEO?
Das Blockieren von KI-Bots hat keine direkten Auswirkungen auf klassische Google-Rankings, solange der normale Googlebot nicht blockiert wird. Deine Website kann weiterhin gecrawlt, indexiert und in der Google-Suche angezeigt werden.
Anders sieht es bei der Sichtbarkeit in KI-Systemen aus. Wenn du Trainings- und Grounding-Bots vollständig ausschließt, sinkt die Wahrscheinlichkeit, dass deine Inhalte in ChatGPT, Claude, Gemini oder anderen KI-Suchmaschinen verwendet oder zitiert werden.
Für SEO entsteht dadurch eine neue Abwägung: Content-Schutz und KI-Sichtbarkeit stehen teilweise in Spannung zueinander. Deshalb sollte die Entscheidung messbar begleitet werden.
Genau das lässt sich mit SISTRIX für AI/Chatbots prüfen. Im AI Check gibst du eine Domain oder Marke ein und siehst auf Basis von rund 25 Millionen ausgewerteten Prompts, bei welchen Fragen deine Inhalte in KI-Antworten von ChatGPT, AI Overviews oder AI Mode als Quelle zitiert werden und welche Wettbewerber in denselben Antworten auftauchen.
Über ein Prompt Tracking-Projekt lässt sich das für frei definierte Prompts zusätzlich im Zeitverlauf beobachten, zum Beispiel direkt vor und nach einer Änderung an deiner robots.txt. So wird messbar, ob eine Bot-Sperre tatsächlich zu weniger Zitationen führt, statt es nur zu vermuten.
Bevor du dich für oder gegen ein KI-Opt-out entscheidest: Erstelle dir einen kostenlosen SISTRIX Testaccount und prüfe im SISTRIX AI Check, wie sichtbar deine Domain und der Wettbewerb aktuell in KI-Antworten sind.
Welche KI-Bots gibt es?
Nicht jeder KI-Bot sollte gleich behandelt werden.
Trainingsbots sammeln Inhalte, um KI-Modelle zu verbessern oder neue Modelle zu trainieren. Dazu gehören zum Beispiel:
- GPTBot
- ClaudeBot
- Google-Extended
- Meta-ExternalAgent
- Meta-ExternalFetcher
- Applebot-Extended
- Amazonbot
- CCBot
Grounding-Bots rufen Inhalte ab, wenn Nutzer aktuelle Informationen benötigen. Hier lohnt sich ein genauerer Blick: OpenAI und Anthropic unterscheiden inzwischen jeweils zwischen einem Such-Bot, der eure Inhalte für die Suchfunktion im Chat indexiert, und einem Nutzer-Bot, der eine Seite nur live abruft, wenn jemand explizit danach fragt. Beide Typen zählen zu den Grounding-Bots. Dazu gehören beispielsweise:
- OAI-SearchBot (Indexierung für ChatGPT Search)
- ChatGPT-User (Live-Abruf bei Nutzeranfragen in ChatGPT)
- Claude-SearchBot (Indexierung für die Suchfunktion in Claude)
- Claude-User (Live-Abruf bei Nutzeranfragen in Claude)
- PerplexityBot (Perplexity nutzt denselben Bot für Training und Search)
Wichtig dabei: Wer nur den Nutzer-Bot zulässt (z. B. ChatGPT-User), aber den Such-Bot blockiert (OAI-SearchBot), taucht trotzdem nicht in den Suchergebnissen von ChatGPT Search auf. Beide Bots müssen separat behandelt werden.
Diese Unterscheidung ist wichtig. Wer alle Bots sperrt, schützt seine Inhalte stärker. Wer nur Trainingsbots sperrt, kann weiterhin als aktuelle Quelle in KI-Antworten erscheinen.
KI-Bots über die robots.txt blockieren
Die robots.txt ist die wichtigste Datei, um Crawlern Regeln für den Zugriff auf eine Website zu geben. Sie liegt im Stammverzeichnis einer Domain, zum Beispiel unter:
https://www.example.com/robots.txt
Strategie: KI-Modelltraining blockieren, Live-Antworten (Grounding) erlauben. Diese Bots sammeln Daten für zukünftige KI-Modelle:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Meta-ExternalFetcher
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: CCBot
Disallow: /Wenn du nur das Training verhindern möchtest, solltest du die Grounding-Bots ChatGPT-User, OAI-SearchBot, Claude-User und Claude-SearchBot nicht automatisch mit blockieren. Dann bleibt deine Website eher als aktuelle Quelle erreichbar, sofern das für dein Geschäftsmodell sinnvoll ist.
Reicht die robots.txt aus?
Die robots.txt ist ein Standard, aber keine technische Zugriffssperre. Seriöse Bots lesen sie aus und halten sich daran. Unbekannte Scraper oder bösartige Bots können sie ignorieren.
Für ein rechtlich und technisch sauberes Signal ist die robots.txt trotzdem zentral. Sie ist maschinenlesbar, leicht prüfbar und der wichtigste praktische Weg, um ein KI-Opt-out sichtbar zu machen.
Wer stärkeren Schutz braucht, sollte zusätzlich serverseitige Regeln einsetzen. Diese können Anfragen bestimmter User-Agents direkt blockieren. Das ist mit Apache, Nginx oder Cloudflare möglich.
Der Vorteil: Der Bot bekommt dann nicht nur eine Anweisung, sondern wird tatsächlich abgewiesen.
Der Nachteil: User-Agents können gefälscht werden. Auch serverseitige Sperren schützen deshalb nicht vollständig vor Scraping, erhöhen aber die Hürde deutlich.
Kann man AI Overviews gezielt blockieren?
Ja. Google führt dafür eine eigene Steuerung in der Search Console ein. Über den neuen Bereich „Generative KI in der Suche“ können Websitebetreiber festlegen, ob ihre Inhalte in AI Overviews, AI Mode und weiteren generativen Suchfunktionen von Google erscheinen dürfen.
Ist die Funktion für deine Property verfügbar, findest du sie in der Search Console unter Einstellungen → Generative KI in der Suche. Dort kannst du deine Website aus den generativen Suchfunktionen ausschließen, ohne dass sie aus dem Google-Index verschwindet. Die Einstellung hat laut Google keinen Einfluss auf die klassischen Rankings in der Websuche. Aktuell rollt Google die Funktion zunächst nur für einen Teil der Website-Betreiber in Großbritannien aus, ein globaler Rollout ist angekündigt, aber noch ohne festes Datum.
Diese Funktion solltest du nicht mit Google-Extended verwechseln. Google-Extended steuert ausschließlich, ob Google Inhalte zum Training seiner KI-Modelle verwenden darf. Die neue Einstellung in der Search Console betrifft dagegen die Darstellung deiner Inhalte in AI Overviews und AI Mode. Beide Funktionen erfüllen also unterschiedliche Aufgaben.
Soll ich KI-Bots blockieren? Unsere Einschätzung
Ein KI-Opt-out ist vor allem dann sinnvoll, wenn du verhindern möchtest, dass exklusive Inhalte für das Training von KI-Modellen genutzt werden. Die wichtigste technische Umsetzung erfolgt über die robots.txt.
Vor der Umsetzung solltest du aber entscheiden, was du genau blockieren möchtest. Trainingsbots und Grounding-Bots haben unterschiedliche Funktionen. Wer alles sperrt, schützt Inhalte stärker, verliert aber möglicherweise Sichtbarkeit in KI-Antworten. Wer nur Trainingsbots sperrt, kann weiterhin als aktuelle Quelle in KI-Systemen erscheinen.
Für SEO ist entscheidend: Blockiere niemals versehentlich den normalen Googlebot, wenn deine Website weiterhin in der Google-Suche sichtbar bleiben soll.
Prüfe außerdem im SISTRIX AI Check, ob und zu welchen Themen deine Domain in AI Overviews und anderen KI-Systemen genannt wird. Du siehst dort, welche deiner URLs als Quelle zitiert werden und welche Wettbewerber in denselben Antworten auftauchen. Nur so lässt sich individuell bewerten, ob deine KI-Bot-Strategie zur eigenen Sichtbarkeitsstrategie passt.
Wie entwickelt sich das KI-Opt-out weiter?
Die rechtlichen Grundlagen für das KI-Opt-out stammen aus der DSM-Richtlinie von 2019 und wurden lange vor dem Durchbruch generativer KI geschaffen. Entsprechend wird derzeit intensiv diskutiert, ob die bestehenden Regelungen den heutigen Anforderungen noch gerecht werden.
Während Verlage und Kreativverbände häufig strengere Vorgaben oder Vergütungsmodelle fordern, arbeitet die EU-Kommission zunächst an einem anderen Ziel: Einheitliche technische Standards sollen dafür sorgen, dass KI-Anbieter maschinenlesbare Opt-out-Signale zuverlässig erkennen und respektieren. Wie sich das Urheberrecht darüber hinaus entwickelt, dürfte auch von den laufenden Gerichtsverfahren und der praktischen Umsetzung des AI Acts abhängen.
Häufige Fragen zum KI-Opt-out
KI-Opt-out bedeutet, dass du der Nutzung deiner Inhalte für das Training von KI-Modellen widersprichst.
Der wichtigste Weg ist ein Eintrag in der robots.txt. Dort kannst du einzelne KI-Bots über ihren User-Agent blockieren.
Sie ist der wichtigste maschinenlesbare Standard, aber keine technische Sperre. Für stärkeren Schutz sind zusätzliche serverseitige Regeln sinnvoll.
Nicht unbedingt. Trainingsbots und Grounding-Bots erfüllen unterschiedliche Aufgaben. Viele Websites blockieren Trainingsbots, lassen Grounding-Bots aber zu.
Nein. Google-Extended blockiert nicht die Anzeige in AI Overviews. AI Overviews gehören zur Google-Suche und werden über andere Mechanismen gesteuert.
Nein. GPTBot gehört zu OpenAI. Solange der normale Googlebot nicht blockiert wird, bleibt die Google-Indexierung davon unberührt.
Mit dem SISTRIX Prompt Tracking kannst du eigene Prompt-Sets definieren und im Zeitverlauf beobachten, wie sich deine KI-Sichtbarkeit vor und nach einer robots.txt-Änderung entwickelt. Der tägliche AI-Sichtbarkeitsindex macht die Veränderung messbar.
SISTRIX kostenlos testen
- Kostenloser Testaccount für 14 Tage
- Unverbindlich, keine Kündigung notwendig
- Persönliches Onboarding durch Experten
