Die robots.txt-Datei ist ein wichtiges Werkzeug in der technischen Suchmaschinenoptimierung. Richtig eingesetzt, hilft sie dabei, Suchmaschinen gezielt durch eine Website zu führen. Falsch konfigurierte Regeln können dagegen dazu führen, dass wichtige Inhalte nicht mehr gecrawlt werden.
- Was ist die robots.txt?
- Aufbau und Syntax der robots.txt
- Was gehört in die robots.txt und was nicht?
- Sinnvolle Inhalte:
- Gefährlich oder ungeeignet:
- SEO: Worauf Du achten solltest
- Häufige Fehler:
- Crawling-Budget gezielt steuern
- robots.txt mit SISTRIX testen
- Beispiel für eine robots.txt
- Robots.txt überprüfen
- 1. Google Search Console
- 2. Direkt im Browser
- Robots.txt und KI-Crawler
- Kann man Inhalte per robots.txt vor KI-Crawlern schützen?
- KI-Training einschränken und Sichtbarkeit behalten
- FAQ zur robots.txt
Kurzüberblick: robots.txt Crawler effektiv steuern
Die robots.txt-Datei steuert, welche Teile einer Website von Suchmaschinen gecrawlt werden dürfen. Sie liegt im Stammverzeichnis, zum Beispiel unter www.deine-domain.de/robots.txt, und hilft, das Crawling-Budget sinnvoll zu nutzen.
Typischer Aufbau:
Eine robots.txt besteht aus Anweisungen für bestimmte Crawler:
User-agent: * Disallow: /admin/ Allow: /admin/login/ Sitemap: https://www.deine-domain.de/sitemap.xml
- User-agent: Für welchen Crawler gilt die Regel, „*“ steht für alle.
- Disallow: Bereiche, die nicht gecrawlt werden sollen.
- Allow: Ausnahmen innerhalb gesperrter Bereiche.
- Sitemap: Optionaler Hinweis auf die XML-Sitemap.
Typische Aufgaben: technische Bereiche ausschließen, unnötige URL-Varianten begrenzen und die Sitemap angeben.
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website. Sie gibt Suchmaschinen Crawling-Anweisungen und legt fest, welche Bereiche einer Website von Bots abgerufen werden dürfen.
Wichtig zur Indexierung: Die robots.txt steuert das Crawling, nicht die Indexierung. Wird eine gesperrte Seite beispielsweise von anderen Websites verlinkt, kann Google die URL trotzdem indexieren. Soll eine Seite aus dem Google-Index ausgeschlossen werden, ist noindex über das Meta-Robots-Tag oder den HTTP-Header X-Robots-Tag die passende Lösung. Dafür muss Google die Seite crawlen dürfen, um die Anweisung auslesen zu können.
Auch sensible Inhalte lassen sich mit der robots.txt nicht schützen. Die Datei ist öffentlich einsehbar und stellt keine Zugriffskontrolle dar. Vertrauliche Inhalte müssen beispielsweise durch ein Login oder andere serverseitige Maßnahmen geschützt werden.
Aufbau und Syntax der robots.txt
Die Datei folgt einem einfachen Schema aus User-agent, Disallow und optional Allow:
User-agent: * Disallow: /admin/ Disallow: /login/
User-agent: * bedeutet, dass die Regeln für alle Crawler gelten. Disallow: /admin/ verhindert das Crawling des entsprechenden Bereichs.
Mit Allow kann eine Ausnahme innerhalb eines gesperrten Bereichs definiert werden:
User-agent: Googlebot Disallow: /shop/ Allow: /shop/produkte/
Google darf in diesem Beispiel /shop/produkte/ crawlen, obwohl /shop/ grundsätzlich gesperrt ist. Treffen mehrere Regeln auf eine URL zu, berücksichtigt Google die spezifischste passende Regel.
Für URL-Muster unterstützt Google außerdem * als Platzhalter und $ für das Ende einer URL. Die gelegentlich verwendete Direktive crawl-delay wird von Google nicht unterstützt.
Was gehört in die robots.txt und was nicht?
Sinnvolle Inhalte:
- Technische und irrelevante Bereiche ausschließen: Bereiche, die Suchmaschinen nicht crawlen müssen, z. B. /wp-admin/ oder /cgi-bin/.
- Unnötige URL-Varianten begrenzen: etwa bestimmte Filter-, Sortier- oder Parameter-URLs.
- Sitemap angeben: Die Sitemap kann über Sitemap: https://www.deine-domain.de/sitemap.xml referenziert werden.
Gefährlich oder ungeeignet:
- Wichtige Inhalte ausschließen: Produktseiten, Kategorien oder Blogartikel dürfen nicht unbeabsichtigt blockiert werden.
- Sensible Daten verstecken: Die robots.txt ist öffentlich einsehbar und kein Sicherheitsmechanismus.
- Indexierung steuern: Disallow verhindert keine zuverlässige Deindexierung. Dafür ist noindex vorgesehen.
- Pauschale CMS-Regeln übernehmen: Technisch aussehende Verzeichnisse können Ressourcen enthalten, die Google zum Rendern einer Seite benötigt.
SEO: Worauf Du achten solltest
Häufige Fehler:
- Komplettsperrung der Website: Ein versehentliches Disallow: / wird häufig von Staging-Umgebungen auf die Live-Website übernommen.
- Blockieren wichtiger Ressourcen: CSS- oder JavaScript-Dateien sollten erreichbar sein, wenn Google sie benötigt, um Inhalte und Layout korrekt zu rendern.
- Ungeprüfte Parameterregeln: Regeln für Filter- und Sortier-URLs müssen zur tatsächlichen URL-Struktur der Website passen.
- robots.txt und noindex kombinieren: Ist eine URL blockiert, kann Google das noindex auf der Seite nicht auslesen.
Crawling-Budget gezielt steuern
Bei großen Websites kann die robots.txt dazu beitragen, dass Google weniger Ressourcen für dauerhaft irrelevante oder technisch erzeugte URLs verwendet. Typische Fälle sind umfangreiche Filterkombinationen, interne Suchergebnisse oder andere URL-Muster, die sehr viele Varianten erzeugen. Google beschreibt das ausführlich in der eigenen Doku zum Crawling-Budget.
Für kleine und mittelgroße Websites ist das Crawling-Budget dagegen selten ein praktisches SEO-Problem. Eine umfangreiche robots.txt bringt dort keinen automatischen Vorteil.
robots.txt mit SISTRIX testen
Beim Crawlen liest SISTRIX die robots.txt einer Website aus und berücksichtigt die darin enthaltenen Regeln, genau wie es auch beim Googlebot der Fall ist.
Änderungen können getestet werden, ohne sie sofort online zu stellen. Dafür lässt sich in den Projekteinstellungen eine virtuelle robots.txt hinterlegen. Diese wird ausschließlich für den SISTRIX-Crawler verwendet und ersetzt beim nächsten Crawl die öffentlich erreichbare Version. So lässt sich prüfen, welche URLs durch eine neue Regel blockiert würden und ob wichtige Seiten oder Ressourcen betroffen sind, bevor die produktive robots.txt angepasst wird.
Der Crawl-Report zeigt zusätzlich als Hinweis an, wenn URLs durch die robots.txt vom Crawling ausgeschlossen wurden. So lässt sich auch nachträglich prüfen, ob eine Sperrung beabsichtigt war.
Mit der virtuellen robots.txt lassen sich neue Regeln risikofrei simulieren, bevor sie live gestellt werden: Teste SISTRIX 14 Tage kostenlos und prüfe ob deine robots.txt öffentlich und im geschützten Testmodus wie gewünscht greift.
Beispiel für eine robots.txt
Eine universelle Vorlage gibt es nicht. Die Regeln müssen zur URL-Struktur der jeweiligen Website passen. Das folgende Beispiel zeigt deshalb nur typische Anwendungsfälle:
User-agent: *
# Backend sperren
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Beispiel für Sortier-URLs
Disallow: /*?orderby=
# Interne Suchergebnisse
Disallow: /search/
# Sitemap angeben
Sitemap: https://www.deine-domain.de/sitemap.xml
Pauschale Regeln wie Disallow: /wp-includes/ sollten nicht ungeprüft übernommen werden, weil dort Ressourcen liegen können, die Google zum Rendern benötigt. Auch Warenkorb-, Account-, Filter- und Parameter-URLs sollten nur dann gesperrt werden, wenn die tatsächliche URL-Struktur geprüft wurde.
Robots.txt überprüfen
1. Google Search Console
Der frühere separate robots.txt-Tester wurde eingestellt. Google bietet stattdessen einen robots.txt-Bericht in der Search Console. Er zeigt unter anderem den letzten Abruf der Datei sowie Warnungen und Fehler.
Für eine konkrete URL kann zusätzlich die URL-Prüfung mit Live-Test genutzt werden. Dort lässt sich erkennen, ob Google die URL aufgrund einer robots.txt-Regel nicht crawlen darf.
2. Direkt im Browser
Rufe www.deine-domain.de/robots.txt im Browser auf und kontrolliere, ob die erwartete Datei ausgeliefert wird.
Nach größeren Änderungen sollte anschließend geprüft werden, ob wichtige URLs weiterhin gecrawlt werden können. Google speichert die robots.txt zwischen, weshalb Änderungen nicht zwingend unmittelbar wirksam werden.
Robots.txt und KI-Crawler
Mit der Verbreitung generativer KI gewinnt die robots.txt eine weitere Aufgabe: Website-Betreiber können damit unterstützten KI-Crawlern mitteilen, welche Inhalte sie abrufen dürfen. Davon zu unterscheiden ist die Frage, wofür Inhalte anschließend verwendet werden dürfen.
Kann man Inhalte per robots.txt vor KI-Crawlern schützen?
Die robots.txt ist kein technischer Zugriffsschutz, sie kann aber als maschinenlesbares Opt-out dienen. Auch rechtlich sind solche Nutzungsvorbehalte relevant: Die europäische DSM-Richtlinie ermöglicht Rechteinhabern, Text und Data Mining bei öffentlich zugänglichen Online-Inhalten maschinenlesbar vorzubehalten. Der EU AI Act verpflichtet Anbieter von General-Purpose-AI-Modellen dazu, eine Strategie zur Einhaltung solcher Vorbehalte umzusetzen.
Für SEO ist vor allem die Unterscheidung zwischen Modelltraining, KI-Suche und nutzergesteuerten Abrufen wichtig. Einige Anbieter verwenden dafür unterschiedliche User-Agents oder Steuerungstokens:
- OpenAI verwendet GPTBot für Crawling, bei dem Inhalte potenziell zur Verbesserung beziehungsweise zum Training von Modellen verwendet werden können. OAI-SearchBot dient dagegen der Auffindbarkeit in ChatGPT Search. ChatGPT-User wird für bestimmte nutzergesteuerte Abrufe eingesetzt.
- Anthropic unterscheidet zwischen ClaudeBot, Claude-SearchBot und Claude-User für automatisiertes Crawling, Suche und nutzergesteuerte Abrufe.
- Google-Extended und Applebot-Extended sind keine eigenständigen Crawler. Mit diesen robots.txt-Tokens lässt sich die Nutzung gecrawlter Inhalte für bestimmte KI-Zwecke einschränken, ohne das normale Suchmaschinen-Crawling grundsätzlich zu blockieren.
- Common Crawl lässt sich über CCBot blockieren. Die Organisation erstellt frei verfügbare Web-Datensätze, die unter anderem für Forschung und die Entwicklung von KI-Systemen genutzt werden.
KI-Training einschränken und Sichtbarkeit behalten
Wer bestimmte KI-Nutzungen ausschließen, aber in KI-Suchen auffindbar bleiben möchte, kann die Regeln getrennt setzen:
# OpenAI
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
# Anthropic
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
# Google
User-agent: Google-Extended
Disallow: /
# Apple
User-agent: Applebot-Extended
Disallow: /
# Common Crawl
User-agent: CCBot
Disallow: /
Google-Extended nicht mit Googlebot verwechseln: Eine Sperre von Google-Extended verhindert weder das Crawling für die Google-Suche noch grundsätzlich die Darstellung in AI Overviews oder im AI Mode. Der Token steuert bestimmte Verwendungen von Inhalten für Gemini-Modelle und Grounding außerhalb der Google-Suche.
Die Konfiguration ist nur ein Beispiel. Welche User-Agents oder Tokens gesperrt werden sollten, hängt davon ab, ob Inhalte für KI-Zwecke verfügbar sein und gleichzeitig in KI-Suchen auffindbar bleiben sollen. Da Anbieter ihre Crawler und deren Aufgaben ändern können, sollten vor Anpassungen die aktuellen Angaben der jeweiligen Anbieter geprüft werden.
FAQ zur robots.txt
Rufe www.deine-domain.de/robots.txt direkt im Browser auf.
Eine robots.txt verbessert Rankings nicht direkt. Sie hilft dabei, das Crawling einer Website zu steuern. Besonders bei großen Websites mit vielen technisch erzeugten URLs kann das für SEO relevant sein.
WordPress kann eine virtuelle robots.txt erzeugen. Plugins wie Yoast SEO oder Rank Math bieten zusätzlich Möglichkeiten zur Bearbeitung. Entscheidend ist, welcher Inhalt tatsächlich unter /robots.txt ausgeliefert wird.
Prüfe die betroffene URL und identifiziere die Disallow-Regel, die den Zugriff verhindert. Ist die Sperre unbeabsichtigt, muss die Regel entfernt oder durch eine passendere Allow-Regel ergänzt werden.
Für die Steuerung des Crawlings: robots.txt. Für den Ausschluss aus dem Suchindex: noindex über Meta Robots oder X-Robots-Tag.
Nein. Die Angabe ist optional. Eine Sitemap kann über die robots.txt bekannt gemacht oder direkt in der Google Search Console eingereicht werden.
Googlebot berücksichtigt gültige robots.txt-Regeln beim Crawling. Eine blockierte URL kann trotzdem im Index erscheinen, wenn Google sie beispielsweise über externe oder interne Links kennt.
Nicht zuverlässig. Die robots.txt kann das Crawling bestimmter URL-Varianten reduzieren, löst aber keine Duplicate-Content-Probleme auf Indexierungsebene. Dafür sind unter anderem Canonicals, Weiterleitungen und eine saubere interne Verlinkung geeigneter.
