Wie kann ich dem Google-Bot das Crawlen meiner Website verbieten?

Warum auch immer man Google verbieten möchte seine Website oder Teile davon zu crawlen, kann dies in der sog. robots.txt definieren.

Google-Bot mithilfe der robots.txt aussperren

Die robots.txt ist eine einfache Textdatei mit dem Namen „robots“. Sie muss im Hauptverzeichnis (root) einer Website abgelegt werden, um von den Suchmaschinen beachtet zu werden.

Verfügt eine Website über eine robots.txt, so kann diese wie folgt ausgerufen werden:

http://www.meine-domain.de/robots.txt

Der Inhalt der robots.txt

Durch folgende Anweisung verbieten wir dem Google-Bot exklusiv den Zugriff auf unsere gesamte Website:

Folgender Inhalt muss in die robots.txt geschrieben werden, um den Zugriff auf die gesamte Website für den Google-Bot zu sperren:

User-Agent: Googlebot
Disallow: /

Falls nicht die gesamte Website, sondern lediglich einige Verzeichnisse oder Dateien für den Zugriff gesperrt werden sollen, muss die robots.txt folgendes beinhalten:

Folgender Inhalt sperrt lediglich den Zugriff auf das Verzeichnis „ein-ordner“ sowie der Datei „eine-datei.pdf“ für den Google-Bot:

User-Agent: Googlebot
Disallow: /ein-ordner/
Disallow: /eine-datei.pdf

Hinweis

Die hier aufgeführten Code-Beispiele beziehen sich einzig und allein auf den Google-Bot. Crawler anderer Suchmaschinen, wie z.B. bing, werden nicht ausgesperrt.

Das Aussperren eines Crawlers ist zwangsläufig kein Garant dafür, dass die Website oder einzelne URLs nicht in den Suchergebnissen (SERPs) auftauchen (können). Weitere Infos unter: Warum erscheint eine mittels robots.txt gesperrte URL in den Suchergebnissen?

Weiterführende Informationen von Google zu diesem Thema

http://support.google.com/webmasters/bin/answer.py?hl=de&answer=156449&from=40364&rd=1

Related Topics

SEO-Themen von A bis Z