Googlebot: So funktioniert der Webcrawler von Google

Von:

SISTRIX Content Team

Aktualisiert: 13.11.2024

Google Crawling und Googlebot

• Crawling und Indexierung umfangreicher Webseiten
• Googlebot: So funktioniert der Webcrawler von Google
• Kann der Google-Bot Formulare ausfüllen und crawlen?
• Crawl Budget: Das verbirgt sich hinter dem Begriff
• Wie kann ich dem Google-Bot das Crawlen meiner Website verbieten?
• Webcrawler: Wie funktionieren sie?
• Zurück zur Übersicht

Crawler von Suchmaschinen sind ständig damit beschäftigt, Webseiten zu crawlen. Das heißt: sie sammeln sowie analysieren Inhalte und legen einen Index an und/oder aktualisieren diesen. Aus diesem Index stammen die Informationen, die die Suchmaschine Nutzern zur Verfügung steht. Anders ausgedrückt: ohne Index keine Suchmaschine. 

Dabei bewegen sich die Crawler entlang von Hyperlinks, ähnlich wie Spinnen an den Fäden in ihrem Netz. Deshalb lautet ein alternativer Name zu einem Crawler auch Spider. 

Als Crawler der mit Abstand wichtigsten Suchmaschine nimmt der Googlebot eine prominente Stellung unter seinesgleichen ein. 

Diese Arten von Googlebots gibt es 

Eigentlich ist es nicht korrekt, von „dem“ Googlebot zu sprechen. Denn es gibt verschiedene Arten von Googlebots. Google selbst unterscheidet dabei aktuell hauptsächlich zwischen zwei Typen:

• Googlebot Smartphone: Ein mobiler Crawler, der die Nutzung auf einem mobilen Gerät simuliert.
• Googlebot Desktop: Ein Desktop-Crawler, der die Nutzung auf einem Desktop-Gerät simuliert.

Diese beiden Crawler sind für das Crawlen und Indexieren von Webseiten verantwortlich. Ältere Bezeichnungen wie Googlebot Image oder Googlebot News werden von Google nicht mehr separat hervorgehoben.

Der Googlebot und SEO

Der Googlebot ist aus einem einfachen Grund zentral für SEO:

Nur wenn er Seiten indexiert, tauchen sie (in ihrer aktuellen Form) in Suchergebnissen auf. Nur dann wirken auch Maßnahmen der Suchmaschinenoptimierung, etwa die Integration von Keywords. 

Dabei hast du verschiedene Möglichkeiten, den Googlebot zu steuern, indem du:

• sicherstellst, dass er alle wichtigen Seiten regelmäßig crawlen und indexieren kann und
• unwichtige Seiten nicht indexierst. 

In diesem Zusammenhang spielt das Crawl-Budget eine wichtige Rolle. Google stellt dies jedoch auf Domain-Ebene und nicht für jede einzelne Seite zur Verfügung. Das bedeutet, dass Google entscheidet, wie viele Seiten einer gesamten Website innerhalb eines bestimmten Zeitraums gecrawlt werden. Eine gut strukturierte Seitenarchitektur und hochwertige Inhalte tragen dazu bei, dass mehr Seiten gecrawlt und indexiert werden können.

So unterstützt du den Googlebot beim Crawlen

Wichtige Maßnahmen, um sicherzustellen, dass der Googlebot alle wichtigen Inhalte deiner Webseite indexiert, sind die folgenden:

• Achte auf eine flache Webseitenarchitektur.
• Optimiere die interne Verlinkung. Denn nur über Links findet der Googlebot Unterseiten. 
• Stelle Google eine Sitemap zur Verfügung. Diese reichst du bei der Search Console ein oder fügst sie der robots.txt-Datei hinzu. Sie ist eine Art Landkarte für den Googlebot. 

Seiten aussperren – wie und warum

Manchmal ist es sinnvoll, zu verhindern, dass der Googlebot Inhalte crawlt oder indexiert. So verhinderst du, dass zum Beispiel Duplicate Content entsteht, Adminseiten als Google-Suchergebnis auftauchen und das Crawl Budget unnötig in Anspruch genommen wird. Letztendlich verhinderst du so auch Rankingverluste – Stichwort Duplicate Content. 

Je nachdem, was du erreichen willst, bieten sich zu diesem Zweck vor allem die folgenden Methoden an:

• robots.txt: Steuert, welche Seiten vom Googlebot gecrawlt werden dürfen.
• noindex-Meta-Tag oder X-Robots-Tag: Diese verhindern, dass bestimmte Seiten in den Suchergebnissen erscheinen, selbst wenn sie gecrawlt wurden.
• Canonical-Tags: Diese geben an, welche Version einer Seite als die bevorzugte betrachtet wird, um Duplicate Content zu vermeiden.

Wichtig: Jede dieser Methoden eignet sich für einen anderen Einsatzbereich. Achte darauf, dass du sie gezielt einsetzt, um die gewünschte Wirkung zu erzielen.Wichtig: Jede dieser Methoden eignet sich für einen anderen Einsatzbereich. Achte darauf, dass du sie gezielt einsetzt, um die gewünschte Wirkung zu erzielen.