Als Crawl Budget bezeichnet man die Ressourcen, die Google für das Crawlen von Webseiten aufwendet. Da es nicht unbegrenzt ist, besteht theoretisch die Gefahr, dass Google zu wenig Budget für alle URLs deiner Seite hat. Aber wie groß ist dieses Risiko und was kannst du dagegen tun?
Regelmäßiges und vollständiges Crawling von Webseiten ist entscheidend, damit Inhalte in der Google-Suche auftauchen. Allerdings hat nicht einmal Google unbegrenzte Ressourcen zur Verfügung. Deshalb ist das Crawl Budget pro Seite begrenzt.
Crawl Budget – eine Definition
Das Crawl Budget lässt sich als die maximale Anzahl an Unterseiten beschreiben, die der Googlebot crawlen kann.
Es setzt sich aus zwei Elementen zusammen:
- Crawl Rate: Das Crawl Rate-Limit hängt vor allem von der Crawl Health ab, also davon, wie schnell eine Webseite reagiert. Außerdem kannst du als Webseitenbetreiber ein Limit in der Google Search Console angeben.
- Crawl Demand beziehungsweise Crawl-Bedarf: Wie hoch der Crawl-Bedarf ist, hängt einmal davon ab, wie beliebt URLs sind. Zum anderen wirken sich obsolete und überholte Inhalte negativ aus. Änderungen wie ein Domainwechsel können den Crawl-Bedarf erhöhen.
Beides zusammen, Crawl Rate und Crawl-Bedarf, ergeben das Crawl Budget.
Wichtig: Neben dem Crawl Budget gibt es das Index Budget. Dieses legt fest, wie viele Seiten indexiert werden können. Der Unterschied wird deutlich, wenn eine Seite viele nicht erreichbare Unterseiten mit dem Fehlercode 404 hat. Das Crawlen dieser Seiten belastet das Crawl Budget, nicht aber das Index Budget.
Diese Faktoren beeinflussen das Crawl Budget
Laut einem Blogpost von Google wirken sich vor allem URLs mit geringem (Mehr-)Wert negativ auf das Crawling und das Indexieren aus:
- Soft Errors
- Gehackte Seiten
- Duplicate Content
- Spam und minderwertige Inhalte
- Facettennavigation und Session IDs
- Infinite Spaces
In diesen Fällen musst du damit rechnen, dass Google seine Crawling-Aktivitäten reduziert.
So kannst du das Crawl Budget beeinflussen
Aus dem vorherigen Absatz folgt: Um das Crawl Budget positiv zu beeinflussen, erstelle hochwertige Inhalte.
Außerdem gibt es andere Möglichkeiten, das Crawlen und das Indexieren zu beeinflussen:
- Optimiere die interne Verlinkung, sodass der Crawler alle wichtigen Inhalte problemlos findet.
- Bevorzuge eine flache Seitenarchitektur mit wenigen Ebenen.
- Entferne Duplicate Content beziehungsweise zeichne ihn mit Canonical Tags aus.
- Repariere defekte Links.
- Verwende die robots.txt-Datei, um zu verhindern, dass der Googlebot unwichtige Seiten scannt.
- Aktualisiere Inhalte regelmäßig.
Wie wichtig ist das Crawl Budget?
Google selbst gibt sich entspannt bei dieser Frage. Demnach müssen Besitzer kleiner oder mittlerer Webseiten mit bis zu wenigen tausend URLs keine Angst haben, dass das Crawl Budget nicht ausreicht. Erst bei großen Seiten und solchen, die automatisch Inhalte auf Basis von URL-Parametern erstellen, kann eine Priorisierung sinnvoll sein.
Das bedeutet nicht, dass das Thema Crawling und Indexierung für kleinere Seiten keine Rolle spielt. Schließlich wirkt es sich auch bei kleineren Seiten positiv aus, wenn der Googlebot wichtige Seiten problemlos indexiert und minderwertige Inhalte ignoriert.
