Unsere Seite wurde aus Versehen von der Indexierung ausgeschlossen, sind unsere Rankings damit verloren?

In den meisten Fällen wird die Antwort mit hoher Wahrscheinlichkeit „Nein, eure Rankings sind nicht verloren, wenn…“ lauten. Bei der Beantwortung dieser Frage kommt es jedoch sehr stark auf das „wann wurde die Seite ausgeschlossen?“ an.

Wenn eine Seite nicht indexiert werden kann, kann Google diese Seite auch nicht als Ergebnis ausliefern. Ihr verliert daher erstmal die Rankings für die eure URLs gerankt haben.

Sollte die Deindexierung zeitlich noch nicht weit zurück liegen, dann ist es sehr wahrscheinlich, dass Google euch, nachdem die Seiten wieder indexiert sind, eure alten Rankings erneut eingesteht.

Ihr solltet also, wenn dieses Scenario eingetreten ist, immer folgende drei Fragen hintereinander durcharbeiten:

  1. Seit wann ist das Ranking eingebrochen / die Seite nicht mehr im Index?
  2. Warum sind die Seiten nicht mehr im Index?
  3. Was mache ich nach der Beseitigung der Fehler?

Seit wann ist das Ranking eingebrochen?

Sollte euch gestern aufgefallen sein, dass eure Seite nicht mehr in Googles Index vertreten ist, besteht der erste Schritt darin zu prüfen, seit wann dem so ist.

Um heraus zu finden wann die Seite aus dem Index gefallen ist, könnt ihr den „Indexierungsstatus“ Bericht der Google Search Console konsultieren oder den Sichtbarkeitsindex Verlauf der Domain in der SISTRIX Toolbox überprüfen.

Da der Sichtbarkeitsindex abbildet wie sichtbar eine Domain in den Google Suchergebnissen ist, wird dieser, bei einem ausbleiben jedweder Ergebnisse, entsprechend gegen Null fallen.

In diesem Beispiel lässt sich ein massiver Absturz der Sichtbarkeit in der Woche vom 19.09.2016 erkennen.

Wöchentlicher Sichtbarkeitsindexverlauf

Liegt der Absturz weniger als 30 Tage zurück, könnt Ihr sogar noch genauere Aussagen zum betreffenden Datum in unserem täglichen Sichtbarkeitsindex Verlauf erkennen. Diesen findet Ihr in der Toolbox unter „SEO > Sichtbarkeitsindex“:

Täglicher Sichtbarkeitsindexverlauf der letzten 30 Tage

Wir können hier genau sagen, dass die Sichtbarkeit zwischen dem 11.09.2016 und 14.09.2016 eingebrochen ist und, bewaffnet mit diesem Wissen, mit der Detektivarbeit der Ursachenforschung beginnen.


Warum sind die Seiten nicht mehr im Index?

Die robots.txt

Erster Anlaufpunkt sollte immer die robots.txt Datei der eigenen Seite sein. Hier kann schnell der GoogleBot von der Seite ausgeschlossen werden. Und wenn Google eine Seite nicht crawlen kann, dann wird diese Seite auch nicht dem Index hinzugefügt (wobei es natürlich auch hier bestimmte Ausnahmen gibt).

Die Noindex Anweisung

Danach lohnt sich ein Besuch der eigenen Webseite um zu schauen, ob die Seite aus Versehen auf Noindex gesetzt wurde. Dies kann manchmal schon durch eine einzelne Checkbox im Content Management System für die ganze Seite eingestellt werden. In seltenen Fällen findet sich die Noindex Anweisung nicht im Quellcode der Seite, sondern in der Server Response, über das X-Robots-Tag. Wir empfehlen hierfür das Chrome Addon "Seerobots" da dieses schnell anzeigt, ob eine URL Noindex nutzt (im Quelltext oder per X-Robots-Tag).

Technische Probleme

Sind diese beiden Fehlerquellen abgedeckt, sollte die Technik der Seite geprüft werden. Liegen zB. Serverfehler vor, oder führen automatische Abfragen nach kurzer Zeit zu einem Ausschluss der abfragenden IP? Um solche Fragen beantworten zu können, lohnt es sich direkt bei der Technik anzufragen oder die Seite mit dem SISTRIX Optimizer crawlen zu lassen. Dieser crawlt automatisch eure Website wie Google es macht und ihr könnt schon während des Crawls im „Live-Log“ sehen, ob der Server zum Beispiel sehr viele 400er (Zugriff verboten) oder 500er (Serverprobleme) Status Codes ausliefert.

Fazit

Wenn ihr diese drei Fehlerquellen geprüft habt, werdet ihr in den meisten Fälle jetzt schon wissen, warum die Seite nicht mehr in Googles Index vertreten ist.

Jetzt heißt es in die Hände spucken und den oder die Fehler beheben.


Was mache ich nach der Beseitigung der Fehler?

Sobald ihr den oder die Gründe beseitigt habt, die Google vom crawlen/indexieren der Seite abgehalten haben, ist der nächste Schritt die Seite so schnell wie möglich erneut von Google crawlen und indexieren zu lassen.

Hier könnt ihr die Funktion „An den Index senden“ in der Google Search Console nutzen, um bis zu 500 URLs erneut crawlen zu lassen und dann an den Index zu senden. Ihr könnt auch eine HTML Datei mit allen (oder den wichtigsten Unterseiten) der Domain erstellen und diese mit der Einstellung „Diese URL und ihre direkten Links crawlen“ ausführen.

Solltest Du die Google Search Console nicht nutzen, so kannst Du Deine Website für die kostenlose Nutzung der Google Search Console (www.google.com/webmasters/tools/?hl=de) in wenigen Minuten freischalten und ebenfalls folgende Möglichkeit zur manuellen Indexierung von neuen Inhalten nutzen.

Eine weitere Möglichkeit besteht darin, eine XML-Sitemap zu erstellen und diese bei Google einzureichen.

Sobald Google die Seiten erneut gecrawlt und indexiert hat, muss Google prüfen ob sich die Seiten geändert haben. Sind die Seiten jedoch weiterhin identisch zu der Version vor der Deindexierung, kann Google dies meist recht schnell erkennen und die URLs wieder für die alten Rankings anzeigen.