Wirft Google den Apple ITunes-Store aus den SERPs?


Johannes Beus 11.04.2013 11:42 Uhr

In den USA hat ein Thema in den letzten Wochen für ziemlichen Wirbel gesorgt: viele Inhalte des Apple ITunes-Store waren durch übliche Suchbegriffe in Google nicht mehr auffindbar. Bekannte Blogs und Nachrichtenseiten haben über das Thema berichtet aber so richtig Licht ist in die Angelegenheit nicht gekommen.

Das Ausmaß der verlorenen Rankings zeigt sich deutlich im SISTRIX Sichtbarkeitsindex der Domain apple.com. Lag der Sichtbarkeitsindex in der Woche vom 28.01.2013 noch bei 226 Punkten, ist bis zum 08.04.2013 auf unter 78 Punkte gefallen. Die Website apple.com hat damit innerhalb weniger Wochen fast zwei Drittel ihrer Sichtbarkeit in den Suchergebnissen bei google.de eingebüßt.

graph-sichtbarkeitsindex

Eine Analyse der Hostnamen zeigt, dass der Hostname itunes.apple.com (blaue Kurve) für den Einbruch verantwortlich ist. Die beiden Hosts www.apple.com (rote Kurve) und store.apple.com zeigen hingegen seit Anfang 2013 eher einen Seitwärtstrend.

graph-tophostnamen

Die Rankingentwicklung von iTunes (blaue Linie) für die Suche nach der populären Navigations-App „TomTom Europa“ zeigt exemplarisch für eine Vielzahl von Apps wie ituens.apple.com in den Suchergebnissen abgestürzt ist.

Seit dem 09.04.2012 belegte die dazugehörige iTunes-Seite auf apple.com ohne Unterbrechung Platz 1 in den Suchergebnissen für das Keywords „TomTom Europa“. In der Woche vom 25.03.2013 fiel sie auf Platz 79 und danach komplett aus den Top-100. Pikanterweise erbte google.com (rote Linie) mit dem hauseigenen Google Play Store für Android Apps Platz 1 für die Suche nach „TomTom Europa“.

graph-entwicklung-tomtomeuropa

Da sich Google und Apple mit ihren mobilen Betriebssystemen Android und iOS in einem erbitterten Wettbewerb befinden, ist die Frage legitim, ob Google die iTunes-Seiten von apple.com absichtlich in den Suchergebnissen benachteiligt.

graph-itunesplayplaygoogle

Insbesondere die Apple-Blogs titelten mit Schlagzeilen wie „iPhone App Store: Wertet Google iTunes-Links ab?“, „Suche App, finde nichts: Google gesteht Probleme mit iTunes-Seiten“ und „Streit um verschwundene iTunes-Links bei Google“. Ein Update im Techcrunch-Artikel mit einem unglücklich formuliertes Statement von Google zu dem Sachverhalt befeuerte die Verschwörungstheorien eher noch.

„We’ve been having some issues fetching pages from the iTunes web servers, and as a result some people may have had problems finding iTunes apps in search easily. We’re working with the team there to ensure search users can find what they’re looking for.“

Das Google-Zitat lässt vermuten, dass Google für die Probleme verantwortlich ist und lässt Spielraum für die Frage, ob das mit Absicht oder aus Versehen passiert ist. Da Google in anderen Bereichen durchaus nicht zimperlich mit Wettbewerbern umgeht, wäre eine solche Unterstellung nicht absolut abwegig.

Um der Frage nachzugehen haben wir itunes.apple.com mit dem SISTRIX Optimizer analysiert und in einem Projekt 100.000 iTunes-Seiten gecrawlt.

Ein Resultat der Optimizer-Analyse zeigt die folgende Tabelle:

httpstatuscode

Bei 46.133 (46,1 %) der gecrawlten Seiten lieferte der Server von itunes.apple.com einen 403-Statuscode (Forbidden) aus. Der Server verbietet dem Crawler also die Anforderung der URL und der Crawler geht folglich leer aus. Es ist davon auszugehen, dass auch der Googlebot diese Probleme hat. Ein Tweet von Google-Sprachrohr Matt Cutts bestätigt diese Annahme.

Man muss also ganz klar sagen, dass die Probleme hausgemacht sind und eindeutig von Apple verursacht wurden. Offen ist die Frage, warum die Server von Apple so häufig einen 403-Statuscode ausliefern. Wollte Apple damit eventuell irgendwelche Crawler von Dritten aussperren und hat nicht die SEO-Konsequenzen bedacht? Oder war das Ganze nur ein unbeabsichtigter Fehler auf der Seite von Apple? Fest steht, dass der Fehler bereit seit Anfang Februar 2013 besteht und von Apple viel zu lange nicht behoben wurde. Auch dem zeitweise wertvollsten Unternehmen der Welt können ohne ein professionelles Monitoring harte SEO-Fehler unterlaufen.

Johannes Beus, Gründer und Geschäftsführer von SISTRIX, beschäftigt sich seit 2001 mit der Optimierung von Webseiten für Suchmaschinen. Auf einem der ältesten deutschsprachigen SEO-Blog veröffentlicht er seit 2003 regelmäßig Zusammenfassungen eigener Auswertungen und Einschätzungen des SEO-Marktes.

 



Kommentar schreiben


Dieser Unterhaltung fehlt Deine Stimme.

 
Tolle Analyse, danke. Da sieht man mal, wie nützlich Tools sein können. Der Verdacht, dass Google Apple rausdrängelt,liegt ja auch nahe und wäre aus wettbewerbsrechtlicher Sicht natürlich gravierend.
Gruß, Martin
 
Gibt es ein Muster, welche Seiten 200 und welche 403 zurückgeben?
 
Hattes das auch auf der ein oder anderen Seite gelesen und konnte es mir beim besten Willen nicht vorstellen, dass das Google mit Absicht machen würde. Der Imageschaden wäre ja immens.

Aber auf die Idee auf 403 zu prüfen bin ich nicht gekommen. Manchmal hilft ein SEO-Tool eben doch bei der Überwindung von Hirnsperren. :)

Beste Grüße
Thomas aus Leipzig
 
Bei so einem Unternehmen, würde man doch warscheinlich nie davon ausgehen das Sie 403Fehler auf ihrer Webseite haben. Das wird man wohl auch sehr selten prüfen bei so einer großen Seite wie die betreiben.
 
Bei der aktuellen Version der "Google Drive"-App auf dem iPad kann man sich nicht einloggen - die Nutzer laufen Sturm und im App-Store hagelt es 1-Stern-Reviews. Apples Retourkutsche? ;-)
 
Wow krasse Nummer. ich kann mir nicht vorstellen, dass Google Apple so "plump" gewollt aus dem Index schießt. Deshalb nehme ich jetzt auch mal die Unschuldsvermutung als Ausgangsbasis, wobei ich allerdings wirklich gespannt bin, was da letztenendes heraus kommt. Don´t be evil....
 
Die Analyse lässt die Gesamtsituation schon in einem anderen Licht erscheinen, aber trotzdem stellt sich bei mir die Frage bei so vielen 403er ob eventuell euer Bot ausgesperrt wurde.
 
Sebastian, nein kein Muster. Einfach alle Seiten nach X Zugriffen mit einer IP-Adresse.
 
Hab gelesen dass der systrix robot bei Angabe einer Domain auch immer die www Variante überprüft. Kann das zu der 50% Fehlerrate bei Euren Messungen geführt haben?
www.itunes.apple.com wird nämlich garnicht aufgelöst.
 
René, nein, da hast Du wohl falsch gelesen. Wir haben nur den Hostnamen itunes.apple.com gecrawled und dort, auf genau diesem Hostnamen nach rund 50.000 Requests den Fehlercode 403 bei weiteren Seiten zurückerhalten. Wie im Blogposting erwähnt, ein typisches Vorgehen, um Crawler und Scraper abzuhalten.
 
Es sieht zumindest aus, als wäre da was grob in die Hose gegangen. Vielleicht hatte Apple Probleme mit nervigen Crawlern und hat damit Google gleich mit vor die Tür gesetzt.

Vielleicht hat Google dieses Problem mit seinen anonymen Test-Crawlern auch erkannt und Apple nun auf diesem Umweg eins rein gewürgt ;-)
 
Lt. Google (John Müller auf der SMX vorgestern) wurde der Google Bot aufgrund zu vieler Requests auf dem Apple Server automatisch gedrosselt, was zu dieser Anzahl an 4xx Meldungen geführt hat. Scheinbar ist das Problem jetzt wieder behoben.
 
Aber bei 50 Prozent gesperrten Seiten einen Sichtbarkeitsverlust von mehr als 80 Prozent ist auch etwas merkwürdig. Da müßten ja nur die besten Apps getroffen worden sein.
 
@Bastian: Wenn der iTunes-Server nach 50.000 gecrawlten Seiten abriegelt, dann sind es nur bei genau 100.000 gecrawlten Seiten 50 % Seiten mit einer 403. Wenn Google z.B. 200.000 Seiten crawlt, dann würden 150.000 Seiten (75%) eine 403 liefern.
 
Absicht? Glaube ich nie im Leben. Das hätte ansonsten Konsequenzen (welcher Art auch immer).
 
Super Auswertung. So etwas hatte ich noch nie auf dem Schirm.
Das sollte man ja fast für größere Seiten immer im Hinterkopf haben.
 
Ich kann das beschriebene Verhalten genauso bestätigen. Seit Januar werden alle Zugriffe auf itunes.apple.com über die IP gesperrt sobald die Zugriffe zu schnell erfolgen oder innerhalb einer bestimmten Zeit der Schwellwert überschritten wird. Nach ca. 24 Stunden wird die Sperre wieder aufgehoben. Dass Google die Domain entsprechend runter rank ist die logische Konsequenz davon.
 
Danke auch für´s bestätigen Stanislaw.
 
Tom Tom Europa Platz 1: Apple iTunes.

Wurde das Problem behoben?

Vielen Dank im Vorab

Micha
 
@Michael Kammler: iTunes erholt sich wieder und die Domain apple.com hat nach den aktuellen Toolbox-Daten von heute schon wieder einen Sichtbarkeitsindex von immerhin 150,3 Punkten (davon 98,34 Punkte itunes.apple.com) zurückgewonnen.
 
Nun, es könnte ja auch genau umgekehrt sein: Apple provoziert, dass seine Produkte nicht in den SERPs erscheinen, um bei Google-Nutzern Unmut über die Funktionalität der Suchmaschine zu erzeugen. Überzeugte iTunes Nutzer erwarten schließlich, dass iTunes als Ergebnis auftaucht. Finden sie es nicht, dann begeben sie sich stattdessen wohl auf eine Suche, die ihnen die gewünschten Ergebnisse beschert (z.B. direkt in iTunes). Nutzer denken in der Regel nicht wie SEO Experten und machen eher die Suchmaschine als die gesuchte Seite verantwortlich.
 
Ist mir auch schon aufgefallen...
 
Wieso soll Google denn nicht die iTunes-Seiten von apple.com absichtlich in den Suchergebnissen benachteiligen, ist doch ihre eigene Suchmaschine und keine staatliche Institution. Ich würde keinen einzigen meiner Konkurrenten in die SERPs aufnehmen, wäre ja noch schöner...
 
Top Analyse - wobei Google bisher mit Fehler wohl toleranter umgegangen ist. Es wird wohl ein Mix aus "Unbeabsichtigt" von Google und einem Apple 403 Fehler sein. Ich denke beide haben hoffentlich etwas gelernt und machen es nun besser.
 
Hey Johannes,

Die Bilder werden hier bei mir nicht angezeigt, woran liegt das? Man sieht nur den Dateinamen der Fotos.
 
Also soweit ich weis ist die Apple Seite wieder normalisiert.