Wirft Google den Apple ITunes-Store aus den SERPs?

11. April 2013, 11:42

In den USA hat ein Thema in den letzten Wochen für ziemlichen Wirbel gesorgt: viele Inhalte des Apple ITunes-Store waren durch übliche Suchbegriffe in Google nicht mehr auffindbar. Bekannte Blogs und Nachrichtenseiten haben über das Thema berichtet aber so richtig Licht ist in die Angelegenheit nicht gekommen.

Das Ausmaß der verlorenen Rankings zeigt sich deutlich im SISTRIX Sichtbarkeitsindex der Domain apple.com. Lag der Sichtbarkeitsindex in der Woche vom 28.01.2013 noch bei 226 Punkten, ist bis zum 08.04.2013 auf unter 78 Punkte gefallen. Die Website apple.com hat damit innerhalb weniger Wochen fast zwei Drittel ihrer Sichtbarkeit in den Suchergebnissen bei google.de eingebüßt.

graph-sichtbarkeitsindex

Eine Analyse der Hostnamen zeigt, dass der Hostname itunes.apple.com (blaue Kurve) für den Einbruch verantwortlich ist. Die beiden Hosts www.apple.com (rote Kurve) und store.apple.com zeigen hingegen seit Anfang 2013 eher einen Seitwärtstrend.

graph-tophostnamen

Die Rankingentwicklung von iTunes (blaue Linie) für die Suche nach der populären Navigations-App „TomTom Europa“ zeigt exemplarisch für eine Vielzahl von Apps wie ituens.apple.com in den Suchergebnissen abgestürzt ist.

Seit dem 09.04.2012 belegte die dazugehörige iTunes-Seite auf apple.com ohne Unterbrechung Platz 1 in den Suchergebnissen für das Keywords „TomTom Europa“. In der Woche vom 25.03.2013 fiel sie auf Platz 79 und danach komplett aus den Top-100. Pikanterweise erbte google.com (rote Linie) mit dem hauseigenen Google Play Store für Android Apps Platz 1 für die Suche nach „TomTom Europa“.

graph-entwicklung-tomtomeuropa

Da sich Google und Apple mit ihren mobilen Betriebssystemen Android und iOS in einem erbitterten Wettbewerb befinden, ist die Frage legitim, ob Google die iTunes-Seiten von apple.com absichtlich in den Suchergebnissen benachteiligt.

graph-itunesplayplaygoogle

Insbesondere die Apple-Blogs titelten mit Schlagzeilen wie „iPhone App Store: Wertet Google iTunes-Links ab?“, „Suche App, finde nichts: Google gesteht Probleme mit iTunes-Seiten“ und „Streit um verschwundene iTunes-Links bei Google“. Ein Update im Techcrunch-Artikel mit einem unglücklich formuliertes Statement von Google zu dem Sachverhalt befeuerte die Verschwörungstheorien eher noch.

„We’ve been having some issues fetching pages from the iTunes web servers, and as a result some people may have had problems finding iTunes apps in search easily. We’re working with the team there to ensure search users can find what they’re looking for.“

Das Google-Zitat lässt vermuten, dass Google für die Probleme verantwortlich ist und lässt Spielraum für die Frage, ob das mit Absicht oder aus Versehen passiert ist. Da Google in anderen Bereichen durchaus nicht zimperlich mit Wettbewerbern umgeht, wäre eine solche Unterstellung nicht absolut abwegig.

Um der Frage nachzugehen haben wir itunes.apple.com mit dem SISTRIX Optimizer analysiert und in einem Projekt 100.000 iTunes-Seiten gecrawlt.

Ein Resultat der Optimizer-Analyse zeigt die folgende Tabelle:

httpstatuscode

Bei 46.133 (46,1 %) der gecrawlten Seiten lieferte der Server von itunes.apple.com einen 403-Statuscode (Forbidden) aus. Der Server verbietet dem Crawler also die Anforderung der URL und der Crawler geht folglich leer aus. Es ist davon auszugehen, dass auch der Googlebot diese Probleme hat. Ein Tweet von Google-Sprachrohr Matt Cutts bestätigt diese Annahme.

Man muss also ganz klar sagen, dass die Probleme hausgemacht sind und eindeutig von Apple verursacht wurden. Offen ist die Frage, warum die Server von Apple so häufig einen 403-Statuscode ausliefern. Wollte Apple damit eventuell irgendwelche Crawler von Dritten aussperren und hat nicht die SEO-Konsequenzen bedacht? Oder war das Ganze nur ein unbeabsichtigter Fehler auf der Seite von Apple? Fest steht, dass der Fehler bereit seit Anfang Februar 2013 besteht und von Apple viel zu lange nicht behoben wurde. Auch dem zeitweise wertvollsten Unternehmen der Welt können ohne ein professionelles Monitoring harte SEO-Fehler unterlaufen.

Dieser Beitrag hat 26 Kommentare

 
  11. April 2013, 12:14

Tolle Analyse, danke. Da sieht man mal, wie nützlich Tools sein können. Der Verdacht, dass Google Apple rausdrängelt,liegt ja auch nahe und wäre aus wettbewerbsrechtlicher Sicht natürlich gravierend.
Gruß, Martin

 
Sebastian
  11. April 2013, 12:42

Gibt es ein Muster, welche Seiten 200 und welche 403 zurückgeben?

 
  11. April 2013, 12:52

Hattes das auch auf der ein oder anderen Seite gelesen und konnte es mir beim besten Willen nicht vorstellen, dass das Google mit Absicht machen würde. Der Imageschaden wäre ja immens.

Aber auf die Idee auf 403 zu prüfen bin ich nicht gekommen. Manchmal hilft ein SEO-Tool eben doch bei der Überwindung von Hirnsperren. :)

Beste Grüße
Thomas aus Leipzig

 
  11. April 2013, 13:16

Bei so einem Unternehmen, würde man doch warscheinlich nie davon ausgehen das Sie 403Fehler auf ihrer Webseite haben. Das wird man wohl auch sehr selten prüfen bei so einer großen Seite wie die betreiben.

 
  11. April 2013, 13:23

Bei der aktuellen Version der „Google Drive“-App auf dem iPad kann man sich nicht einloggen – die Nutzer laufen Sturm und im App-Store hagelt es 1-Stern-Reviews. Apples Retourkutsche? 😉

 
  11. April 2013, 13:43

Wow krasse Nummer. ich kann mir nicht vorstellen, dass Google Apple so „plump“ gewollt aus dem Index schießt. Deshalb nehme ich jetzt auch mal die Unschuldsvermutung als Ausgangsbasis, wobei ich allerdings wirklich gespannt bin, was da letztenendes heraus kommt. Don´t be evil….

 
Basti
  11. April 2013, 14:09

Die Analyse lässt die Gesamtsituation schon in einem anderen Licht erscheinen, aber trotzdem stellt sich bei mir die Frage bei so vielen 403er ob eventuell euer Bot ausgesperrt wurde.

 
  11. April 2013, 14:53

Sebastian, nein kein Muster. Einfach alle Seiten nach X Zugriffen mit einer IP-Adresse.

 
René
  11. April 2013, 15:50

Hab gelesen dass der systrix robot bei Angabe einer Domain auch immer die www Variante überprüft. Kann das zu der 50% Fehlerrate bei Euren Messungen geführt haben?
http://www.itunes.apple.com wird nämlich garnicht aufgelöst.

 
  11. April 2013, 15:54

René, nein, da hast Du wohl falsch gelesen. Wir haben nur den Hostnamen itunes.apple.com gecrawled und dort, auf genau diesem Hostnamen nach rund 50.000 Requests den Fehlercode 403 bei weiteren Seiten zurückerhalten. Wie im Blogposting erwähnt, ein typisches Vorgehen, um Crawler und Scraper abzuhalten.

 
Martin
  11. April 2013, 20:08

Es sieht zumindest aus, als wäre da was grob in die Hose gegangen. Vielleicht hatte Apple Probleme mit nervigen Crawlern und hat damit Google gleich mit vor die Tür gesetzt.

Vielleicht hat Google dieses Problem mit seinen anonymen Test-Crawlern auch erkannt und Apple nun auf diesem Umweg eins rein gewürgt 😉

 
Christian
  12. April 2013, 08:12

Lt. Google (John Müller auf der SMX vorgestern) wurde der Google Bot aufgrund zu vieler Requests auf dem Apple Server automatisch gedrosselt, was zu dieser Anzahl an 4xx Meldungen geführt hat. Scheinbar ist das Problem jetzt wieder behoben.

 
  12. April 2013, 09:39

Aber bei 50 Prozent gesperrten Seiten einen Sichtbarkeitsverlust von mehr als 80 Prozent ist auch etwas merkwürdig. Da müßten ja nur die besten Apps getroffen worden sein.

 
Hanns Kronenberg
  12. April 2013, 09:56

@Bastian: Wenn der iTunes-Server nach 50.000 gecrawlten Seiten abriegelt, dann sind es nur bei genau 100.000 gecrawlten Seiten 50 % Seiten mit einer 403. Wenn Google z.B. 200.000 Seiten crawlt, dann würden 150.000 Seiten (75%) eine 403 liefern.

 
  12. April 2013, 12:17

Absicht? Glaube ich nie im Leben. Das hätte ansonsten Konsequenzen (welcher Art auch immer).

 
Jens
  12. April 2013, 12:26

Super Auswertung. So etwas hatte ich noch nie auf dem Schirm.
Das sollte man ja fast für größere Seiten immer im Hinterkopf haben.

 
  13. April 2013, 05:09

Ich kann das beschriebene Verhalten genauso bestätigen. Seit Januar werden alle Zugriffe auf itunes.apple.com über die IP gesperrt sobald die Zugriffe zu schnell erfolgen oder innerhalb einer bestimmten Zeit der Schwellwert überschritten wird. Nach ca. 24 Stunden wird die Sperre wieder aufgehoben. Dass Google die Domain entsprechend runter rank ist die logische Konsequenz davon.

 
  13. April 2013, 23:01

Danke auch für´s bestätigen Stanislaw.

 
  14. April 2013, 17:12

Tom Tom Europa Platz 1: Apple iTunes.

Wurde das Problem behoben?

Vielen Dank im Vorab

Micha

 
Hanns Kronenberg
  14. April 2013, 19:51

@Michael Kammler: iTunes erholt sich wieder und die Domain apple.com hat nach den aktuellen Toolbox-Daten von heute schon wieder einen Sichtbarkeitsindex von immerhin 150,3 Punkten (davon 98,34 Punkte itunes.apple.com) zurückgewonnen.

 
Bronkis
  16. April 2013, 12:24

Nun, es könnte ja auch genau umgekehrt sein: Apple provoziert, dass seine Produkte nicht in den SERPs erscheinen, um bei Google-Nutzern Unmut über die Funktionalität der Suchmaschine zu erzeugen. Überzeugte iTunes Nutzer erwarten schließlich, dass iTunes als Ergebnis auftaucht. Finden sie es nicht, dann begeben sie sich stattdessen wohl auf eine Suche, die ihnen die gewünschten Ergebnisse beschert (z.B. direkt in iTunes). Nutzer denken in der Regel nicht wie SEO Experten und machen eher die Suchmaschine als die gesuchte Seite verantwortlich.

 
Ben
  18. April 2013, 02:17

Ist mir auch schon aufgefallen…

 
  18. April 2013, 14:39

Wieso soll Google denn nicht die iTunes-Seiten von apple.com absichtlich in den Suchergebnissen benachteiligen, ist doch ihre eigene Suchmaschine und keine staatliche Institution. Ich würde keinen einzigen meiner Konkurrenten in die SERPs aufnehmen, wäre ja noch schöner…

 
  19. April 2013, 16:45

Top Analyse – wobei Google bisher mit Fehler wohl toleranter umgegangen ist. Es wird wohl ein Mix aus „Unbeabsichtigt“ von Google und einem Apple 403 Fehler sein. Ich denke beide haben hoffentlich etwas gelernt und machen es nun besser.

 
  20. April 2013, 19:21

Hey Johannes,

Die Bilder werden hier bei mir nicht angezeigt, woran liegt das? Man sieht nur den Dateinamen der Fotos.

 
  20. Oktober 2013, 00:05

Also soweit ich weis ist die Apple Seite wieder normalisiert.

 

Kommentare geschlossen

Die Kommentarfunktion wird 30 Tage nach Veröffentlichung des Beitrags geschlossen.