In den USA bestimmt seit Tagen ein ebenso altes wie polarisierendes Thema die SEO-Branche: SERPs in SERPs, also die Indexierung von Suchergebnissen und zusammengescrapten Inhalten durch Google. Das auf der einen Seite Jason Calacanis, der als Betreiber von Mahalo.com im Kreuzfeuer steht, beständig gegen SEO anwettert, gibt der Diskussion erst so richtig Feuer.
Eigentlich ist das Thema durch Google seit Ewigkeiten in den Quality Guidelines abgehandelt, so steht dort:
Verhindern Sie mithilfe der Datei „robots.txt“ das Crawlen von Suchergebnisseiten oder anderen automatisch erstellten Seiten, die keinen großen Wert für Besucher haben, die über eine Suchmaschine auf Ihre Website geleitet wurden.
Aber wie so häufig, sind es Details und verschiedene Blickwinkel, die so etwas interessant machen. Mahalo.com bezeichnet sich selber als „Human Search Engine“ und trägt zu einer Reihe von Themen Informationen aus dem Web zusammen und bereitet diese auf. Das Problem ist nun, dass dies – entgegen der Ankündigung – wohl nicht nur manuell geschieht, sondern zahlreiche Seiten auch automatisiert mit zusammen-gespidertem Content erstellt werden. Eigentlich kein klarer Fall für die oben zitierte Richtlinie – leider hält Mahalo sich nicht dran und Google sieht derzeit wohl keinen ausreichenden Grund, einzuschreiten.
In Deutschland stellt sich die Situation so dar, dass Google in der Regel schneller eingreift und entsprechenden Modellen schnell die „SERP-Liebe“ entzieht: erst vor einige Wochen gab es da mit chip.de und netzwelt.de zwei promintente Beispiele. Die Subdomains mit den Suchergebnissen werden nicht mehr gefunden, die restlichen Seiten der Domain ranken weiterhin gut.
Die Bewertung fällt also nicht ganz einfach: wenn es funktioniert und man mit seinem Konzept auf dem schmalen Grat, den Google so gerade noch toleriert wandert, so kann die teil- oder vollautomatische Erzeugung von Seiten ein interessanter Weg sein, eine Menge Traffic mitzunehmen. Übertreibt man es allerdings oder passt sein Konzept nicht den sich ändernden Gegebenheiten an, so ist es damit schnell vorbei – und eine Garantie, dass die Hauptdomain dabei keinen Schaden nimmt, gibt es nicht.
Kommentare
Ich finde es sehr gut, dass dieses Thema jetzt etwas größere Wellen schlägt. Vielleicht sieht Google sich ja tatsächlich mal gezwungen etwas klarer darzustellen was sie wollen – was gut und was böse ist.
Denn die Aussage „Verhindern Sie mithilfe der Datei „robots.txt“ das Crawlen von Suchergebnisseiten“ ist nur scheinbar eindeutig. Wo sind die Unterschiede zwischen Suchergebnisseiten, Kategorieseiten und Themenseiten?
Alle drei stellen automatisiert Inhalt, passend zur einer Phrase oder Stichwort, dar. Und während sich scheinbar alle einig sind, dass Suchergebnisseiten Spam sind, würde wohl niemand auf die Idee kommen und eine Kategorieseite mit Hilfe der robots.txt zu sperren.
Außerdem stelle ich mir natürlich die Frage warum eine Themenseiten (Beispiel http://topics.nytimes.com/top/news/business/companies/google_inc/index.html) so viel besser sein sollen als eine Suchergebnisseite. Auch Themenseiten aggregieren nur bereits bestehenden Content und stellen diesen optimiert dar. Hier scheint Google kein Problem zu sehen. Jetzt könnte man natürlich argumentieren, dass Suchergebnisseiten im Gegensatz zu Themenseiten nicht manuell angelegt werden. Aber dann muss man natürlich fragen: Warum muss ein Mensch die Auswahl treffen?
Hallo Johannes,
ich finde es gut, dass solche wirklich großen Seiten damit jetzt mächtig auf die Nase gefallen sind.
Was das für Auswirkungen auf den Traffic hat, kann man ganz gut bei Alexa sehen, wenn man die Periode auf >= 3 Monate stellt:
http://www.alexa.com/siteinfo/www.chip.de#rank
http://www.alexa.com/siteinfo/www.netzwelt.de#rank
Chip ist z.B. letztens bei ~250 gewesen (weltweit) und ist nun auf ~400 gesunken. Bei Alexa im 3-stelligen Rank-Bereich auf jeden Fall sehr viel!
Auch bei Netzwelt ist es sehr auffällig. Hier sind sie sogar von ~2000 auf ~3000 gefallen.
IMHO kann Chip auch folgendes Problem haben:
link rel=“canonical“ href=“http://suche.chip.de/dsl.html“
meta name=“robots“ content=“noindex, nofollow, noarchive“
IMHO funktioniert das mit dem canonical nicht, wenn die Seite auf noindex steht. Unter Umständen haben sie sich also selbst entsorgt. Ich habe mir den Code aber nicht vorher angesehen, weshalb ich mich durchaus irren kann.
Netzwelt hat aber wohl teilweise auch solche Seiten in den Index gehauen:
http://suche.netzwelt.de/?cx=partner-pub-8752127120705958%3Ajimvz3-r6xd&cof=FORID%3A11&ie=ISO-8859-1&q=matrox%20grafikkarten#1582
das sieht dann halt wirklich übel aus…
Man muss den Satz schon richtig lesen:
<<
Verhindern Sie mithilfe der Datei "robots.txt" das Crawlen von Suchergebnisseiten oder anderen automatisch erstellten Seiten, die keinen großen Wert für Besucher haben, die über eine Suchmaschine auf Ihre Website geleitet wurden.
>>
Die Frage ist doch, welche Suchergebnisseiten einen Mehrwert für Besucher haben. Ich kann mir da durchaus einige Varianten vorstellen, die Sinn machen.
Zum Beispiel in einem Onlineshop, ums Artikel einer bestimmten Gattung sinnvoll zu gruppieren.
@Thomas
Gute Anmerkung, aber dann nehmen wir doch mal das Netzwelt-Beispiel vom Inhouse-SEO: Der Link zeigt auf eine Suchergebnisseite zum Thema „Matrox Grafikkarten“. Entspricht das nicht deinem Beispiel? Werden hier nicht alle Artikel zum Thema „Matrox Grafikkarten“ sinnvoll gruppiert?
Netzwelt könnte sagen: Der große Mehrwert der Seite für den User ist dass er hier alles findet was die Netzwelt zum Thema „Matrox Grafikkarten“ anbietet.
@Valentin
Ich betrachte den Netzwelt Link jetzt aus reiner Benutzer Sicht. Wenn ich das wie bei Netzwelt sehen möchte, kann ich das gleich bei Google eintippen.
Mal ein konkretes Beispiel:
Mountainbike Reifen sind in einem Shop normalerweise unter Fahrradreifen eingeordnet. Darunter sind aber auch noch Rennrad Reifen & Schlauchreifen. So jetzt schreibst du einen Artikel über ein spezielles Modell – nennen wir den mal „Wicked Will“. Wenn ich jetzt einen Link zu allen „Wicked Reifen“ posten möchte, kann ich entweder mühselig jeden einzelnen Reifen dieser Sort verlinken oder aber ich Verlinke auf die Suche mit „Wicked Will“. Dem User erspart man dadurch das anklicken von (bei 10 Modellen) 10 Links. Er kann sich das für ihn passende Modell (unterscheidet sich in Bauart, Pannenschutz und Breite) bequem mit einem Link auswählen.
DAS ist für mich eine sinnvoller Mehrwert für den Benutzer!
Bevor ihr weiter in die Glaskugel schaut: Die Suche sah doch ganz anders aus damals 😉 Das oben zitierte Matrox-Beispiel ist falsch! Das ist eine ganz normale Google-Suche die bei uns aktiv ist und die geht auch nicht in den Index.
Das war im Übrigen ein netter Unfall, dass die Suche indiziert wurde, den wir dankend angenommen haben. Am Traffic hat das etwas geändert, aber nicht an den Erlösen, weil wir traditionell eher unseren Content vermarkten und nicht unsere News.
@Thomas
Das Beispiel „Wicked Reifen“ kann ich nicht ganz nachvollziehen. Ich frage mich ob es wirklich sinnvoll ist (wenn ich von Google komme) auf einer Suchergebnisseite zum Thema „Wicked Reifen“ zu landen. Erwarte ich als User nicht viel mehr eine allgemeine Abhandlung zum Thema „Wicked Reifen“? Das zumindest scheint mir die Unterscheidung von Google zu sein.
@BerndSonnenschirm
Sollte kein Angriff auf Netzwelt sein. Das war für mich nur ein Beispiel für eine Suchergebnisseite.
Hatte ich so auch nicht bewertet, ich wollte es nur gleich klarstellen, bevor das in eine falsche Richtung geht. Fakt ist, die Suche sah bei uns vorher anders aus, lief in den Index und ist nun eine andere.
Über den Sinn von Suchergebnisseiten zu diskutieren ist genauso wie über die Themenseiten, Kategorieseiten im Shop oder Tagging-Seiten in Blogs… Das ist endlos und es wird immer Geschmackssache sein.
Im Übrigen gibt es noch wunderbare Beispiele, wie man solche Seiten im Index hält. Etwa idealo.de, und das scheinbar schon ewig und sehr gut.
Sehr gut erklärt mal wieder, neben den technischen Details kann es bei Chip auch daran liegen, dass dort gerade viel Personal abgebaut wurde 🙂
Bei der aktuellen Diskussion in den USA geht es nach meinem Verständnis um zwei wichtige Punkte, von denen ich hier nur einen – nämlich den eher technischen – erwähnt sehe. Neben Sinn/Unsinn von SERPS in SERPS finde ich den anderen Punkt eigentlich interessanter und dringender: Gescrapter Inhalt auf starker Domain gewinnt gegen (kleineren) Contentersteller. Und das, ohne eine opt-out-Möglichkeit zu haben. Da wirds ziemlich schnell moralisch, denn mit Gesetzen ist das Thema nicht zu fassen. Ein Dilemma. Denn, im Grunde stellt Aaron ja folgende Theorie (nicht zu unrecht) auf: Besorg dir genug (V)Capital, um eine Domain zu pushen, dann kommst du mit der Scrape-Nummer nicht nur technisch durch (Urheber in den SERPS outperformen), sondern auch bei den Quality-Ratern. Und das ist für weitere VCs durchaus interessant. Gelddrucken hat schließlich Charme. Und der Contentersteller unterhalb der kritischen Masse ganz einfach Pech…
Und ich schaffe es bei zwei Seiten gar nicht erst bestimmte Suchergebnisse der Seiten in die Serps zu bringen
Inhouse-SEO:
Deine Theorie kann ich leider aus eigener Erfahrung bestätigen. Eine canonical+noindex Seite wird von Google bevorzugt. Gibt es mit gleichem Content eine „non-canonical“+index Seite, hat sie das Nachsehen.
Ich glaube aber trotzdem nicht, dass die sich selber abgeschossen haben. Dazu ist der Absturz m.E. zu abrupt.
Kann es sein, dass suche.chip.de und suche.netzwelt.de keine passenden Beispiele sind?
Bei Chip finde ich jedenfalls „meta name=“robots“ content=“noindex, follow, noarchive“ /“ während bei Netzwelt in der robots.txt folgendes zu finden ist:
User-agent: *
Disallow: /
Wie Inhouse-SEO schon schreibt scheint es so zu sein, dass sie sich selbst rausgekickt haben.
Witi
Witi, du kannst davon ausgehen, dass diese beiden Seiten heute anders aussehen als vor der Penalty 😉
Wieso in die USA schauen, wenn wir in Deutschland 123people und yasni haben.
@Inhouse-SEO Warum soll ein canonical in Verbindung mit einem noindex nicht funktionieren? Rein theoretisch schließen sich die Parameter nicht aus. Bei einem Kunden-Projekt, bei dem auf Subdomains viel Duplicate Content entsteht verwenden wir auch canonical und noindex.
@Valentin Suchergebnis-Seiten können in manchen Fällen schon Sinn machen. Die Preisvergleichsmaschine http://www.preisroboter.de arbeitet nur mit Suchergebnis-Seiten. Dort gibt es keine Kategorien und scheinbar ist das deren einzige Möglichkeit den Content zu publizieren.
Grundsätzlich, mit wenigen Ausnahmen, stimme ich jedoch dem Thema zu, dass SERPs in SERPs in wenigen Fällen Sinn machen.
@Tom: Aus gut informierten Quellen weiss ich das Chip ONLINE Leute einstellt und nicht entlässt..bei PRINT sieht eher düster aus.
Cheers
@SERPs-Heiner
SERPs in SERPs machen in keinem Fall Sinn für Nutzer. Wenn der Nutzer – wie in deinem Beispiel – Preise vergleichen will, dann sucht er direkt mit einer Preisvergleichssuchmaschine oder er sucht nach einer Preisvergleichssuchmaschine. Wenn er aber nach einem Produkt sucht, dann will er keinen Preisvergleichsmüll in den SERPs, sondern Infos darüber.
Der Müll in diesem Blog nimmt kein Ende
Ich begrüße es sehr, das Google die „Serps-Serps“ 😉 von Chip und Netzwelt aus dem Index verbannt hat. Das ist teilweie schon sehr nervig gewesen, wenn eines der oberen Suchergebnisse auf eine Seite ohne Wert (man muss es ja wirklich so sagen) führt. Für die Usability sehr gut…
Und jetzt bitte mal weg mit yasni und 123people <3
Wieso werden Personensuchmaschinen wie yasni nicht entfernt?
SERPS (z.B. http://suche.chip.de/irgendwas) als Treffer nerven die Nutzer vor allem, wenn das gesuchte Thema auf der Zielseite gar nicht mehr vorhanden ist!
Und bei Google kann man davon ausgehen, dass pragmatisch versucht wird, alles zu verhindern, was dem Nutzer schadet und alles im Index zu lassen, was nützt. Penalties werden ja nicht von den Crawlern ausgesprochen, sondern von Google Mitarbeitern.
vielen dank, interessanter und guter beitrag (und auch blog im allgemeinen)!
jens
Wie wäre es wenn alle mal anfangen würden auch mal andere Suchmaschinen, wie z.B. Bing bei Ihrer Suche zu Rate zu ziehen? Dann wäre google nicht so mächtig und wir alle würden uns nicht von google regieren lassen….