Wenn ich in meinen Twitter-Stream schaue oder mir das tägliche SEO-Update auf Seo.at abhole, habe ich zeitweilig das Gefühl, dass sich die SEO-Welt kontinuierlich schneller dreht: fast minütlich scheint es neue Formate, Verticals, Integrationen, Algorithmusänderungen und Verbesserungen zu geben. Gerne werden diese Nachrichten so intoniert, dass jeder professionelle SEO davon ausgeht, umgehend handeln zu müssen, um nicht morgen vom Google-Hades jenseits Position 100 empfangen zu werden. Zur fortwährenden mentalen Gesundheit des geneigten Lesers hier eine andere Sichtweise:

Als Google sich vor über 10 Jahren dazu aufmachte, die Suchwelt neu zu erfinden, gelang mit der Einbeziehung von Links in das Ranking eine Revolution: die Qualität der Trefferlisten wurde massiv erhöht und es dauerte nicht lange, bis der Marktanteil der Suchmaschine den Ergebnissen von Wahlen in Nordkorea nahe kam. In den Anfängen waren die SERPs-Verschiebungen, die bei den regelmäßigen „Google-Dances“ zu beobachten waren noch massiv – Google musste mit einer Vielzahl von Faktoren und Dämpfungswerten experimentieren und diese in das bestmögliche Verhältnis zueinander setzen. Das hat nach ein paar Jahren allerdings recht gut funktioniert und Google kam dem gewünschten Optimum immer näher: entsprechend geringer wurden die Regelungsschritte, die vorgenommen werden mussten. Auch bei der Einspielung tiefgreifender Algorithmusänderungen, die einen Großteil des Index betreffen, hat Google sich in den letzten Jahren vornehm zurück gehalten. So sorgt ein Update wie Panda, bei dem prozentual nur ein sehr geringer Teil der Seiten betroffen ist zwar für große Aufregung, ist aber im Umfang bei weitem nicht mit einem Florida-Update (2003) zu vergleichen.

Wer heute im organischen Index erfolgreich sein will, optimiert im Grunde nicht anders als vor 5 Jahren: eine sauber strukturierte Seite, die Nutzung passender Keywords sowie möglichst hochwertige Links sind weiterhin das Rezept für den SERP-Erfolg. Entsprechend sollte auch der Fokus eines SEO auf diesen Punkten liegen – alle weiteren Themen, seien es Social-Signals oder die neuerdings von Google regelmäßig geworfenen Nebelkerzen, sollten nicht den Blick auf die wirklich wichtigen Faktoren verstellen.

Seit einiger Zeit wiederholt sich das Spiel jeden Monat: Twitter verkündet, wie viele Suchanfragen im letzten Monat bearbeitet wurden und irgendwelche Qualitätsjournalisten setzen diese Zahlen in Relation zu Daten von Google, Yahoo und Bing. Danach wird Twitter als Google-Killer gekürt. Irgendwas stimmt da doch nicht, oder?

Das erste Problem ist, dass die Daten aus völlig unterschiedlichen Quellen stammen. So wird für die Anzahl der Suchanfragen der großen Suchmaschinen üblicherweise auf die Auswertung von comScore oder vergleichbaren, externen Dienstleister zurückgegriffen. Die messen über ein hoffentlich aussagekräftiges eigenes Panel und ermitteln damit Daten, die untereinander vergleichbar sind - nicht aber mit externen Zahlen.

Das zweite Problem ist die komplett unterschiedliche Definition von „Suchanfrage“: bei den Suchmaschinen ist es recht klar - der Nutzer gibt ein Keyword ein, findet was er sucht und fertig ist die Suchanfrage. Twitter zählt da leider komplett anders. Wenn Spiegel Online bei einem Deutschland-WM-Spiel links in der Navigation eine Box mit dem Twitter-Stream einbindet, so zählt Twitter jeden Aufruf der Spiegel-Seite als Suchanfrage. Das gleiche gilt für die unzähligen API-Clients: mein Tweetdeck „sucht“ alle 5 Minuten nach „sistrix“, führt also jeden Tag rund 250 Suchanfragen aus, jeden Monat über 8.000. Und diese Zahlen soll man jetzt vergleichen können?

Aron Wall, Verfasser des empfehlenswerten SEO-Books, hat auf den zunehmenden Missbrauch von Subdomains durch die „Großen“ aufmerksam gemacht. Dadurch, dass Google der Stärke beziehungsweise dem Trust einer Domain eine weitreichende Rolle bei der Relevanzbeurteilung zukommen lässt, kommt es häufig vor, dass mehr als eine Unterseite zu einem Query gefunden und auf einer Seite angezeigt werden. Google tritt dem entgegen, indem von einem Host maximal 2 Seiten auf einer Resultatseite erscheinen dürfen, die zweite bereits eingerückt und weitere werden erst nach dem Klick auf [ weitere Ergebnisse von example.org ] sichtbar. Das Problem ist nun, dass Google diese Zusammenfassung nur für exakt gleiche Hostnamen vornimmt, www.sistrix.com ist also schon ein anderer Host als tools.sistrix.com.

Wozu das führen kann, zeigt beispielhaft die Suche nach [Reinigungsservice Kleinanzeigen] – von den ersten 100 Resultaten liegen 95 Seiten auf der Domain kijiji.de – auf dem Screenshot rechts rot hinterlegt. Die von Google so gerne und häufig angeführte Vielfalt, die in den Google-SERPs zu finden sein soll, ist komplett dahin. Auch die Mutter von Kijiji, Ebay, scheint sich der Möglichkeit, die durch den gezielten Einsatz starker Subdomains ermöglicht werde, durchaus bewusst zu sein. So ist die Indexierung von search.ebay.de wohl nicht mit den Google-Webmaster-Richtlinien, die empfehlen, die Indexierung von Suchergebnissen zu unterbinden, zu vereinbaren. Auch bei Subdomains wie kaufen.ebay.de ist der Mehrwert für den Suchenden nur schwer zu erkennen. Aber auch Firmen wie Yahoo, deren Traffic zu einem nicht unerheblichen Anteil aus dem Google-Index stammen dürfte, belegen bei einigen Suchen mit einer Vielzahl von Subdomains zu viele Plätze. Dass es auch anders geht, zeigt Wikipedia: Pro Sprache eine Subdomain.

Der Vorwurf ist hier sicherlich nicht nur denen zu machen, die diese Lücke ausnutzen sondern auch Google. Das Problem besteht ja mittlerweile seit einigen Jahren und es wird langsam an der Zeit, dass Google sich eine Lösung zur intelligenten Zusammenfassung von Subdomains einfallen lässt.

Nach einigen anderen und bereits sehr interessanten Zukäufen (z.B. Flickr) hat Yahoo! nun den Social-Bookmarkdienst del.icio.us übernommen. Weltweit nutzen etwa 200.000 Menschen del.icio.us und teilen ihre Bookmarks mit anderen.

Obwohl es SEO als Thema bereits seit über zehn Jahren gibt und in den letzten Jahren auch einen Stammplatz im Marketingmix gefunden hat, unterscheidet sich die SEO-Branche doch stark von anderen Disziplinen wie SEM oder auch Display-Marketing. Recht niedrige Einstiegsbarrieren gekoppelt mit einer eher flachen Lernkurve sorgen auf der einen Seite dafür, dass es mehr Nachwuchs als in vergleichbar großen Disziplinen gibt. Ein sehr dynamisches Umfeld mit viel Spezialwissen und die nötige Erfahrung sind aber auf der anderen Seite der Grund dafür, dass die Anzahl wirklich guter Allround-SEOs überschaubar ist. Da trotz der quartalsweisen „SEO ist morgen tot“-Beiträge glaube ich mittlerweile Konsens besteht, dass es auch in den nächsten Jahren Suchmaschinen geben wird, ist die Deckung der Nachfrage nach guten SEOs ein wichtiges Thema für die Branche. Doch woher nehmen?

Vielfach hört man da die Stimmen, die den „klassischen“ Weg vorschlagen: das massenweise verfügbare SEO-Wissen im Internet lesen, eigene Projekte betreiben, lernen und diesen Prozess so lange erneut durchlaufen, bis das Ergebnis stimmt. Ich kann diesem Weg eine gewisse Sympathie nicht absprechen, da ich meine SEO-Kenntnisse genau so erworben habe. Das war spannend, ich habe viel Neues gelernt und auf diesem Weg eine Menge Spaß gehabt. Die Nachteile: es dauert, ist zeitlich also nicht mit einer Ausbildung zu vergleichen und auch nicht unbedingt für alle Typen von Lernwilligen geeignet.

Da liegt es nahe, dass in vielen Bereichen das Rad nicht von jedem angehenden SEO erneut erfunden werden muss, sondern bereits vorhandenes und etabliertes Wissen kompakt und zeitschonend vermittelt wird. In den letzten Jahren ist sowas eher innerhalb von größeren SEO-Agenturen, die damit ihren Nachwuchs ausbildeten passiert, mittlerweile gibt es aber auch firmenübergreifende Initiativen. Mario Fischer ist dort mit seinem Engagement an der FH Würzburg sicherlich ganz vorne zu vermerken, aber auch SEO-Veteran Gerald Steffens möchte mit der heute vorgestellten Akademie für Fortbildung in Suchmaschinenoptimierun (sogar der Name ist bereits suchmaschinenoptimiert) den Markt nach vorne bringen.

Ich stehe solchen Vorstößen positiv gegenüber, da ich glaube, dass sich die Branche gerade in Deutschland langsam professionalisieren muss. Während andere Branchen diesen Schritt bereits hinter sich haben, ist der externe Blick auf die „laienhaften SEO-Krauter“ nicht überall positiv. Alle Schritte, die für ein höheres Niveau in der täglichen SEO-Arbeit sorgen, sind also willkommen. Ich bin gespannt, wie das Angebot angenommen wird und wünsche Gerald viel Erfolg.

Gestern ging es im jährlichen IndexWatch um die Gewinner des letzten Jahres, heute soll es um die Absteiger bei Google gehen. Wie auch gestern basieren die Daten auf dem Sichtbarkeitsindex von Anfang und Ende des letzten Jahres. Domain-Umzüge habe ich, sofern sie nicht besonders interessant sind, aus der Liste rausgelassen; auch kommen die zahlreichen Torrent- und Download-Seiten, die Google entfernt hat, nicht vor. Ein paar Gemeinsamkeiten und Auffälligkeiten aus der Liste:

Google geht weiter gegen bruchstückhafte und zusammengescrapte Inhalte vor. Das kann man sehr gut am deutlichen Abstieg der zahlreichen Social-Bookmark-Services im letzten Jahr erkennen: Folkd.com, Mister-Wong.de, Oneview und Linkarena zählen zu den Top-Verlierern. Schaut man sich die Sichtbarkeitswerte, die diese Domain vorher hatten an, wird deutlich, wie stark Google hier in den SERPs aufgeräumt hat. Auch sollten alle, die diese Dienste bislang noch als „Linkbuilding“ verkauft haben, sich überlegen, ob das Signal von Google deutlich genug war, das in Zukunft zu lassen.

Spreadshirt und Tomshardware sind zwei Beispiele dafür, dass Umzüge auf eine andere Domain nicht unbedingt erfolgreich sein müssen. Die Hardwareseite ist mit dem deutschsprachigen Inhalt von der Com-Domain auf die De-Domain umgezogen- die Sichtbarkeit der alten Seite haben sie aber bislang noch nicht wieder erreichen können. Noch etwas deutlicher wird das bei Spreadshirt: hier ging es von der Net-Domain auf De- und Com-Domain. Doch auch zusammengezählt sind die neuen Domains deutlich weniger sichtbar als der Inhalt zuvor auf der Net-Domain.

Dieses Jahr sind überraschend viele offizielle Domains unter den Verlierern zu finden: das Auswärtige Amt hat es geschafft, 93% an Sichtbarkeit in nur wenigen Wochen zu verlieren. Hat die Domain Anfang 2010 noch zu nahezu jedem Ländernamen mit den entsprechenden Reiseinformationen zu ranken, sind diese Seiten jetzt für Google nicht mehr zu finden. Auch das Verkehrsministerium hat mit einem Relaunch etliche interessante Rankings verloren oder ist zumindest deutlich weiter hinten zu finden. Was das Auswärtige Amt sich allerdings derzeit dabei denkt, die tolle Domain „deutschland.de“ auf eine Diplo.de-Subdomain weiterzuleiten und dort offenbar einen HTML-Kurs für Einsteiger abzuhalten, erschließt sich mir nicht so ganz.

Ein Problem, das seit einiger Zeit aktuell ist, aber anscheinend noch nicht genügend Öffentlichkeit gefunden hat, damit die großen Suchmaschinen aktiv werden, hat – wie bei der 302-Hijack-Problematik – mit der Übernahme von Inhalten zu tun. In einer Reihe von Ländern, wie beispielsweise China oder den Vereinigen Arabischen Emiraten, gibt es keinen freien Internetzugang: aller Traffic, der die Landesgrenzen passieren will, geht über staatliche Router und wird dabei zensiert. Das Internet wäre nicht das Internet, gäbe es keine technischen Möglichkeiten der Umgehung dieser Zwangszensur. Neben ausgefeilteren Möglichkeiten, wie sie der Anonymisierungdienst „Tor“ oder der Einsatz eines VPN-Gateways im Ausland bieten, hat sich auch eine technisch deutlich simplere Möglichkeit durchgesetzt. Kleine Scripte, meistens in PHP oder Perl geschrieben, können auf jedem Webspace-Account, der eine dieser Scriptsprachen unterstützt, installiert werden und bieten eine Art simplen, nicht transparenten Proxydienst. Der User gibt die Seite, die er besuchen möchte ein, der Server, auf dem das Script liegt holt diese und gibt sie aus. Um jetzt den Bogen zum Problem, das sich dadurch aus Suchmaschinensicht stellt, zu spannen, hier der typische Crawlvorgang, wenn der Google-Crawler eine Seite abruft:


Der Googlebot greift direkt auf die Seite zu, erhält von der den Inhalt und fügt diesen dann seinem Index hinzu. Dadurch, dass diese Proxy-Scripte nun auf einem normalen Webspace-Account laufen, sind sie auch über den normalen Weg, den auch der Googlebot geht, erreichbar. Im folgenden Fall wäre die Homepage beispielsweise neben der Adresse www.example.com auch über www.proxy.com/proxy/www.example.com zu erreichen.


Da der Proxy die Inhalte der Homepage in seiner Funktion Eins-zu-eins spiegelt und – das ist wichtig – unter seiner URL widergibt, tritt hier das bereits hinreichend bekannte Duplicate-Content-Problem auf: Google sieht den gleichen Inhalt mehr als einmal und muss sich nun entscheiden, welches das Original ist und folglich in den Index aufgenommen wird und welches die Doubletten sind. Prinzipiell hat Google seit der Einführung einer neuen Architektur, intern auf den Namen „Big-Daddy“ getauft, große Fortschritte in diesem Bereich gemacht, perfekt ist sie allerdings bei weitem noch nicht. So kommt es, dass Google des Öfteren die Proxy-Seite als Original erkennt, die eigentliche Homepage aus dem Index wirft und den Proxy stattdessen aufnimmt. Die Auswirkungen dieses Verhaltens erstecken sich übrigens nicht nur auf die eine Seite, die der Proxy hijacked: so soll man sich vorstellen, dass der eigenen Homepage die Hauptseite, meistens auch Hauptlinkhub, genommen wird.

Die erste Lösung, die üblicherweise zuerst probiert wird, besteht in der Sperrung des jeweiligen Proxys. Entweder wird der User-Agent oder aber die IP-Adresse des Proxys auf dem Server, auf dem die Homepage liegt gesperrt, so dass der Proxy die Seite nicht mehr ausliefern kann. Leider gibt es mittlerweile eine nahezu unüberschaubare Anzahl dieser Webproxys, täglich kommen neue hinzu und auch bei den User-Agent-Angaben zeigen die Betreiber sich häufig recht erfinderisch. Auch sind es nicht nur uneigennützige Betreiber, die den armen, zensurgeplagten Surfern in den angesprochenen Ländern helfen wollen sondern teilweise auch Geschäftsmacher, die absichtlich Seiten über diese Proxymethoden hijacken und zusätzlich noch ihre Werbung einblenden. Gerade bei diesen Fällen sind die Verschleierungstaktiken mittlerweile so ausgefeilt, dass ihnen schwer beizukommen ist.

Die zweite Methode geht einen etwas ungewöhnlicheren Weg, verspricht allerdings deutlich mehr Erfolg. Die zugrunde liegende Idee ist, dass die Webseiten an alle Besucher mit einem „Noindex“-Metatag ausgeliefert werden. Lediglich, wenn ein verifizierbarer Suchmaschinenbot die Seite anfordert, wird dieser Metatag entweder weggelassen oder ein „Index,Follow“-Tag gesendet. Dies hat zur Folge, dass der Googlebot auf dem direkten Weg die Erlaubnis erhält, die Seite zu indexieren, während die Proxy-Version – da sich der Proxy ja nicht als regulärer Suchmaschinenbot ausweisen kann – die Noindex-Anweisung enthält. Die Entscheidung, welche Seite in den Index aufgenommen wird, wird der Suchmaschine leicht fallen. Dankenswerterweise haben die vier großen Suchmaschinen (Google, Yahoo, Microsoft, Ask.com) im letzten Jahr einen einheitlichen Mechanismus zur Verifizierung ihrer Suchmaschinenbots etabliert: Durch Auflösen der IP-Adresse des Zugriffes auf den zugehörigen Hostnamen, der einem der Suchmaschinen entsprechen muss sowie erneutes Auflösen dieses Hostnamens auf die IP-Adresse kann man zweifelsfrei feststellen, ob der Zugriff von einem echten, oder einem der vielen gefakten Googlebots erfolgt ist. Eine Umsetzung dieser Lösung in PHP kann beispielsweise so aussehen:


Natürlich darf auch nicht verschwiegen werden, dass auch diese Lösung Nachteile hat. Zum einen werden außer denen im Script hinterlegten, alle weiteren Suchmaschinen ausgesperrt. Gerade kleineren, die diese Verifizierung per DNS-rDNS-Auflösung (noch) nicht unterstützen oder die einfach nicht eingetragen sind, kann damit das Crawlerleben schwer gemacht werden. Auch müssen für jeden Seitenaufruf zwei DNS-Abfragen durchgeführt werden – je nach Geschwindigkeit des abgefragten Servers kann dieses die Antwortzeiten deutlich verlängern. Eine Lösung mit intelligentem Caching der Abfragen ist also besonders für größere Seiten unbedingt zu empfehlen. Ebenfalls nicht ausgeschlossen werden kann, dass Betreiber der Proxyserver die Meta-Tags einfach wieder umschreiben oder entfernen und die Maßnahme somit im Sande verläuft. Trotz allem ist dies derzeit wohl die bestmögliche Methode, um dem Hijacking durch Proxys zu begegnen.

Auch, wenn die weltweite Vernetzung des Internets viele Vorteile hat, so ist es doch häufig gewünscht, nur Seiten zu finden, die in einem begrenzten regionalen Umkreis liegen. So mag das Hotel in New York noch so schön sein, als Unterkunft für die nächste Abakus Pubcon ist es denkbar ungeeignet. Diesen Markt beackern seit einiger Zeit verschiedene nationale und internationale Suchmaschinen. Hier ein kurzer Überblick über die Mitspieler

Google

Der Suchmaschinengigant integriert seine lokale Suche in den Kartendienst „Google Maps“. Google greift als Datenbasis offensichtlich auf ein recherchiertes Branchenbuch zurück, erweitert diese Daten aber um Informationen von der Homepage des Unternehmens, so eine URL im Branchenbuch hinterlegt ist. In Zusammenarbeit mit Partnern werden zu den Treffern Bewertungen und Kommentare eingeblendet. Die gefundenen Orte werden auf der von Google Maps bekannten Karte angezeigt.
Wie so häufig bei Google ist die lokale Suche zwar nicht besonderes aber eine solide Umsetzung mit angenehmer Bedienung, unübertroffener Geschwindigkeit und einer guten Datenbasis.

Vorteile: Geschwindigkeit, Benutzbarkeit, Kartenmaterial
Nachteile: Treffer auf Einträge des Branchenbuches eingeschränkt, folglich leidet die Aktualität

Yahoo

Die lokale Suche von Yahoo – noch als Beta gekennzeichnet – wird in Zusammenarbeit mit dem Branchenbuch „DasÖrtliche“ als Datenlieferant betrieben. Ähnlich wie bei Google dient das Branchenbuch hier als Datengrundlage; allerdings scheint Yahoo die Webseiten der Betriebe nicht zu durchsuchen und liefert somit eine nur eingeschränkte Funktionalität. Mit etwas bösem Willen könnte man die Suche von Yahoo auch als durchsuchbares Branchenbuch bezeichnen. Das Kartenmaterial stammt von map24 – mit seit Jahren dafür bekannt, dass die Karten, wenn überhaupt, dann extrem langsam ausgeliefert werden.

Vorteile: Durch Kooperation mit „DasÖrtliche“ sehr gute Datenbasis, Übersichtlichkeit
Nachteile: Keine wirkliche Websuche, langsamer Kartenserver, wirkt etwas halbherzig, Branchenbuchbasis

Suchen.de

Suchen.de, eine Kooperation unterschiedlicher deutscher Unternehmen unter Leitung der I-Info GmbH geht seit Oktober 2006 mit einer eigenen Suchlösung an den Start. Im Unterschied zu den Konkurrenten aus Amerika setzt suchen.de dabei stärker auf Informationen, die durch einen Robot aus dem Internet extrahiert werden. So besucht der Robot, der auf den Namen Gonzo hört, Webseiten und versucht dort, Daten wie Adresse, Kontaktdaten oder auch Öffnungszeiten auszulesen. Nach Abgleich mit vorhandenen Datenbanken werden die so gewonnen Daten mit Geodaten versehen und können danach durchsucht werden. Ein interessanter Ansatz, dem sicherlich die Zukunft gehört, da er nicht durch die manuelle Pflege von Branchenbüchern eingeengt ist – allerdings ist derzeit die Relevanz der Suchergebnisse nicht immer gegeben. Die gefundenen Seiten werden, wie von den anderen Suchen bereits bekannt, auf einer Karte angezeigt.

Vorteil: Durchsucht das Internet nach Informationen, dadurch prinzipiell aktueller und umfassender als Branchenbuchlösungen, übersichtliche Benutzeroberfläche
Nachteile: Relevanz noch nicht immer gegeben.

Web.de

Auch Web.de versucht sich in der lokalen Suche. Wie bei Google und Yahoo werden hier recherchierte Daten als Basis verwendet – Web.de setzt dabei auf die Schrober-Daten. Die ebenfalls als Beta gekennzeichnete Suche zeigt die Treffer - wie bereits hinlänglich bekannt – in einer Kartenübersicht an. Leider geht Web.de hierbei aber nicht weiter und bietet somit, wie Yahoo, nur ein gut durchsuchbares Branchenverzeichnis an. Aktuelle, aus dem Web gewonnen Daten sucht man in dieser lokalen Suche vergeblich.

Vorteile: Übersichtlichkeit, solide Datenbasis
Nachteile: Branchenbuchbasis, nur das nötigste umgesetzt – keine besonderen Features.

Seit einigen Tagen kann ich beobachten, dass Google anscheinend eine neue Evolutionsstufe der Stemming-Algorithmus für den deutschen Index aktiviert hat. Während Google ganz am Anfang allenfalls Singular/Pluralformen erkannte und bei Suchen auch Seiten, die nicht exakt den gesuchten Begriff enthielten anzeigte, wurden anscheinend laufend Veränderungen vorgenommen. Jetzt scheint Google recht gut mit Abkürzungen umgehen zu können. Die Suche nach CTR findet so neben Seiten, die „CTR“ enthalten auch solche, die Click-Through-Rate ausgeschrieben haben und das ebenfalls mit CTR abgekürzte „Center for Turbulence Research“ der Stanford-Universität. Ein interessanter Schritt, der zwar kein Meilenstein der Suchgeschichte ist aber gut zeigt, dass sich Suchmaschinen von Programmen, die genau das finden, was der Nutzer eingibt hin zu intelligenteren Modellen, bei denen die Absicht, die hinter der Suchanfrage steckt, erkannt wird, wandeln.

Mit Google Moon ermöglichst Google einen Blick auf die Oberfläche des Erdtrabanten. Leider reicht die Auflösung nicht, um kleine grüne Männchen zu sehen.