Goodbye, Yahoo SiteExplorer

Johannes Beus
Johannes Beus
31. August 2011
Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Morgen sind es noch genau 15 Tage, bis Yahoo erwartungsgemäß alle API-Zugriffsmöglichkeiten auf seine Backlinkdaten kappt. Wer die Äußerungen von Microsoft in den letzten Monaten etwas verfolgt hat, wird mitbekommen haben, dass es keine Pläne gibt, diese Daten in Zukunft wieder öffentlich zugängig zu machen. Somit fällt die Hauptquelle für Backlink-Daten von einem Tag auf den Nächsten weg. Da Links aber seit Googles Gründung der Rankingfaktor #1 sind und sich daran auch trotz der Einbeziehung von Nutzerdaten sowie Signalen aus den sozialen Netzwerken so bald nichts ändern wird, stellt sich – besonders auch mir als Betreiber der Toolbox – natürlich die Frage: welche Quelle in Zukunft nutzen?

Es dürfte nur wenig überraschen, dass ich mich recht intensiv mit dem Thema beschäftigt und bestehende Möglichkeiten getestet habe. Beim Thema Backlink-Daten fallen einem direkt zwei Anbieter ein: Seomoz und Majesticseo. Seomoz tüftelt seit 2008 an einem eigenen Index; zuerst mit Linkscape, mittlerweile mit dem Opensiteexplorer als Tool zur Anzeige. Majesticseo ist aus einer dezentral konzipierten Suchmaschine hervorgegangen und ist, seit man dort die Links nicht immer nur weiter sammelt sondern in einem „Fresh Index“ genannten Segment alte Links auch mal wegwirft, zu einer ernstzunehmenden Konkurrenz für Seomoz geworden.

Ein Vergleich, der über eine subjektive Beurteilung der graphischen Fähigkeiten des jeweiligen Betreibers hinausgeht, ist allerdings schwieriger als zunächst angenommen. Ich habe deshalb folgendes Vorgehen gewählt: für fünf Pakete von jeweils 5 Domains (insgesamt also 25 Domains) habe ich sowohl bei Seomoz als auch bei Majesticseo Link-Metriken zusammengetragen: zum einen die absolute Anzahl gefundener Links als Indikator für die Datenbankgröße und Tiefe des Crawls, zum anderen die Domain-Pop, also die Anzahl unterschiedlicher Domains, die auf die Zieldomain verlinken als Indikator für die Breite und Differenziertheit der Daten. Die Domain-Pakete bestehen aus jeweils 5 Domains, die zu den Größten in Deutschland gehören, fünf vertikalen Portalen, fünf Seiten mit Bezug zu Bonn, fünf Amazon Landesableger sowie 5 SEO-Seiten. Die Tabelle mit den Domains und Ergebnisse kann bei Google Docs eingesehen werden:

Das Ergebnis hat mich dann schon etwas überrascht: während Majesticseo klar bei der Anzahl der gefundenen Links vorliegt (17 zu 8), ist Seomoz noch deutlicher der Sieger in Sachen Domain-Popularity (18 zu 7). Das Problem an dem Ergebnis: weder Majesticseo noch Seomoz liefern Backlink-Daten sowohl in ansprechender Tiefe als auch Breite gleichzeitig, eine Kombination von beiden Diensten ist aufgrund der limitierten API-Zugriffe und/oder Kosten dafür nicht sinnvoll/möglich. Die Frage „buy or build“ war damit recht klar beantwortet, wir haben uns an die Entwicklung unserer eigenen Lösung gemacht. Doch davon im nächsten Monat mehr

Ähnliche Beiträge
Kommentare
Adalo   
31. August 2011, 18:48

Bin auf eure Backlinkdatenbank schon sehr gespannt.

Die SiteExplorer-Funktion werde ich trotzdem sehr vermissen.

MakkusTH   
31. August 2011, 18:55

Wäre es nicht sinnvoller, den Majestic und Moz mit – dem noch funktionierenden – Yahoo-Explorer zu vergleichen … um zu erkennen, ob die Zahlen verlässlich sind 😎

sistrix   
31. August 2011, 19:03

MakkusTH, das Problem ist, dass du für die Yahoo-Daten keine verlässlichen Domain-Pop-Werte ermitteln kannst. Auch mit Tricksereien bekommst Du aus Yahoo nur wenige tausend Links raus, kannst also die Auswertung, wie viele unterschiedliche Domains verlinken gar nicht durchführen. Bei den reinen Linkanzahl-Daten wäre es möglich, hier schränkt Yahoo die Nutzung aber auch stark ein.

Franko   
31. August 2011, 19:42

Wie sieht es mit Bing aus? Eventuell übernehmen die ja die Yahoo Daten. Wisst Ihr da was Neues? Kann mir zumindest schlecht vorstellen, dass sie die Datenkrake einfach so wegwerfen…

Gretus   
31. August 2011, 20:09

Hallo,

schade, dass Blekko nicht ein paar mehr Links findet, liegen überall ca. 30% unter den Werten in Deiner Tabelle: http://bit.ly/piM1f3

Grüße

Gretus

Jan   
31. August 2011, 20:52

Hallo Johannes,

interessantes und spannendes Projekt! Wird es in der Zwischenzeit eine der beiden Alternativen für die Toolbox Backlink-Daten geben?

Gruß
Jan

sistrix   
31. August 2011, 20:53

Franko, Bing hat eine ähnliche Lösung wie Google: nach Bestätigung der eigenen Domain erhält man Backlinkdaten zu eben dieser – aber halt keine Daten zu fremden Domains und gerade da wird die Sache ja interessant.

Gretus, das Problem bei Blekko ist zum einen der Datenumfang (SEO-Seiten sind dort in der Regel noch recht gut vertreten, es gibt auch zahlreiche Beispiele, bei denen Blekko weniger als 25% von Seomoz/Majestic hat), zum anderen aber auch die Aktualität. So wurde seo-united.de zuletzt vor 73 Tagen (http://seo-united.de/ /seo) gecrawled …

sistrix   
31. August 2011, 20:55

Jan, es wird keine Zwischenzeit geben 😉

Michael   
31. August 2011, 21:51

Wieso ist die kombinierte Nutzung von Seomoz mit Majestic-Seo denn so schwer, bzw. so teuer? Solang es nur die zwei Anbieter sind, lassen sich die Daten doch relativ schnell & einfach verknüpfen?!

sistrix   
31. August 2011, 21:58

Michael, naja, sowas sieht von außen häufig einfacher aus, als es dann tatsächlich ist. Sowohl Seomoz als auch Majesticseo verbieten (zurecht) den Weiterverkauf der Daten, d.h. es müssen individuelle Abkommen geschlossen werden, die weit jenseits der Preise auf den Webseiten liegen. Rein technisch ist eine Verknüfung von 10 Millionen Links von dem einen Anbieter und 25 Millionen von dem anderen Anbieter leider auch nicht ganz so trivial, wie es erscheint: URLs werden unterschiedlich normalisiert, es gibt unterschiedliche Bewertungsmethoden und Kriterien und die Crawldaten sind unterschiedlich, so dass Diskrepanzen entstehen. Kurzum: nix mit billig, einfach und schnell.

Julian   
1. September 2011, 09:16

Sehr geile Idee Johannes!
Bietest du hier dann auch eine API an die man in SEOquake einbinden kann? Das wäre top 🙂

HAN SEO   
1. September 2011, 09:55

Hallo Johannes,

ich bin schon sehr gespannt auf den openlinkgraph. Dann wird also Sistrix die neue Quelle und das Maß aller Dinge in Sachen Backlink-Daten.

Hat Yahoo denn bereits in den letzten Wochen den Dienst nach und nach runtergefahren? Es ist schon auffällig, dass die Backlinks von Woche zu Woche weniger wurden.

Grüße aus Köln,
Jens

Thomas   
1. September 2011, 10:33

Na dann, ich bin ebenfalls gespannt auf die genauen Ergebnisse.

Erik   
1. September 2011, 10:48

Hallo Johannes,

auch wir haben uns Gedanken gemacht, wie man zukünftig an Linkdaten kommt, wenn man SiteExplorer nicht mehr via API nutzen kann… eine eigene Lösung kam für uns nicht in Frage (zu aufwendig und nicht unser Kerngeschäft) und die Daten von genannten oder auch nicht genannten Anbieter zu ziehen ist recht kostenaufwendig… allerdings war ich mit in der Sistrix Toolbox stehenenden Linkdaten bisher auch nicht wirklich zufrieden… ich hoffe das OpenLinkGraph dahingehend bessere Daten liefert 🙂 Wie steht es bei Euch mit einer API für die Integration in eigene Tools (nur Eigenverwendung)? Wird es diese in der Form auch geben?

Danke und Grüße aus Frankfurt
/Erik

Timo   
1. September 2011, 12:34

Hört sich nach viel Know-how und noch viel mehr benötigte Serverpower an.

Wollt ihr also selbst Bots losschicken und Daten sammeln?

Mal eben in den Newsletter eingetragen 🙂

sistrix   
1. September 2011, 12:56

Julian, müssen wir mal sehen, ob das eine Lösung für SeoQuake oder irgendeine andere Browser-Integration wird, das Thema an sich ist aber schon interessant.

Jens, wir merken, dass die Ergebnisse bei Yahoo stark schwanken und man offenbar andere Themen als die Stabilität der Backlink-Daten in den Vordergrund stellt. Nicht wirklich überraschend, wenn sie das Ding bald abschalten wollen.

Erik, ist ein komplex Thema, da wird es wohl immer auf individuelle Vereinbarungen hinauslaufen, die Nutzungsintensität, Datenumfang etc. beinhalten. Dass die Daten beispielsweise bei Seomoz relativ teuer sind (2,50 bis 10 USD pro 10k Links: http://apiwiki.seomoz.org/w/page/13991147/SEOmoz%20API%20Pricing) liegt übrigens hauptsächlich daran, dass der Betrieb einer entsprechenden Infrastuktur extrem teuer ist. Um beim Beispiel von Seomoz zu bleiben: dort hatte Rand mal Zahlen zwischen 150k und 200k USD pro Monat (!) genannt.

Timo, wenn schon, dann auch komplett selber. Such‘ doch mal in Deinen Logfiles nach ’sistrix‘ 😉

Herbert Hartung   
1. September 2011, 13:12

Hi Johannes,
Du sammelst die per Crawler? Dachte dies machen die Praktikanten 😉

sistrix   
1. September 2011, 13:14

Die Idee der humanoiden Crawler, wie Marktbegleiter sie offenbar umsetzen, hat sich bei unseren Datenmengen nicht so wirklich bewährt 😉

Julian's Blog   
1. September 2011, 13:54

Füge Blekko Siterank & Backlinks, SEO Diver Daten und sistrix Sichtbarkeitsindex zu SEOquake hinzu

Dixon Jones   
1. September 2011, 14:00

Dixon from Majestic SEO here.

It’s hard to read this post through Microsoft translator – but I think I have the idea. We might have some ideas for you!

Firstly your analysis. You compared OSE’s Total data with our Fresh Index only. That’s a fair comparison, but what is different is that our fresh index is updating every day – not every month. If you had used our Historic Index, then we have MANY more links on every count.

Secondly the cost of reselling our data is much lower than the prices you are quoting and I would welcome a long conversation (not on the web) about that as I feel we would be a great fit for Sistrix and have always felt we would be. You are just hard to track down 🙂

Thomas   
1. September 2011, 15:20

Hat Eure Ankündigung etwas mit http://www.seokicks.de zu tun? Das wird ja wie der Zufall es will gerade frisch bei Abakus diskutiert.. ein Schelm wer „böses“ dabei denkt!? 😉

Donn   
1. September 2011, 15:45

Wie kommen eigentlich hier die Werte aus der Seomoz-Domainpop zustande? Das sind im Opensiteexplorer doch die Anzahl der „Linking Rootdomains“, oder? Die liegen bei meinen Abfragen durchgegehnd bei einem Drittel bis der Hälfte. Bei mobile sinds dann z.B. 3000 Linking Root Domains anstelle von den 13000. Hat sich evtl. der Fehlerteufel eingeschlichen oder was mache ich falsch?

sistrix   
1. September 2011, 16:03

Thomas, die Seite kannte ich bis eben ehrlich gesagt noch gar nicht, sieht aber interessant aus. Ich kläre ein kleines Verständnisproblem in dem Thread gleich mal auf (er vergleicht die Startseitenlinks von Seomoz mit den Gesamtlinks seiner Datenbank)

Donn, im Opensiteexplorer auf „Compare Link Metrics“ klicken, dort dann ganz runterscrollen. Unten unter „Root Domain Metrics“ stehen die entsprechenden Werte bei „Total External Links“ sowie „Total Linking Root Domains“. Keine Ahnung, wieso die so gut versteckt sind …

Olaf   
1. September 2011, 16:58

wir haben die Daten von yahoo, majestic seo und seomoz letzte woche selbst anhand allerdings nur einer domain verglichen, da wir alleine mit den yahoo daten nicht mehr zufrieden waren. Die Erfahrung war auch die, dass Majestic SEO die besten Daten geleifert hat. Leider wurde uns mitgeteilt, dass der API Zugriff nur für öffentliche Tools möglich und nicht für interne Anwendungen… 🙁

CleverClogs   
2. September 2011, 09:23

@sistrix
Dann werden sicher die Preise bei dir steigen, oder?

Wir werden uns auch umstellen müssen, wollen uns aber nicht von seomoz oä. abhängig machen, daher auch bei uns eine Eigenproduktion, also selbst gecrawlte / erhobene Backlinkdaten. Johannes, vielleicht kann ich dir ja eine API zur Verfügung stellen oder wir crawlen gemeinsam 😉 müssen uns nur noch über den Namen des Bots einigen, vielleicht „clevertrix“ LOL

PS.: Übrigens wurde mir soeben gesagt, das Google wohl seine Daten in Anbetracht der Konkurrenzlage zu Bing/Yahoo öffnen will, was ist da dran?

sistrix   
2. September 2011, 09:41

CleverClogs, ich konzentriere mich lieber auf tolle Produkte als auf Preisdiskussionen. Angesichts des Datenumfangs sowie der Möglichkeiten gibt es allerdings sicher eine Vielzahl neuer Anwendungsfälle über die man nachdenken muss. Gemeinsames Crawlen halte ich für recht komplex, da ich inbesondere die Auswahl und Durchführung des Crawldurchgangs als elementare Grundlage für die späteren Daten sehe und mir da nur ungerne reinreden lasse 😉

CleverClogs   
2. September 2011, 09:59

@sistrix
Klar, war auch nur ein Spaß, ich möchte meine Daten auch mit niemanden teilen sondern einen guten Service mit den Daten anbieten. Wir sind übriegns noch nicht am Markt, aber auch keine Konkurrenz zu dir, da wir ein andere Dienstleistung anbieten wollen, die aber das Crawlen auch notwendig macht.

Übrigens: Konzentriere dich weiter auf gute Produkte, ist sehr sinnvoll, denn dann wird der Preis ohne Diskussion gezahlt. hat ja bisher auch gut geklappt.

klarson   
5. September 2011, 09:42

Noch ein Grund mehr sich die Toolbox zuzulegen 😉

Helmut   
5. September 2011, 19:52

Habe jetzt den ganzen Beitrag gelesen. Im Moment bin ich allerdings sehr verwirrt.
Ich habe nur 3 Websites, die ich betreue. Ob sich da kostenträchtige Dienste lohnen? Wenns nicht anders geht, wird mir nichts übrig bleiben. Übrigens, für Anfänger sind deine Berichte sehr hilfreich. Danke.

Tobias   
6. September 2011, 18:51

Hi Johannes,
die Preise bei den API-Zugriffen sind bei SEOmoz ja wirklich nicht ganz billig. Allerdings hat sich mir schon mal die Frage gestellt, wie ihr bei der Sistrix Toolbox die Google API verwendet. Dort liegen die Preise ja auch bei 5 USD pro 1000 Queries, was bei Millionen von Keywords, die wöchentlich abgefragt werden müssen, ein ordentliches Sümmchen aufkommen lassen. Oder ermittelt ihr die Rankings anders?

Lars   
6. September 2011, 20:31

Wie verhält sich eigentlich dir Konkurrenz zu diesem Thema: Yahoo Site Explorer?
Wir benutzen bisher nur Sistrix.
Weiß jemand, ob beispielsweise Xovi, Seolytics oder Searchmetrics nun vor ähnlichen Problemen stehen?
…oder könnten hier vielleicht gemeinsame Ansätze gefunden werden?

Sascha   
9. September 2011, 11:08

Nicht nur die kostenpflichtigen Anbieter werden Probleme haben. So weit ich weiß baut doch fast jedes Tool auf die Yahoo Api auf.

Für die kostenlosen Anbieter lohnt es sich ja kaum eine Alternative zu suchen,oder? Wenn ich da nur an den genialen X4d Backlinkchecker denke…

NoMan   
10. September 2011, 22:23

@Lars
Meines Erachtens ist Xovi extrem (mehr als andere) abhängig vom Site Explorer, hat sich bisher aber noch nicht dazu geäußert, wie man das Thema dort lösen möchten. Habe diesbezüglich kein gutes Gefühl …

sistrix   
11. September 2011, 12:44

Kurze Off-Topic-Anmerkung: konstruktive Fragen und Kommentare gerne, anonymer Unsinn ohne verständlichen Namen oder E-Mail-Adresse wird von mir seit jeher hier im Blog gelöscht. Fragen dazu bitte an j.beus@sistrix.com.

YannickS   
11. September 2011, 12:48

Also möchtest du jetzt sagen das man als eingeloggter Kunde „anonym“ ist?

sistrix   
11. September 2011, 12:56

YannickS, sorry, hatte ich bei Dir übersehen, da Daten aus zwei verschiedenen System. Habe Dir die Frage per E-Mail beantwortet.

Frank   
12. September 2011, 22:41

Mir fällt jetzt irgenwie überhaupt kein Grund mehr ein Yahoo zu nutzen.

Mark   
13. September 2011, 11:10

Das sind ja tolle Neuigkeiten! Wird es dann als vierten Wert in der Sistrix Toolbar eine Domainpop Anzeige geben?

Das wäre für mich das entscheidene Kaufargument für die Sistrix Toolbox! Denn neben dem Sichtbarkeitsindex, dem Pagerank und dem Alexa Rang fehlt nur noch die Domainpop um eine Webseite mit einem Blick auf die Toolbar bewerten zu können, was im Alltag eine unschätzbare Hilfe und Erleichterung wäre.

Seomoz bietet eine Toolbar mit Domainpop, da fehlen aber widerrum die anderen Werte, womit einem also auch nicht wirklich geholfen ist.

Für jede Webseite die man ansurft auf die Sistrix Webseite zu gehen um einen Backlinkcheck zu machen, ist zu zeitaufwändig. Es würde mich wirklich sehr freuen und zu einem treuen Kunden machen.

Lansky   
15. September 2011, 14:35

@sistrix

Nachdem die linkzahlen in den letzten Wochen erwartungsgemäß gefallen sind würde mich nun interessieren wie es um deine Pläne des eigenen Crawlers nun steht. Wenn ich an alte Werte denke waren die Sistrix Daten doch eher meist um die 10% der kompletten Links. Ev gab es da ja eine andere Grundlage. Ne kurze Zwischeninfo an alle wäre toll. Ich denke es gibt doch einige die sich ihre Gedanken machen gerade

MeMo   
15. September 2011, 16:30

Ich bin mal gespannt wie sich das Auswirken wird! Ich nehmen an es werden dadurch einige Backlink Tools offline gehen. Somit wird die Suchfunktion der Links für viele andere schwerer.

Gruß
MeMo

seomax   
16. September 2011, 16:31

Und wieder einmal geht eine Schnittstelle für SEO-Programme flöten! Bin genau wie MeMo gespannt, wieviele SEO-Tools das umhauen wird und wie die das Ihren Kunden verklickern wollen!
Wie sooft bestätigt sich: „Traue Keinem der Dir was umsonst gibt“.
Hab grade nen sehr interessanten Artikel zum Thema aus Entwickler-Sicht gelesen: http://www.extremeprogrammer.de/risiken-von-web-apis/
Die Jungs, die SEO-Tools auf Basis des Site explorers entwickelt haben tun mir leid: Bei denen werden jetzt wohl die Telefone non-stop klingeln…

Florian   
21. September 2011, 14:08

Man muß es positiv sehen: Der Aufwand wird geringfügig höher, viele Hobbywebmaster werden aber im Zweifelsfall auch geringe Investitionen scheuen, was unterm Strich bedeutet, daß gerade frei zugängliche Linkquellen weniger heftig zugespammt werden.

omaxis   
23. September 2011, 16:34

Nach dem Aufruf von Johannes heute Morgen auf Facebook (http://www.facebook.com/sistrix.toolbox/posts/10150321850182207) haben wir uns gleich mal für einen Beta-Account gemeldet. Hoffe, dass wir diesen schnell bekommen – Seitenhieb 😉

Danke schon mal!

Viele Grüße
Sven.

Benjamin   
10. Juni 2012, 21:21

Servus Johannes,

in der neuen Version vom Backlink Explorer (das Firefox Add-On) ist jetzt auch Sistrix mit allen verfügbaren Sprachen integriert. Macht es Sinn, auch den OpenLinkGraph zu integrieren?

https://addons.mozilla.org/de/firefox/addon/backlink-explorer/versions/v2.0

Schönen Abend,
Benjamin

Benjamin   
11. Juni 2012, 15:21

Sorry, der Link is broken, da die Version 2.0 nicht mehr existiert. Habe gerade noch v2.1 hochgeladen. Einfach am URL hinten das v2.0 weglassen und die Versionsübersicht geht auf. Oder auf backlinkexplorer.org unter „features“ die neueste Version laden.

Schönen Wochenstart,
Benjamin

Evergreen Shrubs   
23. September 2013, 13:54

orry, der Link is broken, da die Version 2.0 nicht mehr existiert. Habe gerade noch v2.1 hochgeladen. Einfach am URL hinten das v2.0 weglassen und die

Wie wird man ein guter SEO? - Seokratie   
16. Oktober 2013, 11:17

[…] Alle SEOs, die ich aus meiner Anfangszeit kenne, sind Quereinsteiger gewesen. Was – oder ob – man studiert hat, war völlig egal. Hauptsache, man war SEO-interessiert. Kennengelernt hat man sich meistens über Foren, Chats, E-Mail oder auf diversen Konferenzen, von denen es damals ja auch nicht so viele gab. Ausbildung? Gab es nicht. Wichtig war, dass man die neuesten Updates miteinander diskutierte. Ohne auf Sichtbarkeitsverläufe zu schauen, denn auch die gab es damals noch nicht! Dafür gab es noch den guten alten Yahoo Siteexplorer. […]

Sam   
11. August 2014, 20:08

Sehr interessant, bin gespannt!

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.