Goodbye, Yahoo SiteExplorer

Johannes Beus
Morgen sind es noch genau 15 Tage, bis Yahoo erwartungsgemäß alle API-Zugriffsmöglichkeiten auf seine Backlinkdaten kappt. Wer die Äußerungen von Microsoft in den letzten Monaten etwas verfolgt hat, wird mitbekommen haben, dass es keine Pläne gibt, diese Daten in Zukunft wieder öffentlich zugängig zu machen. Somit fällt die Hauptquelle für Backlink-Daten von einem Tag auf den Nächsten weg. Da Links aber seit Googles Gründung der Rankingfaktor #1 sind und sich daran auch trotz der Einbeziehung von Nutzerdaten sowie Signalen aus den sozialen Netzwerken so bald nichts ändern wird, stellt sich – besonders auch mir als Betreiber der Toolbox – natürlich die Frage: welche Quelle in Zukunft nutzen?

Es dürfte nur wenig überraschen, dass ich mich recht intensiv mit dem Thema beschäftigt und bestehende Möglichkeiten getestet habe. Beim Thema Backlink-Daten fallen einem direkt zwei Anbieter ein: Seomoz und Majesticseo. Seomoz tüftelt seit 2008 an einem eigenen Index; zuerst mit Linkscape, mittlerweile mit dem Opensiteexplorer als Tool zur Anzeige. Majesticseo ist aus einer dezentral konzipierten Suchmaschine hervorgegangen und ist, seit man dort die Links nicht immer nur weiter sammelt sondern in einem „Fresh Index“ genannten Segment alte Links auch mal wegwirft, zu einer ernstzunehmenden Konkurrenz für Seomoz geworden.

Ein Vergleich, der über eine subjektive Beurteilung der graphischen Fähigkeiten des jeweiligen Betreibers hinausgeht, ist allerdings schwieriger als zunächst angenommen. Ich habe deshalb folgendes Vorgehen gewählt: für fünf Pakete von jeweils 5 Domains (insgesamt also 25 Domains) habe ich sowohl bei Seomoz als auch bei Majesticseo Link-Metriken zusammengetragen: zum einen die absolute Anzahl gefundener Links als Indikator für die Datenbankgröße und Tiefe des Crawls, zum anderen die Domain-Pop, also die Anzahl unterschiedlicher Domains, die auf die Zieldomain verlinken als Indikator für die Breite und Differenziertheit der Daten. Die Domain-Pakete bestehen aus jeweils 5 Domains, die zu den Größten in Deutschland gehören, fünf vertikalen Portalen, fünf Seiten mit Bezug zu Bonn, fünf Amazon Landesableger sowie 5 SEO-Seiten. Die Tabelle mit den Domains und Ergebnisse kann bei Google Docs eingesehen werden:



Das Ergebnis hat mich dann schon etwas überrascht: während Majesticseo klar bei der Anzahl der gefundenen Links vorliegt (17 zu 8), ist Seomoz noch deutlicher der Sieger in Sachen Domain-Popularity (18 zu 7). Das Problem an dem Ergebnis: weder Majesticseo noch Seomoz liefern Backlink-Daten sowohl in ansprechender Tiefe als auch Breite gleichzeitig, eine Kombination von beiden Diensten ist aufgrund der limitierten API-Zugriffe und/oder Kosten dafür nicht sinnvoll/möglich. Die Frage „buy or build“ war damit recht klar beantwortet, wir haben uns an die Entwicklung unserer eigenen Lösung gemacht. Doch davon im nächsten Monat mehr
Eintrag geschrieben am 31.08.2011 um 17:37 Uhr - Trackback setzen - Tags:
Adalo
1
schrieb am 31.08.2011 um 18:48 Uhr
Bin auf eure Backlinkdatenbank schon sehr gespannt.

Die SiteExplorer-Funktion werde ich trotzdem sehr vermissen.

MakkusTH
2
MakkusTH
schrieb am 31.08.2011 um 18:55 Uhr
Wäre es nicht sinnvoller, den Majestic und Moz mit - dem noch funktionierenden - Yahoo-Explorer zu vergleichen ... um zu erkennen, ob die Zahlen verlässlich sind 8-)

sistrix
3
schrieb am 31.08.2011 um 19:03 Uhr
MakkusTH, das Problem ist, dass du für die Yahoo-Daten keine verlässlichen Domain-Pop-Werte ermitteln kannst. Auch mit Tricksereien bekommst Du aus Yahoo nur wenige tausend Links raus, kannst also die Auswertung, wie viele unterschiedliche Domains verlinken gar nicht durchführen. Bei den reinen Linkanzahl-Daten wäre es möglich, hier schränkt Yahoo die Nutzung aber auch stark ein.

Franko
4
Franko
schrieb am 31.08.2011 um 19:42 Uhr
Wie sieht es mit Bing aus? Eventuell übernehmen die ja die Yahoo Daten. Wisst Ihr da was Neues? Kann mir zumindest schlecht vorstellen, dass sie die Datenkrake einfach so wegwerfen...

Gretus
5
schrieb am 31.08.2011 um 20:09 Uhr
Hallo,

schade, dass Blekko nicht ein paar mehr Links findet, liegen überall ca. 30% unter den Werten in Deiner Tabelle: http://bit.ly/piM1f3 ...

Grüße

Gretus

Jan
6
Jan
schrieb am 31.08.2011 um 20:52 Uhr
Hallo Johannes,

interessantes und spannendes Projekt! Wird es in der Zwischenzeit eine der beiden Alternativen für die Toolbox Backlink-Daten geben?

Gruß
Jan

sistrix
7
schrieb am 31.08.2011 um 20:53 Uhr
Franko, Bing hat eine ähnliche Lösung wie Google: nach Bestätigung der eigenen Domain erhält man Backlinkdaten zu eben dieser - aber halt keine Daten zu fremden Domains und gerade da wird die Sache ja interessant.

Gretus, das Problem bei Blekko ist zum einen der Datenumfang (SEO-Seiten sind dort in der Regel noch recht gut vertreten, es gibt auch zahlreiche Beispiele, bei denen Blekko weniger als 25% von Seomoz/Majestic hat), zum anderen aber auch die Aktualität. So wurde seo-united.de zuletzt vor 73 Tagen (http://seo-united.de/ /seo) gecrawled ...

sistrix
8
schrieb am 31.08.2011 um 20:55 Uhr
Jan, es wird keine Zwischenzeit geben ;-)

Michael
9
Michael
schrieb am 31.08.2011 um 21:51 Uhr
Wieso ist die kombinierte Nutzung von Seomoz mit Majestic-Seo denn so schwer, bzw. so teuer? Solang es nur die zwei Anbieter sind, lassen sich die Daten doch relativ schnell & einfach verknüpfen?!

sistrix
10
schrieb am 31.08.2011 um 21:58 Uhr
Michael, naja, sowas sieht von außen häufig einfacher aus, als es dann tatsächlich ist. Sowohl Seomoz als auch Majesticseo verbieten (zurecht) den Weiterverkauf der Daten, d.h. es müssen individuelle Abkommen geschlossen werden, die weit jenseits der Preise auf den Webseiten liegen. Rein technisch ist eine Verknüfung von 10 Millionen Links von dem einen Anbieter und 25 Millionen von dem anderen Anbieter leider auch nicht ganz so trivial, wie es erscheint: URLs werden unterschiedlich normalisiert, es gibt unterschiedliche Bewertungsmethoden und Kriterien und die Crawldaten sind unterschiedlich, so dass Diskrepanzen entstehen. Kurzum: nix mit billig, einfach und schnell.

Julian
11
schrieb am 01.09.2011 um 09:16 Uhr
Sehr geile Idee Johannes!
Bietest du hier dann auch eine API an die man in SEOquake einbinden kann? Das wäre top :)

HAN SEO
12
schrieb am 01.09.2011 um 09:55 Uhr
Hallo Johannes,

ich bin schon sehr gespannt auf den openlinkgraph. Dann wird also Sistrix die neue Quelle und das Maß aller Dinge in Sachen Backlink-Daten.

Hat Yahoo denn bereits in den letzten Wochen den Dienst nach und nach runtergefahren? Es ist schon auffällig, dass die Backlinks von Woche zu Woche weniger wurden.

Grüße aus Köln,
Jens

Thomas
13
schrieb am 01.09.2011 um 10:33 Uhr
Na dann, ich bin ebenfalls gespannt auf die genauen Ergebnisse.

Erik
14
Erik
schrieb am 01.09.2011 um 10:48 Uhr
Hallo Johannes,

auch wir haben uns Gedanken gemacht, wie man zukünftig an Linkdaten kommt, wenn man SiteExplorer nicht mehr via API nutzen kann... eine eigene Lösung kam für uns nicht in Frage (zu aufwendig und nicht unser Kerngeschäft) und die Daten von genannten oder auch nicht genannten Anbieter zu ziehen ist recht kostenaufwendig... allerdings war ich mit in der Sistrix Toolbox stehenenden Linkdaten bisher auch nicht wirklich zufrieden... ich hoffe das OpenLinkGraph dahingehend bessere Daten liefert :) Wie steht es bei Euch mit einer API für die Integration in eigene Tools (nur Eigenverwendung)? Wird es diese in der Form auch geben?

Danke und Grüße aus Frankfurt
/Erik

Timo
15
schrieb am 01.09.2011 um 12:34 Uhr
Hört sich nach viel Know-how und noch viel mehr benötigte Serverpower an.

Wollt ihr also selbst Bots losschicken und Daten sammeln?

Mal eben in den Newsletter eingetragen :)

sistrix
16
schrieb am 01.09.2011 um 12:56 Uhr
Julian, müssen wir mal sehen, ob das eine Lösung für SeoQuake oder irgendeine andere Browser-Integration wird, das Thema an sich ist aber schon interessant.

Jens, wir merken, dass die Ergebnisse bei Yahoo stark schwanken und man offenbar andere Themen als die Stabilität der Backlink-Daten in den Vordergrund stellt. Nicht wirklich überraschend, wenn sie das Ding bald abschalten wollen.

Erik, ist ein komplex Thema, da wird es wohl immer auf individuelle Vereinbarungen hinauslaufen, die Nutzungsintensität, Datenumfang etc. beinhalten. Dass die Daten beispielsweise bei Seomoz relativ teuer sind (2,50 bis 10 USD pro 10k Links: http://apiwiki.seomoz.org/w/page/13991147/SEOmoz%20API%20Pricing) liegt übrigens hauptsächlich daran, dass der Betrieb einer entsprechenden Infrastuktur extrem teuer ist. Um beim Beispiel von Seomoz zu bleiben: dort hatte Rand mal Zahlen zwischen 150k und 200k USD pro Monat (!) genannt.

Timo, wenn schon, dann auch komplett selber. Such' doch mal in Deinen Logfiles nach 'sistrix' ;-)

Herbert Hartung
17
Herbert Hartung
schrieb am 01.09.2011 um 13:12 Uhr
Hi Johannes,
Du sammelst die per Crawler? Dachte dies machen die Praktikanten ;-)

sistrix
18
schrieb am 01.09.2011 um 13:14 Uhr
Die Idee der humanoiden Crawler, wie Marktbegleiter sie offenbar umsetzen, hat sich bei unseren Datenmengen nicht so wirklich bewährt ;-)

Trackback - Julian's Blog - 01.09.2011 13:54
Füge Blekko Siterank & Backlinks, SEO Diver Daten und sistrix Sichtbarkeitsindex zu SEOquake hinzu

Dixon Jones
19
schrieb am 01.09.2011 um 14:00 Uhr
Dixon from Majestic SEO here.

It's hard to read this post through Microsoft translator - but I think I have the idea. We might have some ideas for you!

Firstly your analysis. You compared OSE's Total data with our Fresh Index only. That's a fair comparison, but what is different is that our fresh index is updating every day - not every month. If you had used our Historic Index, then we have MANY more links on every count.

Secondly the cost of reselling our data is much lower than the prices you are quoting and I would welcome a long conversation (not on the web) about that as I feel we would be a great fit for Sistrix and have always felt we would be. You are just hard to track down :)

Thomas
20
Thomas
schrieb am 01.09.2011 um 15:20 Uhr
Hat Eure Ankündigung etwas mit http://www.seokicks.de zu tun? Das wird ja wie der Zufall es will gerade frisch bei Abakus diskutiert.. ein Schelm wer "böses" dabei denkt!? ;-)

Donn
21
Donn
schrieb am 01.09.2011 um 15:45 Uhr
Wie kommen eigentlich hier die Werte aus der Seomoz-Domainpop zustande? Das sind im Opensiteexplorer doch die Anzahl der "Linking Rootdomains", oder? Die liegen bei meinen Abfragen durchgegehnd bei einem Drittel bis der Hälfte. Bei mobile sinds dann z.B. 3000 Linking Root Domains anstelle von den 13000. Hat sich evtl. der Fehlerteufel eingeschlichen oder was mache ich falsch?

sistrix
22
schrieb am 01.09.2011 um 16:03 Uhr
Thomas, die Seite kannte ich bis eben ehrlich gesagt noch gar nicht, sieht aber interessant aus. Ich kläre ein kleines Verständnisproblem in dem Thread gleich mal auf (er vergleicht die Startseitenlinks von Seomoz mit den Gesamtlinks seiner Datenbank)

Donn, im Opensiteexplorer auf "Compare Link Metrics" klicken, dort dann ganz runterscrollen. Unten unter "Root Domain Metrics" stehen die entsprechenden Werte bei "Total External Links" sowie "Total Linking Root Domains". Keine Ahnung, wieso die so gut versteckt sind ...

Olaf
23
schrieb am 01.09.2011 um 16:58 Uhr
wir haben die Daten von yahoo, majestic seo und seomoz letzte woche selbst anhand allerdings nur einer domain verglichen, da wir alleine mit den yahoo daten nicht mehr zufrieden waren. Die Erfahrung war auch die, dass Majestic SEO die besten Daten geleifert hat. Leider wurde uns mitgeteilt, dass der API Zugriff nur für öffentliche Tools möglich und nicht für interne Anwendungen... :-(

CleverClogs
24
schrieb am 02.09.2011 um 09:23 Uhr
@sistrix
Dann werden sicher die Preise bei dir steigen, oder?

Wir werden uns auch umstellen müssen, wollen uns aber nicht von seomoz oä. abhängig machen, daher auch bei uns eine Eigenproduktion, also selbst gecrawlte / erhobene Backlinkdaten. Johannes, vielleicht kann ich dir ja eine API zur Verfügung stellen oder wir crawlen gemeinsam ;-) müssen uns nur noch über den Namen des Bots einigen, vielleicht "clevertrix" LOL

PS.: Übrigens wurde mir soeben gesagt, das Google wohl seine Daten in Anbetracht der Konkurrenzlage zu Bing/Yahoo öffnen will, was ist da dran?

sistrix
25
schrieb am 02.09.2011 um 09:41 Uhr
CleverClogs, ich konzentriere mich lieber auf tolle Produkte als auf Preisdiskussionen. Angesichts des Datenumfangs sowie der Möglichkeiten gibt es allerdings sicher eine Vielzahl neuer Anwendungsfälle über die man nachdenken muss. Gemeinsames Crawlen halte ich für recht komplex, da ich inbesondere die Auswahl und Durchführung des Crawldurchgangs als elementare Grundlage für die späteren Daten sehe und mir da nur ungerne reinreden lasse ;-)

CleverClogs
26
schrieb am 02.09.2011 um 09:59 Uhr
@sistrix
Klar, war auch nur ein Spaß, ich möchte meine Daten auch mit niemanden teilen sondern einen guten Service mit den Daten anbieten. Wir sind übriegns noch nicht am Markt, aber auch keine Konkurrenz zu dir, da wir ein andere Dienstleistung anbieten wollen, die aber das Crawlen auch notwendig macht.

Übrigens: Konzentriere dich weiter auf gute Produkte, ist sehr sinnvoll, denn dann wird der Preis ohne Diskussion gezahlt. hat ja bisher auch gut geklappt.

klarson
27
schrieb am 05.09.2011 um 09:42 Uhr
Noch ein Grund mehr sich die Toolbox zuzulegen ;)

Helmut
28
schrieb am 05.09.2011 um 19:52 Uhr
Habe jetzt den ganzen Beitrag gelesen. Im Moment bin ich allerdings sehr verwirrt.
Ich habe nur 3 Websites, die ich betreue. Ob sich da kostenträchtige Dienste lohnen? Wenns nicht anders geht, wird mir nichts übrig bleiben. Übrigens, für Anfänger sind deine Berichte sehr hilfreich. Danke.

Tobias
29
schrieb am 06.09.2011 um 18:51 Uhr
Hi Johannes,
die Preise bei den API-Zugriffen sind bei SEOmoz ja wirklich nicht ganz billig. Allerdings hat sich mir schon mal die Frage gestellt, wie ihr bei der Sistrix Toolbox die Google API verwendet. Dort liegen die Preise ja auch bei 5 USD pro 1000 Queries, was bei Millionen von Keywords, die wöchentlich abgefragt werden müssen, ein ordentliches Sümmchen aufkommen lassen. Oder ermittelt ihr die Rankings anders?

Lars
30
schrieb am 06.09.2011 um 20:31 Uhr
Wie verhält sich eigentlich dir Konkurrenz zu diesem Thema: Yahoo Site Explorer?
Wir benutzen bisher nur Sistrix.
Weiß jemand, ob beispielsweise Xovi, Seolytics oder Searchmetrics nun vor ähnlichen Problemen stehen?
...oder könnten hier vielleicht gemeinsame Ansätze gefunden werden?

Sascha
31
schrieb am 09.09.2011 um 11:08 Uhr
Nicht nur die kostenpflichtigen Anbieter werden Probleme haben. So weit ich weiß baut doch fast jedes Tool auf die Yahoo Api auf.

Für die kostenlosen Anbieter lohnt es sich ja kaum eine Alternative zu suchen,oder? Wenn ich da nur an den genialen X4d Backlinkchecker denke...

NoMan
32
NoMan
schrieb am 10.09.2011 um 22:23 Uhr
@Lars
Meines Erachtens ist Xovi extrem (mehr als andere) abhängig vom Site Explorer, hat sich bisher aber noch nicht dazu geäußert, wie man das Thema dort lösen möchten. Habe diesbezüglich kein gutes Gefühl ...

sistrix
33
schrieb am 11.09.2011 um 12:44 Uhr
Kurze Off-Topic-Anmerkung: konstruktive Fragen und Kommentare gerne, anonymer Unsinn ohne verständlichen Namen oder E-Mail-Adresse wird von mir seit jeher hier im Blog gelöscht. Fragen dazu bitte an j.beus@sistrix.com.

YannickS
34
YannickS
schrieb am 11.09.2011 um 12:48 Uhr
Also möchtest du jetzt sagen das man als eingeloggter Kunde "anonym" ist?

sistrix
35
schrieb am 11.09.2011 um 12:56 Uhr
YannickS, sorry, hatte ich bei Dir übersehen, da Daten aus zwei verschiedenen System. Habe Dir die Frage per E-Mail beantwortet.

Frank
36
schrieb am 12.09.2011 um 22:41 Uhr
Mir fällt jetzt irgenwie überhaupt kein Grund mehr ein Yahoo zu nutzen.

Mark
37
Mark
schrieb am 13.09.2011 um 11:10 Uhr
Das sind ja tolle Neuigkeiten! Wird es dann als vierten Wert in der Sistrix Toolbar eine Domainpop Anzeige geben?

Das wäre für mich das entscheidene Kaufargument für die Sistrix Toolbox! Denn neben dem Sichtbarkeitsindex, dem Pagerank und dem Alexa Rang fehlt nur noch die Domainpop um eine Webseite mit einem Blick auf die Toolbar bewerten zu können, was im Alltag eine unschätzbare Hilfe und Erleichterung wäre.

Seomoz bietet eine Toolbar mit Domainpop, da fehlen aber widerrum die anderen Werte, womit einem also auch nicht wirklich geholfen ist.

Für jede Webseite die man ansurft auf die Sistrix Webseite zu gehen um einen Backlinkcheck zu machen, ist zu zeitaufwändig. Es würde mich wirklich sehr freuen und zu einem treuen Kunden machen.

Lansky
38
schrieb am 15.09.2011 um 14:35 Uhr
@sistrix

Nachdem die linkzahlen in den letzten Wochen erwartungsgemäß gefallen sind würde mich nun interessieren wie es um deine Pläne des eigenen Crawlers nun steht. Wenn ich an alte Werte denke waren die Sistrix Daten doch eher meist um die 10% der kompletten Links. Ev gab es da ja eine andere Grundlage. Ne kurze Zwischeninfo an alle wäre toll. Ich denke es gibt doch einige die sich ihre Gedanken machen gerade

MeMo
39
schrieb am 15.09.2011 um 16:30 Uhr
Ich bin mal gespannt wie sich das Auswirken wird! Ich nehmen an es werden dadurch einige Backlink Tools offline gehen. Somit wird die Suchfunktion der Links für viele andere schwerer.

Gruß
MeMo

seomax
40
seomax
schrieb am 16.09.2011 um 16:31 Uhr
Und wieder einmal geht eine Schnittstelle für SEO-Programme flöten! Bin genau wie MeMo gespannt, wieviele SEO-Tools das umhauen wird und wie die das Ihren Kunden verklickern wollen!
Wie sooft bestätigt sich: "Traue Keinem der Dir was umsonst gibt".
Hab grade nen sehr interessanten Artikel zum Thema aus Entwickler-Sicht gelesen: http://www.extremeprogrammer.de/risiken-von-web-apis/
Die Jungs, die SEO-Tools auf Basis des Site explorers entwickelt haben tun mir leid: Bei denen werden jetzt wohl die Telefone non-stop klingeln...

Florian
41
schrieb am 21.09.2011 um 14:08 Uhr
Man muß es positiv sehen: Der Aufwand wird geringfügig höher, viele Hobbywebmaster werden aber im Zweifelsfall auch geringe Investitionen scheuen, was unterm Strich bedeutet, daß gerade frei zugängliche Linkquellen weniger heftig zugespammt werden.

omaxis
42
schrieb am 23.09.2011 um 16:34 Uhr
Nach dem Aufruf von Johannes heute Morgen auf Facebook (http://www.facebook.com/sistrix.toolbox/posts/10150321850182207) haben wir uns gleich mal für einen Beta-Account gemeldet. Hoffe, dass wir diesen schnell bekommen - Seitenhieb ;-)

Danke schon mal!

Viele Grüße
Sven.


Kommentieren?

mehr
Die Kommentare für diesen Beitrag wurden geschlossen. Angemeldete Benutzer haben weiterhin die Möglichkeit, auch ältere Beiträge zu kommentieren. Jetzt kostenlos anmelden