Fast zwei Jahre sind seit den ersten Konzepten und Ideen vergangen, jetzt können wir endlich Ergebnisse unserer Arbeit zeigen: die Private Beta des SISTRIX OpenLinkGraph (UPDATE: mittlerweile eine Funktion des Link-Moduls) ist seit dem Wochenende online und erste Nutzer geben uns bereits wertvolles Feedback. Ausschlaggebend für die Entwicklung war die Erkenntnis, dass nur ein eigener Index mit selber gecrawlten und verarbeiteten Daten auf Dauer die Ergebnisse liefern kann, die wir erwarten. Zusätzlich kam hinzu, dass Yahoo nach der Übernahme durch Microsoft seine eigenen Crawling-Ambitionen einstellt. Da somit die Hauptquelle für Linkdaten wegfällt, war die Entwicklung eines eigenen Index unumgänglich.
Was sich zuerst so einfach anhört, war dann doch eine riesige Herausforderung: Milliarden von Webseiten müssen priorisiert, gecrawled und ausgewertet werden. Die Ergebnisse müssen in Sekundenbruchteilen in einer Datenbank auffindbar sein. Bei der Menge an Servern hinter dem System ist der Ausfall einzelner Rechner an der Tagesordnung und muss entsprechend abgefedert werden. Wie man sich vorstellen kann also ausreichend Komplexität, damit es spaßig wird.
Als Ergebnis haben wir nun eine Plattform, die zum einen die aktuellen Ideen und Anwendungen ermöglicht, aber auch für die Zukunft gerüstet ist: sowohl die Indexgröße als auch die Auswertungsmöglichkeiten stoßen an keine erkennbaren Grenzen und werden uns künftig noch viel Spaß bereiten. Da die Vorstellung des OpenLinkGraph für ein Blogposting zu lang würde, möchte ich das aufteilen und in den nächsten Tagen jeweils Teile präsentieren. Wer zufällig diese Woche auf der Dmexco ist, kann gerne an unserem Stand D-69 vorbeikommen, um sich das Tool live anzusehen und eine persönliche Beta-Einladung mitzunehmen.
Respekt! Ich habe beruflich paar mal mit Big Data zu tun gehabt, aber hier geht um big big Data. Paar technische Details würde mich sehr interessieren. Was für DB-System steht dahinter? MongoDB, Cassandra oder doch MySql? Wie oft wird der Index aktualisiert und wie viele Crawler arbeiten parallel?
Gibt es auch noch eine andere Möglichkeit einen Beta-Account abgreifen zu können?
Wahid, das läuft auf Microsoft Excel. Nein, Spaß beiseite, wir nutzen da individuelle Lösungen da wir auch recht individuelle Ansprüche haben. Die NoSQL-Versprechungen von MongoDB oder Cassandra hören sich zwar recht nett an, fliegen mit wenigen Milliarden Records aber doch auseinander 😉 Aktuell planen wir monatliche Aktualisierungen, sind da aber noch nicht festgelegt. Die Crawler haben für den aktuellen Index rund 2Gbit/s geschafft.
Rene, nein aktuell leider nicht.
Euer Stand allein reicht für die demexco 🙂
Aber NoSQL wird’s doch wohl schon sein, oder? Selbst Google benutzt ja keine MySQL-DBs für ihre Indizes. So ein bisschen Technik-Generde wäre toll. ;o)
Wie open wird denn der OpenLinkGraph denn sein? Das Wort verspricht ja ganz schön viel in Bezug auf die SEO-Branche, wo eigentlich fast nix open ist.
Wie viele Seiten laufen in den Index?
Werde beim Stand mal vorbeischauen. Bis dann 😉
Ein wenig Hintergrundinfos zu Anzahl der Server usw. wäre interessant.
Ansonsten freue ich mich über die folgenden Infos, der Screenshort sieht schon vielversprechend aus. Ich werde auf der dmxeco vorbei kommen und mir einen Invite abholen 🙂
OK, ok, ich komme zur DMEXCO
Erste Bilder aus dem OPENLINKGRAPH inkl. kurzen Erläuterungen zu den Features. Außerdem der Hinweis darauf, wie jeder ins neue Tool kommt.
asaaki, ich glaube, dass die Wahl der konkreten Datenhalde gar keinen so ganz großen Einfluss hat. Wichtiger ist denke ich ein grundlegendes Verständnis davon, wie Datenbanken arbeiten, was wie funktioniert, was ein Index kann und was auch nicht. Open im Namensbestandteil deutet genau darauf hin, was es sein wird: öffentlich zugänglich aber nicht verschenkt 😉
C., dazu schreibe ich in einem späteren Blogposting noch etwas. Die Sache ist komplexer als man zunächst annimmt.
Timo, sind über 100 Server, die da aktuell werkeln.
Das schaue ich mir gerne an eurem Stand auf der dmexco an, Stand D-69 ist notiert.
Beste Grüße aus Berlin
Max.
Wow, das ist mal wieder ein Monster-Tool. Herzlichen Glückwunsch zum launch!
Klasse. Bin auch schon sehr gespannt das Tool live auf Eurem Stand zu sehen.
Die ersten Eindrücke sind echt der Hammer…, da kann euer Mitbewerb langsam aber sicher Einpacken!
Sehr interessant und sogar ein „Nicht-Informatiker“ ahnt die Größenordnung 😉
Prima, dass der OpenLinkGraph rechtzeitig zur DMEXCO fertig geworden ist!
Sehr interessantes Projekt, insbesondere seit der Yahoo! Site Explorer… naja, das weiß hier ja jeder…
Mich interessiert momentan aber am meisten der Name: Open… soll das bedeuten, dass das Tool am Ende kostenfrei verfügbar sein wird (zumindest in einem gewissen „semiprofessionellen“ Umfang)?
Hallo
Sie haben sehr gute Arbeit geleistet, nutze noch das Programm Ihres Mitbewerbers. Was ich aber auf diesen Seiten lese überzeugt mich sehr.
Gruss
Jan
Wie Open wird denn er Openlinkgraph sein?
@ ben letzter Post von Johannes klärt es eindeutig
Hallo, das hört wirklich sich sehr vielversprechend an – so ein Tool könnten viele Webmaster sicher ganz gut gebrauchen! Würd mich auch über weitere Infos freuen!
Wann werden die Daten des OLG denn eigentlich geupdated?