Vergrößert Google seinen (primären) Index?

Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Eigentlich sind die Zeiten, in denen die Suchmaschinenrivalen mit der Größe ihres Suchindexes zu imponieren versuchten, Vergangenheit: Google hat vor rund einem Jahr erklärt, man habe nun die Schallmauer von einer Billionen URLs, die der Crawler im Internet entdeckt habe. Seitdem war es an der Indexgrößenfront relativ ruhig und auch die üblichen Indikatoren haben keine signifikanten Änderungen angezeigt.

In den letzten Tagen schlägt allerdings einer dieser Indikatoren nach oben aus: Eine „Site-Abfrage“ ergibt bei einer Vielzahl von Domains und Verzeichnissen neuerdings deutlich gesteigerte Werte im Vergleich zu den Angaben des Monats zuvor: wenn die Zahlen von Amazon.de um 164%, die von Spiegel.de um 157% und die von faz.net gar um 452% steigen, so wird das kein Zufall sein.

Für mich gibt es dazu derzeit zwei mögliche Erklärungen: zum einen kann es sein, dass Google die Art oder die Grundlage, wie diese „Schätzung“ der Trefferanzahl bei Site-Abfragen durchgeführt wird, verändert hat. Halte ich für eher unwahrscheinlich, da die Veränderung nicht schlagartig sondern kontinuierlich über den letzten Monat passiert sind.

Zum anderen könnte ich mir vorstellen, dass es für Google mal wieder an der Zeit ist, den Index zu vergrößern. Einige werde sich erinnern können, vor längerer Zeit hatte Google auch nach außen zwei unterschiedliche Indexe: einen „normalen“ für aktuelle und häufig benötigte Inhalte und einen sogenannten „Supplemental Index“ für den Rest. Im Zuge eines Infrastruktur-Updates ist diese klare Trennung (nach außen) jetzt zwar entfallen, es würde mich trotzdem stark überraschen, wenn intern nicht doch noch mit unterschiedlichen Klassifizierungen gearbeitet würde. Geht man jetzt davon aus, dass bei der Site-Abfrage (hauptsächlich?) die Ergebnisse aus dem ersten Index gezählt werden, so kann der Anstieg der Zahlen ein Indiz dafür sein, dass Google diesen Teil des Indexes vergrößert und dort mehr Seiten aufnimmt beziehungsweise aus den anderen Teilen „hochhievt“.

Ähnliche Beiträge
Kommentare
Avatar burseg   
8. Juni 2009, 23:13

Google ist auf S3 umgestiegen und hat wieder HDD Platz.

Avatar Sasa von der Linkaufbau-Agentur   
8. Juni 2009, 23:18

Google hat doch angefangen JavaScript-Links zu verfolgen. Genauso schicken sie jetzt Formulare ab. Vielleicht hat das damit zu tun, weil sie sich nach ersten Prüfungen jetzt trauen das „Zeugs“ jetzt auch in den Index zu stopfen? Wahrscheinlich ist es eine gute Mischung aus all diesen Faktoren. Danke für den Hinweis. Ich muss direkt mal bei einigen wichtigen Projekten nachgucken.

Avatar Mobile SEO   
8. Juni 2009, 23:18

Richtig, Herr Burseg! Oder sie haben mit fake-accounts bei hotmail Millionen von kostenlosen Dropbox-Accounts eroeffnet und die Datenhaltung ausgelagert.

Avatar littleSEO   
8. Juni 2009, 23:22

RT: @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar XYOU   
8. Juni 2009, 23:23

endlich wieder mehr Platz für Spam bei Google! http://tinyurl.com/nz7ruj

Avatar flobox   
8. Juni 2009, 23:34

RT @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar seonachbar   
8. Juni 2009, 23:38

RT: @sistrix [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar Marc   
9. Juni 2009, 00:30

Ich denke es werden einfach nur die Zahlen ausgegeben, die schon lange galten. Schließlich ändern sich ja nicht die Besucherzahlen. Also war der Index scheinbar immer schon so groß. Ist wieder nur Augenwischerei also.

Avatar Mariusz   
9. Juni 2009, 02:53

War dies nur bei Nachrichtenmagazinen zu beobachten oder auch bei anderen Seiten?

Sollte ersteres gelten, dann tippe ich auf eine Änderung des Crawler-Algorithmus. Authority sites wuerden demnach ’noch stärker‘ indiziert…

Würde mich über ne Antwort freuen und danke fuer den Einblick.

Avatar KonstantinM   
9. Juni 2009, 07:01

RT @littleSEO: RT: @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar Jan   
9. Juni 2009, 07:06

Das waren nicht nur Nachrichten Mariuz. Konnte dass auch an eigenen Seiten beobachten. Bis zu 600% mehr indexierte Seiten ohne nennenswerten zusätzlichen Traffic.

Avatar der-Heiko   
9. Juni 2009, 07:09

MoinMoin,
selbiges sehe ich auch seit nunmehr 3 Tagen. Ich habe im selbem Atemzug aber auch noch eine andere Beobachtung gemacht, welche mich vermuten lässt, dass sich diese Daten in den nächsten Wochen wieder zurückbilden.

Fast zeitgleich zur Vervierfachung der Seiten meines Projektes zeigt mir Google Webmastercentral auch deutlich mehr Crawling Fehler an.

Viele dieser Fehler sind tatsächlich mit Java in Verbindung und andere, die es eigentlich nicht geben dürfte.

Lustig:
Die eigens angelegte 404rer Fehlerseite wird wiederum selbst als Fehler in WebmasterCentral angezeigt #unsinn

spannend:
schaut Euch mal alles an Dateien an, hier mal ein Beispiel einer TXT Datei:
http://www.virenschutz.info/RSS-script.txt

Das ist ein Scriptschnippel, welchen ich Webmastern bereit stelle. Google versucht anscheinend auch diesen Link zusammen zu setzen und meldet dann einen Fehler

Was das Javascript angeht, so habe ich schon in meiner Downloadsektion vor einer Weile dieses Problem lösen können. Das allerdings überraschend einfach

meine Lösung ist unkonventionell, klappt aber bei mir:
<script language=“javascript“ type=“text/javascript“ rel=“nofollow“>

Grüssle Heiko

Avatar seonderbar   
9. Juni 2009, 08:10

RT @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar nubie01   
9. Juni 2009, 09:06

RT @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj

Avatar datenkeks   
9. Juni 2009, 09:15

RT @sistrix: [Blog] Vergrößert Google seinen (primären) Index? http://tinyurl.com/nz7ruj (via @nubie01)

Avatar Stefan   
9. Juni 2009, 10:20

Johannes, bist ja wieder am Puls der Zeit. Für solche Beobachtung der Google-Entwicklung ist dein Tool natürlich bestens geeignet. Habe mich heute auch etwas über starken Traffic-Zuwachs gewundert und dann analysiert. Tatsächlich habe ich auch über 100% Zuwachs an indexierten Seiten. Den Trafficzuwachs sehe ich aber nur auf einigen Teilbereichen der Seite. Andere Bereiche haben davon nicht profitiert.

Stefan

Avatar Mo   
9. Juni 2009, 12:20

Hi Johannes,

ich habe das auch bei meinen Seiten beobachtet und dachte anfangs das sei ein Fehler und warte eigentlich jetzt nach Tagen noch, dass es wieder sinkt. Passiert wohl nicht. Ich glaube auch, dass es mit den größeren HDD, wie Hr. Burseg das angedeutet hat, zusammenhängt.

Avatar burseg   
9. Juni 2009, 12:31

Ich stehe hinter der S3 Theorie – unser Echelon hat entsprechende Kommunikation abgehört. Zum gröeßren Index: Müßte doch heißen, dass Google nun mehr Seiten frisch halten muss – also müßten alle Seiten mit Zuwächsen indexierter Dokumente in nächster Zeit entweder in Summe mehr Googlebots auf der Seite haben oder die Anzahl der uniquen gecrawlten Seiten steigen.
Mal drauf achten. Vielleicht hat Google durch viel weniger Longtail-Anfragen seit Google Suggest nun mehr Power für „bessere“ Longtail-Anfragen 🙂

Avatar Jan   
9. Juni 2009, 15:01

Flash wird seit längerem gelesen, nun kann auch JavaScript-Links und Formularen gefolgt werden. Das alles ist ein Trend der zeigt, dass Google sich nicht mehr an bestimmte Grenzen hält. Es passt alles in das gesamte Schema, das Google gerade fährt: crawling the invisible web.
Vorbereitet wurde das ganze bereits mit der Einführung des Canonical-Tags, der es ermöglicht duplicate content zu verhindern. Nun auch seit kurzem das Phänomenen der zusätzlich indexierten Seiten, was einen Puffer für die zusätzlich gecrawlten Seiten ermöglicht… eine art Zwischenspeicher, in dem dann die Auswahl zwischen relevant und unrelevant erfolgt.

Der Trend ist recht klar, daher werden wir neue Wege finden müssen um gezielt Prioritäten auf bestimmte Seiten zu legen. Der neue Freiheits- und Ausdehnungsdrang sprengt einfach alte Regeln.

Avatar Loewenherz   
9. Juni 2009, 23:04

Man merkt deutlich, dass sich die nofollow-Geschichte herumgesprochen zu haben scheint, wenn nun ein nofollow-Blog wie dieses mit vermutetem Trust Kommentare von „Linkaufbau-Agentur“ erhält 😉
Ansonsten habe ich auch festgestellt, dass bei zahlreichen Seiten die Zahl der indexierten Seiten nach unten geht. Insofern schert Goo nicht alles über einen Kamm. Und bei der Zahl der „indizierten Seiten“ ist weiterhin ein gewisser Teil als supplemental einzustufen, auch wenn Goo es auf den erste Blick anders erscheinen lässt und damit seinen Index zu erhöhen scheint.

Avatar Stefan   
10. Juni 2009, 02:43

kann ich bestätigen, kurzzeitig hat google wirklich alles in den index genommen – staunte nicht schlecht als bei einer fast vergessenen und so primitiv wie denkbar gemachten spamseite(die ich natürlich nur zu schulungszwecken aufgesetzt habe) plötzlich alle 20k Seiten indexiert waren… am nächsten Tag warens dann nur noch 300 😉

Avatar Markus   
10. Juni 2009, 14:03

Kleine Anmerkung:
Hat einer von euch schonmal bemerkt, das die vervielfältigten Zahlen der Seiten im Index von Anfrage zu Anfrage schwanken?
Mal sind es 180%, dann 100% und dann wieder 180% (Steigerung +/- je nach Site)

Schonmal jemand auf den Gedanken gekommen, das die Berechnung der Seitenzahlen auf EINEM (oder mehreren) aber nicht allen Servern falsch sein könnte?

Das würde zumindest erklären, warum die Zahlen je Suchanfrage (die bekanntlich fast jedes Mal auf einem anderen Server ausgeführt wird) so exakt zwischen 100% und der (beispielhaften) 180% schwanken.

Noch besser: hat jemand schon einmal auf die letzte Seite der „site:“-Anfragen geschaut? Dort erkennt man schnell, das sich nicht die tatsächliche Zahl der Seiten im Index verändert/vergrößert hat.

Meine Meinung: Es ist lediglich ein Bug (oder eine Testphase) auf einem von vielen Servern. Was haltet ihr davon?

Avatar Sasa von der Linkaufbau-Agentur   
10. Juni 2009, 23:25

@Loewenherz: Also das musste jetzt mal genauer erklären. (Aber vielleicht nicht hier, sondern am Donnerstag beim Stammtisch in Bonn?) Welche NoFollow-Geschichte hat sich wo rumgesprochen und wieso ich deswegen hier nicht mit meinem Namen kommentieren dürfte? Trust von diesem Blog? Wohl kaum via den Namenslink. Ich kommentiere aber grundsätzlich so und stehe auch dazu. Ich bin ja nicht der einzige Sasa auf dieser Welt. Fühl mich auch wohl dabei. Du nicht? Wenn es jemandem nicht passt, dass man zu dem steht was man macht, reicht ein kleiner Hinweis. Dann kann ich auch damit aufhören. Komm, du machst doch bestimmt bald eine Bücheraffiliate-Seite bei dir und rankst dann direkt für Löwenherz 😉

PS: Bei mir gibt es kein NoFollow und wird es auch nie geben.
PPS: Ja, der Name ist durchaus mit Bedacht gewählt, aber nicht deswegen, weil ich unbedingt damit hier kommentieren wollte.

Avatar Gustavos Gansos   
11. Juni 2009, 08:39

Das betrifft m.E. aber nur die Anzeige der „… von…“-Zahl. Bei den von mir geprüften kleineren Seiten (unter 100 Seiten) zumindest sieht es so aus, dass eine viel höhere Zahl angezeigt wird (auch mehr Seiten als eigentlich existent sind), aber wenn man die Google-SERPS nach und nach durchblättert, sind es am Ende plötzlich doch viel weniger.

Avatar Martin   
15. Juni 2009, 02:40

Ich habe bisher noch keine großartigen Änderungen festgestellt. Kann mir aber gut vorstellen, dass Google nun auch die unsichtbaren Inhalte angeht. PDFs, Flash und Java waren vor einigen Jahren noch völlig fremd im Index.

Avatar CleverClogs   
18. Juni 2009, 07:44

Bei mir ist ein Projekt deutlich gefallen, eines deutlich gestiegen und ein Projekt nahezu unverändert. Was heißt das dann? Im Schnitt alles geblieben.

Avatar Peter   
1. Juli 2009, 05:10

Ich habe eher den Eindruck, dass seitdem Twitter.com in den Index ‚gepresst‘ wurde, die Index-Zahl der Seiten sinkt.

Mittlerweile sind 101.000.000(!) Twitter-Seiten im Index. Vor zwei Monaten wars noch die Hälfte…

Avatar are ultram pain pills addictive   
12. März 2012, 03:14

Ms Parker,Many thanks for the incites and humor on your blog. I found you through googling page turning tips which I feel the need for later today. I’m turning for a recital of chamber music at Churchill College in Cambridge, UK. I’ve played and performed piano for 30 years but have rarely turned pages for others! I especially needed reminders of when to sit, stand and follow. What a great history of page turning you have.Thanks,Juli

Avatar cialis   
4. August 2012, 06:10

Ja wir haben es gelesen Es freut uns sehr, dass du mit unserem Angebot und Service zufrieden bist. Aus diesem Grund gehen wir jeden Tag mit einem Lächeln zur Arbeit, es motiviert uns sehr von einem Kunden soviel Lob zu bekommen.Wir werden auch weiterhin versuchen den Service auf diesem Level zu halten bzw zu steigern.DankeGrußNikolas

Avatar cheap car insurance   
7. August 2012, 05:54

Schöner Post!Ja, immer wieder das gleiche Thema…Merchants haben Angst vor den bösen Buben in der Branche und schränken dadurch die Möglichkeiten immer weiter ein und vergrätzen sich die guten.Schade eigentlich, wo doch soviel Potential in diesen Geschäftsmodellen steckt.

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.