Neu registrieren / Login

Wie optimiere ich eine Seite für das "Deep Web"-Crawling?

 
 

Video Video

You need Flash player 8+ and JavaScript enabled to view this video.
 
 

Zusammenfassung Zusammenfassung

Frage: „Wie sehen Googles Pläne zur Indexierung des Deep Webs aus? Gibt es optimale Vorgehensweisen hinsichtlich der Erstellung von Formularen um diese Indexierung zu optimieren?“

Antwort: Wenn es möglich ist die Datenbankinformationen als HTML Sitemap oder ähnlichem für alle Besucher zugänglich zu machen, müsste Google keine Formulare ausfüllen. Ist dies jedoch nicht möglich, gibt es eine Abhandlung die für die VLDB Konferenz geschrieben würde, welche im Detail über die Vorgehensweisen der Deep Web Indexierung berichtet.
0:00
Hier haben wir eine Frage aus Brighton. Danny fragt: “ Wie sehen Googles Pläne zur Indexierung des Deep Webs aus? Gibt es optimale Vorgehensweisen hinsichtlich der Erstellung von Formularen um diese Indexierung zu optimieren?“

0:11
Exzellente Frage. Vor kurzem haben wir eine Abhandlung in VLDB veröffentlicht (Google's Deep-Web Crawl; zusätzlich: Harnessing the Deep Web: Present and Future), was soweit ich weiß für „Very Large Data Bases“ steht, in der wir uns mit genau diesen Kriterien auseinander gesetzt haben. Es geht darin um all die Situationen, in denen wir versuchen, diese Indexierung gefahrlos durchzuführen, so dass wir, wenn die Seitenbetreiber es nicht wollen dass wir bestimmte Formulare crawlen, diese Formulare auch nicht crawlen. Es gibt also ein paar simple Dinge die Sie tun können.

0:28
Sie können anstelle eines Textfeldes das ausgefüllt werden muss, ein drop-down benutzen welches hilfreicher ist. Außerdem machen Sie es uns leichter wenn Sie nicht unbedingt ein riesiges Formular mit 20 oder so Einträgen bereitstellen, sondern ein oder zwei drop-downs zum auswählen haben.

0:44
Ich möchte Sie definitiv dazu anspornen diese Abhandlung zu lesen. Es geht darin nicht um irgendwelche super-vertraulichen Geheimnisse und Sie haben immer die Möglichkeit Ihre Seite so zu gestalten, dass sie gar nicht zum Deep Web gezählt wird. Wenn Sie eine HTML Sitemap für die Seiten Ihrer Datenbank erstellen, so dass sich Ihre Besucher auf alle Seiten Ihres Projektes entweder durchklicken können oder sich anhand von Geographischen Bereichen dorthinbewegen können, dann müssen wir auch keine Formulare ausfüllen. Google ist außerdem, anders als so manch andere Suchmaschine, eine ziemlich gute Firma wenn es darum geht das Deep Web durch Formulare zu indexieren.

1:11
Wenn Sie es also hin bekommen, Ihre Datenbank so preis zu geben, dass Besucher alle Seiten Ihres Projekts durch einfaches anklicken und nicht durch ausfüllen eines Formulars erreichen können, dann eröffnen Sie auch einem viel größerem Publikum den Zugang zu Ihrer Seite.

1:22
Wenn es Ihnen also möglich ist so etwas zu tun, würde ich Ihnen dies empfehlen. Sollte Ihnen diese Möglichkeit nicht zur Verfügung stehen, würde ich Ihnen die Abhandlung die wir für die VLDB Konferenz geschrieben haben ans Herz legen, in welcher sich das Team detaillierter mit dieser Problematik beschäftigt.