Googlebot crawled FTP

Johannes Beus
Bei einem Blick auf die Logfiles eines FTP-Server ist mir aufgefallen, dass der Googlebot (neuerdings?) auch Interesse an FTP-Servern zeigt und sich anmeldet:
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Neue Verbindung von crawl-66-249-65-35.googlebot.com.
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Anonymer Benutzer angemeldet.
Mar 26 06:54:41 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [INFO] Logout.

In einigen Fällen hat Google sogar Dateien runtergeladen:
Mar 26 19:15:02 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [NOTICE] /home/ftp/xxx/xxx.html heruntergeladen. (5828 bytes, 400.05KB/sec)

Ist das schon länger so und mir nur nie aufgefallen? Und werden die Daten in den Index eingespielt?

Johannes Beus

 Johannes Beus, Gründer und Geschäftsführer von SISTRIX, beschäftigt sich seit 2001 mit der Optimierung von Webseiten für Suchmaschinen. Auf einem der ältesten deutschsprachigen SEO-Blog veröffentlicht er seit 2003 regelmäßig Zusammenfassungen eigener Auswertungen und Einschätzungen des SEO-Marktes.
Eintrag geschrieben am 27.03.2006 um 13:55 Uhr - Trackback setzen
Gerald Steffens
1
Gerald Steffens
schrieb am 04.04.2006 um 21:06 Uhr
das ist ja finster. die daten gehen sicher an cia und co ;-)


Kommentieren?

mehr
Die Kommentare für diesen Beitrag wurden geschlossen. Angemeldete Benutzer haben weiterhin die Möglichkeit, auch ältere Beiträge zu kommentieren. Jetzt kostenlos anmelden