Googlebot crawled FTP

Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Bei einem Blick auf die Logfiles eines FTP-Server ist mir aufgefallen, dass der Googlebot (neuerdings?) auch Interesse an FTP-Servern zeigt und sich anmeldet:

Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Neue Verbindung von crawl-66-249-65-35.googlebot.com.
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Anonymer Benutzer angemeldet.
Mar 26 06:54:41 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [INFO] Logout.

In einigen Fällen hat Google sogar Dateien runtergeladen:

Mar 26 19:15:02 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [NOTICE] /home/ftp/xxx/xxx.html heruntergeladen. (5828 bytes, 400.05KB/sec)

Ist das schon länger so und mir nur nie aufgefallen? Und werden die Daten in den Index eingespielt?

Ähnliche Beiträge
Kommentare
Avatar Gerald Steffens   
4. April 2006, 21:06

das ist ja finster. die daten gehen sicher an cia und co 😉

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.