Googlebot crawled FTP

Johannes Beus
Johannes Beus
27. März 2006
Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Bei einem Blick auf die Logfiles eines FTP-Server ist mir aufgefallen, dass der Googlebot (neuerdings?) auch Interesse an FTP-Servern zeigt und sich anmeldet:

Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Neue Verbindung von crawl-66-249-65-35.googlebot.com.
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Anonymer Benutzer angemeldet.
Mar 26 06:54:41 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [INFO] Logout.

In einigen Fällen hat Google sogar Dateien runtergeladen:

Mar 26 19:15:02 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [NOTICE] /home/ftp/xxx/xxx.html heruntergeladen. (5828 bytes, 400.05KB/sec)

Ist das schon länger so und mir nur nie aufgefallen? Und werden die Daten in den Index eingespielt?

Ähnliche Beiträge
Kommentare
Gerald Steffens   
4. April 2006, 21:06

das ist ja finster. die daten gehen sicher an cia und co 😉

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.

Kostenlosen Testaccount jetzt aktivieren

Aktiviere jetzt deinen kostenlosen Testaccount für die SISTRIX Toolbox. Garantiert ohne Kosten und unverbindlich. Jetzt aktivieren!