Echtheit der MSN-Bots feststellen

Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Nach Google hat jetzt auch MSN eine Methode implementiert, um die Echtheit der MSN-Bots zu bestätigen. Grund hierfür ist vermutlich, dass mittlerweile eine Vielzahl der Scraperbots die Useragents der großen Suchmaschinen nutzen, um nicht aufzufallen. Die Überprüfung läuft, wie bei Google, über DNS- und Reverse-DNS-Auflösung. So ist dies zum Beispiel eine typischer Zugriff des MSN-Bots

64.4.8.131 - - [30/Nov/2006:07:19:03 +0100] "GET /robots.txt HTTP/1.0" 200 76 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"

Die Auflösung der IP ergibt nun

hades:~# host 64.4.8.131
Name: livebot-64-4-8-131.search.live.com
Address: 64.4.8.131

Nun noch prüfen, ob der Host auch auf die IP zeigt, und die Echtheit ist bestätigt:

hades:~# host livebot-64-4-8-131.search.live.com
livebot-64-4-8-131.search.live.com A 64.4.8.131

Passt also und die Echtheit für diesen Zugriff ist gegeben.

Das System basiert, wie bei Google auf der Tatsache, dass den Reverse-DNS-Eintrag zwar jeder so setzen kann, wie er mag – auf die Zonefiles, die von Host zu IP auflösen aber nur der Inhaber der Domain Zugriff hat.

Wem die Überprüfung von Hand zu lange dauert, der kann dieses schnell geschriebene Tool nutzen: Echtheit eines Botzugriff überprüfen. Bitte jedoch beachten, dass bei Microsoft noch nicht alle Reverse-Einträge gesetzt sind und es deswegen am Anfang noch zu Fehlalarmen kommen kann.

Ähnliche Beiträge
Kommentare
Avatar Wingerter   
7. März 2011, 13:50

schade, toolpage=404

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.