Spider Trap jetzt in Version 1.0

Johannes Beus
Spider Trap, ein Projekt von Thomas Zeithaml - vielen aus Foren auch unter dem Pseudonym jr-ewing bekannt - liegt nun in Version 1.0 vor. Spider-Trap erkennt Crawler, die sich nicht an die Vorgaben der robots.txt halten und sperrt den Zugriff für die betreffenden IP-Adressen automatisch. In der jetzigen ersten "vollen" Version sind zahlreiche Verbesserungen und neue Features eingeflossen, es lohnt sich also, mal einen Blick draufzuwerfen.

Johannes Beus

 Johannes Beus, Gründer und Geschäftsführer von SISTRIX, beschäftigt sich seit 2001 mit der Optimierung von Webseiten für Suchmaschinen. Auf einem der ältesten deutschsprachigen SEO-Blog veröffentlicht er seit 2003 regelmäßig Zusammenfassungen eigener Auswertungen und Einschätzungen des SEO-Marktes.
Eintrag geschrieben am 22.01.2007 um 13:46 Uhr - Trackback setzen - Tags: Crawler Tools

Kommentieren?

mehr
Die Kommentare für diesen Beitrag wurden geschlossen. Angemeldete Benutzer haben weiterhin die Möglichkeit, auch ältere Beiträge zu kommentieren. Jetzt kostenlos anmelden