Wie heißt der Crawler für die Onpage-Projekte?

Der Crawler für die Erfassung deiner Homepage in den Onpage-Projekten von SISTRIX nutzt standardmäßig folgenden User-Agent:

Mozilla/5.0 (compatible; Optimizer; http://crawler.sistrix.net/)

Du kannst den User-Agent in den Einstellungen deines Projektes unter „Onpage-Crawler: Experteneinstellungen“ (bei aktivem Expertenmodus) nach deinen Wünschen und Erfordernissen anpassen. Ab dem nächsten Crawl-Durchlauf nutzen wir fortan den von dir eingegeben User-Agent.

Die Experten-Crawling-Einstellungen in einem SISTRIX Onpage-Projekt

Die Zugriffe des Onpage-Crawlers finden immer über eine IP-Adresse statt, deren Reverse-DNS-Eintrag auf *.crawler.sistrix.net auflöst. So kannst du sicherstellen, dass diese Zugriffe auch wirklich von uns kommen und niemand unseren User-Agent missbraucht.

18.08.2023