Der Crawler für die Erfassung deiner Homepage in den Onpage-Projekten von SISTRIX nutzt standardmäßig folgenden User-Agent:
Mozilla/5.0 (compatible; Optimizer)
Du kannst den User-Agent in den Einstellungen deines Projektes unter „Onpage-Crawler: Experteneinstellungen“ (bei aktivem Expertenmodus) nach deinen Wünschen und Erfordernissen anpassen. Ab dem nächsten Crawl-Durchlauf nutzen wir fortan den von dir eingegeben User-Agent.
Die Zugriffe des Onpage-Crawlers finden immer über eine IP-Adresse statt, deren Reverse-DNS-Eintrag auf *.crawler.sistrix.net auflöst. So kannst du sicherstellen, dass diese Zugriffe auch wirklich von uns kommen und niemand unseren User-Agent missbraucht.
