Der Crawler für die Erfassung deiner Homepage im Optimizer nutzt standardmäßig folgenden User-Agent:
Mozilla/5.0 (compatible; Optimizer; http://crawler.sistrix.net/)
Du kannst den User-Agent in den Einstellungen deines Projektes unter „Onpage-Crawler: Experteneinstellungen“ nach deinen Wünschen und Erfordernissen anpassen. Ab dem nächsten Crawl-Durchlauf nutzen wir fortan den von dir eingegeben User-Agent.
Die Zugriffe des Optimizer-Crawlers finden immer über eine IP-Adresse statt, deren Reverse-DNS-Eintrag auf *.crawler.sistrix.net auflöst. So kannst du sicherstellen, dass diese Zugriffe auch wirklich von uns kommen und niemand unseren User-Agent missbraucht.
