crawler

Wie geht der Optimizer Crawler mit NOINDEX und NOFOLLOW um?

Der Optimizer Crawler ist so angelegt, dass er den Googlebot so gut wie möglich beim Crawlen der Seite nachahmt, um euch alle möglichen Probleme aufzuzeigen. Bei er Frage wie wir mit den Angaben NOINDEX und NOFOLLOW auf Webseiten umgehen müssen wir zwischen den beiden Einstellungen unterscheiden: NOINDEX Durch das Setzten […]

Wieso greift der Optimizer-Crawler jede Minute auf meine Seite zu?

Eine Funktion des SISTRIX Optimizers ist eine regelmäßige Überprüfung der Erreichbarkeit Deines Projektes. Dafür rufen wir die Startseite einmal pro Minute auf, um sicherzugehen, dass die Erreichbarkeit durchgehend korrekt gemessen wird. Diese Zugriffe finden mit diesem Useragent statt: ‚Mozilla/5.0 (compatible; SISTRIX Optimizer; Uptime; +https://www.sistrix.com/faq/uptime)‘ In den Projekt-Einstellungen (Projekt-Management > Crawler) […]

Wie häufig läuft der Optimizer-Crawler?

Der Crawler des Optimizers wird automatisch einmal pro Woche gestartet. Wenn seit dem letzten Durchlauf sieben Tage vergangen sind, startet das System den Crawler automatisch. Zusätzlich ist es möglich, den Crawler manuell neu zu starten. Unter dem Navigationspunkt „Onpage“ befindet sich dazu ein entsprechender Button. Diese zusätzlichen Crawls sind selbstverständlich […]

Wo kann ich im Optimizer den Crawl manuell neu anstoßen?

Du kannst im jeweiligen Projekt, oben in der blauen Navigationsleiste, auf das Onpage tab klicken um auf die Projekt-Onpage Information zu gelangen. Dort findet sich der grüne „Crawler neu starten“ Button, über den man den Crawl manuell neu anstoßen kann.

Wie heißt der Optimizer-Crawler?

Der Crawler für die Erfassung deiner Homepage im Optimizer nutzt standardmäßig folgenden User-Agent: Mozilla/5.0 (compatible; Optimizer; http://crawler.sistrix.net/) Du kannst den User-Agent in den „Projekt-Einstellungen“ unter „Crawling“ nach deinen Wünschen und Erfordernissen anpassen. Ab dem nächsten Crawl-Durchlauf nutzen wir fortan den von dir eingegeben User-Agent. Die Zugriffe des Optimizer-Crawlers finden immer […]

Kostenlosen Testaccount jetzt aktivieren

Aktiviere jetzt deinen kostenlosen Testaccount für die SISTRIX Toolbox. Garantiert ohne Kosten und unverbindlich. Jetzt aktivieren!