Der Optimizer Crawler ist so angelegt, dass er den Googlebot so gut wie möglich beim Crawlen der Seite nachahmt, um euch alle möglichen Probleme aufzuzeigen. Bei er Frage wie wir mit den Angaben NOINDEX und NOFOLLOW auf Webseiten umgehen müssen wir zwischen den beiden Einstellungen unterscheiden:
NOINDEX
Durch das Setzten des Meta Robots Tags auf NOINDEX im Header der Seite – <meta name="robots" content="noindex"> – wird Google darum gebeten die gecrawlte Seite nicht in den Suchindex aufzunehmen. Damit Google den Tag sehen und auswerten kann, muss die Seite jedoch erst gecrawlt werden. Genau dies tun wir auch im Optimizer. Seiten mit NOINDEX im Header werden regulär gecrawlt und dann bei allen weiteren Auswertungen im Optimizer ignoriert.
Wir zeigen euch alle Seiten mit NOINDEX im Hinweis „Nicht indexierbare Inhalte“ an. Ihr könnt dann prüfen, ob das auch wirklich so gewünscht ist. Seiten die auf NOINDEX stehen werden von Google nicht in den Index übernommen und können damit auch nicht für das Ranking in Betracht gezogen werden.
NOFOLLOW
Bei der NOFOLLOW Anweisung handelt es sich um einen Hinweis an Google, dass einem einzelnen Link – wenn das Attribut rel=“nofollow“ im <a >-Tag des Links genutzt wird – oder allen Links einer Seite – wenn im Header der Seite <meta name="robots" content="nofollow"> steht – nicht gefolgt und damit auch kein Vertrauen darüber vererbt werden soll.
Im Optimizer haben wir uns dazu entschlossen, Links mit NOFOLLOW zu crawlen und auszuwerten. Das hat zum einen damit zu tun, dass häufig Seiten, deren Links intern auf „nofollow“ stehen, trotzdem von Google gecrawlt werden. Das liegt dann meistens daran, dass diese Seiten Links von aussen bekommen oder es intern doch einzelne Links gibt die nicht mit NOFOLLOW getaggt wurden. Zum anderen gibt es leider viele CMS Plugins die es Webmastern einfach macht, ungewollt Links auf NOFOLLOW zu stellen.
Wir möchten die Webseite umfänglich crawlen und euch auf so viele mögliche Fallstricke hinweisen wie es uns möglich ist. Aus diesem Grund folgen wir internen Links die auf NOFOLLOW stehen und analysieren die dahinterliegende Seite, als ob sie regulär verlinkt worden wäre. Wir zeigen euch zudem die Warnung „Viele Nofollow Links“, wenn wir zu viele interne NOFOLLOW Links finden. Es gibt keinerlei Vorteile interne Links auf NOFOLLOW zu setzen.
