Wann ist die gemeinsame Verwendung der Meta-Robots Werte NOINDEX und FOLLOW sinnvoll?

Die Werte des Meta-Elements „robots“ werden nur von den Crawlern der Suchmaschinen interpretiert. In den meisten Fällen werden die Werte „INDEX“ und „FOLLOW“ verwendet, um den Crawler anzuweisen, die vorliegende Seite in den Index aufzunehmen und allen auffindbaren Links zu folgen.

Durch diese Angabe im Quellcode wird die Seite in den Index aufgenommen und alle Links gecrawlt:

<meta name="robots" content="index, follow">

Nutzen/Zweck des Wertes NOINDEX

Möchte man eine spezifische URL nicht im Google-Index (oder im Index einer anderen Suchmaschine) haben, so sollte man den Wert des Meta-Elements „robots“ auf NOINDEX setzen.

Durch folgende Angabe im Quellcode wird die Seite nicht den Index aufgenommen:

<meta name="robots" content="noindex">

Sind die Werte NOINDEX und FOLLOW zusammen sinnvoll?

Hierbei kommt es natürlich auf den verfolgten Zweck an. In welchem Falle würde man eine Seite nicht im Index der Suchmaschine, jedoch alle auf ihr befindlichen Links gecrawlt haben wollen?

Ein schönes Beispiel hat bereits Matt Cutts im Rahmen seiner Google Webmaster-Videos gegeben:

Angenommen Du hast eine HTML-Sitemap mit einigen hundert internen Links. Diese Sitemap ist, aus welchen Gründen auch immer, grafisch nicht ansprechend gestaltet und somit für den User nicht besonders nützlich. Ein User wäre demnach nicht sonderlich glücklich, wenn er aus den Suchergebnissen heraus auf diese Seite verwiesen werden würde. Um dies zu verhindern, jedoch den Suchmaschinen die Möglichkeit zu geben allen auf dieser Seite verfügbaren Links zu folgen, kann der Wert NOINDEX zusammen mit FOLLOW verwendet werden.

Durch diese Angabe im Quellcode wird die Seite nicht den Index aufgenommen, jedoch alle auf ihr befindlichen Links gecrawlt:

<meta name="robots" content="noindex, follow">

 
Ein weiteres mögliches Anwendungs-Szenario könnten Tag-Seiten von Blogs sein:

In einigen Fällen berichteten Webmaster, dass die Tag-Seiten ihres Blogs besser rankten als zugehörige Artikel. Die Tag-Seiten rankten meist 2-3 Positionen über den zugehörigen Artikeln. Nachdem die Tag-Seiten auf „noindex“ und „follow“ gesetzt waren, verbesserte sich das Ranking der Artikel um die besagten 2-3 Positionen.

Videoerklärung von Matt Cutts / Google zum Thema (engl.)