New Tag in Town: X-Robots

Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Seit Google der Ankündigung Yahoos, Metatags künftig auch in HTTP-Headern zu unterstützen, gefolgt ist, wird es höchste Zeit, sich Gedanken über Einsatzmöglichkeiten und Auswirkungen zu machen. Im Grunde geht es darum, dass Anweisungen, die Suchmaschinencrawlern bisher über einen Meta-Tag imder HTML-Seite bekamen, nun auch innerhalb des HTTP-Headers übermittelt werden können.

Der HTTP-Header unterscheidet sich insofern vom Head-Bereich der HTML-Datei, als dass er für Seitenbesucher im Regelfall noch „unsichtbarer“ ist. Muss man, um den Head-Bereich zu betrachten, lediglich in die Quelltextansicht des Browsers (Strg+U für Firefox) wechseln, bedarf es für den HTTP-Header externer Plugins oder Tools. Für den Firefox gibt es hier das empfehlenswerte Plugin LiveHTTPHeaders, als Onlinetool haben wir einen HTTP-Header-Viewer in unserem Toolbereich online. Um sich einen Eindruck von der generellen Einbindung des X-Robots-Tags zu machen, habe ich hier eine Beispieldatei online gestellt: x-robots-demo.php (PHP-Source)

Welche Vorteile ergeben sich nun durch diesen Header-Tag? Bislang war es so, dass man die Meta-Tags nur dort einsetzen konnte, wo es auch einen HTML-Head-Bereich gab – für viele Dateitypen wie PDFs, Bilder oder herunterladbare Dateien gab es diese Möglichkeit der Robotsteuerung auf Dateiebene also nicht. Wollte man PDFs von der Indexierung ausschließen, musste für diese regelmäßig ein eigener Ordner, der per robots.txt gesperrt war, angelegt werden. Weitergehende Steuerungsmöglichkeiten, wie „noindex, follow“ waren nicht möglich – der X-Robots-Tag ermöglichst hier nun erstmals eine Steuerrung der Indexerung auf Dateiebene. Allerdings muss man auch bedenken, dass ein weiterer Punkt zu der Überprüfung, ob ein Link für Suchmaschinen „LinkJuice“ vererbt hinzukommt. War es bislang ausreichend, auf „rel=‘nofollow‘“ auf Linkebene sowie „meta-nofollow“ auf Seitenebene zu prüfen, ist nun zusätzlich die Überprüfung der HTTP-Header vorzunehmen.

Ähnliche Beiträge
Kommentare
Avatar chrizz   
25. Januar 2008, 11:14

danke für den Denkanstoß bzw. besser gesagt die Erinnerung. Ich hätte das schon wieder total vergessen 😉
Was ich mich jetzt aber gerade frage: Wenn du mittels HTTP-Header ein PDF mit noindex versehen willst, dann musst du doch theoretisch jeden Aufruf des PDFs über eine PHP Datei umleiten, oder mach ich da jetzt nen Denkfehler?

schöne Grüße nach Bonn 🙂
chrizz

Johannes   
25. Januar 2008, 11:24

chrizz, HTTP-Header via PHP zu setzen ist ja nur eine Möglichkeit. Du kannst genauso gut die .htaccess dafür nutzen:

<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</Files>

Avatar chrizz   
25. Januar 2008, 11:58

wieder was gelernt… und das auf’m Freitag 😉

Dank dir & nen schönes WE!

Avatar Pelle Boese   
25. Januar 2008, 18:59

Danke für den Hinweis, das ist ja mal was! Übrigens ziehe ich Tamper Data (https://addons.mozilla.org/de/firefox/addon/966) dem LiveHTTPHeaders-Plugin vor.

Avatar Tobias Schwarz   
26. Januar 2008, 00:40

Ich denke der größte Vorteil von einem solchen Tag ist, dass Seiten – sofern diese auf noindex stehen – erst garnicht mehr gelesen werden müssen, da der Head einer Seite auch seperat vom Content gezogen werden kann. Gerade beim crawlen großer Seiten lässt sich somit für alle beteiligten eine Menge Traffic spaaren…

Avatar Olaf   
30. Januar 2008, 12:21

Ich will ja nix sagen, aber die Server-seitigen Header-Tags werden schon lange von den Suchmaschinen benutzt. Es reicht also vollkommen aus den normalen Robots-Tag als Header mit seinen Einstellungen zu schicken. Mag sein, dass jetzt auch noch ein X-Robots-Tag dazugekommen ist, aber mit dem Robots-Tag ging das schon vorher. Übrigends gilt gleiches für Language und andere Header-Tags.

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.