Noodp nicht über X-Robots-Header

Johannes Beus
Johannes Beus
16. Juni 2009
Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Eigentlich ist das Thema keinen eigenen Blogpost wert, aber für die paar Twitter-Zeichen dann doch wieder zu lang. Die großen Suchmaschinen (ließ: „Google“) haben vor einiger Zeit die Möglichkeit eröffnet, Anweisungen an den Crawler nicht nur in einen Meta-Tag, sondern auch in den HTTP-Header zu packen. Hier hatte ich zu dem Thema mal etwas geschrieben. Das funktioniert im Prinzip auch wunderbar, ich nutze das Feature gerne und häufig.

Heute ist mir jedoch aufgefallen, dass die Umsetzung wohl nicht so ganz sauber implementiert ist: während Anweisungen wie „noarchive“ problemlos umgesetzt werden, ignoriert Google ein „noodp“, das dafür sorgen soll, dass das Snippet aus dem Seiteninhalt und nicht mit dem Dmoz-Text erstellt werden soll. Schön sehen kann man das hier im Blog, zuerst die HTTP-Header mit der X-Robots-Anweisung:

NoOdp via X-Robots-Header
Und hier das aktuelle Snippet aus den Google-SERPs zu SEO-Blog mit dem Text aus dem Dmoz:

NoOdp via X-Robots-Header
Fehler oder gewollt? Mir fällt jedenfalls kein plausibler Grund für zweitere Möglichkeit ein.

Ähnliche Beiträge
Kommentare
wojcik   
16. Juni 2009, 12:44

Ist das nicht so, das du jeden X-Robots Tag seperat angeben musst, also praktisch zwei mal einen X-Robots-Tag (Noarchive und einen für Noodp)

Johannes   
16. Juni 2009, 12:47

wojcik, Google selber hat die Notation mit dem Komma im Googebot damals so vorgestellt, gehe deswegen mal davon aus, dass das richtig ist: http://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html

marokus   
16. Juni 2009, 12:50

RT: @sistrix: [Blog] Noodp nicht über X-Robots-Header http://tinyurl.com/kt6r4s

wojcik   
16. Juni 2009, 12:52

Stimmt… Hmmm Google is doof 😀

Johannes   
16. Juni 2009, 12:56

DAS steht seit jeher ausser Frage 😉

wojcik   
16. Juni 2009, 12:56

Wird Noodp überhaupt über X-Robots Header unterstützt konnte da nix finden?

Johannes   
16. Juni 2009, 12:58

Davon gehe ich mal aus: „Simply add any supported META tag to a new X-Robots-Tag directive in the HTTP Header used to serve the file.“ – Es wird also alles unterstützt, was man auch in den Meta-Tag schreiben kann.

Radicke   
16. Juni 2009, 13:17

spannend finde ich auch, ob der „unavailable after“ Tag funktioniert:

Ich kann mir das so nicht vorstellen, dass man google sagen kann: Ach bitte, am 25. August um Mitternacht, bitte diese Seite aus dem Index nehmen…

Hat das jemand (Johannes?) schon mal getestet?

wojcik   
16. Juni 2009, 13:18

Hmmm dann würde ich mal sagen, das Google da wohl ein Problem hat mit dem erkennen. Für mich sieht der X-Robots Header bei dir auch ordentlich gesetzt.

Kein Plan, ist aber auf jeden Fall wirklich sehr merkwürdig…

dermatze   
16. Juni 2009, 15:57

Evtl. liegt es auch an der Schreibweise. Schonmal probiert noodp als erstes zu setzen? Vielleicht auch ohne Leerzeichen oder einfach nur den Header zweimal mit je einer Anweisung setzen?

Gruß Matze

Loewenherz   
17. Juni 2009, 11:02

Bei der Website eines Kunden ignoriert Google auch schon seit Monaten das noodp im Meta-Tag. Nervt…

CleverClogs   
18. Juni 2009, 07:40

Das macht Google nur, dass du was zu schreiben hast 😉
Mein noodp ist auch jedem egal, mir mittlerweile auch.

Roman   
19. Juni 2009, 11:05

habe nichts anderes von der Tante erwartet ;o) erlebte auch schon vor Jahren Zwischenfälle, wo ich „heikle“ Seiten via robots.txt ausgeschlossen habe und die trotzdem in Google auftauchten, sogar URLs mit vorgefertigten GET-Parametern, welche persönliche Angaben (mailadresse, name, etc) automatisch in die form-fields setzten, genau das, was ich eigentlich nicht haben wollte…

Projekte und Programme innerhalb geplanter Budgets   
21. Juni 2009, 14:44

Google nie etwas sagen, aber Google immer Dinge ….

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.

Kostenlosen Testaccount jetzt aktivieren

Aktiviere jetzt deinen kostenlosen Testaccount für die SISTRIX Toolbox. Garantiert ohne Kosten und unverbindlich. Jetzt aktivieren!