Noodp nicht über X-Robots-Header

Johannes Beus
Johannes Beus
Johannes Beus ist Gründer und Geschäftsführer von SISTRIX.

Eigentlich ist das Thema keinen eigenen Blogpost wert, aber für die paar Twitter-Zeichen dann doch wieder zu lang. Die großen Suchmaschinen (ließ: „Google“) haben vor einiger Zeit die Möglichkeit eröffnet, Anweisungen an den Crawler nicht nur in einen Meta-Tag, sondern auch in den HTTP-Header zu packen. Hier hatte ich zu dem Thema mal etwas geschrieben. Das funktioniert im Prinzip auch wunderbar, ich nutze das Feature gerne und häufig.

Heute ist mir jedoch aufgefallen, dass die Umsetzung wohl nicht so ganz sauber implementiert ist: während Anweisungen wie „noarchive“ problemlos umgesetzt werden, ignoriert Google ein „noodp“, das dafür sorgen soll, dass das Snippet aus dem Seiteninhalt und nicht mit dem Dmoz-Text erstellt werden soll. Schön sehen kann man das hier im Blog, zuerst die HTTP-Header mit der X-Robots-Anweisung:


Und hier das aktuelle Snippet aus den Google-SERPs zu SEO-Blog mit dem Text aus dem Dmoz:


Fehler oder gewollt? Mir fällt jedenfalls kein plausibler Grund für zweitere Möglichkeit ein.

Ähnliche Beiträge
Kommentare
Avatar wojcik   
16. Juni 2009, 12:44

Ist das nicht so, das du jeden X-Robots Tag seperat angeben musst, also praktisch zwei mal einen X-Robots-Tag (Noarchive und einen für Noodp)

Avatar Johannes   
16. Juni 2009, 12:47

wojcik, Google selber hat die Notation mit dem Komma im Googebot damals so vorgestellt, gehe deswegen mal davon aus, dass das richtig ist: http://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html

Avatar marokus   
16. Juni 2009, 12:50

RT: @sistrix: [Blog] Noodp nicht über X-Robots-Header http://tinyurl.com/kt6r4s

Avatar wojcik   
16. Juni 2009, 12:52

Stimmt… Hmmm Google is doof 😀

Avatar Johannes   
16. Juni 2009, 12:56

DAS steht seit jeher ausser Frage 😉

Avatar wojcik   
16. Juni 2009, 12:56

Wird Noodp überhaupt über X-Robots Header unterstützt konnte da nix finden?

Avatar Johannes   
16. Juni 2009, 12:58

Davon gehe ich mal aus: „Simply add any supported META tag to a new X-Robots-Tag directive in the HTTP Header used to serve the file.“ – Es wird also alles unterstützt, was man auch in den Meta-Tag schreiben kann.

Avatar Radicke   
16. Juni 2009, 13:17

spannend finde ich auch, ob der „unavailable after“ Tag funktioniert:

Ich kann mir das so nicht vorstellen, dass man google sagen kann: Ach bitte, am 25. August um Mitternacht, bitte diese Seite aus dem Index nehmen…

Hat das jemand (Johannes?) schon mal getestet?

Avatar wojcik   
16. Juni 2009, 13:18

Hmmm dann würde ich mal sagen, das Google da wohl ein Problem hat mit dem erkennen. Für mich sieht der X-Robots Header bei dir auch ordentlich gesetzt.

Kein Plan, ist aber auf jeden Fall wirklich sehr merkwürdig…

Avatar dermatze   
16. Juni 2009, 15:57

Evtl. liegt es auch an der Schreibweise. Schonmal probiert noodp als erstes zu setzen? Vielleicht auch ohne Leerzeichen oder einfach nur den Header zweimal mit je einer Anweisung setzen?

Gruß Matze

Avatar Loewenherz   
17. Juni 2009, 11:02

Bei der Website eines Kunden ignoriert Google auch schon seit Monaten das noodp im Meta-Tag. Nervt…

Avatar CleverClogs   
18. Juni 2009, 07:40

Das macht Google nur, dass du was zu schreiben hast 😉
Mein noodp ist auch jedem egal, mir mittlerweile auch.

Avatar Roman   
19. Juni 2009, 11:05

habe nichts anderes von der Tante erwartet ;o) erlebte auch schon vor Jahren Zwischenfälle, wo ich „heikle“ Seiten via robots.txt ausgeschlossen habe und die trotzdem in Google auftauchten, sogar URLs mit vorgefertigten GET-Parametern, welche persönliche Angaben (mailadresse, name, etc) automatisch in die form-fields setzten, genau das, was ich eigentlich nicht haben wollte…

Avatar Projekte und Programme innerhalb geplanter Budgets   
21. Juni 2009, 14:44

Google nie etwas sagen, aber Google immer Dinge ….

Die Kommentarfunktion wird 30 Tage nach der Veröffentlichung des Beitrags deaktiviert.