Manchmal ist es sinnvoll, zu verhindern, dass Unterseiten in Suchergebnissen erscheinen. Dann kommt der Robots-Meta-Tag ins Spiel. Hier gehen wir darauf ein, was sich dahinter verbirgt und wie du den Tag richtig verwendest.
Ein Robots-Meta-Tag ist ein Stück HTML, das Suchmaschinen Anweisungen gibt, wie sie eine Seite crawlen oder indexieren sollen. In den meisten Fällen sollen Robots-Meta-Tags eine Indexierung verhindern. Du kannst sie aber auch für andere Zwecke verwenden.
Wie sieht der Robots-Meta-Tag aus?
Einen Robots-Meta-Tag setzt du in den Heads-Bereich der betreffenden Seite ein.
Der Tag selbst sieht folgendermaßen aus:
<meta name="robots" content="noindex" /> Wenn du ein CMS wie WordPress nutzt, verwendest du stattdessen SEO-Plugins wie YOAST Seo.
Die Attribute name und content
An obigem Beispiel siehst du, dass sich der Robots-Meta-Tag aus zwei Attributen zusammensetzt: name und content.
Diesen Attributen lassen sich unterschiedliche Werte zuordnen:
- name-Attribut: Durch das name-Attribut machst du klar, welchen Crawler der Robots-Meta-Tag anspricht. Willst du nur den Web-Crawler von Google adressieren, gibst du „googlebot“ ein. „robots“ gilt für alle Crawler.
Du möchtest mehrere Crawler ansprechen? Verwende mehrere Meta-Tags. Dann sieht das Ergebnis zum Beispiel so aus:
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">- content-Attribut: Über das content-Attribut gibst du dem Crawler Anweisungen. noindex bedeutet zum Beispiel, dass eine Seite nicht in den Suchergebnissen erscheinen soll und nofollow, dass der Crawler den Links auf der Seite nicht folgen soll. Diese beiden Werte sind besonders verbreitet. Davon abgesehen gibt es aber eine Reihe weiterer Spezifikationen.
Wozu dient der Meta-Robots-Tag? – Anwendungsfälle
Das zentrale Ziel von SEO besteht darin, dass Inhalte gut ranken. Allerdings gibt es Fälle, in denen Inhalte am besten gar nicht in den Suchergebnissen erscheinen:
- Seiten haben keine Inhalte, die für Besucher wertvoll sind (zum Beispiel Adminseiten).
- Wenn die Suchmaschine alle Inhalte indexiert, entsteht Duplicate Content.
- Du willst eine Seite überarbeiten und sie vorübergehend „unsichtbar“ machen.
- Es liegen urheberrechtsgeschützte Inhalte vor.
Je größer eine Webseite ist, desto häufiger kommt es zu solchen Fällen und desto wichtiger werden Robots-Meta-Tags. Allerdings ist es spätestens dann wichtig, auch über andere Möglichkeiten Bescheid zu wissen, das Crawling zu beeinflussen. Zum Beispiel über den richtigen Umgang mit der robot-txts und Canonical Tags oder X-Robots-Tags. Denn jede davon eignet sich für andere Anwendungsbereiche.
Außerdem kannst du mit Meta-Robots-Tags auch das Aussehen von Snippets oder der Bildvorschau beeinflussen.
Wichtig: Um Robots-Tags auszulesen, darf das Crawling der Seite nicht in einer robots.txt verboten sein. Sonst besteht die Gefahr, dass sie doch in den Suchergebnissen auftaucht.
