Das Meta-Robots-Tag und seine Bedeutung für SEO
Das Meta-Robots-Tag steht im head-Bereich einer HTML-Seite und gibt Suchmaschinen Anweisungen, vor allem Google. Hier kann gesteuert werden, ob die betreffende Seite (URL) indiziert und ob den aufgefundenen Links gefolgt werden soll oder nicht.
Diese Instrumente dienen in der Suchmaschinenoptimierung dem Index-Management, das die Auffindbarkeit einer Seite steuert. Es ist unerlässlich, dass eine URL von der Suchmaschine erfasst (indiziert) wird, um im Anschluss auch von Suchenden gefunden zu werden.
Weitere Mittel des Index-Managements
Mit dem Index-Management signalisiert man der Suchmaschine, ob eine URL in den Index kommen soll oder nicht. Neben dem Meta-Robots-Tag beeinflussen diese Mittel, welche URLs Google findet, indiziert oder in den Suchergebnissen zeigt:
- der HTTP-Header X-Robots-Tag, etwa für PDF-Dateien
- das Canonical-Tag
- die XML-Sitemap als Hinweis auf wichtige URLs
- die robots.txt für das Crawling
- in der Google Search Console das vorübergehende Ausblenden von URLs aus den Suchergebnissen
Bei internationalen Websites zeigen hreflang-Anweisungen Google zusätzlich die Sprach- und Länderversionen einer Seite. Die Indizierung steuern sie nicht.
Hinter dem Index-Management steht die Idee, dass zum einen nicht alle Seiten einer Domain gefunden werden müssen. Beispielsweise hilft die Warenkorbseite eines Onlineshops bei einer Suchanfrage nicht weiter. Dies ist eine rein operative Seite im Checkout-Prozess, die über keinen eigenständigen Inhalt verfügt. Zum zweiten erfassen Suchmaschinen Seiten über Verlinkungen. Als Webseitenbetreiber will man aber nicht immer, dass eine verlinkte Seite auch von der Suchmaschine erfasst wird.
Meta Robots: index/noindex
Die HTML-Anweisung für diesen Befehl (HTML-Tag) lautet:
<meta name="robots" content="index" />
oder
<meta name="robots" content="noindex" />
Dieser Befehl sagt im ersten Fall, dass die betreffende Seite in den Index aufgenommen werden und auffindbar sein soll. Die zweite Variante besagt genau das Gegenteil. Ohne Angabe darf Google eine Seite ohnehin indizieren und den Links folgen, index und follow müssen Sie deshalb nicht angeben. Wichtig sind die einschränkenden Werte wie noindex, nofollow, none (noindex und nofollow zusammen), nosnippet, max-snippet und max-image-preview. Für Dateien wie PDFs setzen Sie dieselben Werte im HTTP-Header X-Robots-Tag. Wie weiter oben bereits angerissen, könnte u. a. die Warenkorbseite auf „noindex“ stehen. Welche weiteren Seiten sind sinnvoll?
- Alle Seiten hinter einem Login wie z. B. „Mein Konto“, „Mein Wunschzettel“ etc.
- Die Suchergebnisseite der eigenen Seitensuche: diese Seite ist (wenn keine Suche angestoßen worden ist) leer und damit für Nutzer:innen ohne Nutzen. Da die Suchmaschine keine Suchen auslösen kann, ist auch keine gefüllte Seite zu erwarten. Interne Suchergebnisseiten können zudem beliebig viele URLs ohne eigenen Inhalt erzeugen. Sie gehören deshalb nicht in den Index.
Manchmal verwenden Shop-Manager:innen gefüllte Suchergebnisseiten bei internen Verlinkungen (z. B. wenn die entsprechende Kategorie fehlt). Deshalb sollten Sie diese Seiten auf noindex setzen, denn auch befüllte Suchergebnisse helfen bei einer Suchanfrage nicht weiter und können das Crawling verschlechtern. - Seiten mit Session-IDs
- Filterseiten (je nach Fall eignen sich hier statt „noindex“ auch ein Canonical auf die ungefilterte Kategorieseite oder, wenn die Filterseiten gar nicht gecrawlt werden sollen, ein Ausschluss per Robots.txt; das frühere URL-Parameter-Tool der Google Search Console wurde 2022 eingestellt)
Ein immer wieder auftretender Fehler ist, dass (möglicherweise bei einem Relaunch) die De-Indizierung vergessen wurde. Wenn die Suchmaschine dann beginnt, Seiten zu indizieren, geraten auch solche wie oben beschrieben in den Index. Häufig werden dann die betreffenden Seiten via Robots.txt ausgeschlossen. Da sie aber bereits im Index sind, ist das unsinnig. Gleichzeitig wird bei den Seiten das Meta-Robots-Tag auf noindex gesetzt. Folge:
- Suchergebnisse (Snippets) werden durch die Suchmaschine mit dem Hinweis, die Seite sei ausgeschlossen, angereichert.
- Dennoch verschwinden die Seiten nicht aus dem Index.
Die robots.txt steuert das Crawling. Ob eine Seite aus dem Index verschwindet, steuert das noindex, und das sieht Google nur, wenn es die Seite crawlen darf. Mehr dazu im Artikel robots.txt.
Meta Robots: follow/nofollow
Mit follow oder nofollow im Meta-Robots-Tag legen Sie fest, ob Suchmaschinen den Links einer Seite folgen sollen. Ohne Angabe folgt Google den Links, Sie brauchen deshalb nur den einschränkenden Wert:
<meta name="robots" content="nofollow" />
Für einzelne Links gibt es das Attribut rel="nofollow". Wann sich welcher Wert eignet und wie Google solche Links heute wertet, lesen Sie im Artikel Nofollow und Dofollow.
Sie wollen das Index-Management Ihrer Website verbessern und brauchen Unterstützung im technischen SEO? Dann informieren Sie sich über unsere SEO-Leistungen und sprechen Sie uns gerne an! Schulungen zum Index-Management für Ihr Team bieten wir in unseren SEO-Seminaren an.
