Meta Robots Daten: Ihre Bedeutung für SEO
Die sogenannten Meta Robots Daten im SEO sind Bestandteil der Kopfdaten des HTML-Gerüsts und helfen den Suchmaschinen (v.a. Google). Hier kann gesteuert werden, ob die betreffende Seite (URL) indiziert und ob den aufgefundenen Links gefolgt werden soll oder nicht.
Diese Instrumente dienen in der Suchmaschinenoptimierung dem Index-Management, das die Auffindbarkeit einer Seite steuert. Es ist unerlässlich, dass eine URL von der Suchmaschine erfasst (indiziert) wird, um im Anschluss auch von Suchenden gefunden zu werden. Seiten, die sich nicht im Index befinden, können nicht gefunden werden.
Methodiken des Index-Managements
Mit dem Index-Management signalisiert man der Suchmaschine, ob eine URL in den Index kommen soll oder nicht. Neben den Meta Robots-Daten gibt es weitere Methodiken, um die Indizierung zu steuern:
- Die XML-Sitemap
- Bei internationalen Seiten die hreflang-Anweisungen
- Das Canonical-Management
- Im weiteren Sinne auch die Robots.txt
- Die Google Search Console
- Meta Robots Daten (index/noindex & follow/nofollow)
Die Idee dahinter ist, dass zum einen nicht alle Seiten einer Domain gefunden werden müssen. Beispielsweise stellt die Warenkorbseite eines Onlineshops keinen Mehrwert für eine Suchanfrage dar. Dies ist eine rein operative Seite im Checkout-Prozess, die über keinen eigenständigen Inhalt verfügt. Zum zweiten erfassen Suchmaschinen Seiten über Verlinkungen. Als Webseitenbetreiber will man aber nicht immer, dass eine verlinkte Seite auch von der Suchmaschine erfasst wird.
Meta Robots: index/noindex
Die HTML-Anweisung für diesen Befehl (HTML-Tag) lautet:
<meta name="robots" content="index" />
oder
<meta name="robots" content="noindex" />
Dieser Befehl sagt im ersten Fall, dass die betreffende Seite in den Index aufgenommen werden und auffindbar sein soll. Die zweite Variante besagt genau das Gegenteil. Wie weiter oben bereits angerissen, könnte u.a. die Warenkorbseite auf „noindex“ stehen – welche weiteren Seiten sind sinnvoll?
- Alle Seiten hinter einem Login wie z.B. „Mein Konto“, „Mein Wunschzettel“ etc.
- Die Suchergebnisseite der eigenen Seitensuche – diese Seite ist (wenn keine Suche angestoßen worden ist) leer und hat damit keinen Mehrwert für den User. Aus ebendiesem Grund würde im ungünstigsten Fall eine solche Seite nur die Absprungrate einer Domain erhöhen.
Da die Suchmaschine keine Suchen auslösen kann, ist auch keine gefüllte Seite zu erwarten.
Manchmal verwenden Shop-Manager gefüllte Suchergebnisseiten bei internen Verlinkungen (z.B., wenn die entsprechende Kategorie fehlt). Und darum ist es zusätzlich wichtig, diese Seite auf noindex zu setzen, denn auch befüllte Suchergebnisse stellen keinen Mehrwert dar und können auch das Crawling verschlechtern. - Seiten mit Session-IDs
- Filterseiten (je nach Fall eignen sich hier statt „noindex“ auch ein Canonical auf die ungefilterte Kategorieseite oder, wenn die Filterseiten gar nicht gecrawlt werden sollen, ein Ausschluss per Robots.txt; das frühere URL-Parameter-Tool der Google Search Console wurde 2022 eingestellt)
Ein immer wieder auftretender Fehler ist, dass (möglicherweise bei einem Relaunch) die De-Indizierung vergessen wurde. Wenn dann die Suchmaschine beginnt Seiten zu indizieren, geraten auch solche wie oben beschrieben in den Index. Häufig werden dann die betreffenden Seiten via Robots.txt ausgeschlossen. Da sie aber bereits im Index sind, ist das unsinnig. Gleichzeitig werden bei den Seiten die Meta Daten umgeschrieben – Folge:
- Suchergebnisse (Snippets) werden durch die Suchmaschine mit dem Hinweis, die Seite sei ausgeschlossen angereichert.
- Dennoch verschwinden die Seiten nicht aus dem Index.
Problem hierbei ist, dass die Robots.txt das Crawling unterbindet und demnach die Suchmaschine die neuen Meta Daten gar nicht mitbekommt, weil sie die Seite nicht crawlt. Klingt verwirrend? Ist es auch, denn die Robots.txt steuert nicht den Index, sondern das Crawling.
Meta Robots: follow/nofollow
Um Linkspam etwa in Blogkommentaren einzudämmen, hat Google 2005 das Link-Attribut „nofollow“ eingeführt. Wikipedia, die zunehmend als Backlink-Quelle missbraucht wurde, setzt Links auf externe Seiten seit Januar 2007 auf „nofollow“. Damit signalisiert sie Suchmaschinen, diese Links nicht in die Relevanzbewertung einzubeziehen.
Dazu muss man wissen, dass Google Links von extern auf eine Domain in die Relevanzbewertung mit einbezieht. Das führte in den ersten Jahren des SEOs zu Link-Käufen. Dem schob Google dann einen Riegel vor, indem das Penguin-Update ausgerollt wurde. Wenn man also keinen Linkjuice an andere Seiten weitergeben will, dann kann man seine eigenen Links ebenfalls auf „nofollow“ setzen.
Dies geschieht entweder als Attribut des HTML-Hyperlink-Befehls oder eben in den Meta Daten:
<meta name="robots" content="follow" />
oder
<meta name="robots" content="nofollow" />
An sich ist dies nur die „Ultima Ratio“ – eigentlich ist es kein guter Stil, da man ja den Link, den man setzt, für wichtig hält. Die User sollen diesem ruhig folgen, denn er stellt ja idealerweise einen inhaltlichen Mehrwert dar. In diesem Fall ist es nur recht und billig den Linkjuice auch weiterzugeben.
Bei internen Links macht das „nofollow“-Attribut noch weniger Sinn, denn die internen Links sind ja niemals „schlechte“ Links. Wenn man indes der Meinung anhängt, dass die Zielseite nicht in den Index soll, dann sollte man sie auf „noindex“ setzen (siehe oben). Und damit die Suchmaschine dies auch „versteht“, muss sie ja dem Link folgen, um auch die Deindizierungsinformation der Folgeseite wahrzunehmen.
Sie wollen das Index-Management Ihrer Website verbessern und brauchen Unterstützung im technischen SEO? Dann informieren Sie sich über unsere SEO-Leistungen und sprechen Sie uns gerne an! Sie wollen mehr erfahren oder Ihr Team zu diesem Thema schulen lassen? Dann schauen Sie mal bei unseren SEO-Seminaren.
