Meta Robots Daten: Ihre Bedeutung SEO?
Die sogenannten Meta Robots Daten im SEO sind Bestandteil der Kopfdaten des HTML-Gerüsts und helfen den Suchmaschinen (v.a. Google). Hier kann gesteuert werden, ob die betreffende Seite (URL) indiziert und ob den aufgefundenen Links gefolgt werden soll oder nicht.
Diese Instrumente dienen in der Suchmaschinenoptimierung dem Index-Management, das die Auffindbarkeit einer Seite steuert. Es ist unerlässlich, dass eine URL von der Suchmaschine erfasst (indiziert) wird, um im Anschluss auch von Suchenden gefunden zu werden. Seiten, die sich nicht im Index befinden, können nicht gefunden werden.
Methodiken des Index-Managements
Mit dem Index-Management signalisiert man der Suchmaschine, ob eine URL in den Index kommen soll oder nicht. Neben den Meta Robots-Daten gibt es weitere Methodiken, um die Indizierung zu steuern:
- Die XML-Sitemap
- Bei internationalen Seiten die hreflang-Anweisungen
- Das Canonical-Management
- Im weiteren Sinne auch die Robots.txt
- Die Google Search Console
- Meta Robots Daten (index/noindex & follow/nofollow)
Die Idee dahinter ist, dass zum einen nicht alle Seiten einer Domain gefunden werden müssen. Beispielsweise stellt die Warenkorbseite eines Onlineshops keinen Mehrwert für eine Suchanfrage dar. Dies ist eine rein operative Seite im Checkout-Prozess, die über keinen eigenständigen Inhalt verfügt. Zum zweiten erfassen Suchmaschinen Seiten über Verlinkungen. Als Webseitenbetreiber will man aber nicht immer, dass eine verlinkte Seite auch von der Suchmaschine erfasst wird.
Meta Robots: index/noindex
Die HTML-Anweisung für diesen Befehl (HTML-Tag) lautet:
<meta name="robots" content="index" />
oder
<meta name="robots" content="noindex" />
Dieser Befehl sagt im ersten Fall, dass die betreffende Seite in den Index aufgenommen werden und auffindbar sein soll. Die zweite Variante besagt genau das Gegenteil. Wie weiter oben bereits angerissen, könnte u.a. die Warenkorbseite auf „noindex“ stehen – welche weiteren Seiten sind sinnvoll?
- Alle Seiten hinter einem Login wie z.B. „Mein Konto“, „Mein Wunschzettel“ etc.
- Die Suchergebnisseite der eigenen Seitensuche – diese Seite ist (wenn keine Suche angestoßen worden ist) leer und hat damit keinen Mehrwert für den User. Aus ebendiesem Grund würde im ungünstigsten Fall eine solche Seite nur die Abbruchquoten einer Domain
Da die Suchmaschine keine Suchen auslösen kann, ist auch keine gefüllte Seite zu erwarten.
Manchmal verwenden Shop-Manager gefüllte Suchergebnisseiten bei internen Verlinkungen (z.B., wenn die entsprechende Kategorie fehlt). Und darum ist es zusätzlich wichtig, diese Seite auf noindex zu setzen, denn auch befüllte Suchergebnisse stellen keinen Mehrwert dar und können auch das Crawling erheblich verschlechtern. - Seiten mit Session-IDs
- Filterseiten (obwohl man hier nicht auf „noindex“, sondern auf das Parameter-Management zurückgreifen würde)
Ein immer wieder auftretender Fehler ist, dass (möglicherweise bei einem Relaunch) die De-Indizierung vergessen wurde. Wenn dann die Suchmaschine beginnt Seiten zu indizieren, geraten auch solche wie oben beschrieben in den Index. Häufig werden dann die betreffenden Seiten via Robots.txt ausgeschlossen. Da sie aber bereits im Index sind, ist das unsinnig. Gleichzeitig werden bei den Seiten die Meta Daten umgeschrieben – Folge:
- Suchergebnisse (Snippets) werden durch die Suchmaschine mit dem Hinweis, die Seite sei ausgeschlossen angereichert.
- Dennoch verschwinden die Seiten nicht aus dem Index.
Problem hierbei ist, dass die Robots.txt das Crawling unterbindet und demnach die Suchmaschine die neuen Meta Daten gar nicht mitbekommt, weil sie die Seite nicht crawlt. Klingt verwirrend? Ist es auch, doch dazu beschreiben wir den korrekten Umgang mit der Robots.txt (die nicht den Index, sondern das Crawling steuert) ebendort.
Meta Robots: follow/nofollow
Die SEO-Legende besagt, dass SEOs in den frühen 2.000er-Jahren Wikipedia als Backlink-Quelle missbraucht haben. Dies soll Google in Zusammenarbeit mit Wikipedia zum Anlass genommen haben, dass alle Links aus Wikipedia heraus auf andere Seiten auf „nofollow“ gesetzt haben, damit Google ihnen nicht mehr folgt und sie vor allem nicht in die Relevanzbewertung mit einbezieht.
Dazu muss man wissen (näheres im Kapitel: Backlinks), dass Google Links von extern auf eine Domain mit in die Relevanzbewertung mit einbezieht. Das führte in den ersten Jahren des SEOs zu Link-Käufen. Dem schob Google dann einen Riegel vor, indem das Penguin-Update ausgerollt wurde. Wenn man also keinen Linkjuice an andere Seiten weitergeben will, dann kann man seine eigenen Links ebenfalls auf „nofollow“ setzen.
Dies geschieht entweder als Attribut des HTML-Hyperlink-Befehls oder eben in den Meta Daten:
<meta name="robots" content="follow" />
oder
<meta name="robots" content="nofollow" />
An sich ist dies nur die „letzte Ultima Ratio“ – eigentlich ist es kein guter Stil, da man ja den Link, den man setzt für wichtig hält. Die User sollen diesem ruhig folgen, denn er stellt ja idealerweise einen inhaltlichen Mehrwert dar. In diesem Fall ist es nur recht und billig den Linkjuice auch weiterzugeben.
Bei internen Links macht das „nofollow“-Attribut noch weniger Sinn, denn die internen Links sind ja niemals „schlechte“ Links. Wenn man indes der Meinung anhängt, dass die Zielseite nicht in den Index soll, dann sollte man sie auf „noindex“ setzen (siehe oben). Und damit die Suchmaschine dies auch „versteht“, muss sie ja dem Link folgen, um auch die Deindizierungsinformation der Folgeseite wahrzunehmen.
Sie wollen Ihre Klickrate verbessern und brauchen Unterstützung? Dann kontaktieren Sie uns gerne! Sie wollen mehr erfahren oder Ihr Team zu diesem Thema schulen lassen? Dann schauen Sie mal bei unseren Analytics-Seminaren.