Was ist die robots.txt?
Die Datei liegt immer unter derselben Adresse, zum Beispiel https://www.example.de/robots.txt. Sie gilt nur für genau diesen Host, dieses Protokoll und diesen Port. Eine Subdomain wie shop.example.de braucht also eine eigene Datei.
Seit 2022 sind die Regeln als Robots Exclusion Protocol in der Spezifikation RFC 9309 der IETF festgeschrieben. Laut Google dient die robots.txt vor allem dazu, eine Website nicht mit Anfragen zu überlasten. Sie ist ausdrücklich kein Zugriffsschutz: Seriöse Crawler halten sich daran, andere ignorieren sie. Vertrauliche Inhalte gehören deshalb hinter ein Passwort.
Aufbau und Regeln
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die den Crawler nennen, gefolgt von Regeln:
User-agent: *
Disallow: /warenkorb/
Disallow: /*?sessionid=
Allow: /warenkorb/hilfe/
Sitemap: https://www.example.de/sitemap.xml- User-agent: für welchen Crawler die Gruppe gilt, der Stern steht für alle.
- Disallow: Pfade, die nicht abgerufen werden sollen.
- Allow: Ausnahmen innerhalb gesperrter Bereiche.
- Sitemap: die Adresse Ihrer XML-Sitemap.
Pfade beginnen mit einem Schrägstrich und unterscheiden Groß- und Kleinschreibung. Der Stern steht für beliebige Zeichen, das Dollarzeichen für das Ende der URL. Treffen mehrere Regeln zu, gewinnt bei Google die genaueste, also die mit dem längsten Pfad. Die Anweisung Crawl-delay ignoriert Google. Die Datei muss UTF-8-kodiert sein, Google liest höchstens 500 KiB und speichert sie in der Regel bis zu 24 Stunden zwischen.
Warum die robots.txt kein noindex ersetzt
Der häufigste Irrtum: Eine per robots.txt gesperrte Seite verschwindet nicht automatisch aus Google. Verlinken andere Seiten darauf, kann Google die URL trotzdem indexieren, dann aber ohne Beschreibung im Suchergebnis.
Wer eine Seite aus dem Index halten will, nutzt die Anweisung noindex in den Meta-Robots-Daten. Diese wirkt nur, wenn Google die Seite abrufen darf. Sperren Sie eine Seite mit noindex zusätzlich in der robots.txt, sieht Google das noindex nie.
Ebenso wichtig: Sperren Sie keine CSS- und JavaScript-Dateien, die Google zum Darstellen Ihrer Seiten braucht.
KI-Crawler in der robots.txt
Die großen KI-Anbieter trennen inzwischen zwischen Crawlern für das Training ihrer Modelle und Crawlern für ihre Suche. Das erlaubt eine gezielte Entscheidung. Laut den Angaben der Hersteller:
- GPTBot (OpenAI): sammelt Inhalte, die für das Training der Modelle genutzt werden können. Eine Sperre signalisiert, dass Ihre Inhalte dafür nicht verwendet werden sollen.
- OAI-SearchBot (OpenAI): zeigt Websites in der Suche von ChatGPT. Laut OpenAI erscheinen ausgesperrte Seiten nicht in den Suchantworten. Beide Einstellungen sind voneinander unabhängig.
- Google-Extended (Google): kein eigener Crawler, sondern ein Kennzeichen in der robots.txt. Es steuert, ob Inhalte für das Training von Gemini-Modellen und für deren Antworten (Grounding) genutzt werden. Auf Aufnahme und Ranking in der Google-Suche hat es laut Google keinen Einfluss.
- ClaudeBot (Anthropic): sammelt Inhalte für das Training. Eine Sperre signalisiert, dass künftige Inhalte nicht in Trainingsdaten einfließen sollen. Für die Suche nutzt Anthropic Claude-SearchBot, für Abrufe auf Nutzerfrage Claude-User.
Wer nicht möchte, dass seine Inhalte in das Training einfließen, sperrt die Trainings-Crawler. Such-Crawler wie OAI-SearchBot und Claude-SearchBot bleiben in diesem Beispiel erlaubt:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /Beachten Sie bei Google-Extended: Es steuert Training und Grounding gemeinsam. Wer es sperrt, bleibt in der Google-Suche, den KI-Übersichten und im KI-Modus sichtbar, erscheint aber nicht mehr als Quelle in Gemini-Antworten mit Suchanbindung. Soll Gemini Ihre Seiten weiter als Quelle nutzen können, lassen Sie diese Gruppe weg.
Bei Abrufen, die eine Person direkt auslöst, etwa durch ChatGPT-User, gelten die Regeln laut OpenAI unter Umständen nicht. Und Anthropic weist darauf hin, dass IP-Sperren kein verlässlicher Ersatz sind, weil der Crawler dann auch die robots.txt nicht mehr lesen kann. Einen Überblick über alle Bots gibt der Artikel zu KI-Crawlern.
Die robots.txt prüfen
- Search Console: Der robots.txt-Bericht in der Google Search Console zeigt, welche Datei Google zuletzt abgerufen hat, mit Warnungen und Fehlern. Nach einer wichtigen Änderung können Sie dort einen neuen Abruf anfordern.
- Statuscode: Antwortet die Datei mit einem 4xx-Fehler (außer 429), crawlt Google ohne Einschränkungen. Bei Serverfehlern (5xx) und beim Statuscode 429 stoppt Google das Crawling zunächst ganz und nutzt danach bis zu 30 Tage die letzte bekannte Fassung.
- Relaunch: Ein „Disallow: /“ aus der Testumgebung, das mit auf die Live-Website wandert, ist ein Klassiker. Prüfen Sie die Datei nach jedem Livegang.
- Logfiles: Ob sich die Crawler an Ihre Regeln halten und welche Seiten sie tatsächlich abrufen, zeigt eine Logfile-Analyse.
Sie möchten Ihre robots.txt prüfen lassen oder gezielt entscheiden, welche KI-Crawler Zugriff bekommen? Dann kontaktieren Sie uns gerne oder lesen Sie mehr über unser technisches SEO!
