Was sind KI-Crawler?
Ein Crawler ist ein Programm, das Webseiten automatisch abruft. Suchmaschinen wie Google nutzen Crawler seit jeher. Mit generativer KI sind neue hinzugekommen, die sich nach ihrem Zweck in drei Gruppen teilen:
- Trainings-Crawler: sammeln Inhalte, mit denen künftige Sprachmodelle trainiert werden.
- Such-Crawler: bauen einen Index auf, aus dem die KI-Suche ihre Antworten und Quellenlinks bezieht.
- Nutzer-Abrufe: rufen eine Seite in dem Moment ab, in dem ein Nutzer eine Frage stellt oder einen Link teilt.
Die Unterscheidung ist wichtig, weil das Aussperren je nach Gruppe ganz unterschiedliche Folgen hat. Wer für die Generative Engine Optimization in KI-Antworten auftauchen will, darf die Such-Crawler nicht blockieren.
Die wichtigsten KI-Crawler im Überblick
OpenAI (laut OpenAI-Dokumentation):
- GPTBot: Training der Basismodelle. Wer ihn sperrt, signalisiert, dass die Inhalte nicht für das Training verwendet werden sollen.
- OAI-SearchBot: Suchergebnisse in ChatGPT. Wer ihn sperrt, erscheint nicht mehr in den Suchantworten von ChatGPT, höchstens noch als Navigationslink.
- ChatGPT-User: Abrufe, die ein Nutzer in ChatGPT auslöst. Weil der Nutzer den Abruf anstößt, gelten die Regeln der robots.txt laut OpenAI womöglich nicht.
Google:
- Google-Extended: kein eigener Crawler, sondern ein Steuerungszeichen in der robots.txt. Es legt fest, ob Inhalte, die Google ohnehin crawlt, für das Training künftiger Gemini-Modelle und für das sogenannte Grounding, also das Nachschlagen von Inhalten im Moment der Antwort, genutzt werden dürfen. Auf die Google-Suche und das Ranking hat es laut Google keinen Einfluss.
- Googlebot: Die KI-Übersichten und der KI-Modus in der Google-Suche greifen auf den normalen Suchindex zurück. Sie lassen sich nur über den Googlebot und die Snippet-Angaben wie nosnippet steuern, nicht über Google-Extended.
Anthropic:
- ClaudeBot: Training. Claude-SearchBot: Suchindex. Claude-User: Abrufe für Fragen von Nutzern. Laut Anthropic beachten alle drei die robots.txt.
Perplexity:
- PerplexityBot: Suchergebnisse in Perplexity, laut Anbieter nicht für das Training von Basismodellen. Perplexity-User: Abrufe für Nutzeranfragen, der nach Angaben von Perplexity die robots.txt in der Regel nicht beachtet.
KI-Crawler per robots.txt steuern
Jeder Crawler wird in der robots.txt mit seinem Namen angesprochen. Das folgende Beispiel schließt die Trainings-Crawler von OpenAI und Anthropic sowie Google-Extended aus und erlaubt ausdrücklich den Such-Crawler von OpenAI. Mit Google-Extended sperren Sie Training und Grounding in Gemini zugleich: In der Google-Suche, den KI-Übersichten und im KI-Modus bleiben Sie sichtbar, als Quelle für Gemini-Antworten mit Suchanbindung aber nicht mehr.
User-agent: GPTBot
Disallow: /User-agent: ClaudeBot
Disallow: /User-agent: Google-Extended
Disallow: /User-agent: OAI-SearchBot
Allow: /
Dabei gilt:
- Jede Regel wirkt einzeln. Laut OpenAI sind die Einstellungen für GPTBot und OAI-SearchBot unabhängig voneinander. Sind beide erlaubt, kann OpenAI einen Abruf für beide Zwecke nutzen.
- Änderungen brauchen Zeit. Für die ChatGPT-Suche nennt OpenAI etwa 24 Stunden, bis eine geänderte robots.txt berücksichtigt wird.
- Die robots.txt ist eine Bitte, kein Schutz. Seriöse Crawler halten sich daran, Nutzer-Abrufe teilweise nicht, und gefälschte Bots ignorieren sie. Wer Inhalte wirklich schützen muss, braucht einen Zugriffsschutz auf dem Server.
- Nicht verwechseln: Die llms.txt ist eine Übersichtsdatei für Sprachmodelle und steuert keinen Zugriff.
Training oder Suche: was Sie sperren sollten
Eine pauschale Antwort gibt es nicht. Es hilft, die Frage aufzuteilen:
- Training: Wenn Sie nicht möchten, dass Ihre Inhalte in künftige Modelle einfließen, sperren Sie GPTBot, ClaudeBot und Google-Extended. Die Sichtbarkeit in der Google-Suche und in der ChatGPT-Suche hängt laut den Anbietern nicht daran. Google-Extended steuert aber zusätzlich, ob Gemini Ihre Inhalte im Moment der Antwort nutzen darf. Wer es sperrt, erscheint nicht mehr als Quelle in Gemini-Antworten mit Suchanbindung. Die KI-Übersichten und der KI-Modus bleiben davon unberührt.
- Suche und Nutzer-Abrufe: Wer OAI-SearchBot, Claude-SearchBot, PerplexityBot oder die Nutzer-Abrufe aussperrt, verringert seine Chancen, in den Antworten dieser Systeme als verlinkte Quelle zu erscheinen. Bei OAI-SearchBot erscheinen ausgesperrte Seiten laut OpenAI nicht mehr in den Suchantworten, höchstens noch als Navigationslink. Für Unternehmen, die über KI-Assistenten gefunden werden wollen, ist das meist kontraproduktiv.
- Einzelne Bereiche: Statt die ganze Website zu sperren, lassen sich auch einzelne Verzeichnisse ausschließen, etwa interne Suchergebnisse oder Filterseiten.
KI-Crawler in den Logfiles erkennen
Welche KI-Crawler Ihre Website tatsächlich besuchen, zeigen nur die Server-Logfiles. Webanalyse-Werkzeuge erfassen Bots in der Regel nicht: Viele führen kein JavaScript aus, und bekannte Bots werden zum Beispiel in Google Analytics automatisch herausgefiltert.
Der Name im User-Agent allein beweist nichts, denn er lässt sich beliebig fälschen. OpenAI, Anthropic und Perplexity veröffentlichen deshalb Listen ihrer IP-Adressen, Google bietet IP-Listen und eine Prüfung per Reverse-DNS an. Nur Abrufe aus diesen Netzen stammen wirklich vom genannten Anbieter. Google-Extended taucht in den Logs übrigens nie auf, da es keinen eigenen User-Agent hat.
Sie möchten wissen, welche KI-Crawler Ihre Website wirklich lesen, und Ihre robots.txt passend einstellen? Dann kontaktieren Sie uns gerne oder lesen Sie mehr über unsere Logfile-Analyse!
