Wer ruft die llms.txt ab? Drei Logfile-Auswertungen im Vergleich

Das Wichtigste in Kürze:

• In unseren eigenen Serverlogs und in einem Kundenprojekt hat kein großer KI-Crawler die llms.txt abgerufen.
• Die Auswertung von tänzer:hosting über alle seine Server ordnet 12 von 3.899 Abrufen (0,3 %) dem KI-Training zu.
• Die meisten Abrufe kommen von SEO- und KI-Sichtbarkeits-Werkzeugen und von Abrufern mit normaler Browser-Kennung.
• Die robots.txt und normale Seiten rufen OpenAI und Anthropic dagegen regelmäßig ab.

Die llms.txt geht auf einen Vorschlag von Jeremy Howard aus dem September 2024 zurück. Die Markdown-Datei soll Sprachmodellen eine Übersicht über die wichtigsten Inhalte einer Website liefern. Aufbau und Herkunft erkläre ich im Wissensartikel zur llms.txt. Hier geht es um eine einfachere Frage, die sich in Logfiles beantworten lässt: Wer fragt die Datei überhaupt ab?

Für den Test habe ich die Logs eines unserer Server vom 15. bis 22. Oktober 2026 ausgewertet, rund 5,1 Millionen Zeilen. Der Server liefert mehrere Websites aus, und die Logs unterscheiden nicht nach Website. Die Zahlen gelten deshalb für den Server als Ganzes.

Die Logs enthalten 146 Anfragen nach der llms.txt. In 68 Fällen wurde die Datei vollständig ausgeliefert, die übrigen Anfragen waren Weiterleitungen, Fehlerantworten und zwei Teilauslieferungen. Keine davon trägt den Namen eines der großen KI-Crawler, auch nicht mit gefälschter Kennung.

In der Tabelle stehen nur Abrufe, deren IP-Adresse zu den veröffentlichten Bereichen des jeweiligen Anbieters passt. Abgerufen haben die llms.txt vor allem Abrufer mit normaler Browser-Kennung (66 Anfragen), SEOJuice (46), PeecAudit von Peec (7) und WebPageTest (7). Dazu kommen einzelne Anfragen von Werkzeugen wie BuiltWith und Dataprovider.

Eine breitere Datenbasis kommt von tänzer:hosting (taenzer.de). Mit dem Hoster arbeiten wir seit vielen Jahren zusammen, alle Websites von Rheinwunder und viele Projekte unserer Kund:innen laufen dort. Für diesen Beitrag hat Geschäftsführer Sebastian Tänzer die Abrufe von /llms.txt und /llms-full.txt auf allen Webservern von tänzer:hosting anonymisiert ausgewertet und uns die Ergebnisse zur Verfügung gestellt. Die folgenden Zahlen haben den Stand vom 2. November 2026.

Gezählt sind 3.899 Abrufe auf 158 Websites, davon 3.887 ab Juli 2026. Nur 4 dieser Websites liefern überhaupt eine llms.txt aus. Bei 146 fehlt die Datei, die übrigen 8 antworten mit einem Serverfehler oder sperren den Abruf.

Die 12 Abrufe der Gruppe KI-Training schlüsselt die Tabelle der Auswertung nach CCBot (9) und Amazonbot (3) auf. Die Abrufe mit normaler Browser-Kennung stuft die Auswertung als Scanner ein, weil Menschen die Datei praktisch nie aufrufen. Weiterleitungen und Abrufe per Skript, etwa mit curl oder python, sind nicht mitgezählt.

Das dritte Bild stammt aus einem Kundenprojekt. Wir haben die Logfiles der Website einer großen deutschen Organisation über zehn Tage ausgewertet, rund 12 Millionen Zeilen. Die Website hatte keine llms.txt, und keiner der Crawler der großen KI-Anbieter hat in dieser Zeit danach gefragt.

Gleichzeitig rief ChatGPT-User, der Abrufdienst von ChatGPT für Nutzeranfragen, im Schnitt rund 2.900 Mal pro Tag normale Seiten der Website ab. Das ist eine Obergrenze, weil auch Monitoring-Tools solche Abrufe auslösen. Websites werden also gelesen, und zwar über die regulären HTML-Seiten.

Die drei Auswertungen zeigen, wer die Datei abruft. Sie zeigen nicht alles:

• Kurze Zeiträume: Unsere Logs decken acht Tage ab, das Kundenprojekt zehn. Bei tänzer:hosting liegen Logs von allen Servern erst seit dem 25. Oktober 2026 vor, davor nur von einem Teil.
• Wenige Websites mit Datei: Bei taenzer.de liefern nur 4 von 158 Websites die Datei aus. Ein Crawler, der danach sucht, stünde aber auch bei einer Fehlerantwort im Log.
• Offene Browser-Kennungen: Wer sich hinter einer normalen Browser-Kennung verbirgt, lässt sich aus dem Log nicht sicher ablesen.
• Nur die Sicht des Servers: Wer eine llms.txt von Hand in ein KI-Werkzeug lädt oder einen Agenten darauf ansetzt, erscheint je nach Werkzeug nicht als bekannter Crawler. Für Entwicklerdokumentationen kann die Datei deshalb nützlich sein.
• Momentaufnahme: Das Verhalten der Anbieter kann sich ändern. Öffentliche Zusagen von OpenAI, Anthropic oder Google, die Datei für ihre Chat-Produkte auszuwerten, habe ich nicht gefunden.

Für mehr Sichtbarkeit in KI-Antworten würde ich heute nicht auf die llms.txt setzen. Google schreibt in seinem Leitfaden zur generativen KI-Suche, dass die Google-Suche solche Dateien nicht verwendet. Bei den anderen Anbietern fehlt in unseren Daten jeder Hinweis auf eine Nutzung.

• Unternehmenswebsite: Die Datei ist optional. Sie schadet nicht, wenn Sie sie aktuell halten, nennenswerten Aufwand lohnt sie nach diesen Zahlen aber nicht.
• Dokumentation und Entwicklerseiten: Hier kann sie sich lohnen, wenn Nutzer die Inhalte selbst in KI-Werkzeuge laden.
• Vorrang haben: indexierbare Inhalte im HTML, eindeutige Fakten und der Zugang für KI-Crawler in der robots.txt. Diese Punkte prüfen wir im GEO-Audit.

Die Auswertung braucht nur die Access-Logs Ihres Servers:

1. Logs sichern: Mindestens eine Woche, denn viele Server bewahren Logs nur wenige Tage auf.
2. Anfragen filtern: zum Beispiel mit grep -E '"(GET|HEAD) /llms(-full)?\.txt' access.log
3. Nach Kennung gruppieren: Zählen Sie die Anfragen je User-Agent und je Statuscode. Weiterleitungen sollten Sie getrennt ausweisen, sonst zählt ein Abruf doppelt.
4. IP-Adressen prüfen: Namen lassen sich fälschen. Von den 10.521 Abrufen mit dem Namen ClaudeBot passten in unseren Logs 4.365 zu den offiziellen IP-Bereichen. OpenAI und andere Anbieter veröffentlichen ihre Bereiche.
5. Vergleichen: Legen Sie die Abrufe der robots.txt und normaler Seiten daneben. Erst dann sehen Sie, ob ein Crawler auf der Website war und die Datei ausgelassen hat.

Wenn Sie das nicht selbst aufsetzen möchten, übernehmen wir das in der Logfile-Analyse.