Was ist die llms.txt?
Die llms.txt ist ein Vorschlag von Jeremy Howard, veröffentlicht am 3. September 2024 (Answer.AI). Die Begründung laut llmstxt.org: Kontextfenster von Sprachmodellen sind trotz Wachstum für die meisten Websites als Ganzes zu klein, und jedes unnötig verarbeitete Token kostet Zeit und Geld. Eine kuratierte Übersicht in Markdown soll Agenten helfen, die relevanten Inhalte schnell zu finden, ohne komplette HTML-Seiten mit Navigation und Skripten zu verarbeiten.
Gedacht ist die Datei vor allem für den Moment, in dem ein KI-System eine Frage beantwortet oder eine Aufgabe erledigt, weniger für das Training von Modellen. Am 10. August 2026 erschien eine zweite Fassung des Vorschlags (llmstxt.org). Darin schreibt Howard, dass inzwischen Tausende Websites eine llms.txt veröffentlichen.
Aufbau einer llms.txt
Die Datei liegt unter /llms.txt, laut Spezifikation optional auch in einem Unterverzeichnis. Sie ist in Markdown geschrieben. Vorgesehen sind:
- eine Markdown-Überschrift der ersten Ebene (
# Name) mit dem Namen der Website oder des Projekts, als einziges Pflichtelement, - eine kurze Zusammenfassung als Markdown-Zitatblock (
>), - optional weitere Erläuterungen,
- Abschnitte mit Markdown-Überschriften der zweiten Ebene (
## Abschnitt), die Linklisten enthalten, - per Konvention ein Abschnitt „Optional“ für weniger wichtige Inhalte.
Ein vereinfachtes Beispiel:
# Musterfirma GmbH
> Hersteller von Büromöbeln mit Sitz in Bonn. Beratung und Montage in Deutschland und Österreich.
## Produkte
- [Schreibtische](https://www.example.com/schreibtische/): Übersicht, Varianten und Preise
- [Bürostühle](https://www.example.com/buerostuehle/): Ergonomie und Einstellmöglichkeiten
## Unternehmen
- [Kontakt und Standorte](https://www.example.com/kontakt/)
## Optional
- [Presse](https://www.example.com/presse/)
Wer die llms.txt nutzt und wer nicht
Google-Suche: Google schreibt in seinem Leitfaden zur generativen KI-Suche, dass für die Google-Suche einschließlich ihrer KI-Funktionen keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Markdown-Versionen nötig sind, weil die Google-Suche sie nicht verwendet. Eine llms.txt schade der Sichtbarkeit nicht, helfe ihr aber auch nicht. John Mueller von Google hatte die Datei bereits im April 2025 mit dem Keywords-Meta-Tag verglichen: eine Selbstauskunft des Website-Betreibers, die man ohnehin direkt an der Website überprüfen kann. Nach seiner Beobachtung fragten KI-Dienste die Datei damals nicht einmal ab (Search Engine Journal).
Chrome Lighthouse: Das Prüfwerkzeug enthält in der experimentellen Kategorie Agentic Browsing eine Prüfung, ob eine llms.txt im Stammverzeichnis vorhanden ist (Chrome for Developers). Das betrifft KI-Agenten im Browser. Auf das Ranking in der Suche wirkt es sich nicht aus.
KI-Anbieter: Öffentliche Zusagen von OpenAI, Anthropic oder Google, die Datei für ihre Chat-Produkte auszuwerten, haben wir nicht gefunden. Für ihre eigene Entwicklerdokumentation stellen OpenAI, Anthropic und Google allerdings selbst llms.txt-Dateien bereit.
Was Logfiles zeigen
Ob KI-Crawler eine llms.txt abrufen, lässt sich in den Server-Logdateien prüfen. In einem Kundenprojekt haben wir die Logfiles der Website einer großen deutschen Organisation über zehn Tage ausgewertet, rund 12 Millionen Zeilen. Die Website hatte keine llms.txt, und keiner der Crawler der großen KI-Anbieter hat in dieser Zeit auch nur danach gefragt. Gleichzeitig rief ChatGPT-User, der Abrufdienst von ChatGPT für Nutzeranfragen, im Schnitt rund 2.900 Mal pro Tag normale Seiten der Website ab. Das ist eine Obergrenze, weil auch Monitoring-Tools solche Abrufe auslösen.
Das deckt sich mit unseren eigenen Serverlogs und der Hosting-Auswertung von Sebastian Tänzer von taenzer.de. Die Zahlen aus allen drei Auswertungen stehen in unserem Blogbeitrag Wer ruft die llms.txt ab?
Die KI-Systeme lesen also sehr wohl, allerdings die regulären HTML-Seiten. Auf deren Qualität und Erreichbarkeit kommt es an.
llms.txt und robots.txt: der Unterschied
Die robots.txt ist ein etablierter Standard, mit dem Website-Betreiber Crawlern den Zugriff erlauben oder verbieten. OpenAI und Anthropic dokumentieren, wie sich ihre Crawler dort steuern lassen (OpenAI, Anthropic). Für ChatGPT-User weist OpenAI allerdings darauf hin, dass robots.txt-Regeln bei Abrufen, die Nutzer:innen auslösen, möglicherweise nicht gelten. Die llms.txt hat keine steuernde Wirkung, sie bietet nur eine Übersicht der Inhalte. Wer KI-Crawler aussperren oder zulassen möchte, muss das weiterhin über die robots.txt regeln.
Wann sich eine llms.txt lohnt
Der Aufwand ist gering, der messbare Nutzen für Sichtbarkeit in KI-Suchen bisher nicht belegt. Sinnvoll sein kann die Datei für Dokumentationen und Entwicklerseiten, deren Inhalte Nutzer bewusst in KI-Werkzeuge oder Agenten laden. Für Unternehmenswebsites ist sie optional. Wer sie anlegt, sollte sie aktuell halten, denn eine veraltete Übersicht ist schlechter als keine.
Wirksamer für GEO sind indexierbare Inhalte im HTML, eindeutige Fakten und der Zugang für die Crawler der KI-Anbieter.
