Definition: Was ist llms.txt?

Die llms.txt ist ein am 3. September 2024 von Jeremy Howard (Answer.AI) vorgeschlagenes Format für eine kuratierte, Markdown-formatierte Datei im Website-Root (/llms.txt). Am 10. August 2026 erschien Version 2 des Vorschlags. Sie gibt Large Language Models und deren Tool-Stacks eine maschinenlesbare Übersicht über die wichtigsten Inhalte einer Site: Kern-Seiten, Dokumentationen, API-Referenzen, Whitepaper, Policy-Seiten. Das Format ist bewusst schlank (Markdown, keine neuen Schemata) und damit für Publisher und LLMs gleichermaßen einfach zu verarbeiten.

Wichtig zur Einordnung: llms.txt ist ein Vorschlag, kein formaler Web-Standard. Weder IETF noch W3C haben ihn ratifiziert, und kein großer Anbieter hat bestätigt, dass seine Such-Crawler die Datei auswerten. Google hat im Juni 2026 sogar ausdrücklich dokumentiert, dass die Google-Suche llms.txt nicht nutzt: Die Datei hilft und schadet weder Sichtbarkeit noch Rankings, auch nicht in AI Overviews und AI Mode (Google-Leitfaden). Verbreitet ist das Format vor allem in Entwickler-Dokumentationen: OpenAI, Anthropic und Google (Gemini) veröffentlichen laut llmstxt.org selbst llms.txt-Dateien für ihre Developer-Docs, und Chromes Lighthouse prüft die Datei im Rahmen seiner Agentic-Browsing-Checks. Der Nutzen liegt bei Agenten und Coding-Tools, die Websites gezielt lesen, nicht in der Suchmaschinen-Sichtbarkeit.

Kern-Aussage

llms.txt ist ein Wegweiser für Agenten, kein Ranking-Signal

Die Datei reguliert nichts. Sie kuratiert. Für die Google-Suche ist sie laut Google wirkungslos; ihr Nutzen liegt bei Agenten und Entwickler-Tools, die gezielt nach ihr suchen, und im redaktionellen Prozess: Welche Inhalte sind für eine externe Maschine wirklich relevant?

Abgrenzung zu robots.txt

Die beiden Formate werden häufig verwechselt. robots.txt ist ein Zugangskontroll-Mechanismus: Welche Crawler dürfen welche Pfade abrufen. Es entstand 1994 als De-facto-Standard, ist seit 2022 als RFC 9309 formal standardisiert und wird von allen seriösen Crawlern respektiert. llms.txt ist dagegen eine Kurations-Empfehlung: Welche Inhalte sind für LLM-Konsum besonders relevant. Es reguliert nichts. Beide Dateien liegen im Root, haben aber fundamental unterschiedliche Funktionen.

Operativ ergänzen sie sich: GPTBot, Google-Extended und ClaudeBot werden über robots.txt reguliert; llms.txt kuratiert die Inhalte für die Fälle, in denen die Crawler zugelassen sind oder in denen Nutzer die Site direkt in einem Chatbot aufrufen.

Struktur und Syntax

Das Format ist Markdown. Pflicht ist laut Spezifikation nur eine H1 mit dem Namen der Site; empfohlen ist folgende Struktur:

# Site-Name

> Kurze Beschreibung der Site in 1-3 Sätzen.

Optionaler erweiterter Abschnitt mit Zusatzkontext,
Zielgruppe, Lizenz oder Nutzungshinweisen.

## Docs

- [Getting Started](https://example.com/docs/start): Erstes Setup
- [API Reference](https://example.com/docs/api): Alle Endpoints

## Examples

- [Quickstart](https://example.com/examples/quickstart.md): Minimal-Beispiel
- [Advanced](https://example.com/examples/advanced.md): Fortgeschrittene Muster

## Optional

- [Changelog](https://example.com/changelog)
- [Archiv](https://example.com/archive)

Der Abschnitt ## Optional sammelt per Konvention sekundäre Links. In Version 1 durften Tools ihn bei knappem Kontext überspringen; Version 2 behält ihn als Konvention bei, aber ohne diese mechanische Bedeutung.

Neu in Version 2: Seiten mit wichtigen Informationen sollen eine saubere Markdown-Fassung unter derselben URL anbieten (seite.html.md oder seite.md). Auffindbar werden Markdown-Fassung und zuständige llms.txt über die Link-Relationen rel="alternate" type="text/markdown" und rel="describedby", als HTML-Element oder HTTP-Link-Header. Eine llms.txt in einem Unterverzeichnis wie /docs/llms.txt gilt für alle Seiten darunter.

llms-full.txt: Konvention, nicht Spezifikation

Häufig begegnet einem eine zweite Datei: /llms-full.txt. Sie ist nicht Teil der Spezifikation, sondern eine verbreitete Konvention, vor allem von Dokumentations-Plattformen. Sie enthält den Klartext aller in llms.txt referenzierten Seiten in einer Datei, damit ein Tool den Site-Kontext mit einem einzigen Abruf laden kann. Version 2 des Vorschlags setzt dagegen darauf, dass Agenten die llms.txt lesen und gezielt den verlinkten Markdown-Seiten folgen.

Für Enterprise-Sites mit Tausenden von Seiten ist eine vollständige llms-full.txt nicht realistisch; wir empfehlen die Priorisierung auf die wichtigsten 30 bis 100 Seiten. Der häufigste Anwendungsfall bleiben Dokumentations-Sites.

Nutzt Google llms.txt?

Nein. Google hat am 15. Juni 2026 in seinem Änderungsprotokoll klargestellt, dass llms.txt-Dateien für die Google-Suche nicht nötig sind und Sichtbarkeit und Rankings weder verbessern noch verschlechtern. Das gilt ausdrücklich auch für AI Overviews und AI Mode. Die Datei zu pflegen ist laut Google trotzdem in Ordnung, wenn andere Dienste sie nutzen.

Praktisch heißt das: llms.txt ist kein SEO- oder GEO-Hebel für Google. Sinnvoll bleibt sie für Entwickler-Dokumentationen, Agenten und Coding-Tools, die gezielt nach der Datei suchen. Für die Sichtbarkeit in der Google-Suche zählen Crawlbarkeit, Indexierung und hilfreiche Inhalte.

Praxis: llms.txt für Enterprise-Sites

Operative Umsetzung in sechs Schritten:

  1. Kuration: Welche 30-50 Seiten repräsentieren die Kern-Expertise und Kern-Services? Entscheidung gemeinsam mit Redaktion und Produkt.
  2. Kategorisierung: Sektionen wie ## Services, ## Methodologie, ## Cases, ## Glossar.
  3. Beschreibungen: Jeder Link mit 5-15-Wort-Summary. Keine Marketing-Floskeln, konkrete Fakten.
  4. Abschnitt Optional: Blog-Archive, Presse-Archive, tiefe Feature-Seiten.
  5. Pflege: Quartalsweises Update. Tote Links entfernen. Neue Kern-Content-Inseln aufnehmen.
  6. Technik: Datei als UTF-8, Content-Type text/plain; charset=utf-8, HTTP 200 auf /llms.txt. Kein Redirect, kein CMS-Wrapper.

Typische Fehler in llms.txt-Implementierungen

Verwandte Begriffe

llms.txt gehört zum operativen KI-Crawler-Setup, zusammen mit robots.txt, GPTBot, Google-Extended und weiteren KI-Crawler-User-Agents. Strategisch ist es Teil der GEO- und LLM-SEO-Infrastruktur. Für Dokumentations-Sites ergänzt es XML-Sitemaps als semantisches Kuratierungs-Signal.

FAQ zu llms.txt

Was ist llms.txt? ▾

llms.txt ist ein im September 2024 von Jeremy Howard (Answer.AI) vorgeschlagenes Format, seit August 2026 in Version 2, für eine kuratierte, Markdown-formatierte Übersicht der wichtigsten Inhalte einer Website. Ziel: KI-Agenten und Sprachmodellen eine Navigationshilfe geben, damit sie relevante Seiten gezielt finden.

Ist llms.txt ein offizieller Standard? ▾

Nein. llms.txt ist ein Vorschlag ohne formale Ratifizierung durch IETF oder W3C. Kein großer Anbieter hat bestätigt, dass seine Such-Crawler die Datei auswerten; Google hat im Juni 2026 dokumentiert, dass die Google-Suche sie ignoriert. Verbreitet ist das Format vor allem in Entwickler-Dokumentationen.

Wie unterscheidet sich llms.txt von robots.txt? ▾

robots.txt reguliert Crawler-Zugriff: was darf gecrawlt werden. llms.txt kuratiert Inhalte: was ist relevant. robots.txt ist Zugangskontrolle, llms.txt ist Empfehlung. Beide Dateien liegen im Root, haben aber unterschiedliche Funktionen und werden von unterschiedlichen Systemen konsumiert.

Wie wird llms.txt strukturiert? ▾

Markdown-Format mit H1-Titel (Site-Name), Blockquote-Zusammenfassung, optionalen Detail-Paragraphen und H2-Sektionen, die gruppierte Links mit Beschreibungen enthalten. Version 2 ergänzt Markdown-Fassungen der Seiten und Link-Relationen zur Auffindbarkeit. Die verbreitete llms-full.txt ist eine Konvention, nicht Teil der Spezifikation.

Muss ich llms.txt anlegen? ▾

Für die Google-Suche nicht: Google ignoriert die Datei. Sinnvoll ist sie für Knowledge-Bases, Entwickler-Dokumentationen und Fach-Portale, deren Inhalte Agenten und Coding-Tools gezielt nutzen sollen. Nebeneffekt: llms.txt zwingt zur Kuration der wichtigsten Seiten.

Quellen