LLM Citation Benchmark — der Messrahmen für AI-Search-Sichtbarkeit.

Warum ein standardisierter Benchmark nötig ist

Der Markt für LLM-Citation-Analyse ist 2026 fragmentiert. Einzelne Tools messen auf unterschiedliche Arten, Beratungsagenturen berichten mit widersprüchlichen Zahlen, akademische Forschung arbeitet mit Methoden, die in produktiver Beratung selten replizierbar sind. Diese Fragmentierung hat praktische Konsequenzen: Marken erhalten Berichte mit „42 Prozent Citation-Rate" oder „0,73 Share-of-Voice", ohne vergleichbare Basis zu haben. Board-Präsentationen werden auf Metriken aufgebaut, die zwischen Quartals-Berichten nicht einheitlich erhoben wurden.

Der hier dokumentierte Benchmark-Rahmen schlägt eine reproduzierbare Messmethodik vor, die folgende Kriterien erfüllt: Erstens Transparenz — jede Methodik-Entscheidung wird offen diskutiert, keine Blackbox-Scoring. Zweitens Replikabilität — die Prompt-Matrix ist dokumentiert, der Ausführungs-Rhythmus standardisiert, die Auswertungs-Logik kodifiziert. Drittens Vergleichbarkeit — Branchen-Baselines werden veröffentlicht, sodass einzelne Marken-Werte kontextualisiert werden können. Viertens Robustheit — statistische Signifikanz wird explizit geprüft, Konfidenzintervalle angegeben, bekannte Messfehler benannt.

Der Messrahmen im Detail

Der Rahmen definiert sieben Primär-Metriken und fünf Sekundär-Metriken, aufgeteilt pro Modell und pro Branche.

Primär-Metrik 1 — Citation-Rate. Anteil der Prompts einer Matrix, in denen die Marke explizit als Quelle oder als inhaltliche Referenz in der Antwort erscheint. Operationalisierung: Marke gilt als zitiert, wenn entweder (a) die Marken-URL als Source-Link im LLM-Output erscheint, (b) der Markenname plus eindeutiger Identifier (Produkt-Name, CEO-Name) im Antwort-Text erscheint oder (c) bei Perplexity die Source-Card mit zugehöriger Domain angezeigt wird. Messung pro Modell, aggregiert über 7-Tage-Perioden.

Primär-Metrik 2 — AI Answer Rate (AAR). Relative Position der Marke innerhalb der LLM-Antwort, operationalisiert auf einer 3-Punkt-Skala: Top (erste 30 Prozent der Antwort), Middle (30 bis 70 Prozent), Tail (letzte 30 Prozent). AAR-Top-Rate ist besonders wertvoll, weil sie die Wahrnehmungs-Wahrscheinlichkeit durch Nutzer abbildet.

Primär-Metrik 3 — Source-Origin-Breakdown. Klassifikation der zitierten Quellen in Own (eigene Marken-Domain), Third-Party (Fachmedien, Wikipedia, Drittbewertungen) und Hybrid (Marken-Nennung in Drittquelle). Eine hohe Own-Quote signalisiert starke eigene Content-Infrastruktur; eine hohe Third-Party-Quote signalisiert starke externe Corroboration; eine gesunde Mischung ist typischerweise die stabilste Basis.

Primär-Metrik 4 — Competitor Share-of-Voice. Relative Citation-Dichte der Marke gegenüber einer definierten Wettbewerber-Liste (typisch drei bis fünf direkte Wettbewerber). Wird pro Prompt und aggregiert berechnet.

Primär-Metrik 5 — Entity-Resolution-Rate. Anteil der Citations, bei denen die Marke als korrekte Entität resolved wird (richtiger Name, richtige Kategorie, richtige Standort-Referenz). Eine niedrige Rate signalisiert Entity-Ambiguität oder Disambiguation-Schwächen.

Primär-Metrik 6 — Halluzinations-Rate. Anteil der Citations, bei denen der LLM der Marke falsche Attribute zuschreibt (falscher Gründer, falsche Produktbeschreibung, falsche Preise, falsche Features). Wird manuell verifiziert gegen Ground-Truth-Quellen.

Primär-Metrik 7 — Source-Freshness. Durchschnittliches Publikationsdatum der zitierten Quellen, relativ zum aktuellen Datum. Niedrige Freshness (alte Quellen) signalisiert Content-Aging-Risiko.

Die fünf Sekundär-Metriken umfassen: Citation-Length (durchschnittliche Länge der Marken-bezogenen Textsegmente in Antworten), Context-Accuracy (ob die Marke im thematisch passenden Kontext zitiert wird), Link-Presence (ob Citations mit klickbarer URL versehen sind), Consistency-Score (Konsistenz der Attribute über verschiedene Prompts hinweg) und Temporal-Drift (Veränderung der Metriken über Zeit).

Prompt-Matrix-Architektur

Die Prompt-Matrix ist das zentrale Mess-Instrument. Sie wird in fünf Dimensionen konstruiert, wobei jede Dimension distinkte Nutzer-Intents abbildet.

Dimension 1 — Brand Queries. Prompts, die die Marke explizit nennen und typisch informationale Nutzer-Intents widerspiegeln: „Was ist [Marke]?", „Wer ist der CEO von [Marke]?", „Wofür ist [Marke] bekannt?", „Vor- und Nachteile von [Marke]". Typische Matrix-Größe pro Marke: 50–100 Prompts. Diese Prompts messen primär Entity-Resolution und Konsistenz der Modell-Antwort.

Dimension 2 — Category Queries. Prompts, die die Kategorie nennen, ohne die Marke: „Beste CRM-Plattformen für B2B", „Führende Cloud-Anbieter 2026", „Zuverlässige Versicherer in Deutschland". Matrix-Größe: 100–300 Prompts. Messen primär unprompted Recall — wird die Marke spontan genannt?

Dimension 3 — Use-Case Queries. Prompts, die konkrete Problem-Szenarien beschreiben: „Wie optimiere ich E-Mail-Marketing für einen Online-Shop unter 100 Mitarbeitern?", „Was sind Lösungen für Supply-Chain-Transparenz im Mittelstand?". Matrix-Größe: 100–200. Messen Assoziations-Stärke — wird die Marke im Problem-Kontext korrekt zugeordnet?

Dimension 4 — Comparison Queries. Prompts, die direkte Gegenüberstellungen triggern: „[Marke A] vs. [Marke B]", „Alternativen zu [dominantem Wettbewerber]", „Was ist besser — [Marke A] oder [Marke B] für [Use-Case]?". Matrix-Größe: 50–150. Messen relative Positionierung und Wettbewerbs-Narrative.

Dimension 5 — Longtail Queries. Spezifische, seltene Queries mit konkreten Details: „Wie integriert [Marke] mit [Drittanbieter]?", „Pricing von [Marke] für 500-Mitarbeiter-Unternehmen". Matrix-Größe: 100–300. Messen Deep-Content-Coverage.

Ausführungs-Protokoll

Die Ausführung folgt einem standardisierten Protokoll, das Messrauschen minimiert.

Time Windows. Jede Modell-Kombination wird in mindestens zwei diskreten 7-Tage-Fenstern erhoben, mit mindestens 14 Tagen Abstand. Das fängt kurzfristige Modell-Drift (tägliche Rerouting-Entscheidungen, A/B-Tests) heraus.

Geographic Control. Alle Prompts werden über definierte Geo-IP-Proxys ausgeführt — für DACH-Benchmarks typisch Frankfurt-IP, für EU-Benchmarks Paris plus Amsterdam, für US-Benchmarks New York plus San Francisco. Gleiche Prompts über unterschiedliche Geos zeigen substantielle Unterschiede in LLM-Antworten, die in Reports explizit ausgewiesen werden müssen.

Personalization Isolation. Alle Sessions werden in isolierten Incognito-Browsern oder frischen API-Sessions gefahren. Keine persistente Nutzer-Historie, keine akkumulierten Präferenzen. Das schließt Personalisierungs-Effekte aus, die bei Pro-Accounts (ChatGPT Plus, Claude Pro) aktiviert sein können.

Model Version Pinning. Wo möglich werden spezifische Modell-Versionen adressiert (GPT-4o vs. GPT-5, Claude Sonnet 4.6 vs. Claude Opus 4.6). Modell-Updates können Citation-Rate um zweistellige Prozentpunkte verschieben; Pinning erlaubt sauberes Tracking von Update-Effekten.

Redundancy Sampling. Gleicher Prompt wird drei- bis fünfmal pro Fenster ausgeführt. Interne Varianz in LLM-Antworten zur gleichen Query ist messbar; durch Redundanz wird die beste Abschätzung des „stabilen" Antwort-Musters gewonnen.

Attribution-Logik

Die Klassifikation, wann eine Marke als zitiert gilt, folgt hierarchischen Kriterien mit abnehmender Konfidenz.

Tier 1 — explizite Citation mit URL. LLM-Antwort enthält klickbaren Link zur Marken-Domain oder nummerierte Source-Card (Perplexity). Höchste Konfidenz, eindeutig klassifizierbar.

Tier 2 — explizite Marken-Nennung plus eindeutiger Identifier. Markenname wird genannt, kombiniert mit Produktname, CEO-Name, Gründungs-Kontext oder anderer disambiguierender Information. Mittlere Konfidenz, menschliche Validierung bei Sonderfällen.

Tier 3 — indirekte Referenz via Beschreibung. LLM beschreibt Charakteristika, die eindeutig auf die Marke passen, ohne Namen zu nennen („der deutsche Marktführer für Industrie-Automation aus Stuttgart"). Niedrigere Konfidenz; wird in manchen Reports separat ausgewiesen, nicht in die Primär-Metrik aggregiert.

Nicht-Citation. Reine Namens-Erwähnung ohne Kontext-Kohärenz (z. B. als homonyme Assoziation) zählt nicht als Citation. Diese Klassifikation erfordert Entity-Disambiguation, wird typisch durch NER-Pipeline plus manuelle Validierung erledigt.

Branchen-Baselines

Aus 12.000 Prompts über 150 Marken haben wir Branchen-Baselines abgeleitet, die als Vergleichspunkt für einzelne Marken dienen. Die Baselines sind keine normativen Ziele, sondern Durchschnittswerte, die zeigen, wo eine Branche statistisch steht.

B2B-Software: mediane Citation-Rate 24 %, 75-Percentile 41 %, Top-Decile 58 %. Legal Professional Services: median 31 %, 75-Percentile 48 %, Top-Decile 64 %. Healthcare: median 18 %, 75-Percentile 34 %, Top-Decile 52 % (YMYL-Konservatismus der Modelle). E-Commerce-Retail: median 22 %, 75-Percentile 39 %, Top-Decile 56 %. Automotive: median 26 %, 75-Percentile 42 %, Top-Decile 60 %. Finance: median 19 %, 75-Percentile 33 %, Top-Decile 51 %. Travel: median 28 %, 75-Percentile 45 %, Top-Decile 61 %. Industrial Manufacturing: median 14 %, 75-Percentile 28 %, Top-Decile 44 %.

Diese Werte beziehen sich auf die Citation-Rate über die standardisierte Matrix, gemittelt über alle sechs LLM-Systeme. Modell-spezifische Variationen sind substantial und sollten in operativen Reports separat ausgewiesen werden.

Qualitätssicherung und bekannte Limitationen

Qualitätssicherung erfolgt über vier Mechanismen. Erstens: alle Automatisierungen werden gegen eine manuell kodierte Stichprobe von 500 Prompts pro Quartal kalibriert. Bei Abweichungen über 5 Prozent wird die Automatisierung überarbeitet. Zweitens: Code-Review des Extraktion- und Klassifikations-Codes durch externe Reviewer, dokumentiert in internen Review-Reports. Drittens: Outlier-Analyse bei unplausiblen Messwerten (Citation-Rate-Sprünge über 20 Prozentpunkte binnen einer Woche werden als Anomalie markiert und manuell untersucht). Viertens: quarterly Re-Kalibrierung der Attribution-Heuristiken gegen aktualisierte Modell-Verhaltens-Patterns.

Bekannte Limitationen umfassen: (a) Attribution bei Tier-3-indirekten-Referenzen bleibt subjektiv und wird konservativ bewertet. (b) LLM-Halluzinationen können zu Falsch-Citations führen, die methodisch nicht von korrekten Citations unterschieden werden — die Halluzinations-Rate-Metrik adressiert das, aber nicht perfekt. (c) Personalisierung in echten Nutzer-Szenarien ist stärker als in Isolations-Messungen — reale Citation-Rates können abweichen. (d) Der Benchmark fokussiert auf öffentlich zugängliche LLM-Interfaces; interne Enterprise-Copilot-Kontexte sind nicht abgedeckt.

Offenheit und Replikation

Der Benchmark-Rahmen ist explizit als offenes Referenz-Framework konzipiert. Die Methodik-Dokumentation wird bei Anfrage an Forschungspartner und Agenturen weitergegeben, inklusive Prompt-Matrix-Templates, Klassifikations-Heuristiken und statistischer Auswertungs-Code. Die Hoffnung ist, dass der Markt über ein Jahr hinweg eine gemeinsame Mess-Basis entwickelt, analog zur historischen Evolution etablierter SEO-Metriken (organische Impressions, CTR) — mit klaren operativen Konsequenzen für Board-Reporting und Investitions-Entscheidungen.

Operationalisierung für die eigene Marke

Für Marken, die den Benchmark-Rahmen produktiv nutzen wollen, ist der Einstieg in drei Phasen strukturiert. Phase eins (Monate 1 bis 2): eigene Prompt-Matrix konstruieren, branchenspezifisch anpassen, Baseline über zwei 7-Tage-Fenster erheben. Phase zwei (Monate 2 bis 4): Interventionen implementieren — Entity-Arbeit, Passage-Engineering, Schema-Graph — und Post-Interventions-Messung durchführen. Phase drei (ab Monat 4): kontinuierliches wöchentliches Monitoring mit Drift-Alerts für Citation-Rate-Abfall über definierten Schwellen.

Das entspricht strukturell unserem LLM Citation Monitoring-Service, kann aber auch mit vergleichbaren Tools und internen Ressourcen aufgebaut werden. Wichtig ist Konsistenz der Methodik — einmalige Messungen ohne Wiederholbarkeit sind Anekdote, nicht Benchmark.

Fazit: Benchmark als Disziplin

Der Wert eines Benchmarks liegt nicht in einzelnen Zahlen, sondern in der disziplinierten Wiederholbarkeit. Marken, die ihre AI-Search-Sichtbarkeit systematisch nach einem standardisierten Rahmen messen, bauen eine Datenbasis auf, die über Jahre hinweg trägt — und die gegen Modell-Updates, Branchen-Verschiebungen und organisatorische Wechsel robust bleibt. Der hier dokumentierte Rahmen ist ein Vorschlag, keine Vorschrift. Unsere Hoffnung ist, dass unabhängige Replikation und konstruktive Kritik den Rahmen über Zeit verbessern — und dass der Markt so zu einer gemeinsamen Mess-Basis findet, die Board-Kommunikation und Investitions-Entscheidungen auf rationalere Grundlage stellt.