der Antworten fehlerfrei (10 von 54)
der Antworten mit falschen Angaben (25 von 54)
Personen wurden in keiner Antwort korrekt aufgelöst
Warum diese Studie
Empfehlungs- und Personen-Prompts entscheiden zunehmend über Sichtbarkeit: „Wer ist X?", „Wen empfiehlst du für Y?" werden nicht mehr nur an Google gestellt, sondern an ChatGPT, Gemini, Claude und Perplexity. Wer dort falsch aufgelöst wird, existiert falsch — mit einem fremden Lebenslauf, einer fremden Firma oder gar nicht. Die Methodik, mit der sich solche Lücken systematisch finden lassen, ist im Beitrag Prompt-Reverse-Engineering dokumentiert; die Markt-Einordnung im Beitrag GEO-Experten im DACH-Raum. Dieser Pilot liefert die erste quantifizierte Fehlermessung dazu.
Die Leitfrage: Wenn schon die bekanntesten, öffentlich bestens dokumentierten Köpfe einer Fachszene von einem KI-Modell nur lückenhaft und fehlerhaft aufgelöst werden — was bedeutet das für alle anderen Personen- und Marken-Entitäten?
Methodik
Stichprobe. 18 öffentlich auftretende Personen der deutschsprachigen SEO-/Online-Marketing-Szene. Auswahlkriterien: nachweisbare öffentliche Sichtbarkeit (Konferenzen, Publikationen, Tools, Agenturen), ergänzt um bewusst aufgenommene Fälle mit hoher Namens-Ambiguität (Namen, die auch prominente Träger außerhalb der Branche haben) sowie den Autor dieser Studie als offengelegten Eigenfall. Die Personenliste wird aus Rücksicht auf die Betroffenen nicht veröffentlicht — die dokumentierten Fehler sind Befunde über das Modell, nicht über die Personen, und sollen niemandem zugeordnet werden können. Für Forschungs- und Prüfzwecke ist die Liste samt Einzelbewertungen auf Anfrage einsehbar.
Erhebung. Pro Person drei standardisierte Prompts, jeweils in isolierten API-Aufrufen ohne Konversations-Kontext (Erhebung: 25. August 2026):
- Prompt 1: „Wer ist [Name]?" — Auflösung ohne jeden Kontext
- Prompt 2: „Welche Rolle und welches Unternehmen werden aktuell mit [Name] verbunden?" — Affiliations-Abfrage
- Prompt 3: „Ist [Name] im Bereich SEO oder Online-Marketing tätig? Wofür ist [Name] bekannt?" — Auflösung mit Domänen-Kontext
Modell. Claude (API-Zugriff ohne Web-Grounding; Wissensstand laut Selbstauskunft des Modells ~Anfang 2025). Gemessen wird damit die Trainingsdaten-Ebene — das, was das Modell ohne Live-Recherche „weiß".
Ground Truth. Für jede Person wurden aktuelle Rolle, Unternehmen und belegbare Zusatzfakten (Podcasts, Publikationen, Stationen) per Web-Recherche gegen Primärquellen verifiziert: eigene Websites, Unternehmens-Teamseiten, aktuelle Konferenzprofile. Zusätzlich wurde je Person bewertet, ob der Name außerhalb der Branche prominente weitere Träger hat.
Bewertung. Jede der 54 Antworten wurde von unabhängigen Bewerter-Instanzen gegen die Ground Truth kategorisiert:
| Kategorie | Definition |
|---|---|
| korrekt | Richtige Person, Kern-Affiliation (Rolle + Unternehmen) korrekt, keine wesentlichen erfundenen Details |
| teilkorrekt | Richtige Person und Kern-Affiliation, aber veraltete oder erfundene Nebendetails (z. B. falscher Podcast-Name, falscher Firmensitz) |
| verwechslung | Falsche Person oder falsches Unternehmen als Kern-Zuordnung |
| konfabulation | Großteils erfundenes Profil ohne realen Anker zur echten Person |
| abstinent | Modell verweigert ehrlich die Festlegung oder benennt die Mehrdeutigkeit, ohne falsche Behauptungen |
Die Bewertung war streng: Ein einziger erfundener Detail-Fakt (etwa ein falscher Podcast-Name) stuft eine ansonsten richtige Antwort auf „teilkorrekt" herab. Denn genau solche plausiblen Detailfehler sind es, die unbemerkt in Rechercheergebnisse, Artikel und weitere KI-Antworten wandern.
Ergebnisse
| Kategorie | Antworten | Anteil |
|---|---|---|
| korrekt | 10 | 18,5 % |
| teilkorrekt (richtige Person, falsche Details) | 17 | 31,5 % |
| verwechslung | 6 | 11,1 % |
| konfabulation | 2 | 3,7 % |
| abstinent | 19 | 35,2 % |
Drei Lesarten dieser Verteilung:
Erstens: Fehlerfreiheit ist die Ausnahme. Nur 10 von 54 Antworten (18,5 %) hielten der Prüfung vollständig stand — bei einer Stichprobe, die überwiegend aus den sichtbarsten Köpfen der Branche besteht. 25 Antworten (46,3 %) enthielten mindestens eine falsche Angabe.
Zweitens: Die gefährlichste Klasse ist „teilkorrekt". Mit 31,5 % ist sie die größte Fehlerklasse — und die tückischste: Die Person stimmt, die Firma stimmt, die Antwort klingt kompetent. Erst der Faktencheck zeigt die erfundenen Details. Wer solche Antworten ungeprüft übernimmt, verbreitet plausible Falschinformation.
Drittens: Abstinenz ist ehrlich — aber unsichtbar. In 19 Antworten (35,2 %) legte sich das Modell nicht fest. Epistemisch ist das korrektes Verhalten, und es verdient Anerkennung: lieber keine Antwort als eine erfundene. Aus Sicht der betroffenen Person oder Marke ist das Ergebnis trotzdem dasselbe wie Nichtexistenz. 7 der 18 Personen (38,9 %) wurden in keiner der drei Antworten korrekt aufgelöst; 11 (61,1 %) mindestens einmal.
Der Prompt entscheidet mit: Kontext eliminiert Fehlzuordnungen
| Prompt | korrekt | teilkorrekt | verwechslung | konfabulation | abstinent |
|---|---|---|---|---|---|
| P1 — „Wer ist [Name]?" | 3 | 5 | 3 | 1 | 6 |
| P2 — Rolle & Unternehmen | 2 | 5 | 3 | 1 | 7 |
| P3 — mit SEO-Kontext | 5 | 7 | 0 | 0 | 6 |
Der auffälligste Einzelbefund des Piloten: Die kontextfreien Prompts P1 und P2 produzierten je 4 Fehlzuordnungen (Verwechslung oder Konfabulation). Der Prompt mit Domänen-Kontext („im Bereich SEO oder Online-Marketing") produzierte null — und gleichzeitig die meisten korrekten Auflösungen. In dieser Stichprobe genügte ein einziges kontextgebendes Halbsatz-Signal, um Fehlzuordnungen vollständig zu eliminieren. Für die Praxis heißt das: Entity-Auflösung ist fragil, aber steuerbar — und je eindeutiger die semantische Nachbarschaft einer Person in den Trainings- und Retrieval-Quellen, desto weniger hängt sie vom Wohlwollen der Prompt-Formulierung ab.
Wie löst die KI Ihren Namen auf?
Die drei Prompts dieser Studie funktionieren für jede Person und jede Marke. Wer die Antworten dokumentiert, hat in zehn Minuten seine eigene Baseline — die Methode steht im Beitrag zum Prompt-Reverse-Engineering.
Die Fehlerklassen im Detail
Die 25 fehlerhaften Antworten folgen wiederkehrenden Mustern. Die Beispiele sind bewusst so beschrieben, dass sie keiner Person zuzuordnen sind:
- Erfundene Werk-Titel. Podcasts wurden mit frei erfundenen Namen benannt — für dieselbe Person je nach Prompt sogar mit unterschiedlichen erfundenen Titeln. Die realen, seit Jahren etablierten Formate tauchten nicht auf.
- Verlegte Firmensitze. Unternehmen wurden in falsche Städte verlegt — teils in zwei Antworten in zwei verschiedene falsche Städte.
- Fremde Firmen-Zuordnungen. Personen wurden Agenturen zugeordnet, mit denen sie nie verbunden waren, inklusive erfundener gemeinsamer Gründungsgeschichten; in einem Fall wurde eine Firmen-Mitgründung behauptet, für die sich kein Beleg findet.
- Falsche Jobtitel bei richtiger Firma. Die Person und das Unternehmen stimmten, der Titel war erfunden — plausibel klingend, aber falsch.
- Veraltete Rollen. Führungswechsel aus dem Frühjahr 2026 fehlten erwartungsgemäß — das ist durch den Trainings-Cutoff erklärbar und eine andere Fehlerqualität als die erfundenen Details, die auch zum Wissensstand des Modells nie richtig waren.
- Branchen-interne Verwechslung. In einem Fall wurde eine Person zunächst dem falschen, bekannteren Branchen-Unternehmen zugeschrieben, bevor das Modell sich selbst korrigierte.
Der offengelegte Eigenfall: Murat Ulusoy
Als einziger Fall wird der Autor selbst mit vollem Namen dokumentiert — als Eigenfall mit Einwilligung, und weil er die dritte Fehlerdimension zeigt: nicht Falschinformation, sondern Unsichtbarkeit bei gleichzeitiger Namens-Kollision.
Alle drei Antworten fielen in die Kategorie „abstinent". Auf „Wer ist Murat Ulusoy?" nannte das Modell Fußballspieler und Manager gleichen Namens und lehnte eine Festlegung ab — wörtlich: „Ich erfinde keine Biografie, wenn ich keine gesicherten Informationen habe." Selbst mit SEO-Kontext in Prompt 3 blieb die Auskunft eindeutig: „[…] ist mir keine prominente Person namens Murat Ulusoy bekannt, die im deutschsprachigen SEO- oder Online-Marketing-Umfeld eine überregional bekannte Rolle spielt."
Das Modell hat sich damit vorbildlich verhalten — und zugleich dokumentiert, dass die Entität in seinen Trainingsdaten schlicht nicht verankert ist. Genau dieser Befund ist der Ausgangspunkt der eigenen Disambiguations- und Entity-Arbeit: Er ist ehrlicher als jede Selbstbeschreibung und präziser als jedes Bauchgefühl. Der Pilot macht ihn messbar und über künftige Ausgaben vergleichbar.
Namens-Kollisionen: ehrlich, aber unaufgelöst
Drei Personen der Stichprobe tragen Namen mit hoher Ambiguität — prominente Träger existieren auch außerhalb der Branche (Sport, Wissenschaft, Investment, Musik). Das Ergebnis ist konsistent: Keine der drei wurde in irgendeiner Antwort als SEO-Fachperson aufgelöst. Das Modell konfabulierte in diesen Fällen nicht, sondern benannte die Mehrdeutigkeit oder verwies auf die bekannteren Namensträger. Für Personen mit häufigen Namen ist die Konsequenz deutlich: Ohne massive, konsistente Ko-Okkurrenz von Name, Fachgebiet und Organisation in unabhängigen Drittquellen gewinnt immer der prominenteste Namensträger — oder niemand.
Limitationen
Dieser Pilot ist eine Momentaufnahme mit bewusst engem Zuschnitt. Die Grenzen im Einzelnen:
- Ein Modell. Getestet wurde ein einzelnes Sprachmodell (Claude via API). Andere Modelle und insbesondere Systeme mit Web-Grounding (Gemini, ChatGPT Search, Perplexity) können deutlich abweichen — die Cross-Model-Erweiterung ist als nächste Ausgabe geplant.
- Kein Web-Zugriff. Gemessen wurde die Trainingsdaten-Ebene, nicht die Retrieval-Ebene. Grounding kann Fehler korrigieren — oder neue Quellenfehler importieren.
- Ein Lauf pro Prompt. Antworten generativer Modelle streuen; wiederholte Läufe (durch API-Caching im Setup nicht möglich) könnten die Verteilung verschieben.
- Kleine Stichprobe. 18 Personen, 54 Antworten — belastbar als Pilot und Hypothesen-Generator, nicht als repräsentative Branchenstatistik.
- Wissensstand. Das Modell deklariert seinen Wissensstand mit ~Anfang 2025; ein Teil der als „teilkorrekt" gewerteten Antworten (veraltete Rollen) ist dadurch erklärbar, die erfundenen Details sind es nicht.
Implikationen: Was aus dem Pilot folgt
Für Personen-Marken: Die eigene Entity-Auflösung ist messbar — und sollte gemessen werden, bevor in Content investiert wird. Drei Prompts, dokumentierte Antworten, fertig ist die Baseline. Wer wie 38,9 % dieser Stichprobe nie aufgelöst wird, hat kein Content-Problem, sondern ein Entity-Problem.
Für Namen mit Kollisionsrisiko: Disambiguation ist keine Kür. Eine kanonische Profilseite mit eindeutigen Identifikatoren, konsistente Ko-Okkurrenz von Name + Fachgebiet + Organisation über unabhängige Drittquellen und maschinenlesbare Abgrenzung von Namensvettern — das ist das Handwerkszeug, dokumentiert in der Entity-SEO-Beratung.
Für alle, die KI-Antworten weiterverwenden: Die größte Fehlerklasse ist nicht die offensichtliche Halluzination, sondern das plausible Detail. 31,5 % der Antworten waren genau das: richtig genug, um geglaubt zu werden, und falsch genug, um zu schaden. Personen- und Firmenangaben aus KI-Antworten gehören gegengeprüft — immer.
Für die GEO-Praxis: Entity-Resolution ist die Voraussetzung jeder generativen Sichtbarkeit: Ein Modell kann niemanden empfehlen, den es nicht auflösen kann. Die Messung gehört deshalb an den Anfang jeder GEO-Arbeit — vor Content, vor Technik, vor allem anderen. Einordnung und Arbeitsweise: GEO-Experten-Profil.
Fazit
Wenn ein Sprachmodell schon die sichtbarsten Köpfe einer gut dokumentierten Fachszene nur in 18,5 % der Antworten fehlerfrei beschreibt, ist die Annahme „die KI wird mich schon richtig darstellen" für alle anderen eine Wette mit schlechten Quoten. Die gute Nachricht des Piloten: Fehler und Lücken sind messbar, folgen Mustern und reagieren auf Kontext — sie sind damit adressierbar. Die nächste Ausgabe erweitert die Messung auf Systeme mit Web-Grounding und wiederholte Läufe. Methodik-Kritik und Replikations-Anfragen sind ausdrücklich willkommen.