Definition und User-Agents
Anthropic dokumentiert drei User-Agents mit getrennten Zwecken:
- ClaudeBot: sammelt Trainingsdaten für zukünftige Claude-Modelle — das Pendant zu GPTBot.
- Claude-SearchBot: crawlt für die Such-Funktionalität von Claude — bestimmt, welche Quellen in Antworten mit Web-Suche auftauchen können.
- Claude-User: ruft Seiten live ab, wenn Nutzer in Claude eine URL oder Recherche anstoßen.
Ältere Bezeichnungen wie anthropic-ai und Claude-Web kursieren weiterhin in robots.txt-Vorlagen; maßgeblich ist die aktuelle Anthropic-Dokumentation. Alle Crawler respektieren laut Anthropic die robots.txt und sind über veröffentlichte IP-Bereiche verifizierbar.
Die Sichtbarkeits-Abwägung
Die Trainings-Frage (ClaudeBot) und die Sichtbarkeits-Frage (Claude-SearchBot, Claude-User) sind getrennt zu beantworten. Trainings-Präsenz wirkt langfristig: Inhalte, die in Trainingskorpora einfließen, prägen, was künftige Modell-Generationen über eine Marke „wissen“ — der langsamste, aber nachhaltigste Kanal der LLM-SEO. Such-Zugänglichkeit wirkt unmittelbar auf Zitationen in Claude-Antworten. Eine pauschale Anthropic-Blockade beendet beides zugleich.
# Beispiel: alles erlauben (Sichtbarkeits-Position) User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: /
Praxis-Checks
- robots.txt aktualisieren: die aktuellen Anthropic-User-Agents explizit führen statt veralteter Aliasse.
- WAF-Regeln prüfen: Bot-Schutz-Systeme blockieren KI-Crawler oft pauschal — Logfile-Analyse auf 200er-Status für die Claude-Agents.
- Monitoring: eigene Darstellung in Claude regelmäßig testen — Entity-Auflösung und Zitationen, dokumentiert über Prompt-Sets (siehe die Entity-Resolution-Studie, die genau diese Ebene misst).
Verwandte Begriffe
ClaudeBot gehört zur Crawler-Policy des Retrieval-Layers neben GPTBot, OAI-SearchBot, PerplexityBot und Google-Extended; kuratierte Hinweise für alle Systeme liefert llms.txt. Modell-spezifische Optimierung: Claude-Citation-Optimierung.
Training und Suche sind zwei Entscheidungen
ClaudeBot füllt Trainingskorpora, Claude-SearchBot den Such-Layer. Wer Anthropic pauschal aussperrt, verzichtet auf beides — Trainings-Präsenz in künftigen Modellen und Zitationen in heutigen Antworten.
FAQ zu ClaudeBot
Was ist der Unterschied zwischen ClaudeBot, Claude-SearchBot und Claude-User? ▾
ClaudeBot sammelt Trainingsdaten für künftige Claude-Modelle. Claude-SearchBot crawlt für die Such-Funktion und bestimmt die zitierbaren Quellen. Claude-User ruft Seiten live ab, wenn Nutzer eine URL oder Recherche anstoßen. Alle drei lassen sich getrennt per robots.txt steuern.
Sollte man ClaudeBot blockieren? ▾
Das ist eine Geschäftsentscheidung zwischen Content-Schutz und Modell-Präsenz: Die Blockade hält Inhalte aus künftigen Trainingskorpora heraus — und verzichtet damit auf den langfristigsten Kanal der Marken-Verankerung in LLMs. Für sichtbarkeitsorientierte Marken überwiegt meist der Nutzen der Öffnung.
Respektieren die Anthropic-Crawler die robots.txt? ▾
Laut Anthropic-Dokumentation ja, für alle drei User-Agents. Zur Verifikation echter Zugriffe veröffentlicht Anthropic IP-Bereiche; Blockaden passieren in der Praxis häufiger unbeabsichtigt durch WAF- und Bot-Schutz-Regeln als bewusst per robots.txt.
Wie prüfe ich meine Darstellung in Claude? ▾
Mit dokumentierten Prompt-Sets: Entity-Prompts („Wer ist …?“) und Fach-Prompts über mehrere Läufe, bewertet gegen verifizierte Fakten. Die Methodik dazu ist in der Entity-Resolution-Studie dokumentiert — sie misst genau diese Trainingsdaten-Ebene.