Die Server-Logs einer typischen Enterprise-Website zeigen 2026 ein neues Muster. Neben Googlebot, Bingbot und den klassischen SEO-Bots tauchen mit zunehmender Frequenz neue User-Agents auf: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot, Meta-ExternalAgent. Wie groß das Volumen ist, zeigt eine Auswertung von Vercel und MERJ: Im Vercel-Netzwerk kamen GPTBot auf 569 Millionen und Claude auf 370 Millionen Abrufe pro Monat, zusammen rund 20 % der 4,5 Milliarden Googlebot-Abrufe im selben Zeitraum (Dezember 2024). Google-Extended und Applebot-Extended tauchen dagegen nicht als eigene User-Agents in Logs auf: Es sind reine robots.txt-Steuerungstoken.

Die verbreitete Reflex-Reaktion, pauschale Blockade über robots.txt oder Cloudflare-Rules, ist strategisch teuer. Wer GPTBot blockiert, sagt zu OpenAI: „Trainiert euer nächstes Modell bitte ohne unsere Inhalte." Das mag bei Verlagsprodukten juristisch sinnvoll sein, für fast alle anderen Business-Modelle ist es langfristig ein erhebliches Sichtbarkeitsrisiko.

Die wichtigsten KI-Crawler im Überblick

Die folgende Übersicht zeigt die relevantesten KI-Crawler und Steuerungs-Token 2026 mit Betreiber, Einsatzzweck und dem Token für die robots.txt- und Logfile-Konfiguration (Stand: Dokumentation der Betreiber, September 2026).

Crawler Betreiber Trainingsdaten Live-Suche User-Agent-String
GPTBotOpenAIjaneinGPTBot
OAI-SearchBotOpenAIneinja (ChatGPT Search)OAI-SearchBot
ChatGPT-UserOpenAIneinja (nutzer-initiierte Abrufe)ChatGPT-User
ClaudeBotAnthropicjaneinClaudeBot
Claude-UserAnthropicneinja (User-initiierte Abrufe)Claude-User
Claude-SearchBotAnthropicneinja (Suche)Claude-SearchBot
PerplexityBotPerplexityneinja (Perplexity-Suche)PerplexityBot
Perplexity-UserPerplexityneinja (User-initiiert)Perplexity-User
Google-ExtendedGoogleja (Gemini-Training & Grounding)neinGoogle-Extended (nur robots.txt-Token, kein eigener User-Agent)
Applebot-ExtendedAppleja (Apple-Foundation-Modelle)neinApplebot-Extended (nur robots.txt-Token, crawlt nicht selbst)
CCBotCommon Crawlja (offener Crawl-Korpus, häufig für Training genutzt)neinCCBot
Meta-ExternalAgentMetaja (KI-Modelle)neinMeta-ExternalAgent
BytespiderByteDancejaneinBytespider

Hinweis zur Klassifikation: „Trainingsdaten ja" bedeutet, dass der Crawler Inhalte für künftige Modell-Iterationen sammelt. Eine Blockade wirkt sich erst Monate später auf die Modell-Repräsentation Ihrer Marke aus. „Live-Suche ja" markiert Crawler, die Inhalte in Echtzeit für Antworten in Suchprodukten (ChatGPT Search, Perplexity, Claude.ai-Browsing) abrufen. Eine Blockade entfernt Sie hier sofort aus zitierbaren Quellen. Diese Unterscheidung ist die strategische Grundlage jeder differenzierten robots.txt. Eine Einschränkung: Nutzer-initiierte Abrufer wie ChatGPT-User und Perplexity-User halten sich laut ihren Betreibern nicht zwingend an robots.txt.

OpenAI: GPTBot und OAI-SearchBot

OpenAI dokumentiert in der Übersicht seiner Crawler drei relevante Agenten. GPTBot sammelt Inhalte, die für das Training von Foundation-Modellen genutzt werden können. OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen; seine Inhalte werden laut OpenAI nicht für das Training genutzt. ChatGPT-User ruft Seiten bei Nutzeraktionen ab; weil diese vom Nutzer ausgehen, gelten robots.txt-Regeln laut OpenAI hier möglicherweise nicht. Das ist ein wichtiger Unterschied: Wer GPTBot blockiert, aber OAI-SearchBot zulässt, kann in ChatGPT noch zitiert werden, wandert aber nicht mehr in das Modell-Gedächtnis.

Anthropic: ClaudeBot, Claude-User & Claude-SearchBot

Anthropic dokumentiert aktuell drei Bots: ClaudeBot für Trainingsdaten, Claude-User für Abrufe, die Nutzer in Claude auslösen, und Claude-SearchBot für die Suchqualität. Die älteren Tokens anthropic-ai und Claude-Web führt die aktuelle Dokumentation nicht mehr auf. Laut Anthropic respektieren die Bots robots.txt und unterstützen die nicht standardisierte Crawl-delay-Erweiterung. Anthropic veröffentlicht zudem seine IP-Adressen, weist aber darauf hin, dass reine IP-Sperren kein verlässliches Opt-out sind.

Google-Extended

Ein Steuerungs-Token für das Training künftiger Gemini-Modelle und das Grounding in Gemini-Apps und Vertex AI. Laut Google hat Google-Extended keinen eigenen User-Agent: Gecrawlt wird mit den bestehenden Google-Crawlern, das Token wirkt nur in der robots.txt. Es beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking. Blockieren Sie Google-Extended, bleibt Ihre Seite im Suchindex und damit auch mögliche Quelle für AI Overviews, die sich aus der normalen Indexierung speisen.

Apple: Applebot-Extended

Analog zu Google-Extended: ein Opt-out-Token, mit dem Sie laut Apple steuern, ob von Applebot gecrawlte Inhalte für das Training von Apples Foundation-Modellen genutzt werden. Applebot-Extended crawlt selbst nicht. Seiten, die es sperren, können weiterhin in Suchergebnissen von Spotlight, Siri und Safari erscheinen.

PerplexityBot & CCBot

PerplexityBot sammelt für die Perplexity-Suche und wird laut Perplexity nicht für das Training von Foundation-Modellen genutzt. CCBot ist der Crawler des gemeinnützigen Common-Crawl-Projekts, dessen offenes Archiv vielen LLMs als Trainingsbasis dient: Eine Mozilla-Studie fand, dass mindestens 64 % von 47 untersuchten Text-LLMs (2019 bis Oktober 2023) eine gefilterte Common-Crawl-Version nutzten. Eine Blockade von CCBot wirkt deshalb über viele Modelle hinweg.

Welche KI-Crawler sollten Sie erlauben, welche blockieren?

Für die meisten Marken gilt: Such- und Retrieval-Bots erlauben, bei Trainings-Crawlern bewusst entscheiden. Wer OAI-SearchBot, PerplexityBot oder Claude-SearchBot blockiert, verliert Sichtbarkeit in den Suchantworten von ChatGPT, Perplexity und Claude. Wer GPTBot, ClaudeBot, CCBot oder Google-Extended blockiert, entzieht seine Inhalte dagegen nur dem Training künftiger Modelle, nicht der Live-Suche.

Die Betreiber trennen beide Ebenen inzwischen klar: Laut OpenAI erscheinen Seiten, die OAI-SearchBot aussperren, nicht in ChatGPT-Suchantworten, während ein GPTBot-Disallow nur das Training betrifft. Google stellt klar, dass Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst. Zwei Grenzen der robots.txt sollten Sie kennen: Nutzer-initiierte Abrufer wie ChatGPT-User und Perplexity-User halten sich laut Betreiber nicht zwingend daran. Und ein Disallow wirkt nur nach vorn; Anthropic etwa formuliert, dass ein Block die künftigen Inhalte einer Site vom Training ausschließt. Wer beide Ebenen getrennt steuert, bleibt zitierbar und behält die Kontrolle über die Trainingsnutzung.

Die konkrete Abwägung hängt vom Business-Modell ab. Drei Haupt-Szenarien:

Szenario 1: Marken und Dienstleister (Default-Empfehlung)

Für Marken, Dienstleister, B2B-Anbieter und die meisten Corporate-Sites ist die KI-Sichtbarkeit ein Marketing-Asset, kein Content-Verlust. Alle relevanten KI-Crawler erlauben, Crawl-Budget steuern, Server-Last überwachen.

Szenario 2: Publisher und Verlage

Ein komplexerer Abwägungsraum. Pauschale Blockade schützt aktuellen Content-Wert, kostet aber Zukunftsrelevanz in der KI-Ära. Ein verbreiteter hybrider Kurs: GPTBot (Training) blockieren, OAI-SearchBot (Live-Retrieval) erlauben. Damit bleibt man zitierbar, verhindert aber die Trainings-Aneignung.

Szenario 3: Sensible oder rechtlich heikle Inhalte

Seiten mit personenbezogenen Daten, juristisch geschützten Inhalten oder Paywall-Content: Pauschale Blockade, zusätzlich IP-basierte Rate-Limits.

Robots.txt: Die richtige Konfiguration

Eine saubere, differenzierte robots.txt für das Default-Szenario:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

# Sensitive areas
User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /internal/

Ein häufiger Fehler: User-agent: * mit Disallow: / blockiert alle Crawler - inklusive aller KI-Crawler, die robots.txt respektieren. Differenzierung ist essenziell.

Crawl-Budget und Server-Last managen

KI-Crawler verursachen reale Kosten. Bei einer Enterprise-Site mit 50.000 Seiten sehen wir in Logfile-Auswertungen durch mehrere KI-Bots teils mehrere Gigabyte zusätzlichen Traffic pro Tag. Ohne Steuerung kann das zu:

Praktische Maßnahmen:

Rendern KI-Crawler JavaScript?

Nein, die meisten nicht. In einer Auswertung von Vercel und MERJ renderte keiner der großen KI-Crawler von OpenAI, Anthropic, Meta, ByteDance und Perplexity JavaScript. Sie laden JS-Dateien teils herunter, führen sie aber nicht aus. Ausnahmen sind Gemini, das die Googlebot-Infrastruktur nutzt, und Applebot mit browserbasiertem Rendering. GPTBot, ClaudeBot und PerplexityBot sehen damit nur das initial gelieferte HTML. Dynamische Inhalte, die client-seitig über React/Vue/Angular geladen werden, sind für diese Crawler unsichtbar.

Das hat konkrete Konsequenzen:

~20 %

GPTBot + Claude im Verhältnis zum Googlebot-Volumen (Vercel-Netzwerk, 2024)

0

große KI-Crawler mit JavaScript-Rendering laut Vercel/MERJ (außer Gemini und Applebot)

7-14 Tage

Crawl-Intervall für Top-Seiten, das wir in Audits häufig sehen (eigene Daten)

Operator Insight

Der Status-Code, der weh tut

Ein oft übersehener Faktor: 429 Too Many Requests und 503 Service Unavailable. Für Google ist dokumentiert, dass 429- und 5xx-Antworten das Crawling verlangsamen und dauerhaft fehlerhafte URLs aus dem Index fallen. KI-Crawler-Betreiber dokumentieren ihr Verhalten dazu nicht; in unseren Logfiles sehen wir nach Fehlerserien aber ebenfalls deutlich seltenere Zugriffe. Ein unterdimensionierter Server kann so Ihre KI-Sichtbarkeit untergraben, ohne dass es klassische SEO-Reports erfassen.

Strukturierte Daten: Der LLM-Accelerator

Während klassische SEO-Teams Schema-Markup als CTR-Booster für Rich Snippets behandeln, hat strukturiertes Markup in der KI-Ära eine fundamentalere Funktion: Es reduziert Ambiguität für Modelle und erhöht die Wahrscheinlichkeit korrekter Informations-Extraktion.

Besonders wirksam:

Monitoring: Was Sie messen sollten

Ein zeitgemäßes Technical-SEO-Monitoring bezieht KI-Crawler aktiv ein:

Die komplette robots.txt für differenzierten KI-Crawler-Zugriff

Ein typisches Produktiv-Setup für eine B2B-Brand mit hohem Reputationsinteresse, die gleichzeitig monetarisierte Archive schützt:

# SUMAX Enterprise Reference Configuration
# Letzte Aktualisierung: 2026-03-01

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /
Disallow: /members/
Disallow: /internal/

User-agent: GPTBot
Allow: /
Disallow: /members/
Disallow: /pricing-calculator/
Disallow: /internal/

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /
Disallow: /members/

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Allow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /search?
Disallow: /*?utm_
Disallow: /print/

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Wichtig sind die Differenzierungen: GPTBot (Training) darf monetarisierbare Assets nicht sehen; OAI-SearchBot (Live-Retrieval für ChatGPT Search) darf alles, weil hier Citation-Value entsteht. Google-Extended steuert die Nutzung für Gemini-Training und -Grounding — nicht die Aufnahme in AI Overviews, die sich aus dem normalen Google-Index speisen. Wer dort nicht erscheinen will, muss laut Google über nosnippet, data-nosnippet, max-snippet oder noindex steuern, nicht über Google-Extended. Die Verwechslung dieser beiden Ebenen war einer der häufigsten strategischen Fehler von 2024.

Log-File-Analyse: der operative Goldstandard

Crawler-Verhalten lässt sich nicht mit SEO-Tools messen, nur mit Server-Logs. Ein Minimal-Setup für KI-Crawler-Analyse:

# Extract KI-Crawler-Hits aus Apache-/Nginx-Log (awk/cut)
# Felder: IP, UserAgent, Status, Path, Timestamp

# Hinweis: Google-Extended und Applebot-Extended erscheinen nicht in Logs (nur robots.txt-Token)
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot" access.log \
  | awk '{print $1, $7, $9, $NF}' \
  > ki_crawler_hits.tsv

# Aggregation: Hits pro Bot pro Tag pro Pfadmuster
# Ziel-Metriken:
#   - Hit-Rate pro Pfad-Cluster (/blog/*, /produkt/*, /case-study/*)
#   - 2xx-Rate je Bot (soll > 97 %)
#   - Median-Response-Time je Bot (soll < 600 ms)
#   - Re-Crawl-Intervall (Median-Delta zwischen zwei Hits desselben Pfads)

Ein gesundes Crawl-Muster für Enterprise-Domains (eigene Daten aus unseren Benchmarks und Audits, Evidenz C):

~1.240

GPTBot-Requests/Tag, Median bei Enterprise-Domains mit mehr als 10.000 URLs

3-7 Tage

Re-Crawl-Intervall für Top-Content bei gesunden Domains

> 97 %

Ziel-2xx-Rate pro KI-Crawler

JavaScript-Rendering in der Praxis: Folgen und Lösungen

KI-Crawler rendern nach heutigem Stand kein oder kaum JavaScript. Sie lesen nur das initiale HTML-Dokument — verlassen Sie sich ausschließlich auf serverseitig ausgeliefertes HTML. Was clientseitig nachgeladen wird, existiert für sie schlicht nicht.

Praktische Konsequenzen:

Lösungen nach Aufwand:

  1. SSR aktivieren. Next.js, Nuxt, Remix liefern out-of-the-box statisches HTML. Minimaler Aufwand, maximaler Effekt.
  2. Dynamic Rendering (Server-Side rendert für Bots, Client-Side für User). Auch Google nennt es nur einen Workaround und empfiehlt Server-Side Rendering, statisches Rendering oder Hydration.
  3. Prerendering. Statische HTML-Snapshots auf CDN, die bei Bot-Detection ausgeliefert werden. Tools wie Prerender.io; das früher verbreitete Rendertron ist seit 2022 archiviert.
  4. Content-Migration zu MDX/Markdown-Sources mit statischem Build. Für Content-Plattformen die sauberste Lösung.

Rate Limiting, CDN-Policy und der 429-Dead-Zone-Effekt

Aggressive WAF/CDN-Rules (Cloudflare, Akamai, Fastly) blockieren KI-Crawler oft unbemerkt. Typisches Szenario: Die WAF sieht ein ungewöhnliches User-Agent-Pattern, klassifiziert es als Bot-Traffic, drosselt auf 10 req/min. GPTBot stößt an das Limit, bekommt 429 Too Many Requests und kommt nach unserer Beobachtung oft wochenlang seltener. Die Domain taucht in LLM-Outputs nicht mehr auf, obwohl robots.txt sauber ist.

Kontrolle:

Sitemap-Strategie: getrennte Signale für getrennte Zwecke

Eine einzelne sitemap.xml reicht für große Sites oft nicht mehr aus. Wir empfehlen eine 3-Sitemap-Struktur (eigene Empfehlung, Evidenz D):

  1. sitemap-core.xml - kanonische, dauerhafte URLs. Mit korrektem lastmod; changefreq und priority ignoriert Google. Für Training-Crawler.
  2. sitemap-news.xml - News-Format mit Publication-Node. Für OAI-SearchBot, PerplexityBot. Dynamisch, laut Google-Vorgaben nur Artikel der letzten zwei Tage.
  3. sitemap-knowledge.xml - definitorische/evergreen Inhalte (Pillar-Pages, Glossar, Studien). Für LLM-Training besonders wichtig.

Die Trennung hilft Crawlern, die Inhalte nach Lebenszyklus und Zweck zu priorisieren. In unseren Logfile-Analysen sehen wir, dass Training-Crawler wie GPTBot überproportional Evergreen-Inhalte abrufen, während Live-Retrieval-Bots wie OAI-SearchBot stärker auf aktuelle Inhalte zugreifen — dokumentiert ist dieses Verhalten von OpenAI nicht. Eine Monolith-Sitemap erzwingt identische Priorisierung für beide Szenarien - suboptimal.

Monitoring-Dashboard: was wöchentlich gereviewt wird

Technische KI-Crawler-Governance braucht ein eigenes Dashboard. Sechs Core-Metriken:

Operator Insight

Die unsichtbare 15-%-Domain

In unseren Audits zeigen sich regelmäßig Enterprise-Domains, bei denen 15-30 % aller URLs für KI-Crawler faktisch unerreichbar sind, nicht wegen robots.txt, sondern wegen WAF-Drosselung, veralteter SSL-Konfiguration oder JS-Rendering-Falschannahmen. Diese Lücke ist organisationsintern oft niemandem bekannt, weil klassische SEO-Tools sie nicht abbilden. Erst die Kombination aus Logfile-Analyse, Prompt-Audit und Infrastructure-Check deckt sie auf.

Fazit

Technical SEO ist in der KI-Ära kein erledigtes Thema, sondern ein strategisch aufgewertetes Feld. Die Infrastruktur-Entscheidungen, die Sie heute treffen, bestimmen, ob Ihre Marke in den nächsten Modell-Generationen als verlässliche Quelle gespeichert wird oder als lückenhafte, widersprüchliche Entität unscharf bleibt.

Pauschale Blockade mag sich defensiv richtig anfühlen. Für die meisten Business-Modelle ist sie eine strategische Selbstbeschränkung mit langer Wirkungskette.

Quellen