Definition: Was ist GPTBot?
GPTBot ist der offizielle Web-Crawler von OpenAI. Er wurde im August 2023 eingeführt und sammelt öffentlich zugängliche Inhalte, die in zukünftige Trainingsläufe der GPT-Modell-Familie einfließen. Der User-Agent lautet schlicht GPTBot; die vollständige User-Agent-Zeichenkette steht in der OpenAI-Crawler-Dokumentation, die offiziellen IP-Bereiche als JSON-Datei unter openai.com/gptbot.json. Durch publizierte IP-Bereiche kann der Crawler zuverlässig von Spoofing-Versuchen unterschieden werden.
Wichtig zur Abgrenzung: GPTBot ist nicht der einzige OpenAI-User-Agent. Für die ChatGPT-Search-Funktion operiert OAI-SearchBot, für Live-Abrufe während einer Nutzer-Session ChatGPT-User. Die drei User-Agents haben unterschiedliche Zwecke und werden in robots.txt separat adressiert; für den nutzerinitiierten ChatGPT-User gelten robots.txt-Regeln laut OpenAI unter Umständen nicht. Wer „GPTBot" sperrt, sperrt nicht automatisch die ChatGPT-Suche. Ein häufiges Missverständnis in Enterprise-Policies.
Das häufigste Blockade-Problem ist nicht robots.txt, sondern die WAF
Viele Domains erlauben GPTBot in robots.txt, blockieren ihn aber via Cloudflare-, Akamai- oder AWS-WAF mit 429-Rate-Limits. Die Folge: Inhalte fehlen in künftigen Trainingsdaten. Trifft dieselbe Regel auch den OAI-SearchBot, fehlen sie zusätzlich in ChatGPT Search.
Steuerung über robots.txt
Die primäre Steuerung erfolgt über die robots.txt-Datei im Website-Root. Die Basis-Syntax für vollständige Sperre:
User-agent: GPTBot Disallow: /
Für selektive Kontrolle, etwa nur das Blog öffnen, den Mitgliederbereich sperren:
User-agent: GPTBot Allow: /blog/ Disallow: /
Für das Zulassen mit feinkörniger Steuerung mehrerer OpenAI-User-Agents:
User-agent: GPTBot Disallow: /internal/ Disallow: /kunden/ User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: /
Laut OpenAI-Dokumentation beachtet GPTBot die robots.txt: Ein Disallow signalisiert, dass die Inhalte nicht für das Training generativer Basismodelle genutzt werden sollen. Die Regel wirkt ab dem nächsten Abruf, nicht rückwirkend auf bereits trainierte Modelle.
Das 429-Problem: WAF-Blockaden trotz offener robots.txt
In der Praxis scheitert GPTBot auf vielen Domains nicht an robots.txt, sondern an der Web Application Firewall. Cloudflare, Akamai, AWS WAF, Imperva und Fastly haben Default-Regeln, die Bot-Traffic aus unbekannten User-Agents aggressiv raten-limitieren oder mit Challenge-Prompts beantworten. GPTBot kann CAPTCHAs nicht lösen und erhält in der Folge HTTP 429 Too Many Requests oder 403 Forbidden, obwohl die robots.txt-Direktive ihn explizit zulässt.
Das Muster sehen wir in Audits häufig, und es hat sich verschärft: Seit dem 1. Juli 2025 fragt Cloudflare jede neu eingerichtete Domain, ob KI-Crawler zugelassen werden sollen, und startet mit kontrolliertem Zugang statt offenem Standard. Wer bei der Einrichtung nicht bewusst entscheidet, sperrt KI-Crawler womöglich unbeabsichtigt. Für Publisher, die auf LLM-Sichtbarkeit Wert legen, ist das ein operatives Problem: Content fehlt in künftigen Trainingsdaten, obwohl die robots.txt ihn freigibt.
Praxis: WAF-Policy für GPTBot
- Verifikation. Offizielle IP-Range aus OpenAIs JSON-Liste (
openai.com/gptbot.json) ziehen und als vertrauenswürdig markieren. - Rate-Limits anheben. Für verifizierte GPTBot-IPs mindestens 100 Requests/Minute erlauben.
- Challenges deaktivieren. Für GPTBot-IPs keine JavaScript- oder CAPTCHA-Challenges. Der Crawler führt laut einer Analyse von Vercel und MERJ (Dezember 2024) kein JavaScript aus.
- Logging. Separate Log-Kategorie für GPTBot-Traffic. Monatlicher Check auf 4xx/5xx-Response-Raten. Ziel: < 2 Prozent 429/403.
- Dokumentation. Die WAF-Ausnahme in der Security-Policy dokumentieren, damit sie nicht bei Routine-Updates gelöscht wird.
Parallel ist zu entscheiden, welche Bereiche via robots.txt gesperrt bleiben: Mitgliederbereiche, interne Tools, Kunden-Dashboards. Der öffentliche Content - Blog, Glossar, Produkt-Seiten, Pressebereich - gehört typischerweise in die zugelassene Zone.
Typische Fehler in GPTBot-Strategien
- Blanke Sperre aus Unsicherheit.
User-agent: * / Disallow: /im Glauben, das schließe nur „AI aus". In Wirklichkeit sperrt das auch Google und alle seriösen Crawler. Häufiger Fehler in CMS-Default-Konfigurationen. - WAF-Blockade nicht erkannt. robots.txt ist offen, aber die Logs zeigen hunderte 429 von GPTBot. Ohne separates WAF-Monitoring bleibt das Problem unsichtbar.
- Verwechslung der User-Agents. Nur GPTBot gesperrt, aber OAI-SearchBot und ChatGPT-User vergessen. Ergebnis: Modell-Training blockiert, ChatGPT Search und nutzerinitiierte Abrufe weiterhin offen.
- Keine IP-Verifikation. Requests mit User-Agent „GPTBot" werden pauschal zugelassen. Spoofer missbrauchen das für ungeschützte Scraper-Zugriffe. Nur IPs aus der OpenAI-JSON-Liste vertrauen.
- Undokumentierte Policy. Security-Team stellt in der nächsten WAF-Routine alles zurück auf Default. GPTBot wird erneut blockiert.
Verwandte Begriffe
GPTBot ist Teil der KI-Crawler-Landschaft, zusammen mit Google-Extended, ClaudeBot, PerplexityBot und CCBot. Die Steuerung erfolgt über robots.txt, ergänzend über llms.txt und WAF-Policy. Strategisch gehört GPTBot in jede GEO- und LLM-SEO-Infrastruktur.
FAQ zu GPTBot
Was ist GPTBot? ▾
GPTBot ist der Web-Crawler von OpenAI, eingeführt im August 2023. Er sammelt öffentlich zugängliche Webinhalte als Trainingsmaterial für zukünftige GPT-Modell-Generationen. Der User-Agent lautet 'GPTBot'. Parallel operiert OAI-SearchBot für die ChatGPT-Search-Funktionalität und ChatGPT-User für Live-Abrufe während einer Nutzer-Sitzung.
Wie sperrt man GPTBot aus? ▾
Über einen Eintrag in der robots.txt: User-agent: GPTBot / Disallow: /. OpenAI dokumentiert das offiziell und respektiert die Direktive. Die Sperre wirkt für zukünftiges Crawling; bereits trainierte Modelle behalten den Inhalt. Für vollständige Kontrolle werden zusätzlich OAI-SearchBot und ChatGPT-User adressiert; bei ChatGPT-User gelten robots.txt-Regeln laut OpenAI unter Umständen nicht, weil die Abrufe von Nutzern ausgelöst werden.
Was ist das 429-Problem? ▾
Viele Sites blockieren GPTBot unbeabsichtigt über WAF-Regeln oder Rate-Limits, die zu 429 Too Many Requests führen. Der Crawler wird dann als verdächtiger Traffic eingestuft und aussortiert, obwohl robots.txt den Zugriff erlaubt. In unseren Audits gehört das zu den häufigsten Ursachen, wenn Inhalte trotz offener robots.txt nicht bei OpenAI ankommen; betrifft die Regel auch den OAI-SearchBot, fehlen die Seiten zusätzlich in ChatGPT Search.
Unterscheidet sich GPTBot von OAI-SearchBot? ▾
Ja. GPTBot sammelt Trainingsdaten für Modell-Updates. OAI-SearchBot indexiert für die ChatGPT-Search-Funktionalität - vergleichbar mit einem klassischen Search-Crawler. ChatGPT-User wiederum holt Inhalte live beim Nutzer-Request ab. Alle drei User-Agents werden separat in robots.txt adressiert; für ChatGPT-User gelten die Regeln laut OpenAI unter Umständen nicht.
Schadet das Zulassen von GPTBot der eigenen Domain? ▾
In der Regel nein. GPTBot beachtet die robots.txt, nutzt veröffentlichte IP-Bereiche (openai.com/gptbot.json) und erzeugt überschaubare Last. Eine Sperre signalisiert OpenAI, die Inhalte nicht für künftiges Training zu nutzen. Für Publisher, die auf LLM-Sichtbarkeit Wert legen, ist das offene Zulassen die Standard-Empfehlung.