Definition und Einordnung
OpenAI betreibt drei dokumentierte User-Agents mit klar getrennten Aufgaben:
- OAI-SearchBot: crawlt für den Such-Index von ChatGPT Search — die Basis für Zitationen und Links in Antworten mit Web-Suche.
- GPTBot: sammelt Trainingsdaten für zukünftige Modelle.
- ChatGPT-User: ruft Seiten live ab, wenn ein Nutzer in ChatGPT eine konkrete URL oder Recherche anstößt.
Der User-Agent-String enthält OAI-SearchBot nebst Verifikations-URL; die zugehörigen IP-Bereiche veröffentlicht OpenAI zur Echtheits-Prüfung. Alle drei Crawler respektieren laut OpenAI-Dokumentation die robots.txt.
Die Sichtbarkeits-Konsequenz
Wer den OAI-SearchBot blockiert, entfernt sich aus dem Quellen-Pool von ChatGPT Search — bei laut OpenAI-Angaben (Stand 2025) über 800 Millionen wöchentlichen Nutzern und einem wachsenden Anteil suchender Prompts eine folgenreiche Entscheidung. Wichtig ist die Trennung der Entscheidungen: Eine Marke kann Training blockieren (GPTBot) und Suche erlauben (OAI-SearchBot) — oder umgekehrt. Die pauschale Blockade „aller KI-Crawler“ verwechselt drei verschiedene Geschäftsfragen.
# Suche erlauben, Training blockieren User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: /
Praxis-Checks
- robots.txt prüfen: explizite Regeln je Crawler statt Wildcard-Annahmen.
- WAF und Bot-Schutz: viele Blockaden passieren nicht in der robots.txt, sondern in Firewalls und CDN-Regeln — Logfile-Analyse und Status-Code-Tests (200 statt 403/429) gehören zum Audit.
- Verifikation: echte OAI-SearchBot-Zugriffe über die veröffentlichten IP-Bereiche gegen Fake-Crawler abgrenzen.
- Monitoring: Crawl-Frequenz in den Logs beobachten — sie zeigt, ob und wie tief der Index die Domain erfasst.
Verwandte Begriffe
Die Crawler-Trias von OpenAI steht neben PerplexityBot, ClaudeBot und Google-Extended. Die Crawler-Policy ist Teil des Retrieval-Layers von GEO; kuratierte Inhalts-Hinweise ergänzt llms.txt. Vollständige Analyse: Technical SEO für AI-Crawler.
Drei OpenAI-Crawler, drei getrennte Entscheidungen
OAI-SearchBot (Suche), GPTBot (Training) und ChatGPT-User (Live-Abruf) beantworten verschiedene Geschäftsfragen. Wer pauschal blockiert, entscheidet unbewusst über seine ChatGPT-Sichtbarkeit.
FAQ zu OAI-SearchBot
Was ist der Unterschied zwischen OAI-SearchBot und GPTBot? ▾
OAI-SearchBot crawlt für den Such-Index von ChatGPT Search — er bestimmt, ob eine Domain in Antworten zitiert und verlinkt werden kann. GPTBot sammelt Trainingsdaten für künftige Modelle. Beide lassen sich in der robots.txt getrennt steuern.
Sollte man den OAI-SearchBot blockieren? ▾
Für die meisten Geschäftsmodelle nicht: Die Blockade entfernt die Domain aus dem Quellen-Pool von ChatGPT Search und kostet Zitations-Sichtbarkeit. Sinnvoll kann sie für Paid-Content-Modelle sein, deren Wert die Antwort vorwegnehmen würde — das ist eine Geschäftsentscheidung, kein SEO-Reflex.
Respektiert der OAI-SearchBot die robots.txt? ▾
Laut OpenAI-Dokumentation ja — wie GPTBot und ChatGPT-User. Zusätzlich veröffentlicht OpenAI die IP-Bereiche der Crawler, sodass sich echte Zugriffe verifizieren und Fake-Crawler abgrenzen lassen.
Wie prüfe ich, ob ChatGPT meine Seiten erreichen kann? ▾
Dreistufig: robots.txt auf explizite Regeln prüfen, Server-Logs auf OAI-SearchBot-Zugriffe mit Status 200 auswerten (403/429 deuten auf WAF-Blockaden), und stichprobenartig Antworten in ChatGPT Search auf eigene Zitationen testen.