Definition: Was ist Google-Extended?

Google-Extended ist ein von Google im September 2023 eingeführtes Kontroll-Token in der robots.txt. Es ist bewusst kein eigener User-Agent, sondern ein Steuerungs-Signal. Laut aktueller Google-Dokumentation regelt es zwei Dinge: ob gecrawlte Inhalte für das Training künftiger Gemini-Modelle genutzt werden dürfen, und ob sie für das Grounding verwendet werden, also als Inhalte aus dem Suchindex, die Gemini-Apps und „Grounding with Google Search“ in Vertex AI zur Antwortzeit abrufen. Gecrawlt wird weiterhin mit den bestehenden Google-User-Agents; Google-Extended regelt nur die nachgelagerte Datenverwendung.

Das Ziel: Publishern eine granulare Wahl geben, ohne sie zum binären „Googlebot sperren oder nicht" zu zwingen. Wer Google-Extended auf Disallow setzt, bleibt in Suchrankings und AI-Overviews-Eligibility (siehe unten), blockiert aber die Nutzung der eigenen Inhalte für künftige Gemini-Trainingsläufe und für das Grounding in Gemini-Apps und Vertex AI. Google stellt klar: Google-Extended beeinflusst weder die Aufnahme in die Google-Suche noch ist es ein Ranking-Signal. Das Token ist Googles Antwort auf die Publisher-Debatte, die 2023 rund um GPTBot und die Trainings-Frage entstand.

Kern-Aussage

Google-Extended trennt Gemini-Training und -Grounding von der Suche, nicht von AI Overviews

Die Sperre betrifft Gemini-Training und Grounding in Gemini-Apps und Vertex AI. Sie blockiert nicht die Verwendung in AI Overviews und AI Mode, die Teil der Google-Suche sind. Für diese Funktionen steuert Google die Darstellung über nosnippet, data-nosnippet, max-snippet oder noindex.

Google-Extended vs. Googlebot

Der entscheidende Unterschied liegt in der Funktion, nicht im Crawl-Mechanismus. Googlebot ist der eigentliche Crawler, der Inhalte für den Search-Index abruft. Ein Sperren von Googlebot bedeutet: Die Domain verschwindet aus der Google-Suche. Google-Extended ist kein Crawler, sondern eine Direktive, die Googles interne Datenverwendungs-Pipeline beeinflusst. Die Inhalte werden weiterhin gecrawlt (über Googlebot), aber nicht für KI-Training verwendet.

Operativ bedeutet das: Ein Publisher kann Googlebot zulassen (Search bleibt), Google-Extended sperren (kein Training-Input) und parallel GPTBot entscheiden. Die drei Entscheidungen sind unabhängig. Für Enterprise-Domains ist das die Standard-Matrix im Crawler-Policy-Review.

Syntax und Implementierung

Google-Extended wird als eigener User-agent-Block in robots.txt geführt. Beispiel für vollständige Sperre:

User-agent: Google-Extended
Disallow: /

Für selektive Kontrolle - Blog-Inhalte trainierbar, Member-Bereich gesperrt:

User-agent: Google-Extended
Allow: /blog/
Allow: /glossar/
Disallow: /kunden/
Disallow: /internal/

Die Reihenfolge der Blöcke in robots.txt spielt keine Rolle - Googlebot, Google-Extended und andere User-Agents werden unabhängig ausgewertet. Für vollständige Kontrolle im KI-Zeitalter gehört eine kombinierte Direktive in den Standard-Template:

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow: /kunden/

User-agent: GPTBot
Disallow: /kunden/

User-agent: CCBot
Disallow: /

Die strategische Trade-off-Frage

Die Entscheidung, Google-Extended zu sperren oder zuzulassen, ist keine technische, sondern eine strategische. Die zwei Positionen:

Sperren: Der Publisher entzieht Google den Trainings-Input. Das schützt Content-Investitionen vor Verwertung ohne direkte Kompensation. Preis: Die eigenen Inhalte stehen weder für künftiges Gemini-Training noch für das Grounding in Gemini-Apps zur Verfügung. Unsere Arbeitshypothese: Langfristig kann das zu weniger Erwähnungen, weniger Zitationen in Gemini und weniger Share of Model führen. Für Paywall-Publisher und Lizenz-Strategien ist das akzeptabel - sie monetarisieren über separate Verträge.

Zulassen: Der Publisher akzeptiert Training ohne direkte Monetarisierung. Preis: Content-Investitionen werden indirekt genutzt. Gewinn: Die Marke bleibt sichtbar in Gemini-basierten Antworten, und Co-Occurrence mit Themen baut sich auf; auf die Aufnahme in AI Overviews hat die Entscheidung keinen Einfluss. Für markenorientierte Publisher und B2B-Fachportale ist das die Standard-Wahl.

Typische Fehler in Google-Extended-Strategien

Verwandte Begriffe

Google-Extended gehört in die Reihe der KI-Crawler- und Training-Kontrollen: GPTBot, ClaudeBot, CCBot, PerplexityBot. Technisch wird es über robots.txt gesteuert, redaktionell ergänzt durch llms.txt. Für die Einbeziehung in AI Overviews ist der Unterschied zu Googlebot entscheidend.

FAQ zu Google-Extended

Was ist Google-Extended? ▾

Google-Extended ist kein eigener Crawler, sondern ein robots.txt-Token, den Google im September 2023 eingeführt hat. Er erlaubt Publishern, die Nutzung ihrer Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini-Apps und Vertex AI zu kontrollieren, entkoppelt von der Google-Suche. Gecrawlt wird weiterhin mit den bestehenden Google-User-Agents.

Wie unterscheidet sich Google-Extended von Googlebot? ▾

Googlebot crawlt für die Google-Suche, der Index füttert Rankings und klassische SERPs. Google-Extended ist ein separates Steuerungs-Token für die Nutzung derselben gecrawlten Daten im KI-Training. Wer Google-Extended sperrt, bleibt in der normalen Suche - schließt aber die eigenen Inhalte aus zukünftigen Gemini-Trainingsläufen aus.

Schließt Google-Extended AI Overviews aus? ▾

Nein. AI Overviews und AI Mode sind Teil der Google-Suche; Google-Extended beeinflusst laut Google weder die Aufnahme in die Suche noch das Ranking. Wer die Darstellung einzelner Inhalte in AI-Funktionen begrenzen will, nutzt nosnippet, data-nosnippet, max-snippet oder noindex. Eine Googlebot-Sperre würde die Domain dagegen aus der gesamten Google-Suche entfernen.

Wie setzt man Google-Extended in robots.txt? ▾

Als User-agent-Block: User-agent: Google-Extended / Disallow: /. Die Syntax ist identisch zu anderen Crawlern. Google respektiert die Direktive nach eigener Dokumentation. Die Sperre wirkt auf künftige Trainingsläufe und das Grounding, nicht rückwirkend auf bereits trainierte Modelle.

Sollte ich Google-Extended sperren? ▾

Der Trade-off ist strategisch. Sperre bedeutet: Eigene Inhalte fließen weder in Gemini-Training noch in das Grounding der Gemini-Apps ein, was die Präsenz in Gemini-Antworten langfristig schwächen kann. Zulassen bedeutet: Training auf eigenen Kosten ohne direkte Monetarisierung. Für Publisher mit starker Marken-Positionierung ist das Zulassen meist die bessere Wahl. Für Paywall-Publisher mit Lizenz-Monetarisierung die Sperre.

Quellen