In der robots.txt legen Sie fest, welche KI-Crawler Ihre Website lesen dürfen. Für KI-Sichtbarkeit gilt die Faustregel: Such-Crawler wie OAI-SearchBot, Claude-SearchBot, PerplexityBot und Bingbot erlauben – Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended können Sie je nach Haltung sperren, ohne Ihre Sichtbarkeit in den Suchantworten zu verlieren.

Such-Crawler und Trainings-Crawler unterscheiden

Die großen Anbieter trennen inzwischen zwischen Bots, die Inhalte für Antworten abrufen, und Bots, die Material für das Training sammeln. Wer pauschal alle KI-Bots sperrt, verschwindet auch aus den Antworten.

AnbieterFür Antworten / SucheFür TrainingQuelle
OpenAI (ChatGPT)OAI-SearchBot; ChatGPT-User bei NutzeraktionenGPTBotOpenAI
Anthropic (Claude)Claude-SearchBot; Claude-User bei NutzeranfragenClaudeBotAnthropic
PerplexityPerplexityBot; Perplexity-User bei Nutzeraktionenlaut Perplexity nicht für BasismodellePerplexity
GoogleGooglebot (auch für AI Overviews und AI Mode)Google-Extended (Gemini-Training und Grounding)Google
MicrosoftBingbot (auch für Copilot)–Bing

Zwei Details sind wichtig: Google-Extended hat laut Google keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal. Und Abrufe, die ein Nutzer direkt auslöst (ChatGPT-User, Perplexity-User), folgen laut den Anbietern der robots.txt unter Umständen nicht, weil ein Mensch die Seite anfordert.

Drei typische Einstellungen

1. Maximale Sichtbarkeit

Keine Einschränkungen für KI-Bots. Die robots.txt enthält nur Ihre üblichen Regeln und den Verweis auf die Sitemap.

2. Sichtbar in Antworten, kein Training

User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://ihredomain.at/sitemap.xml

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot bleiben erlaubt – Ihre Seiten können weiter als Quelle in Antworten erscheinen.

3. Komplett gesperrt

Nur sinnvoll, wenn Inhalte bewusst nicht in KI-Antworten auftauchen sollen. Für ein Unternehmen, das Kunden gewinnen will, ist das selten die richtige Wahl.

Neu: ein gemeinsames Signal gegen KI-Training

Ende Oktober 2026 haben mehrere Anbieter angekündigt, ein gemeinsames Signal aus der IETF-Arbeitsgruppe AIPREF zu unterstützen: einen Eintrag user-agent: __usage_ai-training in der robots.txt, mit dem Sie Ihre Trainingspräferenz für alle teilnehmenden Anbieter auf einmal ausdrücken. Anthropic gibt an, das Signal seit 30. Oktober 2026 schrittweise zu berücksichtigen; Google nennt in seiner Crawler-Dokumentation „Anfang 2027“ als geplanten Start. Bis das Signal überall greift, bleiben die einzelnen User-Agents der zuverlässige Weg.

Häufige Fehler

  • „User-agent: * / Disallow: /“ aus einer Staging-Umgebung live übernommen
  • Such-Crawler zusammen mit Trainings-Crawlern gesperrt
  • Bots zwar in der robots.txt erlaubt, aber von Firewall oder CDN blockiert
  • Crawl-delay so hoch gesetzt, dass neue Seiten lange nicht erfasst werden
  • Wichtige Inhalte nur hinter Login oder als Bild

Weitere technische Stolpersteine zeigt der Blogartikel KI-Crawler blockieren: 7 technische Fehler.

Wie sichtbar ist Ihr Unternehmen in KI-Antworten?

Der kostenlose GEO-Check bewertet Ihre Website mit einem KI-Sichtbarkeits-Score von 0 bis 100 und zeigt die größten Hebel. Report per E-Mail, ohne Anmeldung.

Kostenlosen GEO-Check starten

Häufige Fragen

Verliere ich Sichtbarkeit in ChatGPT, wenn ich GPTBot sperre?

Nein. Laut OpenAI ist GPTBot für Trainingsdaten zuständig, die ChatGPT-Suche nutzt OAI-SearchBot. Die beiden Einstellungen sind unabhängig voneinander.

Wirkt Google-Extended auf mein Google-Ranking?

Nein. Google gibt an, dass Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche hat und kein Ranking-Signal ist.

Wie schnell wirken Änderungen an der robots.txt?

OpenAI und Perplexity nennen jeweils bis zu etwa 24 Stunden, bis ihre Systeme eine geänderte robots.txt berücksichtigen. Bei Google hängt es davon ab, wann die Datei erneut abgerufen wird.

Stand: November 2026. Die genannten Funktionen und Regeln ändern sich laufend – die verlinkten Primärquellen geben den jeweils aktuellen Stand wieder.

Mag. Philipp Müller · Gründer von ki-optimierung.at, Geschäftsführer der CtrlE Consulting & Holding GmbH (St. Florian, OÖ), Lektor an österreichischen Fachhochschulen. Mehr über den Autor