In der robots.txt legen Sie fest, welche KI-Crawler Ihre Website lesen dürfen. Für KI-Sichtbarkeit gilt die Faustregel: Such-Crawler wie OAI-SearchBot, Claude-SearchBot, PerplexityBot und Bingbot erlauben – Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended können Sie je nach Haltung sperren, ohne Ihre Sichtbarkeit in den Suchantworten zu verlieren.
Such-Crawler und Trainings-Crawler unterscheiden
Die großen Anbieter trennen inzwischen zwischen Bots, die Inhalte für Antworten abrufen, und Bots, die Material für das Training sammeln. Wer pauschal alle KI-Bots sperrt, verschwindet auch aus den Antworten.
| Anbieter | Für Antworten / Suche | Für Training | Quelle |
|---|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot; ChatGPT-User bei Nutzeraktionen | GPTBot | OpenAI |
| Anthropic (Claude) | Claude-SearchBot; Claude-User bei Nutzeranfragen | ClaudeBot | Anthropic |
| Perplexity | PerplexityBot; Perplexity-User bei Nutzeraktionen | laut Perplexity nicht für Basismodelle | Perplexity |
| Googlebot (auch für AI Overviews und AI Mode) | Google-Extended (Gemini-Training und Grounding) | ||
| Microsoft | Bingbot (auch für Copilot) | – | Bing |
Zwei Details sind wichtig: Google-Extended hat laut Google keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal. Und Abrufe, die ein Nutzer direkt auslöst (ChatGPT-User, Perplexity-User), folgen laut den Anbietern der robots.txt unter Umständen nicht, weil ein Mensch die Seite anfordert.
Drei typische Einstellungen
1. Maximale Sichtbarkeit
Keine Einschränkungen für KI-Bots. Die robots.txt enthält nur Ihre üblichen Regeln und den Verweis auf die Sitemap.
2. Sichtbar in Antworten, kein Training
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://ihredomain.at/sitemap.xml
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot bleiben erlaubt – Ihre Seiten können weiter als Quelle in Antworten erscheinen.
3. Komplett gesperrt
Nur sinnvoll, wenn Inhalte bewusst nicht in KI-Antworten auftauchen sollen. Für ein Unternehmen, das Kunden gewinnen will, ist das selten die richtige Wahl.
Neu: ein gemeinsames Signal gegen KI-Training
Ende Oktober 2026 haben mehrere Anbieter angekündigt, ein gemeinsames Signal aus der IETF-Arbeitsgruppe AIPREF zu unterstützen: einen Eintrag user-agent: __usage_ai-training in der robots.txt, mit dem Sie Ihre Trainingspräferenz für alle teilnehmenden Anbieter auf einmal ausdrücken. Anthropic gibt an, das Signal seit 30. Oktober 2026 schrittweise zu berücksichtigen; Google nennt in seiner Crawler-Dokumentation „Anfang 2027“ als geplanten Start. Bis das Signal überall greift, bleiben die einzelnen User-Agents der zuverlässige Weg.
Häufige Fehler
- „User-agent: * / Disallow: /“ aus einer Staging-Umgebung live übernommen
- Such-Crawler zusammen mit Trainings-Crawlern gesperrt
- Bots zwar in der robots.txt erlaubt, aber von Firewall oder CDN blockiert
- Crawl-delay so hoch gesetzt, dass neue Seiten lange nicht erfasst werden
- Wichtige Inhalte nur hinter Login oder als Bild
Weitere technische Stolpersteine zeigt der Blogartikel KI-Crawler blockieren: 7 technische Fehler.
Wie sichtbar ist Ihr Unternehmen in KI-Antworten?
Der kostenlose GEO-Check bewertet Ihre Website mit einem KI-Sichtbarkeits-Score von 0 bis 100 und zeigt die größten Hebel. Report per E-Mail, ohne Anmeldung.
Kostenlosen GEO-Check startenHäufige Fragen
Verliere ich Sichtbarkeit in ChatGPT, wenn ich GPTBot sperre?
Nein. Laut OpenAI ist GPTBot für Trainingsdaten zuständig, die ChatGPT-Suche nutzt OAI-SearchBot. Die beiden Einstellungen sind unabhängig voneinander.
Wirkt Google-Extended auf mein Google-Ranking?
Nein. Google gibt an, dass Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche hat und kein Ranking-Signal ist.
Wie schnell wirken Änderungen an der robots.txt?
OpenAI und Perplexity nennen jeweils bis zu etwa 24 Stunden, bis ihre Systeme eine geänderte robots.txt berücksichtigen. Bei Google hängt es davon ab, wann die Datei erneut abgerufen wird.
Stand: November 2026. Die genannten Funktionen und Regeln ändern sich laufend – die verlinkten Primärquellen geben den jeweils aktuellen Stand wieder.