GEO und AEO · Technik
KI-Crawler in der robots.txt: erlauben oder sperren?
Viele Vorlagen sperren KI-Bots pauschal aus. Für Unternehmen, die in KI-Antworten vorkommen wollen, ist das ein Eigentor. Welche Bots es gibt und wie man gezielt entscheidet.
Kurz beantwortet
Wer in KI-Antworten vorkommen möchte, sollte zumindest die Suchbots der KI-Anbieter in der robots.txt zulassen, etwa OAI-SearchBot von OpenAI, Claude-SearchBot von Anthropic und PerplexityBot. Die Bots für das Training, wie GPTBot, lassen sich getrennt davon sperren. Jeder Bot mit eigenem Abschnitt befolgt nur diesen, deshalb muss jede Sperre dort wiederholt werden.
Was die robots.txt regelt und was nicht
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website. Sie sagt Crawlern, welche Bereiche sie abrufen dürfen. Seit 2022 ist das Format als Internetstandard beschrieben (RFC 9309). Seriöse Crawler halten sich daran, verpflichtet sind sie technisch nicht.
Wichtig für die Entscheidung: Die Datei regelt den Abruf, nicht die Nutzung bereits gesammelter Daten. Was ein Modell schon gelernt hat, verschwindet durch eine neue Sperre nicht.
Die wichtigsten KI-Bots und ihre Aufgaben
Die großen Anbieter trennen inzwischen zwischen Bots für das Training und Bots für die Suche. Diese Trennung ist der Schlüssel zu einer guten Entscheidung.
| Anbieter | Training | Suche und Antworten |
|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot für die Suche in ChatGPT, ChatGPT-User für Abrufe, die ein Nutzer auslöst |
| Anthropic | ClaudeBot | Claude-SearchBot, Claude-User |
| Perplexity | keiner gesondert | PerplexityBot, Perplexity-User |
Google-Extended (Steuerzeichen, kein eigener Crawler) | Googlebot, auch für die KI-Übersichten in der Suche | |
| Microsoft | keiner gesondert | Bingbot, Grundlage für Copilot |
| Apple | Applebot-Extended (Steuerzeichen) | Applebot |
Die Bezeichnungen ändern sich gelegentlich. Vor einer Änderung lohnt ein Blick in die aktuelle Dokumentation des jeweiligen Anbieters.
Die häufigste Falle: Es gibt keine Vererbung
Viele gehen davon aus, dass die Regeln unter User-agent: * für alle Bots gelten. Das stimmt nur für Bots ohne eigenen Abschnitt. Sobald ein Bot einen eigenen Abschnitt hat, befolgt er ausschließlich diesen. So steht es im Standard.
Ein Beispiel: Sie sperren für alle Bots den Ordner /intern/ und erlauben danach GPTBot ausdrücklich alles. Dann darf GPTBot auch /intern/ abrufen, weil die Sperre in seinem Abschnitt fehlt. Jede Sperre muss deshalb in jedem Abschnitt wiederholt werden.
Drei Vorlagen für typische Entscheidungen
Alles erlauben
Für die meisten Unternehmen, die gefunden werden wollen, die einfachste Lösung. Gesperrt werden nur Bereiche, die niemand sehen soll.
robots.txt: alles erlaubenUser-agent: *
Allow: /
Disallow: /intern/
Sitemap: https://www.example.de/sitemap.xml
Suche erlauben, Training ausschließen
Wer nicht möchte, dass Inhalte in künftige Modelle einfließen, aber in KI-Antworten genannt werden will:
robots.txt: ohne TrainingUser-agent: *
Allow: /
Disallow: /intern/
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /intern/
Sitemap: https://www.example.de/sitemap.xml
Alles sperren
Sinnvoll für Verlage oder Inhalte, die nicht weiterverwendet werden sollen. Für ein Unternehmen, das Kunden gewinnen will, heißt das: Es verschwindet aus den Antworten der gesperrten Systeme.
Wie KKM-Design es auf der eigenen Website löst
Häufige Fragen
Schadet es meinem Google-Ranking, KI-Bots zu sperren?
Nicht, solange Sie den normalen Googlebot zulassen. Google-Extended hat laut Google keinen Einfluss auf das Ranking in der Suche. Die Sperre von Bots anderer Anbieter berührt Google ebenfalls nicht.
Woher weiß ich, welche Bots meine Seite besuchen?
Aus den Zugriffsprotokollen Ihres Servers. Dort steht bei jedem Abruf die Kennung des Bots. Viele Hoster stellen diese Protokolle im Kundenbereich bereit.
Reicht eine llms.txt statt der robots.txt?
Nein, die beiden Dateien haben unterschiedliche Aufgaben. Die robots.txt regelt den Zugriff, eine llms.txt ist eine freiwillige Zusammenfassung für Sprachmodelle. Mehr im Artikel llms.txt.
Kay Strack · Webdesigner und Cloud Engineer · KKM-Design