Ressourcen

KI-Crawler und du:
So blockierst oder erlaubst du sie mit robots.txt

Das KI-Zeitalter ist angebrochen und liest, interpretiert und lernt aktiv von deiner Website. Das stellt jeden Website-Betreiber vor eine grundlegende Entscheidung: Möchtest du KI-Entdeckung fördern oder deine Inhalte vor dem Einsatz im Training von Sprachmodellen schützen?

Glücklicherweise hast du die Kontrolle. Das primäre Werkzeug dafür ist eine einfache Textdatei: robots.txt. Dieser Leitfaden liefert dir die User-Agents und Vorlagen, die du für deine KI-Strategie brauchst.

Dein Kontroll-Toolkit verstehen

Was ist robots.txt?

Im Kern ist robots.txt eine öffentliche Textdatei auf deinem Webserver. Sie gibt Web-Crawlern — einschließlich KI-Bots — Anweisungen, welche Seiten und Dateien sie aufrufen dürfen oder nicht. Sie ist der Webstandard für das Crawler-Protokoll. Weitere Informationen findest du in der offiziellen Dokumentation im Google Developer Center.

Was ist mit llms.txt und ai.txt?

Dies sind neuere, experimentelle Dateien, die speziellere Anweisungen für KI-Modelle ermöglichen. Während robots.txt der wichtigste "Gatekeeper" ist, kannst du mit llms.txt KI-Modelle auf speziell für sie optimierte Inhalte hinweisen. Die beste Praxis ist derzeit, klare robots.txt-Regeln zu haben, da dieser Standard am weitesten verbreitet ist.

Ist das eine Alles-oder-Nichts-Entscheidung?

Nein. Du hast granulare Kontrolle. Du kannst einen bestimmten KI-Crawler blockieren und andere erlauben. Du kannst auch einen Bot auf deine Hauptinhalte verweisen und einen anderen auf einen KI-optimierten Bereich deiner Website.

Wichtig: Ist das garantiert wirksam?

robots.txt basiert auf freiwilliger Einhaltung. Betrachte es als "Betreten verboten"-Schild auf deinem Grundstück — kein Schloss, aber ein klares Signal. Große Betreiber wie Google und OpenAI sagen, dass ihre automatischen Crawler robots.txt befolgen. Manche sagen auch, dass Abrufe, die ein Nutzer startet, sie möglicherweise nicht befolgen. Weniger seriöse Bots könnten sie ignorieren. Es ist deine erste und wichtigste Verteidigungslinie, aber keine narrensichere Sicherheitsmaßnahme.

Bekannte KI- & LLM-Crawler-User-Agents

User-Agents der wichtigsten KI-Crawler und Suchmaschinen-Crawler. Jeder Zweck unten stammt von der eigenen Seite des Betreibers, verlinkt in der Spalte Quelle. Wenn es keine Betreiberseite gibt, sagt die Tabelle das.

Zuletzt aktualisiert: 13. Oktober 2026

Welche KI-Crawler solltest du erlauben?

Teile die Liste zuerst in zwei Hälften, denn beide kosten dich völlig Unterschiedliches. Trainings-Crawler sammeln Inhalte, die in einem Foundation Model landen können. Sie zu blockieren ist eine Entscheidung darüber, wie deine Inhalte genutzt werden. Retrieval-Crawler sorgen dafür, dass ein Assistent dich heute findet, zitiert und verlinkt. Wer diese blockiert, kann aus der Antwort fallen.

Die meisten, die „KI-Bots blockieren“ sagen, meinen die erste Gruppe und nicht die zweite. Verwechselt wird das leicht, weil die Anbieter beides unter ähnlichen Namen betreiben — OpenAIs GPTBot sammelt Inhalte fürs Training, OAI-SearchBot zeigt Seiten in der ChatGPT-Suche. Die Vorlagen unten decken alle drei Positionen ab: alles blockieren, alles erlauben, oder Training blockieren und in der KI-Suche sichtbar bleiben.

Eine Korrektur ausdrücklich, weil sie der häufigste Irrtum zum Thema ist: Google-Extended zu blockieren wirkt sich NICHT auf deine Aufnahme oder dein Ranking in der Google-Suche aus. Google dokumentiert es als reine Steuerung für Gemini-Training und -Grounding. Googlebot zu blockieren entfernt dich dagegen vollständig aus der Suche.

Trainings-Crawler und Opt-out-Tokens

Laut ihren Betreibern können die gesammelten Inhalte für das Training von KI-Modellen genutzt werden. Google-Extended und Applebot-Extended sind keine Crawler. Es sind Tokens, die Google und Apple lesen, um zu entscheiden, wie sie die Inhalte von Googlebot und Applebot nutzen.

User-agent	Unternehmen	Quelle
GPTBot	OpenAI, Inhalte können für das Training der KI-Modelle genutzt werden	Offizielle Docs ↗
ClaudeBot	Anthropic, Inhalte können zum Modelltraining beitragen	Offizielle Docs ↗
meta-externalagent	Meta, Training von KI-Modellen oder Indexierung für Meta-Produkte	Offizielle Docs ↗
Amazonbot	Amazon, verbessert Amazon-Produkte und kann für das Training von Amazon-KI-Modellen genutzt werden	Offizielle Docs ↗
MistralAI-Training	Mistral AI, erstellt Datensätze für das Training von Mistral-Modellen	Offizielle Docs ↗
Google-Extended	Google, ein Token, kein Crawler: Gemini-Training und -Grounding	Offizielle Docs ↗
Applebot-Extended	Apple, crawlt nicht: Opt-out vom Training der Apple-Foundation-Models	Offizielle Docs ↗

Retrieval-Crawler: Suche und Antworten

Die Betreiber dokumentieren sie als Crawler für Suchergebnisse und Antworten oder als Abrufe, die eine Seite aufrufen, wenn ein Nutzer fragt. PerplexityBot gehört hierher: Perplexity schreibt selbst, er werde „nicht zum Crawlen von Inhalten für KI-Foundation-Models verwendet“.

User-agent	Unternehmen	Quelle
OAI-SearchBot	OpenAI, zeigt Seiten in der ChatGPT-Suche	Offizielle Docs ↗
ChatGPT-User	OpenAI, ruft eine Seite ab, wenn ein Nutzer ChatGPT fragt	Offizielle Docs ↗
Claude-SearchBot	Anthropic, verbessert Claudes Suchergebnisse	Offizielle Docs ↗
Claude-User	Anthropic, ruft eine Seite ab, wenn ein Nutzer Claude fragt	Offizielle Docs ↗
PerplexityBot	Perplexity, zeigt und verlinkt Seiten in Perplexity-Suchergebnissen	Offizielle Docs ↗
Perplexity-User	Perplexity, ruft eine Seite ab, wenn ein Nutzer Perplexity fragt	Offizielle Docs ↗
YouBot	You.com, treibt die Suchmaschine von You.com an	Offizielle Docs ↗
meta-webindexer	Meta, verbessert die Suchergebnisse von Meta AI	Offizielle Docs ↗
Amzn-SearchBot	Amazon, verbessert die Suche in Amazon-Produkten	Offizielle Docs ↗
DuckAssistBot	DuckDuckGo, KI-gestützte Antworten in der DuckDuckGo-Suche	Offizielle Docs ↗
MistralAI-Index	Mistral AI, crawlt das Web nur zur Indexierung	Offizielle Docs ↗

Suchmaschinen-Crawler

Crawler für allgemeine Suchmaschinen. Diffbot steht hier, weil Diffbot seinen Crawler als Crawler für eine allgemeine Suchmaschine beschreibt und sagt, dass er nicht für KI-Training genutzt wird.

User-agent	Unternehmen	Quelle
bingbot	Microsoft, Standard-Crawler von Bing	Offizielle Docs ↗
Googlebot	Google, Google-Suche, Bilder, Video, News und Discover	Offizielle Docs ↗
Applebot	Apple, Suche in Spotlight, Siri und Safari; Daten können auch für das Training der Apple-Foundation-Models genutzt werden	Offizielle Docs ↗
Diffbot	Diffbot, baut eine allgemeine Suchmaschine; laut Diffbot nicht für KI-Training genutzt	Offizielle Docs ↗

Datensätze und Crawler ohne Betreiberseite

Common Crawl veröffentlicht einen offenen Datensatz. ByteDance und Cohere veröffentlichen keine Seite, die diese Tokens nennt. Deshalb nennt diese Seite keinen Zweck für sie.

User-agent	Unternehmen	Quelle
CCBot	Common Crawl, ein offenes Archiv von Web-Crawl-Daten	Offizielle Docs ↗
cohere-ai	Cohere, Zweck vom Betreiber nicht dokumentiert	Keine Betreiberseite
Bytespider	ByteDance, Zweck vom Betreiber nicht dokumentiert	Keine Betreiberseite

Unser eigener Crawler

PaceghostBot ist unser Crawler, der genutzt wird, wenn ein Nutzer ein Website-Audit anfordert. Er respektiert robots.txt vollständig. Außer bei Audits läuft er nur für eine Studie, die nur robots.txt, llms.txt und ai.txt liest. PaceghostBot-Dokumentation →

robots.txt-Vorlagen für KI-Governance

Vorlage 1: Alle bekannten KI-Crawler blockieren

Verwende diese Vorlage, wenn du die großen KI-Crawler bitten möchtest, deine Inhalte nicht für Training oder Antworten zu nutzen.

Mach dir klar, was das kostet. Diese Vorlage blockiert beide Hälften — Trainings- und Retrieval-Crawler. Deine Inhalte bleiben damit aus dem Modelltraining UND aus KI-Antworten heraus. Das ist eine legitime Entscheidung, aber eine größere, als die meisten meinen, wenn sie „KI-Bots blockieren“ sagen. Wenn du das Training unterbinden, aber in ChatGPT, Claude und Perplexity sichtbar bleiben willst, nimm Vorlage 3. Manche Abrufe, die ein Nutzer startet, erreichen dich trotzdem: Laut Perplexity ignoriert Perplexity-User robots.txt-Regeln „in der Regel“, und laut OpenAI gelten robots.txt-Regeln für ChatGPT-User „möglicherweise nicht“.

robots.txt

# === ALLE WICHTIGEN KI-CRAWLER BLOCKIEREN ===
# Vorlage bereitgestellt von paceghost.io — Die KI-Bereitschaftsplattform
# Zuletzt aktualisiert: 13. Oktober 2026

# == Trainings-Crawler und Opt-out-Tokens ==
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: MistralAI-Training
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /

# == Datensätze und Crawler ohne Betreiberseite ==
User-agent: CCBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Bytespider
Disallow: /

# == Retrieval-Crawler: wer diese blockiert, kann aus KI-Antworten verschwinden ==
# Laut Perplexity ignoriert Perplexity-User robots.txt in der Regel. Laut
# OpenAI gelten robots.txt-Regeln für ChatGPT-User möglicherweise nicht.
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Perplexity-User
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: meta-webindexer
Disallow: /
User-agent: Amzn-SearchBot
Disallow: /
User-agent: DuckAssistBot
Disallow: /
User-agent: MistralAI-Index
Disallow: /

# == Deine Standardregeln ==
User-agent: *
Disallow: /admin/
Disallow: /private/

# == Sitemap-Speicherort ==
Sitemap: https://www.deine-website.de/sitemap.xml

Vorlage 2: Alle bekannten KI-Crawler erlauben

Verwende diese Vorlage, wenn du deine Sichtbarkeit maximieren und sicherstellen möchtest, dass deine Inhalte von KI-Suchmaschinen und Answer-Engines gefunden werden.

robots.txt

# === ALLE WICHTIGEN KI-CRAWLER ERLAUBEN ===
# Vorlage bereitgestellt von paceghost.io — Die KI-Bereitschaftsplattform
# Zuletzt aktualisiert: 13. Oktober 2026

# Diese Vorlage stellt sicher, dass KI-Crawler auf deine Website zugreifen können,
# während sensible Bereiche (wie Admin-Panels) geschützt bleiben.

# == Standardregeln für alle Crawler (einschließlich KI) ==
User-agent: *
Disallow: /admin/
Disallow: /dashboard/
Disallow: /login/

# == Sitemap-Speicherort ==
Sitemap: https://www.deine-website.de/sitemap.xml

Vorlage 3: Training blockieren, KI-Suche behalten

Die Position, die die meisten Website-Betreiber tatsächlich wollen — und die einzige, die die ersten beiden Vorlagen nicht ausdrücken können. Deine Inhalte bleiben aus dem Training von Foundation Models heraus und bleiben gleichzeitig in Antworten von ChatGPT, Claude und Perplexity zitierbar und verlinkbar.

robots.txt

# === TRAINING BLOCKIEREN, KI-SUCHE BEHALTEN ===
# Vorlage bereitgestellt von paceghost.io — Die KI-Bereitschaftsplattform
# Zuletzt aktualisiert: 13. Oktober 2026
#
# Nutze diese Vorlage, wenn deine Inhalte nicht zum Training von Foundation
# Models verwendet werden sollen, du aber in KI-Antworten zitierbar und verlinkbar
# bleiben willst.

# == Trainings-Crawler und Opt-out-Tokens: blockiert ==
# Google-Extended steuert auch das Grounding in Gemini Apps und Vertex AI.
# Lösche seine zwei Zeilen, wenn Gemini deine Inhalte fürs Grounding nutzen soll.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: MistralAI-Training
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /

# == Datensätze und Crawler ohne Betreiberseite: blockiert ==
# Common Crawl veröffentlicht einen offenen Datensatz, den jeder nutzen kann.
# ByteDance und Cohere veröffentlichen keine Seite, die sagt, was diese Crawler
# tun. Lösche diese Zeilen, wenn du sie erlauben willst.
User-agent: CCBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Bytespider
Disallow: /

# == Retrieval-Crawler: bewusst erlaubt, außer private Pfade ==
# Die Betreiber dokumentieren sie für Suchergebnisse und Antworten.
# Halte diese Pfade gleich wie in deinen eigenen Regeln unten.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: YouBot
User-agent: meta-webindexer
User-agent: Amzn-SearchBot
User-agent: DuckAssistBot
User-agent: MistralAI-Index
Disallow: /admin/
Disallow: /private/

# == Deine eigenen Regeln ==
User-agent: *
Disallow: /admin/
Disallow: /private/

# == Sitemap ==
Sitemap: https://www.deine-website.de/sitemap.xml

Was kommt als Nächstes?

Deine Regeln festzulegen ist ein kritischer erster Schritt. Aber die KI-Landschaft verändert sich täglich. Neue Crawler tauchen ständig auf, und du fragst dich:

Ist meine robots.txt-Datei noch wirksam?
Respektieren Bots meine Regeln?
Wie interpretiert KI meinen Inhalt tatsächlich?

Genau hier kommt Paceghost ins Spiel. Wir entwickeln das Toolkit, um diese manuelle Checkliste in ein automatisiertes, müheloses Dashboard zu verwandeln.

Weiterführende Artikel

Immer informiert

Die KI-Crawler-Landschaft entwickelt sich schnell.

Wir aktualisieren diese Liste, wenn neue Bots auftauchen. Abonniere, um benachrichtigt zu werden, wenn wir neue Ressourcen, Vorlagen und Leitfäden zur KI-Bereitschaft veröffentlichen.

Zum Launch benachrichtigt werden