Studie · Oktober 2026
Wie Websites in Deutschland, Österreich und der Schweiz mit KI-Crawlern umgehen
Am 13. Oktober 2026 hat PaceghostBot die robots.txt von 21.761 beliebten Websites abgerufen, dann llms.txt und ai.txt, wo die robots.txt es erlaubte. Die Websites stammen aus dem Chrome UX Report ↗ (CrUX), den Google in BigQuery veröffentlicht: die meistbesuchten Websites in Deutschland, Österreich und der Schweiz (DACH) und die globalen Top 10.000 als Vergleichsgruppe. Diese Seite zeigt, wie diese Websites mit 15 KI-Crawlern umgehen.
- Daten erhoben
- 13. Oktober 2026
- Website-Liste
- CrUX August 2026, aus BigQuery
- Websites
- 21.761
Die wichtigsten Zahlen
21,7 %
der DACH-Websites mit robots.txt haben eine Regel für mindestens einen KI-Crawler.
Globale Top 10.000: 25,4 %
16,3 %
der DACH-Websites mit robots.txt sperren mindestens einen KI-Crawler mit Namen.
Globale Top 10.000: 19,4 %
10,2 %
der DACH-Websites, die auf die Anfrage antworteten, stellen eine llms.txt bereit.
Globale Top 10.000: 7,5 %
0,16 %
der DACH-Websites, die auf die Anfrage antworteten, stellen eine ai.txt bereit.
Globale Top 10.000: 0,19 %
-
GPTBotist der KI-Crawler, den Websites am häufigsten mit Namen sperren: 10,7 % in DACH und 14,4 % in der globalen Gruppe.Claude-Userwird am seltensten gesperrt: 1,9 % und 3,4 %. - Die Schweiz hat den höchsten Anteil an Websites mit KI-Regeln (28,4 %), dann Österreich (24,0 %) und Deutschland (22,3 %).
- In Deutschland haben die Top 1.000 Websites 2,2-mal so oft KI-Regeln wie die Websites auf Rang 5.001 bis 10.000 (40,4 % gegenüber 18,1 %). In der globalen Gruppe ist das Verhältnis 1,3.
- Wenige Websites widersprechen ihrer eigenen robots.txt: 6 von 1.601 Websites, die eine robots.txt und eine llms.txt oder ai.txt haben.
Welche KI-Crawler mit Namen gesperrt werden
Der Anteil der Websites mit robots.txt, die eine User-agent-Gruppe für den Crawler haben, in der die ganze Website gesperrt ist (Disallow: /). Die Tabelle ist nach der Spalte DACH sortiert.
| Crawler | DE | AT | CH | DACH | Global |
|---|---|---|---|---|---|
| GPTBot | 11,4 % | 12,6 % | 15,4 % | 10,7 % | 14,4 % |
| CCBot | 11,0 % | 12,5 % | 15,7 % | 10,6 % | 13,7 % |
| Bytespider | 10,5 % | 12,0 % | 14,3 % | 10,0 % | 12,7 % |
| ClaudeBot | 9,7 % | 10,8 % | 13,2 % | 9,2 % | 12,1 % |
| Amazonbot | 7,2 % | 8,0 % | 10,3 % | 7,3 % | 9,1 % |
| meta-externalagent | 7,6 % | 8,7 % | 10,8 % | 7,3 % | 8,8 % |
| Google-Extended | 7,4 % | 8,6 % | 10,7 % | 7,1 % | 9,8 % |
| anthropic-ai | 6,3 % | 7,8 % | 9,7 % | 6,2 % | 9,2 % |
| Applebot-Extended | 6,7 % | 7,5 % | 9,5 % | 6,2 % | 8,6 % |
| PerplexityBot | 5,8 % | 6,5 % | 8,9 % | 5,4 % | 8,3 % |
| ChatGPT-User | 5,2 % | 5,3 % | 8,2 % | 5,0 % | 7,7 % |
| OAI-SearchBot | 2,9 % | 3,0 % | 4,9 % | 2,8 % | 5,1 % |
| Claude-SearchBot | 2,2 % | 2,4 % | 3,7 % | 2,0 % | 3,7 % |
| Perplexity-User | 2,2 % | 2,7 % | 3,8 % | 2,0 % | 3,8 % |
| Claude-User | 2,1 % | 2,4 % | 3,6 % | 1,9 % | 3,4 % |
In DACH und in der globalen Gruppe nennen zwischen 1,3 % und 4,8 % der Websites einen Crawler und erlauben ihn. Die meisten Websites nennen den Crawler gar nicht. Für diesen Crawler gilt dann die Gruppe User-agent: * der Datei (RFC 9309 ↗). Die CSV enthält auch den Anteil, der jeden Crawler über die Gruppe * sperrt.
Wie viele Websites KI-spezifische Regeln haben
Eine KI-spezifische Regel ist eine User-agent-Gruppe für mindestens einen der 15 Crawler, mit Allow oder mit Disallow. Eine Website zählt nur dann als Website mit robots.txt, wenn die Datei eine echte robots.txt ist.
| Gruppe | Websites | Mit robots.txt | Mind. eine KI-Regel | Sperre mit Namen |
|---|---|---|---|---|
| Deutschland | 9.999 | 7.862 | 22,3 % | 16,6 % |
| Österreich | 5.000 | 3.997 | 24,0 % | 18,5 % |
| Schweiz | 5.000 | 3.959 | 28,4 % | 22,2 % |
| DACH | 15.051 | 11.751 | 21,7 % | 16,3 % |
| Globale Top 10.000 | 9.998 | 6.320 | 25,4 % | 19,4 % |
Nach Rang
Der Chrome UX Report ordnet Websites in Rangstufen ein, nicht in genaue Ränge. Der Anteil der Websites mit robots.txt, die eine KI-Regel haben:
| Rangstufe | DE | AT | CH | DACH | Global |
|---|---|---|---|---|---|
| Top 1.000 | 40,4 % | 34,3 % | 37,8 % | 35,6 % | 31,0 % |
| 1.001 bis 5.000 | 22,7 % | 21,3 % | 26,0 % | 20,4 % | 25,7 % |
| 5.001 bis 10.000 | 18,1 % | – | – | 16,6 % | 23,9 % |
Die Listen für Österreich und die Schweiz enden bei 5.000. Die DACH-Stufe 5.001 bis 10.000 enthält deshalb nur deutsche Websites.
llms.txt und ai.txt
Der Anteil der Websites, die eine echte llms.txt oder ai.txt bereitstellen. Eine Datei zählt nur, wenn der Server mit Status 200 unter genau diesem Pfad antwortet und der Inhalt das Format der Datei hat. Eine llms.txt beginnt mit einer Markdown-Überschrift (# Name). Eine ai.txt hat robots.txt-Regeln oder Zeilen der Form Feld: Wert.
| Gruppe | llms.txt | ai.txt |
|---|---|---|
| Deutschland | 10,9 % | 0,17 % |
| Österreich | 9,2 % | 0,22 % |
| Schweiz | 9,3 % | 0,17 % |
| DACH | 10,2 % | 0,16 % |
| Globale Top 10.000 | 7,5 % | 0,19 % |
Diese Prüfung ist wichtig. Manche Server beantworten eine fehlende Datei mit ihrer HTML-Startseite und Status 200. Eine Prüfung, die nur eine erfolgreiche Antwort mit Inhalt verlangt, würde 2.540 DACH-Websites mit llms.txt zählen, nicht 1.262. Das sind 2,0-mal zu viele. Von den 28 Websites mit echter ai.txt nutzen 4 Zeilen der Form Feld: Wert und keine robots.txt-Regeln.
Widersprüche zur robots.txt
Dieser Abschnitt zählt Websites, deren llms.txt oder ai.txt etwas anderes sagt als die robots.txt. Von 1.601 Websites mit echter robots.txt und echter llms.txt oder ai.txt widersprechen 6 (0,37 %) ihrer robots.txt. Bei 5 davon sperrt die robots.txt alle 15 KI-Crawler, obwohl die Website eine llms.txt bereitstellt. Bei 1 davon erlaubt die ai.txt einen Crawler, den die robots.txt sperrt. Ob eine llms.txt auf Seiten verlinkt, die die robots.txt sperrt, kann die Studie nicht prüfen, weil sie keine Links speichert.
Eine frühere Studie
Im Mai 2026 hat Thunderbit ↗ die robots.txt-Dateien der Tranco Top 10.000 gelesen und berichtet, dass 17,0 % der Websites eine ausdrückliche KI-Sperre haben. Thunderbit zählt jede robots.txt mit Status 200 und jede 404. Auf derselben Basis ergibt die globale Gruppe dieser Studie 16,1 % (Basis: 7.609 Websites). Die beiden Zahlen sind kein Trend: Website-Listen, Zeitpunkte und Crawler-Listen unterscheiden sich. Die Bot-Liste von Thunderbit nennt 22 KI-Crawler, diese Studie nutzt 15.
Zuletzt geprüft: 13. Oktober 2026.
Methode
- Stichprobe: die CrUX-Ranglisten vom August 2026 für Deutschland und die Welt (bis Rangstufe 10.000) sowie für Österreich und die Schweiz (bis Rangstufe 5.000). CrUX listet die Websites, die Chrome-Nutzer besuchen, nach Origin. Google veröffentlicht die Ranglisten in BigQuery ↗, in den Tabellen
chrome-ux-report.experimental.countryundchrome-ux-report.experimental.global. Wir haben die vier Listen am 14. Oktober 2026 aus diesen Tabellen gelesen, mit den Filternyyyymm = 202608undexperimental.popularity.rank <= 10000(5.000 für Österreich und die Schweiz). Eine Tabelle kann ein Origin in einem Monat mehrfach enthalten, deshalb haben wir jedes Paar aus Origin und Rang nur einmal übernommen. Für eine Abfrage in BigQuery ist ein Google-Cloud-Projekt nötig. Nach dem Entfernen doppelter Hosts umfasst die Stichprobe 21.761 Hosts: 15.051 in einer DACH-Liste und 9.998 in der globalen Liste. 3.288 Hosts stehen in beiden, die Gruppen überschneiden sich also. Die Host-Liste für den Abruf am 13. Oktober 2026 stammte aus einer Kopie derselben Listen. Unsere Abfrage in BigQuery am 14. Oktober 2026 stimmte genau mit dieser Kopie überein. - Abruf: Am 13. Oktober 2026 hat PaceghostBot zuerst
/robots.txtabgerufen, dann/llms.txtund/ai.txt, wenn die robots.txt es erlaubte. Er hat höchstens eine Anfrage pro Sekunde an eine Website gesendet und keine anderen Seiten abgerufen. Seine Regeln und sein User-Agent stehen auf der PaceghostBot-Seite. Keine Website hat darum gebeten, aus der Studie genommen zu werden, und keine robots.txt hat PaceghostBot mit Namen gesperrt. - Parser: Die robots.txt wird mit demselben Code gelesen, den unser Audit nutzt. Ein Crawler zählt als gesperrt, wenn seine eigene Gruppe den Wurzelpfad
/sperrt. Eine Regel für einen einzelnen Ordner zählt nicht als Sperre. - Basis: Eine Website hat nur dann eine robots.txt, wenn der Server
/robots.txtmit Status 200 und einer Datei mit robots.txt-Anweisungen beantwortet. Eine HTML-Seite, eine leere Antwort oder eine Weiterleitung auf einen anderen Pfad zählt nicht. DACH: 11.751 Websites. Global: 6.320. Bei llms.txt und ai.txt bilden die Websites die Basis, bei denen PaceghostBot die Datei abrufen durfte und eine Antwort bekam. - In den Tabellen bedeutet „–“, dass die Liste diese Rangstufe nicht hat.
- Grenzen: Die Daten zeigen den Stand eines Tages. In der globalen Gruppe haben mehr Server die Anfrage nach der robots.txt abgelehnt oder nicht beantwortet (23,1 % gegenüber 10,8 % in DACH), deshalb hat die Studie dort weniger robots.txt-Dateien gelesen. Die 15 Crawler sind nicht alle KI-Crawler.
Die Crawler: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, anthropic-ai, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent, Amazonbot.
Daten und Lizenz
Die CSV hat eine Zeile pro Gruppe, Rangstufe, Messgröße und Crawler, mit Anzahl, Basis und Anteil in Prozent. Die Datei enthält nur aggregierte Werte und nennt keine Website. Die Zeilen *_success_with_body zählen jede erfolgreiche Antwort mit Inhalt, vor der Inhaltsprüfung. Lizenz, Quellen und eine Beschreibung jeder Spalte stehen in einer Metadaten-Datei im Format CSV on the Web (CSVW).
Lizenz: CC BY 4.0 ↗. Bitte zitiere „paceghost.io, Studie zu KI-Crawler-Regeln, Oktober 2026“ mit einem Link auf diese Seite. Quellen: der Chrome UX Report ↗ von Google, lizenziert unter CC BY 4.0. Wir haben die Daten verändert: Wir haben die vier Listen zusammengeführt, doppelte Hosts entfernt, von jedem Host drei Dateien gelesen und die Ergebnisse gezählt. Die CSV enthält nur diese Zählungen, nicht die Website-Listen.
Auf dem Laufenden bleiben
Neue Daten zu KI-Crawlern.
Abonniere unseren Newsletter, um von neuen Studien und Ressourcen zur KI-Bereitschaft zu erfahren.