Dokumentation

PaceghostBot

Was ist PaceghostBot?

PaceghostBot ist der offizielle Crawler von Paceghost.io, einer Plattform, die Website-Betreibern hilft zu überwachen und zu verbessern, wie ihre Websites von KI-Systemen, Suchagenten und großen Sprachmodellen wahrgenommen werden.

Wir verwenden diesen Bot, um auf Anfrage öffentliche Seiten zu analysieren und zu simulieren, wie KI-Crawler deine Inhalte interpretieren.

User-Agent

PaceghostBot identifiziert sich mit folgendem User-Agent-String:

user-agent 
PaceghostBot/1.0 (+https://www.paceghost.io/resources/paceghostbot/)

Du kannst diesen String in deinen Server-Logs oder Analytics-Tools nutzen, um unsere Besuche zu identifizieren und zu überwachen.

Wie Audits deine Seite abrufen

Der Crawlability Check verwendet den PaceghostBot/1.0-Crawler oben. Für den Snapshot-Schritt eines Audits rufen wir deine Seite über eine Leiter von Fetch-Ansätzen ab und probieren sie der Reihe nach:

Offenlegender Bot — für jedes Audit verfügbar

Ein Headless-Browser, der sich ehrlich mit folgendem User-Agent identifiziert: 

Mozilla/5.0 (compatible; Paceghost/1.0; +https://www.paceghost.io/resources/paceghostbot/)

Echter Browser — verifizierte Eigentümer

Ein echtes, headed Chromium ohne User-Agent-Override — es erscheint deiner Website exakt so wie der Browser eines gewöhnlichen Besuchers. Dieser Ansatz ist verfügbar, wenn du den Eigentumsnachweis für die Domain erbracht hast.

Der erfolgreiche Ansatz wird pro Domain gemerkt, sodass spätere Audits mit dem Ansatz beginnen, der funktioniert hat. Welcher Fetch-Client ein Audit bedient hat, wird im Bericht offengelegt.

Verweigert die Sicherheits-Schicht deiner Website jeden erlaubten Ansatz (HTTP 401, 403 oder 429), meldet das Audit diese Blockade als Findung, statt die Fehlerseite zu auditieren. Um Audits durchzulassen, erlaube den oben genannten User-Agent in den Bot-Regeln deines CDN oder deiner Firewall.

Datenschutz und Umfang

Audits scannen nur Websites, die Nutzer auf unserer Plattform anfordern. Die einzige Ausnahme ist die unten beschriebene Studie, die drei öffentliche Dateien liest. Aus diesen Dateien speichern wir nur die ausgelesenen Regeln, nicht die Dateien. Außerdem speichern wir die Hostnamen der Websites, die wir lesen, und ein Hostname kann den Namen einer Person enthalten. Was wir speichern und wie lange, steht in unserer Datenschutzerklärung.

  • Multi-Page-Snapshots rufen Seiten aus einer Liste ab, die vorab aus deiner Sitemap, llms.txt und deiner Startseite abgeleitet wird — niemals, indem wir Links folgen, die wir auf deinen Seiten finden
  • Wir crawlen keine durch robots.txt gesperrten Seiten

Wenn du einen Multi-Page-Snapshot ausführst, rufen wir den Text der Seiten ab und speichern ihn, die wir als Teil deines Berichts auswählen — so bleibt die Analyse reproduzierbar und nachvollziehbar. Der Seitentext wird zusammen mit dem Scan nach 24 Monaten gelöscht.

Studie zu KI-Crawler-Regeln

Für eine Studie darüber, wie Websites mit KI-Crawlern umgehen, liest PaceghostBot drei öffentliche Dateien von viel besuchten Websites: /robots.txt, /llms.txt und /ai.txt. Andere Seiten ruft er nicht ab. Die Liste der Websites stammt aus dem öffentlichen Chrome UX Report: die meistbesuchten Websites in Deutschland, Österreich, der Schweiz und weltweit.

Für die Studie enthält der User-Agent das Wort study. Er ist nicht PaceghostOutreachBot, unser separater Outreach-Crawler. 

PaceghostBot/1.0 (study; +https://www.paceghost.io/resources/paceghostbot/)
  • Wir lesen zuerst die robots.txt. Sperrt sie PaceghostBot, rufen wir keine weitere Datei von deiner Website ab.
  • Hat deine robots.txt eine eigene Gruppe für PaceghostBot, die ihn sperrt, lassen wir deine Website aus den Ergebnissen heraus. Wir zählen nur, wie viele Websites wir herausgelassen haben.
  • Wir senden höchstens eine Anfrage pro Sekunde an eine Website.
  • Wir speichern nur die Regeln, die wir aus den Dateien auslesen, nicht die Dateien selbst.
  • Wir veröffentlichen nur zusammengefasste Werte, zum Beispiel den Anteil der Websites, die einen bestimmten KI-Crawler sperren. Einzelne Websites nennen wir nicht.

Wenn du nicht an der Studie teilnehmen möchtest, schreib an info@paceghost.io und nenn uns die Hostnamen deiner Websites. Wir rufen dann für die Studie keine Datei mehr von ihnen ab. Audits deiner Websites bleiben möglich.

Du kannst auch in deiner robots.txt eine Gruppe User-agent: PaceghostBot mit Disallow: / ergänzen, wie unten gezeigt. Diese Gruppe sperrt PaceghostBot vollständig: Er liest deine Seiten dann auch nicht mehr, wenn ein Nutzer ein Audit deiner Website anfordert.

PaceghostBot blockieren

Wenn du PaceghostBot den Zugriff auf deine Website nicht erlauben möchtest, sperr ihn einfach über deine robots.txt-Datei.

Beispiel:

robots.txt 
User-agent: PaceghostBot
Disallow: /

Unser Bot respektiert diese Direktive vollständig. Die Direktive gilt für Audits und für die Studie. Wenn du nur die Studie verlassen möchtest, schreib an info@paceghost.io.

Kontakt

Bei Fragen oder Anliegen zu PaceghostBot wende dich an: info@paceghost.io

Weiterführende Artikel