Allow in der robots.txt heißt nicht, dass die KI deine Seite lesen kann
Stand: 12. Oktober 2026
Eine robots.txt mit „Allow“ für GPTBot, ClaudeBot und PerplexityBot gilt in vielen GEO-Checklisten als erledigt. Meine Beobachtung aus den letzten Wochen ist eine andere: Die robots.txt ist eine Bitte an den Crawler, mehr nicht. Was er tatsächlich zu lesen bekommt, entscheiden zwei Schichten dahinter.
Die erste Schicht ist die Firewall. CDNs und Bot-Schutz-Dienste bringen inzwischen eigene Einstellungen für KI-Crawler mit, die bei neuen Domains teils schon voreingestellt sind. Dabei unterscheiden sie oft zwischen Trainings-Crawlern und Such-Crawlern. In einem Test habe ich gesehen, dass die robots.txt alles erlaubte, die Trainings-Crawler aber auf jeder Seite einen 403-Fehler bekamen, während die Such-Bots derselben Anbieter durchkamen. Im Log der Website taucht so etwas nicht auf, weil die Anfrage den Server nie erreicht.
Die zweite Schicht ist das Rendering. Viele Website-Baukästen liefern Menschen eine JavaScript-App aus und Bots eine vorgerenderte HTML-Fassung. Liegt davor ein Cache, der nicht nach Besuchertyp trennt, entscheidet der Zufall: Wer zuerst kommt, legt fest, was die nächsten Besucher sehen. Ein Crawler bekam so mal den vollen Artikel mit Schema, mal nur eine Hülle mit dem Slogan der Startseite, je nachdem, ob kurz vorher ein Browser da war.
These: KI-Sichtbarkeit beginnt nicht bei der robots.txt, sondern bei der Frage, was ein Crawler beim Abruf tatsächlich zurückbekommt. Das lässt sich in zehn Minuten prüfen: Seite einmal mit Browser-User-Agent und einmal als GPTBot, ClaudeBot und OAI-SearchBot abrufen (z. B. mit curl), dann Statuscode, Textlänge und JSON-LD vergleichen. Den Abruf als Bot nach einem Browser-Aufruf wiederholen, damit ein Cache auffällt.
Auf meiner eigenen Seite liefert der Bot-Abruf der Startseite rund 31 KB vorgerendertes HTML mit vollem Schema, der Browser-Abruf vor JavaScript rund 12 KB, nur mit dem Basis-Schema des Baukastens.
Praktische Konsequenz: Ein GEO-Audit, das nur die robots.txt liest, prüft die Absicht, nicht das Ergebnis. Statuscode und gerenderter Inhalt pro Bot gehören in jeden Check.
Wie so ein Check systematisch aussieht, beschreibe ich im Artikel zum GEO-Audit. Was KI-Sichtbarkeit insgesamt ausmacht, steht im Lexikon unter KI-Sichtbarkeit.