11,6 % aller KI-Crawler-Zugriffe laufen gegen eine Firewall. Was das kostet.

Zuerst die Form des Traffics, denn sie hat uns überrascht und wird vermutlich auch dich überraschen. In zwei Wochen wurde eine mittelgroße Marketing-Seite 3.695-mal von KI-Crawlern aus 12 Anbietern abgerufen — OpenAI allein steht für 38,5 % davon (1.421 Zugriffe), dahinter Anthropic (14,2 %), Meta (12,9 %) und Apple (12,7 %). Der aktivste einzelne Bot war ChatGPT-User mit 762 Besuchen: kein Trainings-Crawler, sondern der Abruf, den ChatGPT live macht, im Auftrag eines Nutzers, während es eine Antwort baut. Diese Unterscheidung zieht sich durch den ganzen Artikel. Von allen KI-Zugriffen im Fenster waren 27,4 % Nutzeranfragen — ein Modell liest deine Seite jetzt gerade, weil jemand etwas gefragt hat — und 72,0 % Such- und Trainingstraffic, der die Indexe und Modelle von morgen baut. Zwei sehr verschiedene Gründe, gecrawlt zu werden — und, wie gleich zu sehen, zwei sehr verschiedene Kosten, wenn der Crawl blockiert wird.

430 dieser 3.695 Zugriffe kamen mit HTTP 403 oder 406 zurück. Diese Kombination — robots.txt erlaubt den Bot, der Server verweigert die Anfrage — ist die Signatur einer Firewall- oder CDN-Bot-Regel, und sie verdient einen eigenen Namen: erlaubt, aber nicht erreichbar. Sie taucht in keinem robots-Checker auf, denn die robots.txt ist in Ordnung. Sie taucht nicht in deinen Analytics auf, denn die Anfrage hat nie eine Seite gerendert. Sie steht nur in den Server-Logs, in der Statuscode-Spalte, die niemand liest. Die Blocks waren alles andere als gleichverteilt. ByteDance wurden 95,3 % seiner 337 Zugriffe verweigert. Amazon verlor 65,8 %, You.com 57,1 %. OpenAI dagegen wurde bei nur 1,3 % der Zugriffe blockiert, Anthropic bei 1,9 %, Perplexity bei 2,5 %. Dieses Muster ist typisch für die Standard-Bot-Liste eines CDN: Die großen Namen stehen auf der Whitelist, alle anderen laufen gegen die Wand. Niemand auf der Seite hat das pro Anbieter entschieden — ein verwaltetes Regelwerk hat entschieden, still, und die Logs sind der einzige Ort, an dem die Entscheidung sichtbar wird.

Hier hört es auf, alarmierend zu sein, und fängt an, nützlich zu werden. Von den 430 blockierten Zugriffen trafen 401 Trainings- oder Bulk-Crawler — Traffic der GPTBot-Sorte, der künftige Modelle und Indexe baut. Viele Seiten blockieren den bewusst, und das ist vertretbar: Du tauschst langfristige Modell-Vertrautheit gegen Kontrolle über deine Inhalte, und vernünftige Leute landen auf beiden Seiten. Die anderen 29 trafen Live-Antwort-Crawler — die ChatGPT-User-Klasse, bei der ein Modell gerade für einen echten Menschen eine Antwort baut und deine Seite jetzt lesen will. Diese Blocks kosten. Wenn der Abruf scheitert, antwortet die Engine entweder aus dem, was sie ohnehin über dich glaubt, oder zitiert jemanden, dessen Seite erreichbar war. Du siehst das Scheitern nie; die fragende Person erfährt nie, dass es deine Seite gab. Neunundzwanzig Zugriffe in zwei Wochen sind auf dieser Seite ein kleines Leck — genau weil die großen Live-Antwort-Crawler auf der Whitelist standen. Dreh die Firewall-Defaults um — oder installiere ein strengeres Regelwerk — und aus dieser Zahl werden die ganzen 27,4 %. Wenn du eine einzige Sache aus diesem Artikel mitnimmst: Trenne die beiden Kategorien, bevor du irgendetwas entscheidest. Trainings-Bots zu blockieren ist eine Grundsatzentscheidung. Live-Antwort-Crawler zu blockieren ist fast immer ein Unfall.

Der Blick pro Anbieter lohnt sich, denn das Crawl-Verhalten spiegelt, was die jeweilige Firma verkauft. OpenAIs 1.421 Zugriffe teilen sich in 762 Nutzeranfragen gegen 659 Suche-und-Training — mehr als die Hälfte seines Interesses an dieser Seite war Live-Antworten. Perplexitys 277 Zugriffe enthielten 64 Nutzeranfragen. Diese beiden Anbieter lesen Seiten, um sie zu zitieren. Meta rief 478-mal ab: null Nutzeranfragen, alles Training. Apple 471-mal: ebenfalls null Nutzeranfragen. Apple ist der stille Fall, den man kennen sollte — es crawlt fleißig für Modelle, die heute fast nichts zitieren, sein Traffic ist also nahezu reiner Trainingsabfluss. Und Google taucht kaum auf: 24 Zugriffe in vierzehn Tagen, weil AI Overviews und AI Mode aus dem Suchindex antworten, den Google längst hat. Eine Seite kann sich an GPTBot abarbeiten und vergessen, dass ihre Google-KI-Präsenz vor Jahren durch ganz normales Indexieren entschieden wurde (die beiden Google-Oberflächen haben wir uns separat angesehen).

Noch etwas haben uns die Logs gelehrt: Ein User-Agent-String ist eine Behauptung, keine Identität. Alles kann sich GPTBot nennen. Die ehrliche Art, KI-Crawler-Traffic zu zählen, prüft jeden Zugriff gegen die IP-Bereiche, die der Anbieter veröffentlicht — OpenAI, Anthropic und Perplexity pflegen offizielle Listen. In unserem Fenster ließen sich 82,0 % der KI-gelabelten Zugriffe gegen einen veröffentlichten Bereich verifizieren. OpenAIs Traffic verifizierte zu 86,5 %, Perplexitys zu 66,1 % — und die Zugriffe, die behaupteten, Google zu sein, zu 0 %, was ziemlich sicher heißt: Sie waren gar nicht Google. Das zählt in beide Richtungen. Wer nur nach User-Agent drosselt oder blockiert, behandelt Hochstapler wie den echten Crawler — und der echte Crawler erbt den Ruf der Hochstapler. Und wenn deine Analytics „KI-Traffic“ nur nach User-Agent zählt, ist ein Teil davon Scraper im Kostüm. Verifizierung ist keine Paranoia; nach dieser Datenlage braucht ungefähr jeder fünfte Zugriff eine.

Du brauchst zwei Dinge: was dein Server KI-Crawlern zuletzt tatsächlich geantwortet hat, und ob die Live-Antwort-Crawler dich gerade jetzt erreichen. Für das Erste: Zieh zwei Wochen Access-Logs, filtere auf die KI-User-Agents und schau nur auf die Statuscodes. Alles Systematische im 403/406-Bereich gegen einen Bot, den deine robots.txt erlaubt, ist eine Firewall- oder CDN-Regel — du findest sie im Bot-Management deiner WAF, wo KI-Crawler zunehmend über Standardkategorien blockiert werden statt über irgendetwas, das du gewählt hast. Die komplette Log-Lese-Übung steht in der Angebotsseite der KI-Sichtbarkeit, und CrunchJunkies Crawl Insights macht sie kontinuierlich aus weitergeleiteten Logs — inklusive Verifizierung und der Trennung Nutzer versus Training. Für das Zweite brauchst du gar keine Logs: Unser kostenloser GEO-Audit prüft live, welche Zitations-Crawler deine Seite erreichen — in etwa einer Minute, ohne Anmeldung. Wenn ein Live-Antwort-Crawler heute abgewiesen wird, ist das der Fix mit dem höchsten Hebel in der ganzen KI-Sichtbarkeit — alles andere in diesem Feld setzt voraus, dass die Engines dich überhaupt lesen können.