Scraping vs. API bei KI-Sichtbarkeit: Warum Sampling gewinnt

Es gibt ein ernstzunehmendes Argument dafür, die Consumer-Oberfläche zu erfassen, und es verdient eine faire Anhörung. Die App, die Menschen tatsächlich nutzen, und die Entwickler-API sind nicht dasselbe Produkt. Die Weboberfläche von ChatGPT hat ihren eigenen System-Prompt, ihr eigenes Gedächtnis samt Personalisierung, ihr eigenes Modell-Routing und, für die Markensichtbarkeit am wichtigsten, ihre eigene Retrieval-Pipeline. Rufst du dasselbe Modell über die API auf, bekommst du nichts davon. Bei Perplexity ist es dieselbe Geschichte: Die Sonar-API-Modelle verhalten sich nicht wie die Consumer-App. Und für Google AI Overviews und den AI Mode gibt es gar keine öffentliche API, also ist die gerenderte Antwort zu lesen der einzige Weg hinein. Zu weit geht das Argument bei der Behauptung, das sei „genau das, was Nutzer sehen“. Ist es nicht. Scraping im großen Stil heißt Proxys und entweder ausgeloggte Sessions oder eine Farm von Accounts. Was du in Wahrheit erfasst, ist ein gedächtnisloser Fremder auf einer Rechenzentrums-IP. Das ist ein eigenes künstliches Setup, nur ein anderes als ein API-Aufruf. Höhere Genauigkeit, ja. Absolute Wahrheit, nein. Dann ist da noch die Zuverlässigkeit, über die viel zu selten gesprochen wird. Automatisiertes Scraping von Consumer-Chat-Oberflächen verstößt meist gegen deren Nutzungsbedingungen, und die Folgen sind selten juristisch. Sie sind praktisch: Bot-Erkennung, Rate-Limits und stille Datenlücken bei jedem Redesign. Eine API ist ein Vertrag, also hält sie still. Wenn du einem Kunden jeden Monat eine Zahl vorlegst, ist eine Lücke, die du nicht erklären kannst, ein echtes Problem.

Hier ist das, worauf die ganze Kategorie fußt und was selten laut gesagt wird: Diese Modelle sind nicht deterministisch, und das Retrieval driftet. Stell dieselbe Frage zweimal, und die Antworten können sich unterscheiden. Stell sie nächste Woche noch mal, und die Quellen sind weitergezogen. Jede einzelne Messung, gescrapt oder per API, ist eine Stichprobe aus einem beweglichen Ziel. Wie sieht das in der Praxis aus? Frag ChatGPT dreimal hintereinander „Was ist das beste Projektmanagement-Tool für Agenturen?“, und du tauchst vielleicht in der ersten Antwort auf, verschwindest in der zweiten und bist in der dritten wieder da. Dieselbe Marke, derselbe Nachmittag, und du hast gerade 100 %, dann 0 %, dann 100 % erzielt. Miss einmal, und du hast einen Münzwurf festgehalten. Eine Zahl, der du trauen kannst, entsteht erst, nachdem du viele Male gefragt hast. Die eigentliche Frage ist also nicht, wie du die Antwort erfasst hast. Sondern wie du gesampelt hast. Vier Dinge zählen: 1. Durchläufe pro Prompt. Wie oft wird jeder Prompt pro Engine und pro Scan gestellt? Eine Marke, die in einem von zwei Durchläufen auftaucht, ist in keinem brauchbaren Sinn „zu 50 % sichtbar“. Das ist ein Münzwurf. Die Unsicherheit eines Anteils sinkt nur, wenn du Stichproben hinzufügst (Brown, Cai & DasGupta, 2001). 2. Frequenz. Wie oft misst das Tool neu, und kannst du täglich scannen, wenn ein Launch oder eine Nachricht die Antwort gerade bewegt? 3. Locale. KI-Antworten hängen von Markt und Sprache ab. Deine Sichtbarkeit für „bestes CRM für Agenturen“, aus Deutschland auf Deutsch gefragt, ist schlicht eine andere Zahl als beim selben Prompt aus den USA auf Englisch. 4. Ausgewiesene Unsicherheit. Kommt die Zahl mit Stichprobengröße und Fehlermarge, oder ist sie ein nackter Prozentwert, der still verbirgt, wie wacklig er ist? Und es gibt einen Kosten-Twist, der den Streit im Hintergrund entscheidet. Ein Browser kostet pro Abfrage rund zehnmal so viel wie ein API-Aufruf, deshalb sind Scraping-first-Tools tendenziell knapp an Stichproben. Sie bezahlen die Genauigkeit mit Frequenz und Abdeckung. Ein Tool, das jeden Prompt einmal pro Woche scrapt, liefert einen schlechteren Trend als eines, das denselben Prompt dutzende Male pro Woche trifft, ganz gleich mit welcher Methode. Für etwas wie Share of Voice schlägt die Zahl der Stichproben fast immer die schönere Einzelstichprobe. Seit der Erstveröffentlichung ist die Retrieval-Drift nichts mehr, das wir nur erschließen: Mehrere Engines legen die wörtlichen Websuchen offen, die sie vor dem Antworten ausführen, und wir schneiden sie mit. Derselbe Prompt fächert in verschiedenen Läufen in verschiedene Suchen auf — du kannst dem beweglichen Ziel beim Bewegen zusehen. Wir haben veröffentlicht, wie diese Fanout-Queries wirklich aussehen; als Beleg für das Sampling-Argument ist es so direkt, wie dieses Feld es hergibt.

Ein einzelner KI-Sichtbarkeits-Prozentwert kann auf zwei Arten in die Irre führen, und keine davon behebst du mit mehr Scraping. Beide behebst du mit ehrlicher Statistik. Fang bei den Extremen an. Der Lehrbuch-Standardfehler, die Wurzel aus p(1−p)/n, zerfällt nahe 0 % und 100 % und immer dann, wenn n klein ist. Sagen wir, eine Engine hat dich in null von acht Durchläufen genannt. Die Formel meldet 0 % ± 0 %, eine glatte Erklärung, du würdest nie genannt. Acht Versuche beweisen nichts dergleichen. Läge deine wahre Rate bei eins zu zehn, wäre eine Null über acht Durchläufe völlig gewöhnlich. Das Wilson-Konfidenzintervall geht ehrlich damit um. Es meldet weiter 0 %, weist aber darauf hin, dass die echte Rate bei bis zu rund 11 % liegen könnte, und es behauptet nie eine unmögliche Sichtbarkeit unter 0 % oder über 100 %. Das zählt, weil dünne, nahe-null Ausschnitte genau dort liegen, wo die Werte pro Engine leben. Das zweite Problem ist subtiler, deshalb hier ohne Fachjargon. Stell dir eine Umfrage vor, die mit 1.000 Antworten prahlt. Dann erfährst du, dass sie aus 10 Haushalten mit je 100 Personen stammen und in jedem Haushalt alle gleich abstimmen. Du hast keine 1.000 Meinungen. Du hast 10. Weist du die Marge aus, als wären alle 1.000 unabhängig, wirkt die Umfrage weit schärfer, als sie ist. KI-Engines sind diese Haushalte. Frag eine Engine denselben Prompt viele Male, und ihre Antworten stimmen weitgehend miteinander überein. Ein web-gestütztes Modell, das dich mag, nennt dich immer wieder; ein ungestütztes lässt dich immer wieder aus. Neun Engines mal ein paar hundert Durchläufe sind also keine paar tausend unabhängigen Messungen. Es sind eher neun starke Meinungen, jede immer wieder befragt. Und so wirkt sich das auf eine echte Zahl aus. Sagen wir, eine Marke poolt über neun Engines auf rund 39 % Sichtbarkeit, und diese Engines reichen von „nennt sie kaum“ bis „nennt sie meistens“. Behandelt man jeden Durchlauf als unabhängig, meldest du saubere ± 3 %. Rechnet man ein, wie sehr die Engines uneinig sind (einen Designeffekt, in der Sprache der Stichprobentheorie), liegt die ehrliche Marge eher bei ± 11 %. Dieselben 39 %, völlig anderes Vertrauen. Genau das ist der Punkt. Zwei Marken können denselben Prozentwert in der Überschrift zeigen und völlig unterschiedliches Vertrauen verdienen, und ein ordentliches Tool sagt dir, welche welche ist. Es ist der Unterschied zwischen einer Zahl, die beruhigend aussieht, und einer, die du verteidigen kannst, wenn ein Kunde nachhakt.

All das hat geprägt, wie wir CrunchJunkie gebaut haben. Wir erfassen bewusst hybrid. Wenn eine Consumer-Oberfläche keine API hat, was bei Google AI Overviews, Google AI Mode und Microsoft Copilot der Fall ist, lesen wir die echte Antwort, die ein Suchender sehen würde. Überall sonst — bei sieben Anbietern, von OpenAI bis Meta AI — gehen wir über die web-gestützten APIs der Anbieter selbst. API-first heißt nicht, dass wir Abkürzungen nehmen. Es ist der günstige Weg pro Abfrage, und günstig pro Abfrage ist genau das, was uns öfter messen lässt, und daher kommt die Genauigkeit. Jede Zahl bringt ihren Beleg mit. Einen nackten Prozentwert findest du nirgends in CrunchJunkie. Jeder Wert zeigt seine Stichprobengröße („n = … Durchläufe“) und eine Fehlermarge, die innerhalb von 0–100 % bleibt und breiter wird, wenn deine Engines uneinig sind oder die Stichprobe dünn ist. Eine wacklige Zahl sieht wacklig aus, ob in der App, in einem Bericht oder auf einem geteilten Link. Und wir poolen die Mathematik korrekt: Erwähnungen über Durchläufe über die gesamte Menge, einmal geteilt, nie ein Durchschnitt aus Durchschnitten, der ein paar kleine, glückliche Ausschnitte still aufbläht. Wir veröffentlichen weder unsere genauen Durchlaufzahlen noch das Innenleben unserer Intervall-Mathematik. Es zählen die Prinzipien, und daran solltest du jeden Anbieter messen, uns eingeschlossen.

Der sinnvolle Weg, KI-Sichtbarkeits-Tools zu vergleichen, hat mit Scraping nichts zu tun. Stell vier Fragen und lass sie jeder Anbieter beantworten, Peec AI und uns eingeschlossen: 1. Wie oft führst du jeden Prompt aus, pro Engine, pro Scan? Ein Durchlauf ist ein Münzwurf; ein Trend braucht Wiederholungen. 2. Wie oft kann ich scannen, und ist täglich in meinem Tarif dabei? 3. Misst du pro Markt und pro Sprache? 4. Zeigst du eine Stichprobengröße und eine Fehlermarge, und weitet sich diese Marge, wenn die Stichprobe dünn ist oder die Engines uneinig sind? Wir beantworten alle vier mit Ja, in jedem Tarif, über zehn Engines, mit der Fehlermarge direkt neben jeder Zahl. Das ist der Vergleich, den wir wollen. Wessen Zahl auch einen Monat später noch hält, sagt viel mehr als wessen Erfassungsmethode beeindruckender klingt. Ein selbstbewusster Prozentwert ohne Stichprobengröße und ohne ± ist bloß Selbstbewusstsein, das du auf Vertrauen hinnehmen sollst.

Nichts davon macht Scraping falsch oder API-Sampling zu einer Abkürzung. Jedes misst eine leicht andere, leicht künstliche Scheibe der Realität. Was darüber entscheidet, ob deine Bewegung von Monat zu Monat echt oder nur Rauschen ist, ist das Sampling: genug Durchläufe, oft genug, in der richtigen Sprache, mit klar ausgewiesener Unsicherheit. Also frag nach diesen Zahlen. Das Tool, für das es sich zu zahlen lohnt, ist das, das sie dir liefern kann.