So testen Sie, ob eine GEO-Änderung gewirkt hat

Zentrale Ergebnisse

Ein einzelner Vorher-nachher-Check ist größtenteils Rauschen: KI-Antworten schwanken von Run zu Run, und Modelle ändern sich unter Ihnen.
Verwenden Sie Zielfragen, die die Änderung beeinflussen soll, und Kontrollfragen, die sie nicht beeinflussen soll, und vergleichen Sie, wie sich beide bewegt haben.
Um bei einer Baseline von 30 % eine Steigerung um 10 Punkte nachzuweisen, brauchen Sie etwa 356 Antworten vorher und 356 nachher; für 20 Punkte sind es jeweils etwa 93.
Planen Sie den Test, bevor Sie die Änderung vornehmen: Schreiben Sie die Fragen, die Modelle, die Stichprobengröße und das Ergebnis auf, das als Erfolg zählt.

Warum Vorher-nachher in die Irre führt

Drei Dinge bewegen eine KI-Sichtbarkeitszahl außer Ihrer Arbeit:

Stichprobenrauschen. Dieselbe Frage kann Sie in einer Antwort nennen und in der nächsten nicht. Eine kleine Stichprobe schwankt von allein um zig Punkte — siehe die Tabellen zur Fehlermarge.
Modelländerungen. Anbieter aktualisieren Modelle und Retrieval ohne Ankündigung. Ein Sprung in der Woche nach Ihrem Launch kann ihrer sein, nicht Ihrer.
Der Markt. Eine Finanzierungsmeldung eines Wettbewerbers oder eine virale Bewertung verschiebt die Antworten in Ihrer Kategorie, was auch immer Sie tun.

Ein guter Test trennt Ihren Effekt von allen dreien.

Das Design: Ziel- und Kontrollfragen

Wählen Sie Zielfragen, die Ihre Änderung plausibel beeinflussen sollte. Wenn Sie eine Seite veröffentlicht haben, die Sie mit einem Rivalen vergleicht, sind die Ziele Fragen, bei denen Käufer die beiden vergleichen.
Wählen Sie Kontrollfragen in derselben Kategorie, die die Änderung nicht beeinflussen sollte — andere Anwendungsfälle, andere Käufersegmente.
Fixieren Sie beide Sets vor der Änderung. Eine Frage mitten im Test umzuformulieren ändert, was Sie messen.
Messen Sie vorher: Stellen Sie jede Frage über ein bis zwei Wochen oft an jedes Modell, das Ihnen wichtig ist.
Nehmen Sie die Änderung vor und warten Sie dann lange genug, bis sie gecrawlt und indexiert ist. Antworten mit Live-Websuche können innerhalb von Tagen reagieren; alles, was vom Modelltraining abhängt, dauert weit länger.
Messen Sie nachher mit denselben Fragen, Modellen und derselben Stichprobengröße.
Vergleichen Sie die Veränderungen: Der Effekt ist (Ziel nachher − Ziel vorher) − (Kontrolle nachher − Kontrolle vorher). Ein Modell-Update, das alles anhebt, hebt auch die Kontrollen an und hebt sich auf.

Das ist ein Difference-in-Differences-Design, dieselbe Logik, die Ökonomen nutzen, wenn sie kein sauberes Experiment durchführen können. Es beweist keine Kausalität, schließt aber die häufigsten falschen Erfolge aus.

Wie viele Antworten Sie brauchen

Antworten, die in jedem Zeitraum (vorher und nachher) nötig sind, um eine Steigerung der angegebenen Größe nachzuweisen, nach Ausgangssichtbarkeit. 80 % Power, 5 % zweiseitige Signifikanz, Zwei-Proportionen-Test.

Ausgangssichtbarkeit	+5 Pkt.	+10 Pkt.	+15 Pkt.	+20 Pkt.
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Zwei Dinge fallen auf. Kleine Steigerungen sind teuer zu belegen — ein Plus von 5 Punkten braucht bei typischen Baselines weit über tausend Antworten pro Zeitraum. Und Marken, die nahe null starten, können eine Steigerung mit weniger Antworten nachweisen, weil der Sprung von 5 % auf 15 % eine große relative Bewegung ist.

Die Tabelle setzt unabhängige Antworten voraus. Wiederholte Antworten auf dieselbe Frage sind korreliert, verteilen Sie die Stichprobe also auf so viele verschiedene Zielfragen wie möglich und verstehen Sie diese Zahlen als Minimum.

Ein durchgerechneter Plan

Entscheidung	Beispiel
Änderung	Eine Vergleichsseite gegen Ihren größten Rivalen veröffentlichen und auf zwei Bewertungsportalen listen lassen
Zielfragen	10 Fragen, die Käufer bei der Wahl zwischen Ihnen und diesem Rivalen stellen
Kontrollfragen	10 Fragen zu einem anderen Anwendungsfall in derselben Kategorie
Modelle	ChatGPT und Gemini, getrennt ausgewiesen
Stichprobe	Jede Frage 20-mal pro Modell und Zeitraum gestellt: 200 Zielantworten pro Modell und Zeitraum
Erfolgskriterium	Das Ziel steigt bei mindestens einem Modell um mindestens 10 Punkte stärker als die Kontrolle
Timing	Zwei Wochen vorher; Änderung; zwei Wochen warten; zwei Wochen nachher

Mit 200 Antworten pro Zeitraum kann dieser Plan bei einer Baseline von 30 % eine Steigerung von etwa 13–14 Punkten zuverlässig nachweisen. Wenn Sie weniger erwarten, fragen Sie öfter oder warten Sie auf einen längeren Nachher-Zeitraum.

Häufige Fehler

Fragen erst nach Sicht der Ergebnisse wählen. Legen Sie das Zielset zuerst fest, sonst finden Sie die Fragen, die sich zufällig bewegt haben.
Über Modelle mitteln. Eine echte Steigerung bei einem Modell kann im Durchschnitt verschwinden. Weisen Sie jedes Modell aus und entscheiden Sie vorab, welches zählt.
Zu früh abbrechen. Täglich zu prüfen und am ersten guten Tag aufzuhören bläht falsche Erfolge auf. Legen Sie das Enddatum vorab fest.
Ein Nullergebnis als Misserfolg werten. „Keine nachweisbare Veränderung bei dieser Stichprobengröße“ ist nicht „kein Effekt“. Sagen Sie, welche Steigerung der Test hätte nachweisen können.

Zu den Kennzahlen selbst lesen Sie So berechnen Sie den KI-Share-of-Voice. Mentioned hält die Fragen jedes getrackten Keywords fixiert und stellt jede pro Run dreimal erneut, sodass die Vorher-nachher-Reihe ohne zusätzlichen Aufwand entsteht.

So zitieren Sie dies

Sie dürfen diese Zahlen gern zitieren und visualisieren, mit Link zurück. Vorgeschlagene Quellenangabe: Mentioned, „How to Test Whether a GEO Change Actually Worked,“ 25. Oktober 2026, https://mentioned.at/learn/how-to-test-geo-changes. Daten und Text sind unter CC BY 4.0 veröffentlicht.

Kostenlosen Check starten