Das Prinzip: zwei Versionen, Zufall, eine Messung
„Test A/B“ und „A/B test“ werden in Frankreich jeweils 1.600-mal im Monat gesucht. Das Prinzip: eine Version A (die aktuelle) und eine Version B (die Änderung), im selben Zeitraum zufällig vergleichbaren Besuchern gezeigt. Da sich nur die Seite unterscheidet, lässt sich der gemessene Unterschied in der Conversion der Änderung zuschreiben, wenn die Stichprobe groß genug ist.
Ronny Kohavi und seine Mitautoren, die das Experimentieren bei großen Webunternehmen geleitet haben, fassen den Nutzen der Methode in einem Grundlagenartikel von 2009 zusammen: Teams lernen am meisten, wenn sie auf ihre Kunden hören statt auf „die Meinung der bestbezahlten Person“ (die „HiPPO“). Derselbe Artikel betont, woran Tests scheitern: statistische Power, Stichprobengröße und Varianz.
Wie viel Traffic braucht ein aussagekräftiger Test?
Der nötige Traffic hängt von zwei Dingen ab: Ihrer aktuellen Conversion-Rate und der Größe des Unterschieds, den Sie erkennen wollen. Je niedriger die Rate und je kleiner der Unterschied, desto mehr Besucher brauchen Sie. Eine gängige statistische Näherung für einen Test mit zwei Versionen und den üblichen Schwellen (5 % Risiko eines Fehlalarms, 80 % Chance, einen echten Effekt zu erkennen) ergibt pro Version: n ≈ 16 × p × (1 − p) ÷ d², wobei p die Conversion-Rate und d der absolute Unterschied ist, den Sie erkennen wollen.
Rechenbeispiel: Bei einer Rate von 2 % (p = 0,02) und dem Ziel, einen Anstieg auf 2,4 % zu erkennen (d = 0,004), ergibt sich etwa 16 × 0,02 × 0,98 ÷ 0,000016, also knapp 20.000 Besucher pro Version, 40.000 insgesamt, für einen einzigen Test. Ein kleinerer Unterschied verlangt deutlich mehr.
Unsere eigenen Websites zeigen die Grenze: Auf allen unseren verkaufenden Websites zusammen hat Google Analytics 351 Sitzungen gemessen, vom 1. Oktober 2026 bis 19. Oktober 2026 (gezählt werden nur Besucher, die der Messung zustimmen). Keine dieser Websites erlaubt einen aussagekräftigen A/B-Test auf ihre Käufe. So geht es den meisten KMU.
Nutzen Sie vor dem Start einen Rechner für die Stichprobengröße, und legen Sie die Dauer im Voraus fest. Einen Test abzubrechen, sobald eine Version „gewinnt“, ist der häufigste Fehler: Wer oft genug nachschaut, bekommt vom Zufall immer irgendwann einen falschen Gewinner.
Ohne genug Traffic: reparieren, dann vorher und nachher messen
Eine kleine Website gewinnt mehr, wenn sie offensichtliche Fehler behebt, als wenn sie Nuancen testet. Das hier reparieren Sie ohne Test, weil der Mangel offensichtlich ist:
- Der Kauf- oder Anfrage-Button ist auf dem Smartphone ohne Scrollen nicht sichtbar.
- Die Versandkosten tauchen erst beim Bezahlen auf.
- Vor dem Bezahlen ist ein Kundenkonto Pflicht.
- Das Formular hat mehr als fünf Felder.
- Die Seite braucht mehrere Sekunden, bis ihr Hauptinhalt erscheint.
- Die Telefonnummer ist nicht antippbar.
Mit Traffic: was Sie zuerst testen
Wenn Ihr Traffic es erlaubt, testen Sie, was die größtmögliche Wirkung hat, auf den Seiten mit den meisten Besuchen:
- Das Angebot selbst: Preis, Inhalt eines Pakets, hervorgehobene Variante.
- Der Titel und der erste Satz der Landingpage.
- Die Reihenfolge der Blöcke: Belege vor oder nach dem Preis.
- Die Zahl der Schritte im Checkout.
- Die Darstellung der Optionen: drei Varianten gegen nur eine.
Die Farbe eines Buttons gehört selten dazu: Der erwartete Effekt ist zu klein, um ihn mit dem Traffic eines KMU zu messen.
Heatmaps und Sitzungsaufzeichnungen: nützlich, mit Einwilligung
„Heatmap“ wird in Frankreich 5.400-mal im Monat gesucht. Eine Heatmap zeigt, wo Besucher klicken und wie weit sie eine Seite herunterscrollen. Über die Conversion beweist sie nichts, aber sie deckt Probleme schnell auf: ein nicht klickbares Element, das alle antippen wollen, ein Button, den niemand sieht, weil er zu weit unten steht, ein Block, der ignoriert wird.
Zum Datenschutz: Die französische Datenschutzbehörde CNIL befreit nur bestimmte Tools zur Reichweitenmessung von der Einwilligung, unter strengen Bedingungen (nur anonyme Statistiken, keine Weiterverwendung der Daten für andere Zwecke). Tools für Sitzungsaufzeichnungen und Heatmaps gehen oft darüber hinaus: Prüfen Sie die Konfiguration Ihres Tools anhand der Empfehlung der CNIL, und holen Sie die Einwilligung ein, wenn sie nötig ist.
Einen Test sauber durchführen: die Liste
- Eine vor dem Test aufgeschriebene Hypothese: „Die Lieferzeit unter dem Button anzuzeigen, erhöht die Zahl der Warenkorb-Hinzufügungen.“
- Eine einzige Hauptkennzahl, vorab festgelegt: Käufe, Warenkorb-Hinzufügungen oder Angebotsanfragen.
- Stichprobengröße und Dauer vor dem Start berechnet, in ganzen Wochen, damit schwache und starke Tage abgedeckt sind.
- Eine zufällige Aufteilung der Besucher, wobei jeder immer dieselbe Version sieht.
- Kein Blick auf die Ergebnisse, um vor dem geplanten Ende zu entscheiden.
- Ein schriftlicher Bericht, ob Gewinner oder nicht: Ein Test ohne Effekt ist auch eine Information.
Häufige Fragen
Was ist ein A/B-Test?
Ein Experiment, das vergleichbaren Besuchern im selben Zeitraum zufällig zwei Versionen einer Seite zeigt, um zu messen, welche besser konvertiert.
Wie viele Besucher braucht ein A/B-Test?
Das hängt von der Conversion-Rate und vom gesuchten Unterschied ab. Bei einer Rate von 2 % und einem zu erkennenden Unterschied von 0,4 Prozentpunkten brauchen Sie rund 20.000 Besucher pro Version: Die meisten kleinen Websites haben diesen Traffic nicht.
Wie lange sollte ein A/B-Test laufen?
So lange, bis die berechnete Stichprobe erreicht ist, in ganzen Wochen, festgelegt vor dem Start. Wer abbricht, sobald eine Version zu gewinnen scheint, produziert falsche Gewinner.
Ersetzt eine Heatmap einen A/B-Test?
Nein. Sie zeigt, wo Besucher klicken und wie weit sie lesen, was bei der Fehlersuche hilft, misst aber nicht die Wirkung einer Änderung auf die Verkäufe.