Das Wichtigste in Kürze
- Ein typischer A/B-Test (3 % Conversion-Rate, +20 % erhoffte Verbesserung) braucht rund 28.000 Besucher, bis das Ergebnis statistisch belastbar ist. Kleinere Verbesserungen: über 100.000.
- Mit weniger Traffic liefert ein A/B-Test keine „ungefähren“, sondern falsche Ergebnisse: In Simulationen waren bis zu 80 % der vermeintlichen Gewinner reiner Zufall (Goodson, 2014).
- Selbst bei Google, Microsoft und Netflix scheitern 70–90 % aller getesteten Ideen — A/B-Testing ist ein Werkzeug für sehr viel Traffic und sehr viele Versuche.
- Qualitative Nutzertests funktionieren ab 5 Testern — unabhängig vom Traffic (Nielsen/Landauer). Sie zeigen nicht nur, was nicht funktioniert, sondern warum.
Was ist ein A/B-Test — und warum ist er so datenhungrig?
Bei einem A/B-Test wird der Traffic einer Seite zufällig auf zwei Varianten aufgeteilt: A ist das Original, B enthält die Änderung. Gemessen wird, welche Variante mehr Conversions erzielt — Käufe, Anmeldungen, Anfragen. Das Verfahren stammt aus der klinischen Forschung und ist im Kern ein statistisches Experiment.
Genau darin liegt das Problem: Ein statistisches Experiment braucht eine Mindest-Stichprobe, um Wirkung von Zufall zu unterscheiden. Conversions sind seltene Ereignisse (typisch konvertieren 2 bis 5 von 100 Besuchern), und die Unterschiede zwischen zwei Varianten sind meist klein. Je seltener das Ereignis und je kleiner der erwartete Unterschied, desto mehr Besucher braucht der Test. Diese Zahl lässt sich vor dem Test exakt berechnen — sie ist keine Meinungsfrage, sondern Mathematik.
Die Rechnung: So viele Besucher braucht dein A/B-Test
Zwei Größen bestimmen die Stichprobe: das Signifikanzniveau (üblich 95 % — wie sicher du sein willst, dass ein gemessener Unterschied kein Zufall ist) und die statistische Power (üblich 80 % — die Chance, einen real vorhandenen Unterschied überhaupt zu entdecken). Mit diesen Standardwerten ergibt sich:
| Conversion-Rate heute | Verbesserung, die du nachweisen willst | Nötige Besucher (beide Varianten) | Dauer bei 20.000 Bes./Monat |
|---|---|---|---|
| 1 % | +20 % (1,0 → 1,2 %) | ≈ 85.000 | über 4 Monate |
| 2 % | +20 % (2,0 → 2,4 %) | ≈ 42.000 | gut 2 Monate |
| 3 % | +20 % (3,0 → 3,6 %) | ≈ 28.000 | ca. 6 Wochen |
| 3 % | +10 % (3,0 → 3,3 %) | ≈ 106.000 | über 5 Monate |
| 5 % | +20 % (5,0 → 6,0 %) | ≈ 16.000 | ca. 3,5 Wochen |
Berechnet mit der Standard-Formel für den Vergleich zweier Anteilswerte (95 % Signifikanz, 80 % Power, zweiseitig). Nachrechenbar mit dem frei verfügbaren Stichproben-Rechner von Evan Miller. „Besucher“ meint Besucher, die die getestete Seite tatsächlich sehen — nicht den Gesamt-Traffic deiner Website.
Rund 28.000 Besucher braucht ein A/B-Test bei 3 % Conversion-Rate, um eine Verbesserung um 20 % sauber nachzuweisen. Für den Nachweis von +10 % sind es über 100.000.Zwei-Anteils-Test, 95 % Signifikanz / 80 % Power — Standardmethodik der Teststatistik
Zur Einordnung: Eine Website mit 5.000 Besuchern im Monat bräuchte für den 28.000er-Test rund ein halbes Jahr — für den 106.000er fast zwei Jahre. Spätestens hier kollidiert die Statistik mit der Realität: Sortiment, Preise, Saison und Werbekampagnen ändern sich schneller, als der Test läuft.
„Dann lasse ich den Test eben länger laufen“ — leider nein
Der naheliegende Ausweg funktioniert aus zwei Gründen nicht.
Erstens: Lange Tests messen nicht mehr dasselbe. Über Monate hinweg mischen sich Weihnachtsgeschäft, Ferien, Rabattaktionen und Kampagnen in beide Varianten. Wiederkehrende Besucher löschen Cookies und landen mal in A, mal in B. Das Ergebnis verwässert, statt schärfer zu werden.
Zweitens — und tückischer: das Reinschauen. Fast jedes Test-Tool zeigt live einen Zwischenstand samt „Signifikanz“-Anzeige. Wer stoppt, sobald es grün wird, hebelt die Statistik komplett aus. Der Statistiker Evan Miller hat es 2010 vorgerechnet: Wer ein laufendes Experiment fortlaufend prüft und beim ersten Ausschlag stoppt, arbeitet real mit bis zu 26 % Irrtumswahrscheinlichkeit statt der angezeigten 5 %. Der Datenwissenschaftler Martin Goodson kam 2014 in Simulationen zum gleichen Befund — mit einer noch unbequemeren Zahl:
Werden zu klein angelegte A/B-Tests beim ersten Signifikanz-Signal gestoppt, sind bis zu 80 % der vermeintlichen Gewinner-Varianten falsch-positiv.Martin Goodson: „Most Winning A/B Test Results Are Illusory“, 2014
Das erklärt ein Phänomen, das viele Website-Betreiber kennen: Das Tool meldet „+15 % Conversion!“ — aber im Umsatz kommt nichts an. Der Gewinn existierte nur in der Stichprobe, nicht in der Welt.
Selbst mit genug Traffic gewinnt meistens: nichts
Angenommen, du hast den Traffic. Dann beginnt das eigentliche Spiel — und dessen Quoten dokumentieren die Unternehmen mit den größten Experimentier-Programmen der Welt selbst: Ron Kohavi (langjähriger Leiter der Experimentier-Plattform bei Microsoft) und Stefan Thomke (Harvard Business School) berichten in der Harvard Business Review (2017), dass bei Google und Bing nur 10 bis 20 % aller Experimente positive Ergebnisse liefern. Bei Microsoft gilt die Drittel-Regel: ein Drittel der Ideen hilft, ein Drittel bewirkt nichts, ein Drittel schadet. Netflix kalkuliert laut einer Analyse ehemaliger Data-Science-Führungskräfte bei O’Reilly (2021) damit, dass 90 % der eigenen Ideen falsch liegen; bei Booking.com scheitern 9 von 10.
Die Konsequenz: A/B-Testing entfaltet seinen Wert erst als Dauerprogramm mit Dutzenden Tests pro Jahr — was den Traffic-Bedarf nochmals vervielfacht. Und selbst ein methodisch sauberer Test beantwortet nur, welche Variante besser ist. Warum Besucher abspringen — und was du als Nächstes ändern solltest — verrät er nie. Die Hypothesen müssen von woanders kommen.
Was bei unter 30.000 Besuchern wirklich funktioniert
Die Alternative ist so alt wie bewährt: qualitative Nutzertests — echten Menschen zusehen und zuhören, während sie deine Website benutzen und dabei laut denken.
Das Entscheidende: Nutzertests brauchen keine Besucherströme, sondern eine Handvoll passender Menschen. Jakob Nielsen und Thomas Landauer haben bereits 1993 gezeigt — und die Nielsen Norman Group hält es bis heute für die wirtschaftlichste Methode: Ein einzelner Tester deckt im Schnitt rund 31 % der Usability-Probleme einer Oberfläche auf, fünf Tester zusammen etwa 85 %. Jeder weitere Tester findet fast nur noch Bekanntes. Deshalb lautet die Empfehlung: lieber drei kleine Runden à fünf Tester (testen → beheben → erneut testen) als eine teure Großstudie. Der Wert ist ein Durchschnitt über viele Projekte — sehr komplexe Websites brauchen eher mehr Runden, nicht mehr Tester pro Runde.
Fünf Tester decken im Schnitt rund 85 % der Usability-Probleme einer Website auf — unabhängig davon, ob die Website 500 oder 500.000 Besucher im Monat hat.Nielsen/Landauer 1993; Nielsen Norman Group 2000
Und es gibt fast immer etwas zu finden. Das Baymard Institute, das seit Jahren E-Commerce-UX erforscht, beziffert die durchschnittliche Warenkorb-Abbruchrate über 49 Studien auf 70,19 % — und schätzt, dass ein durchschnittlicher großer Onlineshop allein durch besseres Checkout-Design seine Conversion-Rate um gut 35 % steigern könnte. Diese Probleme stehen in keiner Analytics-Auswertung — aber der fünfte Tester, der laut sagt „Ich finde die Versandkosten nicht, das ist mir suspekt“, zeigt sie dir in einer Minute.
Genau für diesen Weg haben wir Test it Baby gebaut: Du lädst deine Website oder deine Entwürfe hoch, buchst zum Beispiel fünf Tester aus dem deutschsprachigen Panel — oder lädst eigene Kunden per Link ein — und bekommst innerhalb weniger Stunden Bildschirmaufnahmen mit laut gedachten Kommentaren plus KI-Zusammenfassung. DSGVO-konform, alle Daten auf Servern in Deutschland, abgerechnet pro Antwort statt pro Besucherzahl. Einen Mindest-Traffic gibt es nicht — es ist die Methode, die ab Tag 1 funktioniert.
Wann A/B-Tests trotzdem die richtige Wahl sind
Zur Ehrlichkeit gehört: A/B-Tests sind kein schlechtes Werkzeug — sie sind für die meisten Websites nur das falsche erste Werkzeug. Sinnvoll sind sie, wenn drei Bedingungen zusammenkommen:
- Die getestete Seite hat dauerhaft mindestens 30.000–50.000 Besucher pro Monat — sonst dauert selbst ein einfacher Test ein Quartal.
- Es gibt eine klare Hypothese, idealerweise aus Nutzertests („Tester übersehen den Warenkorb-Button“) statt aus dem Bauchgefühl.
- Es gibt Disziplin: Stichprobengröße vorher berechnen, Laufzeit festlegen, nicht zwischendurch stoppen.
Die stärkste Kombination ist die Reihenfolge: Der Nutzertest findet das Problem und liefert die Hypothese, der A/B-Test validiert die Lösung — wenn der Traffic es hergibt. Wer es andersherum macht, testet Varianten von Raten ins Blaue.
Entscheidungshilfe: das richtige Werkzeug für deinen Traffic
Häufige Fragen
Wie viele Besucher braucht ein A/B-Test?
Kann ich mit 1.000 Besuchern pro Monat A/B-Tests machen?
Warum zeigt mein Test-Tool einen Gewinner, obwohl der Umsatz nicht steigt?
Was ist der Unterschied zwischen A/B-Test und Nutzertest?
Wie viele Tester braucht ein Nutzertest?
Quellen
- Jakob Nielsen: Why You Only Need to Test with 5 Users. Nielsen Norman Group, 2000 (auf Basis von Nielsen/Landauer, ACM INTERCHI ’93).
- Ron Kohavi, Stefan Thomke: The Surprising Power of Online Experiments. Harvard Business Review, September–Oktober 2017.
- Eric Colson, Daragh Sibley, Dave Spiegel: The Sobering Truth About the Impact of Your Business Ideas. O’Reilly Radar, 2021.
- Martin Goodson: Most Winning A/B Test Results Are Illusory. Whitepaper, 2014.
- Evan Miller: How Not To Run an A/B Test. 2010.
- Evan Miller: Sample Size Calculator (Zwei-Anteils-Test, Standardwerkzeug für A/B-Stichproben).
- Baymard Institute: Cart Abandonment Rate Statistics (laufend aktualisierte Meta-Auswertung aus 49 Studien).
- Baymard Institute: E-Commerce Checkout Usability — Report & Benchmark.