Sobald ein Experiment läuft, sagt dir seine Seite in einem Satz, ob es einen Gewinner gibt, noch bevor du Zahlen anschaust. Dieser Artikel erklärt, was dieser Satz bedeutet, wie du die Zahlen dahinter liest und wie du die siegreiche Version veröffentlichst.
Das Urteil oben
Öffne das Experiment über Experiments. Unter der Fortschrittsleiste (Set up, Build versions, Review and launch, Running, Decide) fasst ein farbiger Kasten den Stand zusammen:
| Urteil | Bedeutung |
|---|---|
| Waiting for shoppers | Noch niemand hat das Experiment gesehen. Ergebnisse kommen, sobald Besucher da sind. |
| No clear difference yet | Besucher nehmen teil, aber die Versionen schneiden bisher etwa gleich ab. |
| Version B is ahead so far | Eine Version liegt beim Hauptziel vorn, das ist aber noch nicht belegt. Gib ihr mehr Zeit. |
| Version B is the winner | Die Daten sind eindeutig. Prüfe die Version und veröffentliche sie für alle. |
| Paused: needs your attention | Eine Sicherheitsprüfung oder eine Änderung am Original hat pausiert. Die Meldung sagt dir, warum. |
| Stopped without a winner | Das Experiment ist beendet. Besucher sehen wieder deine veröffentlichte Version. |
Die Zahlen lesen
Klicke auf See the numbers oder öffne den Tab Results.
- Minimum run time zeigt die bisherigen Tage im Verhältnis zur festgelegten Mindestlaufzeit. Vorher wird kein Gewinner gekürt.
- Shoppers counted per version zeigt, wie nah die kleinste Version an dem Minimum ist, das bluebarry braucht: 200 Besucher.
- Das Diagramm zeigt für jede Version den besten Schätzwert (den Punkt) und den wahrscheinlichen Bereich (die Linie). Überlappen sich die Linien stark, schneiden die Versionen womöglich gleich ab.
- Die Tabelle Evidence used to pick a winner zeigt pro Version, wie viele Besucher gezählt sind, wie viele noch gezählt werden und das Ergebnis für jedes Ziel, mit dem Unterschied zum Original (zum Beispiel „+2.1 pts“, also Prozentpunkte).
Warum Besucher „noch gezählt werden“
Jeder Besucher bekommt gleich viel Zeit, das Ziel zu erreichen. Bei schnellen Zielen wie Antworten, Klicks und Anmeldungen ist dieses Fenster einen Tag lang. Bei einem Bestell- oder Umsatzziel ist es das gewählte Bestellfenster, standardmäßig 7 Tage. Danach gibt bluebarry noch einen Tag für verspätetes Tracking. Bis diese Zeit um ist, wird ein Besucher „noch gezählt“ und beeinflusst das Ergebnis nicht. So sieht eine Version nicht nur deshalb gut aus, weil ihre Besucher mehr Zeit hatten.
Bei Quizzen zeigt eine eigene Tabelle Completion so far, einschließlich der Besucher, die noch gezählt werden. Sie ist ein frühes Signal, nicht die Grundlage für den Gewinner.
Die Zeile „Outside the experiment“
Besucher außerhalb des Experiments sehen deine veröffentlichte Version. Ihre Zahlen dienen nur der Kontrolle und entscheiden nie über den Gewinner. Weichen sie stark von der Control-Gruppe im Experiment ab, pausiert bluebarry das Experiment, damit du das Tracking prüfen kannst.
Wann eine Version gewinnt
bluebarry kürt einen Gewinner nur, wenn all das zutrifft:
- die Mindestlaufzeit ist vorbei;
- jede Version hat genug gezählte Besucher;
- die Version schlägt jede andere Version beim Hauptziel mindestens um den kleinsten Gewinn, den du festgelegt hast, oder liegt beim Hauptziel gleichauf und gewinnt bei einem Tie-breaker;
- ihre Sicherheitsprüfungen zeigen keine Probleme.
bluebarry prüft die Ergebnisse etwa einmal pro Stunde. Refresh results im Tab Results zeigt die neuesten Zahlen. Die Messlatte sinkt dadurch nie.
Den Gewinner veröffentlichen
- Klicke auf Review the winner. Die siegreiche Karte ist mit Winner markiert.
- Klicke auf Publish Version B to everyone und bestätige.
Das Veröffentlichen ersetzt dein Quiz, deine Suche, dein Popup oder deine Seite für alle Besucher, auch für die außerhalb des Experiments, und beendet das Experiment. Es kann ein paar Minuten dauern; lass die Seite offen, bis sie es meldet. Du kannst auch eine Version veröffentlichen, die noch nicht gewonnen hat. Die Bestätigung warnt dich dann, dass deine Ergebnisse sinken können.
Pausieren, stoppen oder eine Version herausnehmen
- Pause: Neue Besucher sehen deine veröffentlichte Version. Wer schon im Experiment ist, behält seine. Resume macht dort weiter, wo du aufgehört hast.
- Stop: Alle sehen wieder deine veröffentlichte Version. Die bisherigen Ergebnisse bleiben erhalten. Ein gestopptes Experiment lässt sich nicht neu starten.
- Stop showing to new shoppers auf einer Versionskarte nimmt eine Version heraus, ohne den Test zu beenden. Nimmst du die letzte neue Version heraus, endet das Experiment.
- Make this version live (Suche, Popups, Kollektionsseiten und Empfehlungen) bringt eine gespeicherte Version für alle Besucher zurück, nachdem das Experiment gestoppt, beendet oder pausiert wurde.
- Archive entfernt ein beendetes Experiment aus deiner Liste. Sein Verlauf bleibt erhalten.
Der Tab Activity
Activity ist das Logbuch des Experiments: wann es gestartet ist, wann die KI eine Version entworfen hat, jede Verschiebung des Traffics hin zu den besseren Versionen, Pausen und ihr Grund und wann eine Version veröffentlicht wurde.
Etwas ist pausiert oder hängt? Siehe Pausierte oder festhängende Experimente beheben.