Zodra een experiment loopt, vertelt de pagina je in één zin of er een winnaar is, nog voordat je naar cijfers kijkt. Dit artikel legt uit wat die zin betekent, hoe je de cijfers erachter leest en hoe je de winnende versie publiceert.
Het oordeel bovenaan
Open het experiment via Experiments. Onder de voortgangsbalk (Set up, Build versions, Review and launch, Running, Decide) vat een gekleurd vak samen hoe het ervoor staat:
| Oordeel | Betekenis |
|---|---|
| Waiting for shoppers | Nog niemand heeft het experiment gezien. Resultaten komen zodra er bezoekers zijn. |
| No clear difference yet | Bezoekers doen mee, maar de versies presteren tot nu toe ongeveer gelijk. |
| Version B is ahead so far | Eén versie ligt voor op je hoofddoel, maar dat is nog niet bewezen. Geef het meer tijd. |
| Version B is the winner | Het bewijs is duidelijk. Bekijk de versie en publiceer hem voor iedereen. |
| Paused: needs your attention | Een veiligheidscontrole of een wijziging aan het origineel heeft het gepauzeerd. De melding vertelt waarom. |
| Stopped without a winner | Het experiment is afgelopen. Bezoekers zien weer je gepubliceerde versie. |
De cijfers lezen
Klik op See the numbers of open het tabblad Results.
- Minimum run time toont het aantal dagen tegenover de minimale looptijd die je instelde. Daarvoor wordt geen winnaar gekozen.
- Shoppers counted per version toont hoe dicht de kleinste versie bij het minimum zit dat bluebarry nodig heeft: 200 bezoekers.
- De grafiek toont per versie de beste schatting (de stip) en het waarschijnlijke bereik (de lijn). Overlappen de lijnen veel, dan presteren de versies misschien gelijk.
- De tabel Evidence used to pick a winnertoont per versie hoeveel bezoekers zijn meegeteld, hoeveel er nog worden geteld en het resultaat op elk doel, met het verschil ten opzichte van het origineel (bijvoorbeeld "+2.1 pts", oftewel procentpunten).
Waarom bezoekers "nog worden geteld"
Elke bezoeker krijgt evenveel tijd om het doel te halen. Bij snelle doelen zoals antwoorden, klikken en aanmeldingen is dat venster één dag. Bij een bestel- of omzetdoel is het het bestelvenster dat je koos, standaard 7 dagen. Daarna geeft bluebarry nog een dag voor tracking die later binnenkomt. Tot die tijd voorbij is, wordt een bezoeker "nog geteld" en telt hij niet mee in het resultaat. Zo lijkt een versie niet beter alleen omdat haar bezoekers meer tijd hadden.
Bij quizzen toont een aparte tabel Completion so far, inclusief bezoekers die nog worden geteld. Dat is een vroeg signaal, niet het bewijs waarop de winnaar wordt gekozen.
De rij "Outside the experiment"
Bezoekers die niet meedoen, zien je gepubliceerde versie. Hun cijfers staan er alleen ter controle en bepalen nooit de winnaar. Wijken ze sterk af van de Control-groep in het experiment, dan pauzeert bluebarry het experiment zodat je de tracking kunt controleren.
Wanneer een versie wint
bluebarry kiest pas een winnaar als dit allemaal klopt:
- de minimale looptijd is voorbij;
- elke versie heeft genoeg meegetelde bezoekers;
- de versie verslaat elke andere versie op je hoofddoel met minstens de kleinste winst die je instelde, of speelt gelijk op het hoofddoel en wint op een tie-breaker;
- de veiligheidscontroles tonen geen problemen.
bluebarry controleert de resultaten ongeveer elk uur. Refresh results op het tabblad Results toont de nieuwste cijfers. De lat gaat daardoor nooit omlaag.
De winnaar publiceren
- Klik op Review the winner. De winnende kaart heeft het label Winner.
- Klik op Publish Version B to everyone en bevestig.
Publiceren vervangt je quiz, zoekfunctie, pop-up of pagina voor alle bezoekers, ook voor wie niet meedeed, en beëindigt het experiment. Het kan een paar minuten duren; houd de pagina open tot die het meldt. Je kunt ook een versie publiceren die nog niet gewonnen heeft, maar de bevestiging waarschuwt dan dat je resultaten kunnen dalen.
Pauzeren, stoppen of een versie eruit halen
- Pause: nieuwe bezoekers zien je gepubliceerde versie. Wie al meedoet, houdt zijn versie. Resume gaat verder waar je was.
- Stop: iedereen ziet weer je gepubliceerde versie. De resultaten tot nu toe blijven bewaard. Een gestopt experiment kun je niet opnieuw starten.
- Stop showing to new shoppers op een versiekaart haalt één versie eruit zonder de test te beëindigen. Haal je de laatste nieuwe versie eruit, dan stopt het experiment.
- Make this version live(zoeken, pop-ups, collectiepagina's en aanbevelingen) zet een bewaarde versie weer live voor alle bezoekers, nadat het experiment is gestopt, afgerond of gepauzeerd.
- Archive haalt een afgerond experiment uit je lijst. De geschiedenis blijft bewaard.
Het tabblad Activity
Activity is het logboek van het experiment: wanneer het startte, wanneer AI een versie opzette, elke keer dat het verkeer naar de betere versies verschoof, pauzes en de reden, en wanneer een versie werd gepubliceerd.
Is er iets gepauzeerd of zit het vast? Zie Gepauzeerde of vastgelopen experimenten oplossen.