De meeste problemen met experimenten hebben een handvol oorzaken: het origineel is veranderd, een veiligheidscontrole greep in, er is te weinig verkeer, of aankopen komen niet bij bluebarry aan. Zo herken je elke oorzaak en los je hem op.
"Experiments are not available for your account yet"
Experimenten staan per Studio-gebruiker aan. Zie je deze melding, of heeft een collega wel een knop Experiments en jij niet? Vraag ons om je toe te voegen.
Je kunt het experiment niet aanmaken of starten
- "Publish the quiz before creating an experiment." Het origineel is altijd je gepubliceerde versie, dus publiceer de quiz eerst.
- "Nothing to test here yet." Er is nog geen quiz, zoekconfiguratie, pop-up, pagina of blok van dat type. Maak er eerst een.
- Launch experiment is grijs. De checklist heeft een rood kruis, meestal Add at least one version to compare with the original.
- "Another experiment already owns this target." Per quiz, zoekconfiguratie, pop-up, pagina of blok kan maar één experiment lopen. Stop eerst het andere.
- "The published baseline changed." Het origineel is opnieuw gepubliceerd of opgeslagen nadat je het experiment aanmaakte. Begin een nieuw experiment, zodat het vergelijkt met wat nu live staat.
- Een zoekversie wordt geweigerd. Daarmee vindt een van je testzoekopdrachten niets meer, of vindt een productcode zijn exacte product niet meer. Pas de versie aan of controleer de testzoekopdrachten.
"Paused, needs attention"
Een gepauzeerd experiment toont nieuwe bezoekers je gepubliceerde versie. Wie al meedoet, houdt zijn versie. De melding bovenaan en het tabblad Activity vertellen waarom het gepauzeerd is:
- Je hebt het origineel veranderd. Publiceer je een quiz, pop-up of collectiepagina, of sla je zoek- of aanbevelingsinstellingen op terwijl een experiment loopt, dan pauzeert het (Studio vraagt eerst om bevestiging). De vergelijking is dan niet meer eerlijk, dus Stop het experiment en begin een nieuw.
- Een veiligheidscontrole greep in, bijvoorbeeld omdat versies niet laden of tracking te laat of onvolledig binnenkomt. Los de oorzaak op en klik daarna op Resume. Na een veiligheidspauze gaat het nooit vanzelf verder.
- De toegang tot experimenten is uitgezet voor de persoon die het experiment aanmaakte. Is de toegang terug, klik dan op Resume.
"Stopped because a version was hurting results"
bluebarry heeft het experiment beëindigd omdat een nieuwe versie je hoofddoel (bij quizzen: het afronden) duidelijk meer verlaagde dan je toestond. Iedereen ziet weer je gepubliceerde versie en de resultaten blijven bewaard. Kijk wat die versie veranderde en probeer een voorzichtiger idee in een nieuw experiment.
Het loopt al weken zonder winnaar
Een winnaar heeft genoeg bezoekers en een echt verschil nodig. Presteren de versies ongeveer gelijk, dan loopt het experiment door. Wil je sneller een antwoord, begin dan een nieuw experiment met een of meer van deze punten:
- een groter deel van de bezoekers in het experiment;
- minder versies, zodat elke versie meer verkeer krijgt;
- een gedurfdere wijziging, die meer verschil maakt;
- een doel dat meteen gebeurt, zoals klikken of afgeronde quizzen, in plaats van bestellingen;
- de voorinstelling Quick test.
Blijven de versies gelijk, dan is dat ook een uitkomst: de wijziging maakt voor je bezoekers weinig uit. Stop het experiment en houd de versie die jij het fijnst vindt.
Bestellingen en omzet blijven op nul
- Bestellingen tellen pas mee als het bestelvenster van een bezoeker voorbij is, standaard 7 dagen plus een dag voor late tracking. In het begin is "nog geteld" dus normaal.
- Aankopen moeten bij bluebarry aankomen. Op Shopify regelt de bluebarry-app dat, zie Shopify-checkoutconversies meten.
- Buiten Shopify geven de WooCommerce-plugin en het losse performance-trackingscript de experimentgegevens nog niet door aan aankopen. Daarmee tellen zoek- en pop-upexperimenten geen bestellingen, dus kies daar klikken, toevoegingen aan winkelwagen of inzendingen als hoofddoel. Quizexperimenten hebben hier geen last van. Zie Conversietoewijzing begrijpen.
- Alleen bestellingen in de valuta van het experiment tellen. Bestellingen in andere valuta worden overgeslagen, niet omgerekend.
Je ziet altijd alleen het origineel
Dat is meestal zo bedoeld. Alleen het deel van de bezoekers dat je koos doet mee, standaard 10%, en misschien alleen één segment. Heb je eenmaal een versie gekregen, dan houd je die het hele experiment. Wil je zelf een versie bekijken, gebruik dan de knop Preview in Studio in plaats van je webshop.
Op collectiepagina's kan een versie die de productvolgorde verandert niet op tegen een collectie die je in Shopify handmatig sorteert. Die bezoekers zien het origineel.
Kom je er niet uit?
Vraag Barry naar het experiment, of neem contact met ons op. Noem de naam van het experiment en de melding bovenaan. Meer achtergrond: Resultaten lezen en de winnaar publiceren.