Voorspellen van winnende A / B-tests met herhaalbare patronen - DeLaatbusiness

Voorspellen van winnende A / B-tests met herhaalbare patronen

9 min


118
6 gratis internet marketing ebooks, klik hier voor download

Als je ooit een zeer betrouwbare en positieve a / b-test hebt uitgevoerd, is de kans groot dat je het onthoudt met de neiging dit in de toekomst opnieuw te proberen – met recht ook. Testen is hard werken met veel experimenten die mislukken of onbeduidend worden. Het lijkt alleen optimaal om te proberen bestaande kennis te exploiteren voor meer successen en minder mislukkingen. In onze eigen praktijk zijn we precies dat begonnen te doen.

In 2017 zijn we systematisch begonnen soortgelijke testresultaten in categorieën te categoriseren, zodat we meer winnende tests beter kunnen voorspellen. In 2017 hebben we 51 a / b-tests uitgevoerd die puur met een patroon zijn uitgevoerd en71% van deze tests was positiefop het moment van stoppen. Het wordt ons nu duidelijker dat patronen een krachtig hulpmiddel zijn voor het voorspellen van testresultaten en ik wil onze aanpak met u delen. Dit is het proces dat we volgen om patronen te identificeren en te gebruiken voor een hogere winstpercentage.

Het doel: beter dan 50/50 willekeur

Ten eerste, als we onze voorspellingsratio voor a / b-testresultaten willen verbeteren, moeten we een meetlat instellen voor wat een succesvolle voorspelling echt betekent. Het eenvoudigste antwoord hierop is een binaire – dat wil zeggen, of een test die positief of negatief had moeten zijn, uiteindelijk positief of negatief was zoals voorspeld.

Met andere woorden, we proberen gewoon beter te doen dan willekeur. Ervan uitgaande dat we volledig willekeurige experimenten hebben uitgevoerd, kunnen we verwachten dat ongeveer de helft van onze resultaten positief zou zijn en de andere helft negatief. Vanuit dit perspectief is ons startdoel bescheiden: om voorspellende kracht te laten zien, moeten onze patronen ons helpen om willekeur te verslaan en een beter win / verliespercentage te behalen dan 50/50.

Het patroon: kernelementen voor voorspelling

Ik definieer conversiepatronen als gemakkelijk herhaalbare UI-wijzigingen waarmee we snel effecten kunnen voorspellen en herhalen. Op basis van een patroon kunnen we tactisch een kans (een zwakke kop, te veel vormvelden, een oneigenlijke foto, een slechte zichtbaarheid van keuzes die in een pulldown zijn weggestopt, enz.) Worden ontdekt en snel actie ondernemen om hun waarschijnlijke effecten te benutten. De voorspellende kracht van dergelijke patronen komt uit één eenvoudige aanname: hoe meer een gegeven verandering presteert met vergelijkbare effecten, hoe meer deze in de toekomst opnieuw zal presteren met een vergelijkbaar effect. Vandaar dat patronen uiteindelijk hun voorspellende kracht verkrijgen uit meerdere testresultaten – hoe meer hoe beter. De elementen van een patroon die deze voorspellingen mogelijk maken, zijn onder meer:

  • De wijziging (en) – een reeks eigenschappen (een of meer) die het patroon definiëren en die abstract genoeg zijn om ze herhaalbaar te maken. Doorgaans kunnen de wijzigingen betrekking hebben op het verwijderen, vervangen of toevoegen van iets nieuws aan de gebruikersinterface. Vaak wordt de verandering afgebeeld met behulp van twee screenshots: A (vóór of de besturing) en B (na of de variatie).
  • Testresultaat (s) – elk patroon krijgt zijn voorspellende kracht uit testresultaten (hoe meer hoe beter). Tests leveren op hun beurt twee belangrijke metrieken: herhaalbaarheid en mediaaneffecten.
  • Mate van herhaalbaarheid – dit is een maat voor hoe vaak een patroon is getest met winnende (positieve) resultaten, minus het aantal negatieve testresultaten. Hoe hoger deze score (positief of negatief), hoe groter de kans dat het patroon herhaaldelijk zal winnen of verliezen in toekomstige experimenten. Voor patronen die geen testgegevens hebben, is hun herhaalbaarheidsscore neutraal 0.
  • Mediaan effect – het mediane effect vertelt ons welk effect we kunnen verwachten van een vergelijkbare verandering op een toekomstige test. Het wordt berekend op basis van de diepste effecten van elke test die verband houdt met een patroon (bijvoorbeeld de meest betekenisvolle maatregelen, zoals aanmeldingen, leads of verkopen). Hoe meer tests we hebben voor een bepaald patroon, hoe nauwkeuriger de mediaaneffecten moeten zijn.

Hier is een voorbeeld van een patroon met geen couponvelden en hoe we al deze elementen samen binden:

TECHNISCHE OPMERKING: om testresultaten met verschillende betrouwbaarheidsgraden te compenseren, schrijven we een volledig 1 herhaalbaarheidspunt toe voor een zeer significant testresultaat (p-waarde <0,03), een 0,5 punt voor eventuele suggestieve resultaten (p-waarde <0,25), en 0,25 punten voor onbeduidende resultaten (p-waarde> 0,25) of testresultaten zonder volledige steekproefomvang. 

Goede, slechte en betere patronen

Naarmate patronen testresultaten accumuleren, drijven ze snel weg van onschuldige neutraliteit. Die patronen die positiever dan niet presteren, winnen aan hun mate van herhaalbaarheid (met een hogere kans om opnieuw te winnen). Andere patronen kunnen op dezelfde manier winnen en verliezen, dicht bij 0 blijven en een kleinere kans op succes suggereren. Ten slotte zullen die patronen die de neiging hebben om vaker te verliezen dan niet, een negatieve herhaalbaarheid hebben die suggereert dat ze toch niet zulke goede ideeën zijn.

De betere patronen kunnen daarom worden gedefinieerd door twee criteria: ze bevatten een hoge mate van herhaalbaarheid en een hoog mediane effect.

Nieuwe patronen genereren

Patroonideeën kunnen overal vandaan komen. De bron van een patroonidee is echter niet zo belangrijk omdat alle nieuwe patronen gelijk worden gemaakt (met een netutrale herhaalbaarheid van 0). In plaats daarvan zijn het de testresultaten die patronen voorzien van hun voorspellende kracht, waardoor ze negatief of positief worden geladen. Gezien het bovenstaande zijn hier enkele manieren waarop we nieuwe patronen genereren:

  • Verbeelding, pen & papier – uw ervaring en uw creatieve proces kunnen een waardevolle bron van interessante patroonideeën zijn. Soms nemen we gewoon een stuk papier en schetsen we onze ideeën . We maken ons niet al te veel zorgen om onszelf te dwingen om met perfecte ideeën te komen. We weten dat hoe onderzoekend de patronen ook zijn, hun potentieel uiteindelijk wel zal komen als ze worden getest.
  • Uw eigen A / B-tests – wanneer u klaar bent met het uitvoeren van een a / b-test, is dit een perfecte gelegenheid om de verandering (of set van wijzigingen) vast te leggen als een patroon. Wat het effect ook was, noch de mate van vertrouwen, elke a / b-test bevat waardevolle gegevens die in de toekomst kunnen worden herhaald. In dit geval kunt u een nieuw patroon ontwerpen en al initiële gegevens voor of tegen uw patroon hebben, waardoor uw patroon een voordeel wordt.
  • A / B-tests van andere mensen – er zijn a / b-tests die bedrijven openbaar delen en deze kunnen een ander waardevol vertrekpunt voor een patroon zijn. Toegegeven dat het moeilijker is om het resultaat van andere mensen te vertrouwen, gezien de aanwezigheid van publicatiebias (neiging om de positieven meer dan de negatieven te melden). Op andere momenten missen de gepubliceerde resultaten ook gedetailleerde steekproefgroottes of conversiegegevens waardoor het moeilijker wordt om de kwaliteit ervan te beoordelen. In dit geval schrijven we een lagere herhaalbaarheidsscore (slechts 0,25) toe om te compenseren voor het ontbreken van volledige gegevens.
  • Klantonderzoek – elk kwalitatief onderzoek waar echte klanten of gebruikers hun behoeften uiten, kan een waardevolle inspiratiebron zijn voor nieuwe patroonideeën. Dit omvat alle methoden zoals: enquêtes, bruikbaarheidstudies, interviews, schermopnames, enz.
  • Sites kopiëren die  optimaliseren  – eindelijk is het altijd de moeite waard om aandacht te besteden aan websites waarvan u weet dat ze experimenten uitvoeren en actief optimaliseren. De kans is groot dat alle veranderingen die ze hebben doorgevoerd, door een soort van experiment zijn gegaan en daarom mogelijk iets hogere kansen hebben om in de toekomst te slagen.

Patronen gebruiken om een ​​website te optimaliseren

STAP 1: kansen vinden

Wanneer we een reeks schermen met patronen willen optimaliseren, ligt onze focus op het identificeren van zoveel mogelijk optimalisatiemogelijkheden. We doen dit door een reeks schermen en metrieken te definiëren om te verbeteren. Tegelijkertijd herinneren we ons aan alle bestaande patronen  om onszelf te inspireren met een breed scala aan gemeenschappelijke veranderingen. We kunnen ook specifiekere patroontypen opzoeken op paginatype (bijvoorbeeld afhandelingspatronen)  of op metriek (bijvoorbeeld:  lead-gen-patronen ). Het maakt niet echt uit in welke volgorde je het proces begint. Wat er toe doet, is dat de schermen, doelstatistieken en patronen zichtbaar voor je zijn zodat je de kansen kunt zien en vastleggen – hoe meer, hoe beter.

In de praktijk kunnen we Adobe Illustrator gebruiken (elke software voor schermannotatie is goed) om de relevante schermafbeeldingen op te sommen en ze te annoteren met ideeën aan de zijkanten zoals deze:

Als we een idee hebben waarvoor we nog geen patroon hebben, vangen we het nog steeds vast (uiteraard zonder gegevensverwijzingen).

STAP 2: Prioriteren met herhaalbaarheid en mediaaneffecten

Zodra we genoeg ideeën hebben opgemaakt (meestal 10 tot 100), wegen we ze af om te zien welke de grootste kans van slagen hebben en de grootste impact hebben. Om dit te doen, zoeken we voor elk idee dat is gebaseerd op een patroon de herhaalbaarheid en het mediaaneffect op en noteren dit naast het idee. Door dit te doen, maken we officieel een voorspelling met gebruik van echte gegevens, terwijl onze geprioriteerde ideeën er als volgt uit kunnen zien:

Optioneel kunnen we ook een subjectief vertrouwen toevoegen voor elk idee. Als we ervoor kiezen om dit te doen, beperken we ons vertrouwen tot een bereik tussen -3 (het hoogste vertrouwen dat het idee negatief zal zijn) en +3(het hoogste vertrouwen dat het idee positief zal zijn). En als we meerdere teamleden hebben die hun subjectieve zelfvertrouwen uiten, waarderen we deze waarden om gebruik te maken van crowd intelligence.

STAP 3: Testen ontwerpen en variaties verkennen

Zodra onze ideeën prioriteit krijgen en we beginnen te zien wat het meeste potentieel heeft, gaan we verder met gedetailleerder ontwerpen. Als we naar een patroon kijken en een A en B zien, willen we niet misleiden dat dit de enige manier is om een ​​bepaald patroon toe te passen. Voor elke A en B is er een C, D, E en F die net om de hoek wachten om ontdekt te worden. Hier worden we creatief en genereren we visuele alternatieven. We kunnen zelfs eerdere tests doornemen om te controleren op meer specifieke voorbeelden waarin een patroon werkte en waar het faalde.

Niet alle geschetste ideeën worden geselecteerd voor een test, maar we willen beslist meer hebben om uit te kiezen. Ons laatste visuele aspect is een solide testconcept met een reeks variaties (1 of veel) met de exacte wijzigingen (1 of veel) die in de test zullen gaan, vergelijkbaar met:

OPMERKING: u hebt altijd een optie om een ​​idee te testen of het in deze fase direct uit te voeren. Gegeven voldoende vertrouwen (subjectieve of voldoende positieve tests) respecteren we het besluit om tests over te slaan en wijzigingen direct door te voeren op productie (implementatie). Het op een zodanige manier benutten van kennis, ondanks het risico op cariës, is een geldige optimalisatiestap (afhankelijk van de bedrijfscontext: statistische gevoeligheid, siteverkeer, voorspelde impact, mate van vertrouwen, enz.).

STAP 4: Feedback Loops & Corrigeren van de gegevens

Wanneer we besluiten een test uit te voeren op basis van een patroon, is er nog een laatste element dat cruciaal is om het proces te voltooien – we werken het patroon bij met het nieuwe resultaat. Meer in het bijzonder wordt zowel de herhaalbaarheidsscore bijgewerkt (positief of negatief) en verandert het mediane effect ten goede of ten slechte.

Dit gebeurt voor elk testresultaat onafhankelijk van het effect en onafhankelijk van de mate van significantie. Het is belangrijk om te onthouden en te leren van alle resultaten, ongeacht de uitkomst (tenzij er een technisch probleem met de testinstallatie was waardoor het experiment ongeldig werd). Dit feedbackmechanisme maakt voorspellingen in de toekomst steeds nauwkeuriger met elk nieuw testresultaat, waardoor de betere patronen van de zwakkere worden gescheiden.

Werken patronen? Veelbelovende resultaten van 51 A / B-testvoorspellingen

Maar hoe presteert zo’n aanpak op echte projecten? Om te beoordelen of patronen een voorspellende waarde hebben, zijn we in 2017 begonnen onze eigen voorspellingen te volgen bij verschillende optimalisatieprojecten. We hebben 51 van dergelijke a / b-tests uitgevoerd en bijgehouden die strikt patroongestuurd waren en hier zijn de opwindende resultaten die we hebben gevonden.

Van de 51 experimenten waarvan alle voorspeld waren dat ze positief waren (met positieve scores voor herhaalbaarheid), bleken 36 van deze experimenten positief te zijn op het moment van stoppen. Dit plaatste de voorspellingssnelheid van deze patronen op 71%. Het gebruik van patronen op deze manier heeft ons duidelijk geholpen om af te stappen van een succespercentage van 50/50 gesuggereerd door willekeur. Daarom hebben we een zeer positieve kijk op patronen (op basis van experimenten) als een zeer effectieve manier om meer winnende a / b-tests uit te voeren terwijl we de inspanning in het algemeen minimaliseren. Dit is in lijn met de zakelijke verwachtingen van klanten die streven naar de hoogste impactresultaten met de laagst mogelijke inspanning (maximale ROI).

 

Kunnen meer herhaalbare testen leiden tot een hoger voorspellingspercentage?

Er is nog een belangrijke vraag die we ons kunnen stellen om te controleren of herhaalbaarheid een betrouwbare voorspeller is van testresultaten: leidt een hogere herhaalbaarheidsscore tot positievere testvoorspellingen? Met andere woorden, als een patroon vaker positief presteert, betekent dit dan dat het een betere kans heeft om in toekomstige experimenten opnieuw positief te presteren? Om deze vraag te beantwoorden, organiseerden we onze voorspellingen met drie sets van herhaalbaarheidsscores (herinnering: hoe hoger de score, hoe positiever bewijs we hebben voor een patroon). Dit is wat we hebben gevonden:

We zien een duidelijke indicatie dat hoe meer bewijs we hebben voor een patroon, des te groter ons voorspellingspercentage is. Onze voorspellingssnelheid neemt lineair toe met de mate van herhaalbaarheid. Dit is onze meest veelbelovende bevinding van 2017 ten gunste van het continu identificeren en meten van conversiepatronen op deze manier. Het is ook zeer geruststellend omdat het suggereert dat conversiepatronen kunnen worden gegeneraliseerd (uitvoeren op verschillende websites).

Op basis van deze bevindingen hadden we meer op onze gemak om een ​​laagje betekenis toe te voegen aan onze herhaalbaarheidsscore. We kunnen het altijd aanpassen in de toekomst als we meer gegevens verzamelen en de nauwkeurigheid van onze voorspellingen beoordelen, maar voor nu is dit waar we vanaf beginnen:

  • Herhaalbaarheid van 0 = mei winnen of verliezen
  • Herhaalbaarheid van 0 <0.99 = Misschien wint het
  • Herhaalbaarheid van 1 <2.99 = Waarschijnlijk zal winnen
  • Herhaalbaarheid van 3 <4,99 = zeer waarschijnlijk zal winnen
  • Herhaalbaarheid van 5 <= Almost Certain To Win

Conclusie

Het analyseren van alleen individuele a / b-tests is beperkend. We zien nu de waarde van het kijken naar meerdere experimenten in plaats daarvan. Patronen gebruiken zoals we hierboven hebben geschetst, is een van de vele manieren die deze sprong mogelijk maken. Patronen voor ons zijn een krachtige manier geworden om meerdere experimenten uit het verleden te herinneren – cruciaal voor het maken van meer accurate voorspellingen. Het succespercentage van 71% van vorig jaar is nog maar het begin. Naarmate we meer experimenten uitvoeren en onthouden, zou ons werk eenvoudiger moeten worden. En door trekkansen te trekken uit eerdere experimenten kunnen we uiteindelijk meer winnende en hogere impacttests uitvoeren.

Wat voor de ene site werkt, werkt niet altijd voor een andere, zoals sommige sceptici zeggen. Maar wat voor de ene site werkt, de andere en de andere, werkt waarschijnlijk ergens anders opnieuw – onthoud en exploiteer dit.


What's Your Reaction?

hate hate
0
hate
confused confused
0
confused
fail fail
0
fail
fun fun
0
fun
geeky geeky
0
geeky
love love
0
love
lol lol
0
lol
omg omg
0
omg
win win
0
win
Erwin@delaatbusiness.com
Dag, Hulp nodig met internet marketing of websites maken? neem dan contact op

0 Comments

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Choose A Format
Personality quiz
Series of questions that intends to reveal something about the personality
Trivia quiz
Series of questions with right and wrong answers that intends to check knowledge
Poll
Voting to make decisions or determine opinions
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Meme
Upload your own images to make custom memes
Video
Youtube, Vimeo or Vine Embeds
Audio
Soundcloud or Mixcloud Embeds
Image
Photo or GIF
Gif
GIF format