Výsledky A/B/C/D/E/F testingu – zlepšenie „len“ o 15%

Neviem, či ste si všimli, ale blog má nový layout! Priam neuveriteľné. No okey, utrime si slzy dojatia a poďme na výsledky môjho posledného A/B testingu 6 variantov homepage projektu FitList.sk

Konverzný pomer pri leadgen weboch je celkom dôležitý. No hold, kde nie je. Posun o pár % môže zlepšiť celkový výkon aj o desiatky percent. Tak sme vyrobili 6 verzií homepage, ktorá sa snaží všemožným spôsobom dostať návštevníka do registračného formuláru. Jeho vyplnenie je konverzný cieľ. Minule sme testovali, či je lepšie červené alebo modré tlačidlo. Pomôcka, Fico nevyhral, aspoň tu.

Viac menej sa testoval len obsah hore, teda to, čo zaujíma 90% návštevníkov. Mali sme 6 verzií homepage  a testovalo sa na úctyhodných 3904 návštevníkoch. Takže dáta aj výsledky sú relevantné. Nebola to až taká dráma, ako som čakal, ale zlepšenie je. Meral som cez nástroj VWO.com, ktorému v jeden pekný deň venujem samostatný článok.

Verzie a konverzné pomery

Kontrolná, klasická verzia, čo bola online pred testom. Konverzný pomer 48,34%

Verzia s videom – teda vlastne to isté čo klasická, len sme pridali hore video. Konverzný pomer 50,52%. Výsledok je taký, že video zvýšilo konverzný pomer, ale nejaké terno to nie je.

Pop-up verzia – identická s kontrolnou, no pridané pop-upy v štýle „Práve sa registrovala Hortenzia“ a pod. Však si kukni screenshot. Konverzný pomer 50,08%. Tento prvok poznáme z Booking.com. Niečo to robí, ale nezachráni vás to.

Nechoď pop-up – trošku agresívne, ale tak testovali sme. Keď šiel user preč, vyskočilo mu okno, že nemá ísť. Konverzný pomer 48,55%. Zlepšenie zanedbateľné, jediné, čo to robí, je zlý dojem.

Referencie hore – logá, kde sa píše o FitListe sme dali hore. Konverzný pomer 56,48% WINNER. Tu sa potvrdilo, že sa oplatí investovať do predražených PR článkov. Ešte skúsim pridať viac lôg, že čo to spraví. Zlepšenie o 15% oproti kontrolnej. 

Text o cvičení hore – len sme zmenili poradie, teda najprv sa píše o cvičení a potom o jedálničku. Konverzný pomer 48,49%. Zmena obsahu? Nič. Zhola nič. Nečakal som.

Happy-hypo-tézy

Myslel som si, že rozdiely budú dramatickejšie. Hej hej, ja stále čakám veľa. Úprimne, nebolo to zlé, však jedna verzia je o 15% lepšia ako kontrolná.

• „Nechoď pop-up“ výrazne zvýši konverzný pomer – FAIL
• „Pop upy“ výrazne zlepšia konverzný pomer – FAIL
• Niektorá verzia dramaticky zvýši konverzný pomer – FAIL
• Kontrolná nebude najhoršia – FAIL

Čiže, ako vždy, hypotézy nevyšli. Preto treba testovať, nehrať sa na emócie, lebo tie s číslami stále prehrajú.

Paradoxy merania

Asi najväčšia vec, na ktorú som prišiel, že počas testu sa výsledky extrémne menili. V jeden moment vychádzalo video asi o 50% lepšie ako kontrolná. To bolo asi pri 500 návštevníkoch. Dokonca aj pri 3000 ľuďoch boli výsledky iné, dramatickejšie. Postupom čas sa ale zmierňovali a ostali asi ako sú teraz. Od cca 4100 sa poradie ani percentá nemenili. Čiže, asi tušíte, aké smerodajné sú prieskumy pred voľbami.

Na čo som teda prišiel?

• Testovať treba, ale v mojom prípade aj veľké zmeny, s konverzným pomerom extra nepohli.
• Video zlepšuje konverzný pomer, ale tie prehnané veci že „video zlepší konverzný pomer o 20%“ sú bullshity. Možno na extrémne hnusnom webe video odradí menej ľudí.
• Logá, teda pridanie „dôležitosti“, hrá veľkú rolu. V mojom prípade najväčšiu.
• Veľmi dôležitá je veľká vzorka, ináč sú dáta extrémne skreslené
• Prvoplánovo „najlepšia“ verzia, teda kontrolná, dopadla najhoršie. Všetky zmeny konverzný pomer posunuli hore.

Next steps

Vyrobím nové verzie z dát, urobím novú kontrolnú a začnem sa asi hrať aj s textom 🙂 Keď sa prihlásite do odberu newslettera, budem viac motivovaný! 😀 Je hneď tu 🙂