Výsledky A/B/C/D/E/F testingu – zlepšenie „len“ o 15%
Neviem, či ste si všimli, ale blog má nový layout! Priam neuveriteľné. No okey, utrime si slzy dojatia a poďme na výsledky môjho posledného A/B testingu 6 variantov homepage projektu FitList.sk
Viac menej sa testoval len obsah hore, teda to, čo zaujíma 90% návštevníkov. Mali sme 6 verzií homepage a testovalo sa na úctyhodných 3904 návštevníkoch. Takže dáta aj výsledky sú relevantné. Nebola to až taká dráma, ako som čakal, ale zlepšenie je. Meral som cez nástroj VWO.com, ktorému v jeden pekný deň venujem samostatný článok.
Verzie a konverzné pomery
Kontrolná, klasická verzia, čo bola online pred testom. Konverzný pomer 48,34%
Verzia s videom – teda vlastne to isté čo klasická, len sme pridali hore video. Konverzný pomer 50,52%. Výsledok je taký, že video zvýšilo konverzný pomer, ale nejaké terno to nie je.
Pop-up verzia – identická s kontrolnou, no pridané pop-upy v štýle „Práve sa registrovala Hortenzia“ a pod. Však si kukni screenshot. Konverzný pomer 50,08%. Tento prvok poznáme z Booking.com. Niečo to robí, ale nezachráni vás to.
Nechoď pop-up – trošku agresívne, ale tak testovali sme. Keď šiel user preč, vyskočilo mu okno, že nemá ísť. Konverzný pomer 48,55%. Zlepšenie zanedbateľné, jediné, čo to robí, je zlý dojem.
Referencie hore – logá, kde sa píše o FitListe sme dali hore. Konverzný pomer 56,48% WINNER. Tu sa potvrdilo, že sa oplatí investovať do predražených PR článkov. Ešte skúsim pridať viac lôg, že čo to spraví. Zlepšenie o 15% oproti kontrolnej.
Text o cvičení hore – len sme zmenili poradie, teda najprv sa píše o cvičení a potom o jedálničku. Konverzný pomer 48,49%. Zmena obsahu? Nič. Zhola nič. Nečakal som.
Happy-hypo-tézy
Myslel som si, že rozdiely budú dramatickejšie. Hej hej, ja stále čakám veľa. Úprimne, nebolo to zlé, však jedna verzia je o 15% lepšia ako kontrolná.
- „Nechoď pop-up“ výrazne zvýši konverzný pomer – FAIL
- „Pop upy“ výrazne zlepšia konverzný pomer – FAIL
- Niektorá verzia dramaticky zvýši konverzný pomer – FAIL
- Kontrolná nebude najhoršia – FAIL
Čiže, ako vždy, hypotézy nevyšli. Preto treba testovať, nehrať sa na emócie, lebo tie s číslami stále prehrajú.
Paradoxy merania
Na čo som teda prišiel?
- Testovať treba, ale v mojom prípade aj veľké zmeny, s konverzným pomerom extra nepohli.
- Video zlepšuje konverzný pomer, ale tie prehnané veci že „video zlepší konverzný pomer o 20%“ sú bullshity. Možno na extrémne hnusnom webe video odradí menej ľudí.
- Logá, teda pridanie „dôležitosti“, hrá veľkú rolu. V mojom prípade najväčšiu.
- Veľmi dôležitá je veľká vzorka, ináč sú dáta extrémne skreslené
- Prvoplánovo „najlepšia“ verzia, teda kontrolná, dopadla najhoršie. Všetky zmeny konverzný pomer posunuli hore.
Next steps
Vyrobím nové verzie z dát, urobím novú kontrolnú a začnem sa asi hrať aj s textom 🙂 Keď sa prihlásite do odberu newslettera, budem viac motivovaný! 😀 Je hneď tu 🙂
polgari
on si to meria sam. Postupne sa znizuje rozptil moznosti vysky konverznych pomerov. Cim viac navstevnikov, tym presnejsie data. A…