Jako czytelnik Darmowego Biuletynu CzasNaE-Biznes
co 3 dni otrzymasz jedną z ponad 600 lekcji o tematyce e-biznes, e-marketing lub e-commerce!!
Ponad 4 lata nieustającej e-biznesowej edukacji!
Otrzymasz też link do 5 darmowych e-booków.
Pułapki Google Website Optimizer: Uważaj na Test A/B
Piotr Majewski
Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje.
W poprzednim artykule pisałem o tym, żeby uważać na długości testu. Tym razem zajmę się pułapkami w testach A/B.
Na czym polega TEST A/B - jeśli go robisz, jesteś w elicie
Test A/B (Split test) jest najpopularniejszym typem testu wykorzystywanego przez marketerów na całym świecie.
Test A/B polega na tym, że losowo wyświetlamy odbiorcom wersję kontrolną (dotychczas najlepsza, A) oraz wersję testową (pretendenta, B). Następnie mierzymy ile osób, które widziało wersję A lub wersję B wykona zakładaną akcję.
Amatorzy porównują następnie wynik wersji A z wynikiem wersji B i na tej podstawie podejmują decyzje marketingowe.
Zaawansowani marketerzy zanim podejmą decyzję badają jeszcze poziom istotności otrzymanych wyników. Tj. wykorzystują testy statystyczne aby określić, jak bardzo (statystycznie) prawdziwe są otrzymane wyniki. Innymi słowy jeśli jedna wersja jest skuteczniejsza od drugiej o 100%, ale wynik ten oparto o zbyt małą próbkę, wynik może być nieprawdziwy - zachwiany przez czynniki zewnętrzne.
Google Website Optimizer teoretycznie robi z każdego amatora testowania profesjonalistę, ponieważ GWO automatycznie wylicza poziom istotności. GWO podaje obok każdego wyniku prawdopodobne odchylenie realnego wyniku od zmierzonego oraz procentową szansę danej wersji na pobicie oryginału:
Gdy GWO wyliczy, że istotność jednego z wyników jest wystarczająco duża, pojawia się zielony komunikat informujący nas, która kombinacja statystycznie rzecz biorąc jest najlepsza:
Jednak cytując Jeana Rigaux: "Istnieją trzy rodzaje kłamstwa: przepowiadanie pogody, statystyka i komunikat dyplomatyczny." Cały czas w powyższym teście podkreślałem, że statystycznie.... Problem polega na tym, że Google nie zawsze ma rację, zwłaszcza w testach A/B.
Piotr Majewski.
Specjalizuje się w e-biznesie i marketingu internetowym od 1998 roku. Jest redaktorem CzasNaE-Biznes. Pod takim samym tytułem została wydana jego książka o e-biznesie.
Zaprojektował od strony merytorycznej największy program szkoleniowy z zakresu e-biznesu w Polsce - FIRMA XXI WIEKU - z którego skorzystało 1900 osób.
Piotr Majewski
Zaraz po zapisaniu się otrzymasz dostęp do tego artykułu. Dodatkowo co 3 dni będziesz otrzymywał 1 lekcję nt. e-biznesu.
Piotr Majewski.
Specjalizuje się w e-biznesie i marketingu internetowym od 1998 roku. Jest redaktorem CzasNaE-Biznes. Pod takim samym tytułem została wydana jego książka o e-biznesie.
