Pułapki Google Website Optimizer: Uważaj na Test A/B

Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje.

W poprzednim artykule pisałem o tym, żeby uważać na długości testu. Tym razem zajmę się pułapkami w testach A/B.

Na czym polega TEST A/B - jeśli go robisz, jesteś w elicie

Test A/B (Split test) jest najpopularniejszym typem testu wykorzystywanego przez marketerów na całym świecie.

Test A/B polega na tym, że losowo wyświetlamy odbiorcom wersję kontrolną (dotychczas najlepsza, A) oraz wersję testową (pretendenta, B). Następnie mierzymy ile osób, które widziało wersję A lub wersję B wykona zakładaną akcję.

Amatorzy porównują następnie wynik wersji A z wynikiem wersji B i na tej podstawie podejmują decyzje marketingowe.

Zaawansowani marketerzy zanim podejmą decyzję badają jeszcze poziom istotności otrzymanych wyników. Tj. wykorzystują testy statystyczne aby określić, jak bardzo (statystycznie) prawdziwe są otrzymane wyniki. Innymi słowy jeśli jedna wersja jest skuteczniejsza od drugiej o 100%, ale wynik ten oparto o zbyt małą próbkę, wynik może być nieprawdziwy - zachwiany przez czynniki zewnętrzne.

Google Website Optimizer teoretycznie robi z każdego amatora testowania profesjonalistę, ponieważ GWO automatycznie wylicza poziom istotności. GWO podaje obok każdego wyniku prawdopodobne odchylenie realnego wyniku od zmierzonego oraz procentową szansę danej wersji na pobicie oryginału:

Gdy GWO wyliczy, że istotność jednego z wyników jest wystarczająco duża, pojawia się zielony komunikat informujący nas, która kombinacja statystycznie rzecz biorąc jest najlepsza:

Jednak cytując Jeana Rigaux: "Istnieją trzy rodzaje kłamstwa: przepowiadanie pogody, statystyka i komunikat dyplomatyczny." Cały czas w powyższym teście podkreślałem, że statystycznie.... Problem polega na tym, że Google nie zawsze ma rację, zwłaszcza w testach A/B.

(...)

Podziel się |

Pełna treść tego i 457 pozostałych artykułów zarezerwowana jest dla Płatnych Abonentów CzasNaE-Biznes.

Zaloguj się lub zamów abonament,
aby zobaczyć resztę...

Piotr Majewski | opublikowane 07-12-2009 | wersja do druku

Piotr Majewski. Specjalizuje się w e-biznesie i marketingu internetowym od 1998 roku. Jest redaktorem CzasNaE-Biznes. Pod takim samym tytułem została wydana jego książka o e-biznesie.

Zaprojektował od strony merytorycznej największy program szkoleniowy z zakresu e-biznesu w Polsce - FIRMA XXI WIEKU - z którego skorzystało 1900 osób.

Należą do niego również system mailingowy impleBOT.pl, oraz platformy sprzedające szkolenia e-learning owe (Ekademia.pl) i szablony stron www (WebHandel.pl).