Pułapki Google Website Optimizer: Uważaj na długość testu

Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje.

Usługa GWO jest mi szczególnie bliska, ponieważ kilka lat wcześniej napisałem dla swoich potrzeb narzędzie o podobnym działaniu (momentami bardziej zaawansowane, momentami znacznie prostsze), które nazwałem PMtracker.

Poniżej przykładowy wynik testu PMtrackera z uwzględnieniem kolejnych etapów zamówienia (rzecz niedostępna w GWO).

Gdy więc w maju 2008 Google zakończyło okres beta GWO, ja rozpocząłem swój pierwszy test - dokładnie 2 maja 2008 roku. Był to test A/B, a dokładnie test A/A/B, który od razu obnażył pułapkę, w jaką może wpaść każdy niedoświadczony użytkownik Google Website Optimizer.

O tym jednak w kolejnym artykule. W tym przedstawię jeszcze najbardziej typowy i niebezpieczny błąd popełniany przed niedoświadczonych marketerów.

Na czym polega testowanie?

Niezależnie od tego czy testujemy metodą A/B, czy metodą wielu wariacji, zasady są podobne. Będę trzymał się specyfiki Internetu.

Spośród odwiedzających naszą stronę losujemy 2 lub więcej grup i każdej grupie wyświetlamy inną wersję naszej strony. Następnie mierzymy, ile osób z danej gruby wykonało zakładaną akcję.

Amatorzy porównują następnie wynik wersji A z wynikiem wersji B i na tej podstawie podejmują decyzje marketingowe. Pisząc "amatorzy" mam na myśli marketerów należących do bardzo wąskiego grona tych, którzy podejmują swoje decyzje na podstawie testów, a nie samej intuicji. Nie są to jednak najbardziej zaawansowani gracze.

Jest w tym prostym podejściu duże ryzyko wynikające z czynników zewnętrznych, które zawsze zakłócają wyniki. Poziom tych zakłóceń jest tym mniejszy, im dłużej trwa test.

Po ludzku. Jeśli na jedną wersję zareagowało 4 Klientów, a na drugą 8, to z tych 8, 5 mogło zareagować tylko dlatego, że weszli na naszą stronę z założeniem wykonania akcji. Dopiero odpowiednio duża grupa ludzi daje nam statystyczną pewność, że takie zewnętrzne czynniki miały marginalne znaczenie.

Więcej na ten temat napisałem dawno temu w nadal aktualnym w artykule: "Ile powinienen trwać test marketingowy?".

Google Website Optimizer od jakiegoś czasu wyświetla wykres, który ułatwi każdemu niedoświadczonemu marketerowi zrozumieć, dlaczego test powinien trwać dłużej.

(...)

Podziel się |

Pełna treść tego i 457 pozostałych artykułów zarezerwowana jest dla Płatnych Abonentów CzasNaE-Biznes.

Zaloguj się lub zamów abonament,
aby zobaczyć resztę...

Piotr Majewski | opublikowane 29-11-2009 | wersja do druku

Piotr Majewski. Specjalizuje się w e-biznesie i marketingu internetowym od 1998 roku. Jest redaktorem CzasNaE-Biznes. Pod takim samym tytułem została wydana jego książka o e-biznesie.

Zaprojektował od strony merytorycznej największy program szkoleniowy z zakresu e-biznesu w Polsce - FIRMA XXI WIEKU - z którego skorzystało 1900 osób.

Należą do niego również system mailingowy impleBOT.pl, oraz platformy sprzedające szkolenia e-learning owe (Ekademia.pl) i szablony stron www (WebHandel.pl).