case study: Znaczenie czynnika czasu w badaniach marketingowych

Piotr Majewski

Przed wyjazdem na urlop, 15 lipca zmieniłem w ofercie abonamentu nagłówek i pierwszą opinię. W moim przekonaniu zmiana powinna była podnieść skuteczność. Po powrocie z Turcji, 31 lipca sprawdziłem w PMtrackerze dane nt. skuteczności nowej oferty. Napisałem wtedy taką notatkę w raporcie:

Czuję się dziwnie. Zmieniłem nagłówek oraz pierwszą opinię i skuteczność... spadła o 19%. Skuteczność oferty w kierowaniu do formularza wzrosła o 1%, ale sama skuteczność formularza poleciała na łeb na szyję o prawie 40%.

PIERWSZY WNIOSEK

Obie zmiany, nowy nagłówek i nowa opinia, nastawiają klientów na zakup o 19,01% słabiej niż w wersji poprzedniej. Zmiana bezpośredniej skuteczności samej oferty (kliknięcia do formularza dzielone przez liczbę wizyt) jest pomijalna. Istotne jest więc "nastawianie klienta na zakup".

JEDNA UWAGA: wszystkie metodologie prowadzenia testów statystycznych mówią o tym, aby zmieniać tylko jeden element. Ja zaś zmieniłem dwa: nagłówek i opinię. Dlaczego więc ktoś tak bardzo wyczulony na punkcie prowadzenia prawidłowych testów robi inaczej niż mówi ogólnie przyjęta metodologia?
Tak naprawdę zrobiłem właśnie tak, jak mówi metodologia. Zmieniłem jeden element - parę jaką tworzy nagłówek i uzupełniająca go opinia. Na przykładach ofert zobaczysz, że wzajemnie się one uzupełniają. Oczywiście później mogę sprawdzić, czy nie znajdę lepszej opinii do danego nagłówka.
Zwracam więc uwagę na fakt, że trzeba przede wszystkim myśleć, a nie tylko odczytywać zasady dosłownie.

DRUGI WNIOSEK

Badanie nowej wersji (kod main-16) przypadło na okres wakacyjny, w którym decyzje o zakupie są zdecydowanie rzadsze. Już z samym końcem lipca było więcej zamówień. Pierwsze badanie prowadziłem do 10 lipca, drugie od 10 do 31 lipca. Postanowiłem, że w tym należy szukać powodu dla części lub całości spadku skuteczności.

PYTANIE

Jaka część spadku skuteczności oferty wynika ze zmian w ofercie, a jaka z okresu, na który przypadło badanie nowej wersji?

Odpowiedź uzyskam testując obie wersje równolegle. Wykorzystam w tym celu skrypt losowo wyświetlający daną wersję oferty. Oczywiście skrypt będzie wystawiał cookie, aby jedna osoba widziała tylko jedną wersję. To wszystko podpięte pod mój system (PMtracker) dało odpowiedzi po 2 tygodniach.

Stworzyłem więc skrypt i 3 oferty do testu równoległego. 3 ofertą nie będę się zajmował, powiem tylko, że była najsłabsza. Stara wersja w PMtrackerze ma oznaczenie main-15, nowa main-16. Obie znajdziecie tutaj:

Skrypt do losowania wersji wygląda tak:

(...)
|
Podziel się |

Pełna treść tego i 447 pozostałych artykułów zarezerwowana jest dla Płatnych Abonentów CzasNaE-Biznes.

Zaloguj się lub zamów abonament:

Zapisz się na Darmowy Kurs E-Biznesu...

CzasNaE-Biznes Darmowy Kurs E-Biznes Zaraz po zapisaniu się otrzymasz dostęp do tego artykułu. Dodatkowo co 3 dni będziesz otrzymywał 1 lekcję nt. e-biznesu.

Twoje imię:
Twój e-mail:

Zgadzam się z Polityką Prywatności CzasNaE-Biznes.

Piotr Majewski | opublikowane 29-09-2003 | wersja do druku

Kategorie: Badania Marketingowe

Piotr Majewski. Specjalizuje się w e-biznesie i marketingu internetowym od 1998 roku. Jest redaktorem CzasNaE-Biznes. Pod takim samym tytułem została wydana jego książka o e-biznesie.

Zaprojektował od strony merytorycznej największy program szkoleniowy z zakresu e-biznesu w Polsce - FIRMA XXI WIEKU - z którego skorzystało 1900 osób.

Należą do niego również system mailingowy impleBOT.pl, oraz platformy sprzedające szkolenia e-learning owe (Ekademia.pl) i szablony stron www (WebHandel.pl).

Logowanie