Zdjąć maskę “wydaje mi się”, czyli jak badać skuteczność rozwiązań w eSklepie - w wywiadzie Adriana Łyśniewska-Hiley z AB Tasty

Testy A/B umożliwiają nam na podjęcie decyzji dotyczących m.in. elementów architektury informacji strony. Dzięki nim możemy dowiedzieć się, że to co nam się wydaje jest zupełnie nieczytelne dla Klientów naszego eSklepu.

Karolina Pietor, FP20: Testy A/B - jakie są zalety i wady takich testów? Ale tak szczerze. Czym są takie testy?

Adriana Łyśniewska-Hiley, abtasty.com: Testy A/B to zdecydowanie najczęściej używana metoda przez ekspertów od optymalizacji konwersji. Popularność zawdzięczają swojej efektywności - są szybką i niedrogą metodą zbierania informacji. Zbierane dane dotyczą dużej liczby jednostek i praktycznie nie zawierają wypaczeń, ponieważ użytkownicy nie zdają sobie sprawy, że biorą udział w testowaniu. Dodatkowo, jest to metoda, która koncentruje się na procesie decyzyjnym, oddelegowując na drugi plan personalne opinie i przekonania. Właśnie dzięki testom A/B możemy gromadzić dane, które umożliwiają dokładny pomiar najistotniejszych wskaźników dla procesu decyzyjnego. To prawda, testy A/B mają również swoje wady, a właściwie lepiej mówić o przeszkodach w ich prowadzeniu. Po pierwsze, do tej pory wdrażanie takich testów było dosyć skomplikowane i możliwe wyłącznie dzięki ingerencji programistów. Aby rozwiązać ten problem, powstały narzędzia takie jak AB Tasty. Zaprojektowane zostały z myślą o działach marketingu w celu znaczącego uproszczenia całego procesu. Pozwalają na przeprowadzanie testów praktycznie przez każdego, jednak wymagają dobrania odpowiedniej metodologii w celu uzyskania realnych efektów. W AB Tasty przykładamy bardzo dużą wagę do obsługi naszych klientów w celu zwiększania ich ekspertyzy jeśli chodzi o metodologię testowania, a także analizę wyników testów.

FP20: Możesz powiedzieć jaka jest wartość analityki przy testach A/B?

A. Ł-H: Kluczowa. Przede wszystkim analityka jest niezbędna, aby zrozumieć zachowanie naszych użytkowników, wybrać odpowiednie podstrony do testów i sformułować mocne hipotezy, które będą miały pozytywny wpływ na konwersję. Po przeprowadzeniu testów, ich analiza należy do najbardziej wymagających części. Narzędzie do testów A/B musi posiadać interfejs raportowania, który pokazuje takie dane jak: konwersje zarejestrowane dla poszczególnych wersji stron, współczynnik konwersji, procent zmiany w stosunku do oryginalnej wersji oraz statystyczny wskaźnik ufności dla każdej wersji strony. AB Tasty należy do najbardziej zaawansowanych narzędzi na rynku i idzie o kilka kroków dalej. Między innymi pozwala na segmentację surowych danych ze względu na różne kryteria, takie jak np. źródło ruchu, pochodzenie geograficzne użytkowników, profil użytkownika itd. Dzięki temu możliwe jest identyfikowanie grup użytkowników, które zanotowały lepsze wskaźniki testowanych wersji w stosunku do oryginalnej strony. Informacje tego typu mają strategiczne znaczenie, ponieważ mogą wyznaczać kierunek działań w przyszłości (np. dopasowanie treści na stronie dla poszczególnych typów użytkowników, czyli personalizacja).

FP20: Mam sklep działający w oparciu o Magento, ruch średni, bo większość zamówień pozyskuję z branżowych marketplace i Allegro. Czy przy ruchu rzędu 500-600 UU dziennie opłaca mi się przeprowadzać testy A/B?

A. Ł-H: Ruch na stronie oczywiście ma znaczenie, gdyż to on decyduje o tym, ile czasu potrzebujemy na podjęcie decyzji i rozstrzygnięcie, która wersja strony wygrywa. Przyjmuje się, że aby otrzymać wiarygodne wyniki, każdą wersję strony musi zobaczyć minimum 5000 użytkowników, generując przynajmniej 200 konwersji. Tak więc, jeśli nasza strona przyciąga miesięcznie około 20 tysięcy UU, to zdecydowanie warto prowadzić testy A/B w celu jej ciągłej optymalizacji. Musimy tylko liczyć się z tym, że nasze testy będą trwały dłużej niż dwa tygodnie. Co więcej, przy takim ruchu powinniśmy precyzyjnie wybrać landingi do testowania, i skoncentrować się na tych najczęściej odwiedzanych. Nie powinniśmy także kreować zbyt wielu wariantów strony, dwa zdecydowanie wystarczą. Ustalenie metodologicznego framework’u to najlepsza metoda na uzyskanie realnych efektów z testów A/B.

Wśród naszych klientów mamy zarówno strony o ruchu do 100 tysięcy użytkowników miesięcznie, a także takie, które przyciągają 10-milionowe widownie. Obserwujemy średnio dziesięciokrotny wzrost ROI. Dla przykładu, ostatnio stworzyliśmy test A/B/C na stronie kategorii, który wygenerował 135 tys. euro dodatkowego obrotu dla jednego z naszych klientów (pure player ecommerce). Retail Me Not (strona z kuponami rabatowymi) z kolei, potrzebowała 3 tygodni na zwrot z rocznej inwestycji w platformę AB Tasty. Wszystko dzięki jednemu testowi A/B.

FP20: Czy jest jakiś TOPowy składnik ścieżki zakupowej w eSklepie, który na pewno warto zmienić, by zwiększyć konwersję?

A. Ł-H: To często powtarzające się pytanie, które odnosi się do faktu, iż w wielu przypadkach firmy nie są w stanie wyjaśnić notowanego przez nie współczynnika konwersji. Jeśli wiemy, że użytkownicy strony nie rozumieją oferowanego produktu, to z pewnością nie zdecydują się na testowanie miejsca czy koloru przycisku dodania do koszyka. Priorytetem będzie dla nas testowanie sformułowania pakietów korzyści dla klienta. Należy pamiętać, że każdy przypadek jest inny i kluczem do efektywnego testowania jest sformułowanie silnej hipotezy opartej na wcześniejszej analizie zachowania naszych użytkowników. AB Tasty współpracuje z wieloma typami stron: ecommerce, media czy też lead generation. Co więcej, dzielą się one również na branże, np. moda, podróże, RTV i AGD, wyposażenie wnętrz, bankowość, ubezpieczenia itd. Bardzo często obserwujemy różnego rodzaju best practise w obszarze danej branży. Dla przykładu, na stronach umożliwiających rezerwację podróży bardzo często zastąpienie przycisku Call To Action „Zarezerwuj” na „Sprawdź dostępność” w wyszukiwarce na stronie głównej znacznie podnosi ilość konwersji. Wprowadzając taki test dla Croisierenet.com zaobserwowaliśmy 46% wzrost ilości klików w CTA. Należy jednak bardzo indywidualnie podchodzić do tego rodzaju best practise i nie zakładać, że to, co sprawdza się dla jednej strony, będzie odpowiednie również dla nas. Każdy sklep ma swoją widownię i swoich klientów, inaczej będą się zachowywać użytkownicy kupujący wycieczkę last minute na stronie discountowej, a inaczej ci którzy szukają pięciogwiazdkowych wakacji.

FP20: A jak to jest z testami A/B w przypadku sprzedaży na kilku różnych rynkach. Działacie międzynarodowo, macie więc porównanie. Czy może się okazać, że wskaźniki badania na podobnie zorganizowanej stronie eSklepu, który sprzedaje dokładnie te same artykuły, będzie skrajnie innych dla klientów z Polski i np. z Francji?

A. Ł-H: Jasne, w AB Tasty działamy globalnie, ostatnio nawet otworzyliśmy nowy serwer w Chinach, by zoptymalizować doświadczenie użytkowników poddawanych testom w tym właśnie regionie. Bardzo często współpracujemy z klientami globalnie, mamy więc ciekawe porównanie reakcji użytkowników pochodzących z różnych krajów. Dla przykładu, niedawno testowaliśmy baner na stronie głównej z odliczaniem do końca promocji dla jednego z naszych klientów z branży kosmetycznej. Ten sam baner (przetłumaczony na odpowiedni język) wprowadziliśmy na stronę francuską i rosyjską. Okazało się, że we Francji tego typu narzędzie «stress marketingowe» wywołuje niezadowolenie użytkowników. W Rosji jednak, baner sprawdził się idealnie i zdecydowanie podnieśliśmy współczynnik konwersji na tej wersji strony.

XI Targi eHandlu - 9 listopada 2016 Warszawa, Centrum Expo XXI

FP20: Jesteście ekspertami testów A/B - jak je robicie w AB TASTY?

A. Ł-H: AB Tasty to platforma SaaS, która umożliwia sprawne przeprowadzanie testów A/B, ale nie tylko. Poprzez naszą platformę możemy również wprowadzać personalizację oraz komunikaty remarketingowe angażujące użytkowników na stronie. Wszystko to w celu optymalizacji konwersji, a co za tym idzie zwiększeniu sprzedaży. Dlatego też wolę mówić, że jesteśmy ekspertami w optymalizacji konwersji. U nas codziennie ponad 30 konsultantów pracuje z Klientami nad ich strategią optymalizacji. Przeprowadzanie testów A/B powinno być częścią każdej strategii optymalizacji konwersji. Nie można jednak zapominać, że nie może się ona ograniczać jedynie do jednej metody. Metoda ta pozwala na statystyczne sprawdzenie postawionych hipotez, które mogą prowadzić do wzrostu wskaźnika konwersji.

Testowanie A/B polega na wysyłaniu kilku wersji komunikatu do próby konsumentów, a następnie mierzeniu, która z wersji uzyskała lepsze wyniki. Metoda ta pozwala na tworzenie praktycznie nielimitowanej liczby wersji strony internetowej oraz analizę wyników dla każdej z nich: od zachowania zakupowego po zaangażowanie użytkowników. Dodatkowo, rozwój narzędzi takich jak AB Tasty pozwolił na łatwiejszą implementację testów oraz wyciąganie wniosków z otrzymanych danych. Na naszej platformie w bardzo łatwy sposób możemy tworzyć testy które składają się z różnych kombinacji elementów na stronie (są to testy wielowariantowe), w celu zidentyfikowania najlepszej z nich.

Adriana Łyśniewska-Hiley- Key Account Manager Eastern Europe AB Tasty. Adriana będzie prelegentem podczas XI TARGÓW EHANDLU w Warszawie.