jak testować swoje pomysły? testy a/b (chi poznań)
TRANSCRIPT
Testy a/b Barbara Kowalczyk
Quiz
3.76% 1.81% Źródło: http://visualwebsiteoptimizer.com/split-testing-blog/increase-in-sales/
Źródło: https://vwo.com/blog/increase-relevance-to-boost-conversions//
620.9%
Źródło: https://vwo.com/blog/increase-relevance-to-boost-conversions//
Więcej na:
https://blog.kissmetrics.com/100-conversion-optimization-case-studies/
http://whichtestwon.com/
https://vwo.com/resources/casestudy
Po co przeprowadzać testy A/B?
Testy A/B pozwalają
• na określenie, która z
zaproponowanych wersji będzie
mieć najwyższy współczynnik
konwersji
Testy A/B pozwalają
• na określenie, która z
zaproponowanych wersji będzie
mieć najwyższy współczynnik
konwersji,
• podejmowanie decyzji w
oparciu o dane.
Jak działają testy a/b ?
Warsztat: pierwszy test a/b
1. Jak zaplanować test a/b?
2. Jak zaimplementować test a/b?
3. Jak interpretować wyniki?
Warsztat: pierwszy test a/b
1. Jak zaplanować test a/b?
2. Jak zaimplementować test a/b?
3. Jak interpretować wyniki?
Krok 1. Stwórz projekt/eksperyment
Krok 2. Stwórz warianty
Krok 3. Określ cele
Krok 4. Określ komu pokazywać test
Krok 4. Określ na jakich stronach
Krok 5. Jaka część ruchu ma brać udział w badaniu
Krok 6. Testowanie
Krok 7. Określ jak długo powinien trwać test
Źródło: https://learn.optimizely.com/hc/en-us/articles/201943823-Lesson-How-Experiments-Run-on-a-Page
Jak działa Optimizely
Krok 0. Dodaj kod do strony
Krok 1. Stwórz projekt/eksperyment
Krok 2. Stwórz warianty
Krok 2. Stwórz warianty
Krok 3. Określ cele
Krok 3. Określ komu pokazywać
Krok 4. Określ na jakich stronach
Simple match
Exact Match
Regular expression
Substring Match
Krok 4. Określ na jakich stronach
Simple match: http://www.example.com/
• https://www.example.com/
• https://www.example.com
• https://example.com/
• http://www.example.com/?x=y
http://www.example.com/#section1
• http://www.example.com/#section1?x=y
Krok 4. Określ na jakich stronach
Exact match: http://www.example.com/
• https://www.example.com/
• https://www.example.com
• https://example.com/
• https://example.com
Krok 4. Określ na jakich stronach
Substring match: http://www.example.com/
http://www.example.com/
• https://www.example.com/
• http://www.example.com/?x=y
• http://www.example.com/blog/index.html?x=y
• https://www.example.com/blog/index.html?x=y
Krok 4. Określ na jakich stronach
Regular expression: example.com/blog/january\?.*x=y
• http://www.example.com/blog/january?x=y
• https://example.com/blog/january?a=b&x=y&c=d
Krok 4. Określ na jakich stronach
Krok 5. Określ ruch
Źródło: https://help.optimizely.com/hc/en-us/articles/201862554-Your-Pre-Launch-Checklist-QA-your-experiment-before-launch
Krok 6. Testowanie
Źródło: https://help.optimizely.com/hc/en-us/articles/201862554-Your-Pre-Launch-Checklist-QA-your-experiment-before-launch
Krok 7. Określ jak długo
Krok 1. Stwórz projekt/eksperyment
Krok 2. Stwórz warianty
Krok 3. Określ cele
Krok 4. Określ komu pokazywać test
Krok 4. Określ na jakich stronach
Krok 5. Jaka część ruchu ma brać udział w badaniu
Krok 6. Testowanie
Krok 7. Określ jak długo powinien trwać test
Warsztat: pierwszy test a/b
1. Jak zaplanować test a/b?
2. Jak zaimplementować test a/b?
3. Jak interpretować wyniki?
Jak optimizely liczy wyniki?
LICZBA WEJSC LICZBA KONWERSJI
Rzeczywistość
DE-DUPLICATING
LICZBA WEJSC LICZBA KONWERSJI LICZBA WEJSC LICZBA KONWERSJI
Rzeczywistość Optimizely
Jak optimizely liczy wyniki?
Wyciągnij wnioski
Różnica istotna statystycznie
to taka, której przypadkowe
wystąpienie jest mało
prawdopodobne.
W tym celu przeprowadzamy
test istotności.
Wyciągnij wnioski
Wyciągnij wnioski
Wyciągnij wnioski
„W oparciu o posiadane
informacje
możemy stwierdzić, że
na 95% konwersja wersji A
mieści się w przedziale 5.98%-
6.11%.”
Wyciągnij wnioski
Co testować?
call to action treść
układ flow
nawigację formularze
call to action treść
układ flow
nawigację formularze
wersje
mobilne reklamy
social media email
cenniki
reklamy
social media email
NUDA
Testy a/b mogą testować
pomysły na nowe
funkcjonalności
Testy a/b mogą pokazywać
jak nasze zmiany wpływają na
użytkownika
1. Certyfikat Optimizely: http://success.optimizely.com/certification/ 2. Knowledge Base/Academy: https://help.optimizely.com/hc/en-us
To tylko wierzchołek góry lodowej…
Jakie narzędzia?
Narzędzia darmowe
Google analytics > zachowanie>eksperymenty
http://visualwebsiteoptimizer.com/
https://www.optimizely.com/
Narzędzia płatne
http://rich-page.com/website-optimization/which-low-cost-testing-tool-google-content-experiments-vs-optimizely-vs-visual-website-optimizer/
Wady testów a/b
http://www.gv.com/lib/design-instinct-vs-data
Dane vs Instynkt
http://52weeksofux.com/post/694598769/the-local-maximum
Optymalizacja vs Innowacja