von a/b testing zu personalisierung
TRANSCRIPT
A/B Testing und Mehr
PROGRAMM
1. Warum A/B Testing? !
2. Ideen für Tests finden !
3. Die Zukunft des Testings
Dan Pete
2006: Dan Siroker und Pete Koomen— Product Manager bei Google
2008: Dan — Obama Campaign
2008 - 2010: Carrotsticks, Spreadly, und Y Combinator.
2010: Gründung von Optimizely
2012 (Okt.): 100,000th Experiment, over 1 Billion pages. #1 Website Optimization Platform
2013: $28M für Internationalisierung
100K
$28M
Unsere Geschichte
9000 Glückliche Kunden
$57M 2014: $57M für weitere Expansion
1. Warum A/B Testing?
92:192$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung
* IBM TeaLeaf, 2012
1994Seit wann testet Amazon seine Webseite?
10 - 20Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report
Wie viele A/B Tests macht Wikipedia pro Tag?
RICHARD FEYNMAN
“During the Middle Ages there were all kinds of crazy ideas, such as that a piece of rhinoceros horn would increase potency. Then a method was discovered for separating ideas […] And it developed very well, so that we are now in a scientific age.”
RICHARD FEYNMAN
“But even today I meet lots of people who sooner or later get me into a conversation about UFOs, or astrology, […] and so forth. !
And I’ve concluded that it’s not a scientific world.”
JOHN OHRINGER - CEO SHUTTERSTOCK
“Nothing goes live on Shutterstock without Testing.” !
JEFF BEZOS - CEO AMAZON
“Experiments are by their very nature prone to failure. But a few big successes compensate for dozens and
dozens of things that didn’t work.” !
ALLES HINTERFRAGEN!
+ 0,2% Conversions
+ 43% Conversions
- 2% Klicks
+ 9% Abonnenten
+ 14% Klicks
Alt
Neu
2. Ideen für Tests finden
OPTIMIERUNGSZYKLUS
Ergebnisse!
Analyse!
Hypothesen!
Priorisierung!
A/B Test!
ABER WO FANGE ICH AN?
ANALYTICS
ANALYTICS
Visits
Sign-Ups $ per!Recipient
Visitors!per Day
Email $$
ANALYTICS
Visits
Sign-Ups $ per!Recipient
Visitors!per Day
Email $$
TICKETS / FRAGEN
HEATMAPS / EYETRACKING
Quelle: ClickTale, Eyequant
WETTBEWERBERANALYSE
1. Welche Webseiten nutzen Sie gerne? !
2. Was sind Ihre direkten Wettbewerber? !
3. Was funktioniert in anderen Branchen / Kategorien?
3. Die Zukunft des Testings
Optimizely ist für A/B Testing von Webseiten…
!
…UND AUCH FÜR:
• Personalisierungskampagnen !
• Segmentierung von Besuchergruppen !
• Agile Entwicklung & Deployments !
• Optimierung mobiler Webseiten & Apps
PERSONALISIERUNG MIT COOKIES
HYPOTHESE
Wenn: Wir Personen, die sich noch kein Konto erstellt haben, jeweils eine Person des anderen Geschlechts zeigen Dann:!! Erhöhen wir die Anzahl der Anmeldungen Weil:! ! Nutzer fühlen sich persönlich angesprochen.
ORIGINAL!!
REGISTRIERUNG!!
VARIANTE IN OPTIMIZELY ANLEGEN!!
AUDIENCE ANLEGEN!!
PERSONALISIERUNG MIT GEO-LOCATION
Wenn:! ! Wir die Ansprache auf die Stadt beziehen
Dann:! Werden mehr Besucher einen Termin bei der Parfümerie in ihrer Nähe buchen
Weil:! Nutzer sich persönlich angesprochen fühlen
HYPOTHESE
ORIGINAL!!
AUDIENCE ANLEGEN - LOCATION!!
VARIANTE - STADTSPEZIFISCH!!
Vs.
VERGLEICH - ORIGINAL & VARIANTE B!!
WAS GIBT ES NOCH ZU BEACHTEN?
MOBILE EATS THE WORLD
Quelle: ComScore
> 23.000 €Kosten für die Entwicklung einer durchschnittlichen Mobile App
Quelle: IBusiness, 2011 (http://bit.ly/10QDii7)
60%Aller Apps werden NIE genutzt
Quelle: Venturebeat, 2013 (http://bit.ly/1oGgM6C)
80%Werden nach einer Nutzung gelöscht
Quelle: Techcrunch, 2013 (http://tcrn.ch/1oGgWLs)
LEARNINGS
1. A/B Testing - Alles Hinterfragen! !
2. Mit Sinn und Verstand Testen !
3. A/B Testing ist gut, aber nicht alles!
