web analytics day bvh multivariates testen (2010-10-26)
DESCRIPTION
Vortrag von contentmetrics auf dem bvh Web Analytics Day 2010 zum Thema "Multivariates Testen"TRANSCRIPT
Konversionsrate steigern durch Multivariates Testing Claudia StrauchSenior Web Analytics Consultantcontentmetrics GmbH
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Das Unternehmen contentmetrics
• contentmetrics ist Spezialist für Auswahl und Integration von Web Analytics Lösungen Auswertung von Web Analytics Daten mit den Zielen:
Effizienzsteigerung von Online-Marketing-Kampagnen Betriebswirtschaftliche Auswertung von Online Aktivitäten
• 2003 als inhabergeführtes Dienstleistungs- und Beratungshaus gegründet
Standorte sind Haar bei München und Hamburg Derzeit sind 11 Consultants und insg. 14 Mitarbeiter
für contentmetrics tätig
• Wir betreuen ca. 70 aktive Kunden mit Reichweiten von 1 Million bis > 2 Milliarden Page Views im Monat
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Unabhängige & neutrale Beratung
• Wir arbeiten als Dienstleister im Auftrag unserer Kunden: Systemauswahl Anpassung von bestehenden Lösungen Dokumentation von Anforderungen und technischer Umsetzung Kontinuierliche Betreuung Analyse und Handlungsempfehlung 1st-Level Support Implementierung und Qualitätssicherung
• Wir sind zertifizierter Partner für Consulting, Support und Implementierung:
Strategische Partnerschaft mit Autonomy Coremetrics Support DACH Strategische Partnerschaft mit Econda Omniture Professional Service Provider Beratungspartner für Search Analytics – Searchmetrics Exklusiver Vertrieb von Vertster DACH Webtrekk Implementation Partner
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Einige Kunden ...Retail Social Media
High Tech
Media
eCommerce Travel
Agencies
Finance
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 5
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 6
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 7
Testing Grundlagen - Warum Testing?
• … zur Überprüfung von Hypothesen nicht mehr schätzen, sondern wissen!
• … zur langfristigen Optimierung der Website aufgrund des Konversionsverhaltens der Besucher
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Ein Test zum Testen
• Ein Beispiel von webanalysts.infohttp://www.slideshare.net/webanalystsinfo/guess-the-outcome-of-15-ab-tests
• 15 Testszenarien mit jeweils zwei Varianten• Ein Panel hatte die Aufgabe, die jeweils erfolgreichste
Variante herauszufinden: Ein Affe Des Autors Mutter Ein HiPPO (Highest Paid Person's Opinion) Ein Usability Experte Ein Art Director Ein Web Analyst
• Am Ende wurden für jeden die richtigen Antworten (max. 15) gezählt.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Die überraschend(st)en Ergebnisse …
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Version 1 um 49% mehr Abschlüsse auf dem mittleren Angebot als Version 2
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
• Mama ist die Beste … ?• Und der Affe auf Platz drei … ?
Uuups …
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 17
Testing Grundlagen – Testgegenstand
• Ganze Seite (Page) in einer Website Landing-Page-Tests oder A/B-Tests
• Ein einzelnes Element auf einer Seite (Page) in einer Website A/B- bzw. A/N-Tests Es gibt verschiedene Varianten für ein Element
• Mehrere Elemente auf einer Seite (Page) in einer Website Multivariate Tests Es gibt mehrere Elemente bzw. Variablen mit jeweils
mehreren Varianten
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 18
Testing Grundlagen - Vorgehen
Jeder Besucher wird eindeutig einer Gruppe zugewiesen Die verschiedenen Varianten werden anhand von vorher
festgelegten Metriken (Konversionen) verglichen und bewertet.
Umsetzen der besseren Alternative
€ KonversionsrateGruppe A
€ Konversionsrate Gruppe BAlternative
B
Alternative A
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 19
Testing Grundlagen - Regeln
•Innere und äußere Faktoren soweit wie möglich ausschließen•Alle Faktoren können das Testergebnis verfälschen!•Beispiele: Kampagnen, Änderungen an der Webseite, etc.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 20
Testing Grundlagen - Voraussetzungen
• Valides Messsystem • Test- und messbare Thesen• Geeignete Alternativen• Hinreichende Anzahl an Probanden
• Reproduzierbarer Testaufbau• Abgrenzung aller Einflussfaktoren
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Testing Grundlagen - Aufwände
• Never overstimate the underestimation .... Insbesondere nicht beim technischen Setup!
• Kreativität Haben Sie bitte vier Ideen… Jetzt.
• Planung Die meisten Tests scheitern nicht an der Technik
oder an den Ideen, sondern an einer nicht strukturierten und koordinierten (!!) Umsetzung
• Konsequenz Wenn ein Ergebnis vorliegt, handeln Sie danach! Vielfach wird das Testergebnis ignoriert, weil es
politisch "unangenehm" ist
30%
20%
30%
20%
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 22
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 23
Unterschied multivariater Test und A/B-Test (1)
• In einem A/B- bzw. A/N-Test wird ein Element mit zwei oder mehr (N) Varianten getestet.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 24
Unterschied multivariater Test und A/B-Test (2)
• In einem multivariaten Test (MVT) werden mehrereElemente mit zwei oder mehr Varianten getestet.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 25
Unterschied multivariater Test und A/B-Test
• A/B bzw. A/N-Test: 1 Element mit 2 oder N Varianten Man braucht also 2 oder N Gruppen Das bedeutet, der Besucherstrom wird in 2 oder N Teile
geteilt
• Multivariater Test (MVT): N Elemente mit 2 oder N Varianten Man bräuchte bei 4 Elementen und jeweils 3 Varianten
34 Gruppen = 81 Gruppen Das bedeutet, der Besucherstrom muss in 81 Teile geteilt
werden. Das könnte zu sehr kleinen Testgruppen und zunicht mehr signifikanten Ergebnissen führen.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 26
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Taguchi
• Viele Kombinationen erfordern viel Traffic• Die Taguchi-Methode verringert mit einer
statistischen Berechnung die Anzahl der zu testenden Kombinationen:
10.04.23 27
A/B- bzw. A/N-Test MVT (Taguchi)
4 Elemente / 3 Varianten
81 Kombinationen9 Kombinationen im
Test
5 Elemente /4 Varianten
1024 Kombinationen16 Kombinationen im
Test
„Versuchspläne nach Taguchi sind im wesentlichen Teilfaktorpläne (engl. fractional factorial designs), das heißt, es werden nicht alle möglichen Kombinationen von Faktorstufen durchgespielt, sondern nur eine genau ausgewählte Teilmenge.“
(Quelle: Wikipedia, Taguchi-Methode)
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 28
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Bedingungen für multivariate Tests
• Gleiches Konversionsziel (z.B. ein Vertragsabschluss) für jedes Element damit man es vergleichen kann
• Eine Kombination als Vergleichsgröße; in der Regel der bisherige Seiteninhalt ("Default Content„)
• Alle anderen Ergebnisse werden damit verglichen und bewertet
10.04.23 29
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 30
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
Was wird getestet? Warum wird getestet? / Was ist das Ziel des Tests? Wie lautet die These? Wann möchten Sie die Ergebnisse haben? Wann wird getestet bzw. gemessen? Was ist die bzw. sind die Abbruchbedingungen? Welche Messeinheiten und KPIs werden verwendet? Welche Segmente werden getestet bzw. gemessen? Welche Randbedingungen (Kampagnen, IT, etc.)
können den Test beeinflussen? Welche Abteilungen sind betroffen? Welche internen und externen Ressourcen werden
benötigt? Wer aus dem Management fordert den Test an?
10.04.23 31
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Thesen
• „Das neue Design ist besser“• „Unsere Kunden kaufen unsere Produkte aufgrund
unseres technischen Vorsprungs“• „Wenn die E-Mailadresse ein Pflichtfeld ist, hemmt
das die Konversion“• „Wenn bei nicht ausgefülltem E-Mailfeld eine
Fehlermeldung kommt, hemmt das die Konversion“• „Männer klicken Frauenbilder, Frauen klicken
Männerbilder“ • „Für wiederkehrende Besucher funktioniert Design A
besser.“
10.04.23 32
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Beispiele für mögliche Varianten
• Verschiedene Preise• Preisnachlässe in % gegen €• Verschiedene (Button-)Designs• Den Content gemäß der SEM-Suchbegriffe gestalten• Promotions in E-Mailkampagnen• „Call to Action“ Funktionen• Werbegeschenke (z.B. verschiedene Incentives
testen)• Radikale Vereinfachungen• Verschiedene Texte
10.04.23 33
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Fehler bei der Variantenerstellung
• Grundsatz:
Unterscheiden sich die Varianten nicht signifikant voneinander, so werden sich auch die Testergebnisse nicht signifikant voneinander unterscheiden.
• Denken Sie radikal: Sie wissen nicht, was Ihre Besucher bevorzugen. Interne Denk- und Sichtweisen müssen nicht zwingend die der
Besucher sein Betriebsblindheit verhindert eine optimale Zielerreichung Das Corporate Design folgt nicht zwingend den Regeln eines
optimalen User-Interface-Designs Die Erfahrung zeigt: Featuritis in der Website erfreut Vorstände und
verwirrt Besucher
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Testzeitraum und Messzeitraum
• Vorlauf: Gefühl für die Ergebnisse bekommen; Konversionen aus dieser Zeit (rot) nicht mitberücksichtigen
• Testzeitraum: mindestens ein durchschnittlicher Konversionszeitraum
• Nach Testende: eine durchschnittliche Konversionszeitraumlänge messen, dann erst auswerten; alle Konversionen aus Testzeitraum (grün) mitberücksichtigen
10.04.23 35
Durchschnittlicher
Konversionszeitraum
Testzeitraum
Durchschnittlicher
Konversionszeitraum
Messzeitraum
Vorlauf
Durchschnittlicher
Konversionszeitraum
€€
€€€
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
Was wird getestet? Warum wird getestet? / Was ist das Ziel des Tests? Wie lautet die These? Wann möchten Sie die Ergebnisse haben? Wann wird getestet bzw. gemessen? Was ist die bzw. sind die Abbruchbedingungen? Welche Messeinheiten und KPIs werden verwendet? Welche Segmente werden getestet bzw. gemessen? Welche Randbedingungen (Kampagnen, IT, etc.)
können den Test beeinflussen? Welche Abteilungen sind betroffen? Welche internen und externen Ressourcen werden
benötigt? Wer aus dem Management fordert den Test an?
10.04.23 36
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Abbruchbedingungen
• Die Konversionsrate einer Kombination weicht zu stark nach unten von der Vergleichsgröße ab.
• Anzahl der Registrierungen sinkt unter einen bestimmten Wert.
• Der Umsatz sinkt um X%.
Ganzen Test stoppen oder nur eine Kombination „ausschalten“
10.04.23 37
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Metriken und KPI
• Registrierungen• Vertragsabschlüsse• Warenkorbwerte• …
• Eine der Metriken wir als KPI festgelegt. Die Ausprägung dieser entscheidet über den Ausgang und die
nächsten Schritte
• KPI und Metriken vor dem Test festlegen!• Integration mit Web Analytics Tool ermöglicht später
weitere Analysen auf weiteren Metriken
10.04.23 38
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Mögliche Segmente
• Zufall (keine Segmentierung)• SEM-Traffic vs. normaler Traffic• Adword Gruppe1 vs. Adword Gruppe2• Produktgruppe1 (Krankenversicherung) vs.
Produktgruppe5 (Kredit)• Deutschland vs. Österreich (Geo-Segmentation)• Registrierte vs. nicht registrierte Nutzer• Neue vs. wiederkehrende Besucher• Internetexplorer vs. Firefox• Besucher an Wochentagen vs. Besucher am
Wochenende
10.04.23 39
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Der Testplan
Was wird getestet? Warum wird getestet? / Was ist das Ziel des Tests? Wie lautet die These? Wann möchten Sie die Ergebnisse haben? Wann wird getestet bzw. gemessen? Was ist die bzw. sind die Abbruchbedingungen? Welche Messeinheiten und KPIs werden verwendet? Welche Segmente werden getestet bzw. gemessen? Welche Randbedingungen (Kampagnen, IT, etc.)
können den Test beeinflussen? Welche Abteilungen sind betroffen? Welche internen und externen Ressourcen werden
benötigt? Wer aus dem Management fordert den Test an?
10.04.23 40
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 41
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Auswertung
10.04.23 42
Signifikanz
Konversionsrate und Änderung
zur VergleichsgrößeTestteilneh
mer
„Rezepte“
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 43
Agenda
• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan
Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente
• Auswertung• Signifikanz
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Exkurs: Signifikanz
• Was bedeutet „Signifikanz“?
• Signifikanz beschreibt die Wahrscheinlichkeit, mit der das Testergebnis reproduzierbar ist.
• Die Signifikanz errechnet sich aus der Anzahl der Testteilnehmer, Mittelwerten und Standardabweichung.
• Deutlich höhere Abschlüsse bei einer Kombination müssen nicht gleich signifikant sein!
10.04.23 44
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 45
Signifikanz und Relevanz
Signifikanz
Rele
van
z Fokus
Irrelevant
Potential
Analyse
Interessant für
WA
Nicht alle Metriken sind relevant für die Zielerreichung.
Nicht alle Segmente sind relevant.
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 46
Vielen Dank!
Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 4710.04.23 47
Kontaktdaten
Claudia Strauch
[email protected] +49 (0) 40 / 1804 336 – 14 Mobil +49 (0) 176 / 1021 3692
contentmetrics GmbH
Münchner Str. 25 – D-85540 Haar b. MünchenTelefon +49 (0) 89 / 219 65 15 - 0PC-Fax +49 (0) 89 / 219 65 15 - 16
Spaldingstr. 218 – D-20097 Hamburg Telefon +49 (0) 40 / 1804 336 – 0 PC-FAX +49 (0) 40 / 1804 336 – 16
Office München Office Hamburg