jadwiga przewŁocka maŁgorzata pÓŁtorak gemius sa
DESCRIPTION
VI KONFERENCJA EWALUACYJNA WARSZAWA, 13-14.12.2010. JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA. Wyzwania badań ilościowych online. Jaką pozycję mają internetowe badania ankietowe? Z czego wynika wzrost ich popularności? Jakie są bariery ich rozwoju? Jak pokonać te bariery? - PowerPoint PPT PresentationTRANSCRIPT
JADWIGA PRZEWŁOCKAMAŁGORZATA PÓŁTORAK
Gemius SA
Wyzwania badań ilościowych online
VI KONFERENCJA EWALUACYJNAWARSZAWA, 13-14.12.2010
Jaką pozycję mają internetowe badania ankietowe?
Z czego wynika wzrost ich popularności?
Jakie są bariery ich rozwoju?
Jak pokonać te bariery? innowacyjne metody poprawy jakości badań dobór próby – wiedza dzięki technologii kształt ankiety – wiedza dzięki doświadczeniu korekta struktury – wiedza dzięki porównaniu
O czym opowiemy
Pozycja badań online
Najpopularniejsza technika badań ilościowych
W 2009 na badania online wydano 6,4 mld $
Stały wzrost udziału w rynku
W Kanadzie, Japonii, Australii - blisko połowa wydatków
badania oprowadzone przez agencje i instytuty badawcze (bez uwzględnienia działań niekomercyjnych podmiotów, np. uniwersytetów, instytucji publicznych)
Pozycja badań online
Struktura wydatków na badania ilościowe na świecie (ESOMAR 2010)
17% 19%25% 25% 28%
25% 23%19% 23% 21%
17% 14% 12%15% 16%
6%5% 6%
5%
35% 39% 38%31% 30%
6%
2005 r. 2006 r. 2007 r. 2008 r. 2009 r.
inne
pocztowe
face to face
telefoniczne
online
Stały wzrost liczby osób korzystających z internetu
Rosnące kompetencje użytkowników
Dlaczego online?
Prawie każde polskie przedsiębiorstwo ma dostęp do internetu
Rosnący zakres korzystania z sieci
88%
98% 100%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
małe (10 - 49
pracujących)
średnie(50 - 249
pracujących)
duże (250 i więcejpracujących)
ogółem wśródprzedsiębiorstw: 90%
Przedsiębiorstwa z dostępem do internetu (GUS 2009)
komfort, dogodny czas i miejsce wywiadu
łatwa prezentacja materiałów multimedialnych
brak efektu ankieterskiego
brak błędów ankieterskich
trudne / drażliwe tematy
krótki czas realizacji, szybki dostęp
niskie koszty
duży zasięg geograficzny
Dlaczego online?
Brak zaufania części badaczy i odbiorców
Fakty czy mity?
problem doboru próby> kwestia populacji
> metoda doboru
niska stopa zwrotu, autoselekcja> problem wszelkich badań ankietowych
> duża odpowiedzialność badacza – konstrukcja narzędzia, metoda kontaktu
nierzetelni respondenci> kilka %
> możliwość weryfikacji spójności odpowiedzi
Jakość próby – największy problem badań online
szeroko zakrojony projekt R&D
Obawy – fakty i mity
Projekt poprawy jakości
„Innowacyjne metody poprawy jakości badań prowadzonych przez internet”
projekt realizowany przez Gemius
przedsięwzięcie IniTech2
IniTech:
przedsięwzięcie Ministra Nauki i Szkolnictwa Wyższego
realizowane przez Narodowe Centrum Badań i Rozwoju
finansowanie badań naukowych lub prac rozwojowych nakierowanych na zastosowanie w działalności gospodarczej
Trzy etapy, na których decyduje się jakość finalnej próby:
1. Etap doboru próby – sposób wyboru użytkowników, sposób dotarcia
2. Etap realizacji próby – zwiększenie stopy zwrotu optymalizacja kwestionariusza
3. Etap poprawy zrealizowanej próby – ważenie danych
Jakość próby
Jakość próby
19%
4% 2%
17%
8%4%
13%
10%
7%
10%
11%
8%
9%
11%
10%
7%
12%
12%
7%
11%
12%
5%
10%
12%
5%
9%
12%
7%14%
21%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
populacja zaproszeni dobadania
finalna próba
aktywność cookie:
[0-10% ] (10% -20% ] (20% -30% ] (30% -40% ] (40% -50% ]
(50% -60% ] (60% -70% ] (70% -80% ] (80% -90% ] (90% -100% ]
19%11% 7%
17%
19%
13%
13%15%
13%
10% 13%
12%
9% 10%
11%
7% 8%
11%
7% 8%
9%
5% 6%
8%
5% 5%7%
7% 6% 10%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
populacja zaproszeni dobadania
fnalna próba
aktywność cookie:[0-10% ] (10% -20% ] (20% -30% ] (30% -40% ] (40% -50% ]
(50% -60% ] (60% -70% ] (70% -80% ] (80% -90% ] (90% -100% ]
1. Dobór próby
2. Realizacja próby
3. Korekcja struktury (ważenie)
Źródło: badanie Gemius, luty 2008 r. (emisja na witrynach objętych bezpłatnym audytem stat24 i
stat.pl/PBI)
Wysyłka zaproszeń do badania e-mailem:
uczestnicy panelu badawczego
osoby zarejestrowane na witrynie lub w bazie usługodawcy
zarejestrowani beneficjenci, odbiorcy danego programu/usługi
Emisja zaproszeń do badania na witrynach internetowych:
użytkownicy stron internetowych
użytkownicy konkretnej usługi / serwisu
W projekcie skupienie na emisji
1. Dobór próby
@
Emisja na witrynach – ogromne możliwości dotarcia
Problem: ankiety wypełniają częściej osoby, które są łatwe do zrekrutowania:
CAPI i CATI osoby dużo przebywające w domu
CAWI osoby intensywniej korzystające z internetu
Skutek: skrzywienie struktury
Rozwiązanie: wykorzystanie wiedzy o użytkowniku podczas emisji!
1. Dobór próby – emisja
Zamiast równych prawdopodobieństw dobór warstwowy
Do warstwowania wykorzystujemy „twarde dane”:
dane o aktywności cookie
dane o parametrach komputera i przeglądarki
Efekty: poprawa struktury próby
Dodatkowy zysk:zmniejszenie potrzebnej liczby emisji o ¼ !
Źródło: badanie Gemius w ramach projektu INITECH, zrealizowanewe wrześniu 2010 na próbie N=2706
(emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)
15%
14%
14%
36%
29%
18%
29%
31%
30%
11%
15%
10%
11%
12%26%
normalnaemisja
dobórwarstwowy
badaniereferencyjne
(CAPI )
15-18 19-24 25-34 35-49 50+
1. Dobór próby – emisja
Optymalizacja zaproszenia i samej ankiety Analiza:
kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań
Wnioski: kluczowa rola miejsca w ankiecie – krytyczny
początek ankiety
2. Realizacja próby
0%
1%
2%
3%
4%
5%
poniżej 20% od 20% do 39% od 40% do 59% od 60% do 79% 80% i dalej
wszyscy
mężczyźni
osoby 35+
miejsce pytania w ankiecie (%)
śred
nia
war
tość
drop
out'u
podstawa= 154 213 196 175 139 pytań
0%
1%
2%
3%
4%
5%
do 50 znaków 51-75 znaków 76-100 znaków 101-150 znaków powyżej 150 znaków
wszyscy
mężczyźni
osoby 35+
liczba znaków w treści pytania
śred
nia
war
tość
drop
out'u
podstawa = 165 222 160 231 99 pytań
2. Realizacja próby
Optymalizacja zaproszenia i samej ankiety Analiza:
kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań
Wnioski: Konieczność minimalizacji ilości tekstu
2. Realizacja próby
Optymalizacja zaproszenia i samej ankiety Analiza:
kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań
Wnioski:
kluczowa rola miejsca w ankiecie – krytyczny początek ankiety
konieczność minimalizacji ilości tekstu
konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel
Internet zasady usability „Nie każ im myśleć!”
Optymalizacja zaproszenia i samej ankiety
Analiza:
kilkadziesiąt badań, kilkaset pytań
cechy formalne i treściowe pytań
Wnioski:
kluczowa rola miejsca w ankiecie – krytyczny początek ankiety
konieczność minimalizacji ilości tekstu
konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel
Internet zasady usability „Nie każ im myśleć!”
2. Realizacja próby
Pomimo poprawy doboru i zwiększeniu QRR – nadal problem struktury
Konieczność zastosowania wag analitycznych
przez co ważyć (zmienne)?
jak ważyć (algorytm)?
Analiza: wykonano ponad 15 tysięcy ważeń stosując różne zmienne i algorytmy
Wnioski: klasyczne ważenie stratyfikacyjne nie wystarcza!
3. Korekcja struktury
Niezbędne wykorzystanie innych zmiennych wpływających na dostępność w badaniu online: chęć udziału w badaniach styl życia, zwyczaje, korzystanie z technologii
Efekt: znaczna redukcja błędu
3. Korekcja struktury
dane CAWI = badanie Gemius, maj 2010 r. (N=5453)dane zewnętrzne CAPI = omnibus MB SMG/KRC, maj 2010 r. (N=1575)
analizowany target: Polacy 15-55 lat korzystający z internetu
49%
38%
20%
70%
69%
59%
55%
35%
79%
76%
57%
50%
24%
75%
72%
55%
44%
32%
72%
52%
40%
22%
73%
69%
74%
obsługa kontabankowego przez
internet
pisanie na forach / grupach
dyskusyjnych
wysyła min.kilkanaście sms-ów
dziennie
kiedykolwiek czytałGazetę Wyborczą
kupił batonczekoladowy w ciągu
ost. 2 mies.
dane zewnętrzne CAPI
dane CAWI nieważone
ważenie stratyfikacyjne
ważeniepsychometryczneważenie stratyfikacyjne ipsychometryczne
Badania ewaluacyjne – część problemów nie występuje, potencjał badań online
Realizacja próby
skomplikowane kwestionariusze ewaluacyjne muszą być dostosowane do realiów internetu
rola metody rekrutacji (wsparcie innymi kanałami dotarcia), liczby kontaktów
Ważenie – warto wyjść poza demografię
W praktyce
Dziękujemy!
Gemius SAul. Wołoska 7, budynek Mars, klatka D, II piętro02-675 Warszawatel. (0 22) 390 90 90fax (0 22) 874 41 01
kontakt: [email protected]