Het Pretesten van vragenlijsten in de dagelijkse praktijkNPSO 17 mei – Henk Foekema
Pilot versus pretest
Het testen van vragenlijsten in de dagelijkse praktijk >
Technische fouten – inhoudelijke fouten
Technische fouten Opvallend
Inhoudelijke fouten Minder opvallend
3
Het testen van vragenlijsten in de dagelijkse praktijk >
Pretesten bij online en schriftelijke enquêtes belangrijker dan bij CAPI/CATI?
4
Het testen van vragenlijsten in de dagelijkse praktijk >
Pretesten ten aanzien van tijdsduur
Belangrijk voor:
respondent
enquêteur
opdrachtgever
bureau
respons
5
Het testen van vragenlijsten in de dagelijkse praktijk >
Belangrijkste tips bij testen: gebruik je gezonde verstand
Lees een vragenlijst goed door
Kijk door de bril van je doelgroep!
Neem opmerkingen van dataprocessors en veldwerkmensen heel serieus
6
Het testen van vragenlijsten in de dagelijkse praktijk >
Hoe de vragenlijsten te testen
Goed tegenlezen
Met behulp van kwalitatieve technieken
Met behulp van software
Met behulp van kwantitatieve technieken
7
Het testen van vragenlijsten in de dagelijkse praktijk >
Goed tegenlezen (1)
Onbegrijpelijke woorden, jargon?
Onhandige opzet?
Inschatting van de lengte
Gevoeligheid van onderwerp en vragen
Wel of niet randomiseren?
Vragen die (mogelijk) vergeten zijn?
Non respons codes?
Open vraag of voorcoderen?
8
Het testen van vragenlijsten in de dagelijkse praktijk >
Goed tegenlezen (2)
De fouten uit het boekje:
impliciete vragen
dubbele ontkenningen
twee vragen in één
sturende vragen
multi-interpretabele vragen
niet elkaar uitsluitende categorieën
niet aansluitende categorieën
9
Het testen van vragenlijsten in de dagelijkse praktijk >
Het testen van vragenlijsten in de dagelijkse praktijk
Kwalitatief onderzoek bij pretesten
Wanneer
(Volledig) nieuwe vragenlijst
Doelgroep waarin je je moeilijk kunt verplaatsen
Jargon, open deuren
Aanvullen van vragen, antwoordcategorieën
Gevoelige onderwerpen
Ook: testen van communicatie om onderzoek heen (aankondigingsbrieven etc.)
11
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
Voorbeeld
12
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
Werkwijze (1)
Single interviews
10 à 15 proefpersonen, soms minder
Meestal ca. 45 minuten
Soms: nadruk op lager opgeleiden
Recrutering: selectiebureau, database, opdrachtgever
Op het bureau (face-to-face) of telefonisch
13
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
Werkwijze (2)
Gehele vragenlijst of delen vragenlijsten?
Van te voren invullen of tijdens de pilot zelf?
Suggesties (laten) geven?
Fasering?
14
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
Uitdagingen bij kwalitatief pretesten
Niet het leukste type onderzoek voor de respondent
Voelt aan als een soort overhoring, test
Laagopgeleiden kijken tegen het onderzoek op; Experts kijken er wel eens op neer
Respondenten willen zich bewijzen
Belangrijk is samenspel tussen opdrachtgever, algemeen projectleider en kwalitatieve onderzoeker
15
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
Het testen van vragenlijsten in de dagelijkse praktijk
Software en het checken op technische fouten
Software en het checken op technische fouten
Dummy data
‘checkmodule’
Fasering bij het uitzetten
Eerste data meteen bekijken
Expliciet om opmerkingen en waardering vragen
17
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
Voorbeeld
18
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
Dummy data – bij ingewikkelde routing
Is routing correct
Geen lege velden
Correcte intervallen numerieke variabelen
Vragen met meervoudige antwoorden
Ook voor open vragen en half open vragen
Rekenkundige checks
19
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
Softwarematige checks
Overschrijvingen van kolommen
Ophalen van informatie uit andere delen van de vragenlijst
Te weinig posities voor het antwoord
Tijdsregistraties (tussentijden per onderdeel)
20
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
Kwantitatieve technieken
Vragenlijst zodanig inrichten dat alleen op de inhoudelijke begrijpelijkheid wordt gelet
Checken of een vragenlijst niet te gevoelig ligt of te belastend is
Werkt de vragenlijst (validatie)
Meeluisteren
21
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten