réussir une enquête, du questionnaire à la collecte

Réussir une enquête, du questionnaire à la collecte

Réussir une enquête

• Quelle enquête et pourquoi ?• La définition de la population à enquêter• La mise au point du questionnaire• L’administration de l’enquête et la collecte

des données• Les traitements et les analyses• La communication des résultats et l’aide à

la décisionCe document reprend une partie du contenu du livre de Jean Moscarola, Enquête et analyse de données avec le Sphinx. Paris, Vuibert 1991

Quelle enquête et pourquoi ?

Les différentes formes d’enquêtes

Fixer les objectifs

Les recherches préalables

Quali ou quanti, choisir un style

Les différentes formes d’enquêtes

• L’enquête à intention scientifique

• L’enquête tract

• L’enquête événement, d’animation

• L’enquête à caractère démocratique

• Rechercher de l’information pour décider

• Diffuser des informations pour faire savoir

• Prendre en considération, établir un contact

• Chercher une légitimité collective

Identifier les acteurs

• Le chargé d’étude et les autres acteurs

• Le, (les) demandeur(s)

• Le, (les) décideur(s)

• Les relais

• Les opposants

Fixer les objectifs

• Ce que l’on veut savoir

• Ce que l’on veut faire savoir / ou cacher

• Attention à l’impression que l’on donne

• Quelle liberté conserver

• Pour quelle action, quelle décision ?

• A qui, pourquoi ?

• Eviter d’être importun

• Qui prend la décision

Formaliser le cahier des charges

• Les informations à obtenir

• Les sources : quelle base de données ou quelle population interroger

• Les protocoles : comment s’y prendre

• Les délais et les résultats attendus

Choisir un style d’enquête : les détectives

HERCULE POIROT

Le théoricienLa logique

SHERLOCK HOLMES

Le scientifiqueLa mesure

MAIGRET

L’ethnologueLe flair

RAMBO

Essayez pour voirLe test

Choisir un style d’enquête : quali ou quanti ?

Etude de casanalyse de contenu

Etudes scientifiquesstatistiques

Exploratoire

ConfirmatoireValeurs numériques

Echelles

Variables nominales

Paroles

Texte libre

Des informations plus ou moins structurées

une seuleobservation

un très grand nombre d'observations

Des observations plus ou moins nombreuses

Les recherches préalables

• La réflexion « théorique et les modèles » : constituer un groupe de travail.

• La recherche documentaire : exploiter les connaissances disponibles.

• La valorisation du système d’information existant : c’est toujours moins coûteux.

• Produire des informations nouvelles : uniquement si celles ci n’existent pas sous une autre forme.

Définition de la population à enquêter

• Du point de vue de la qualité et de la valeur : la population envisagée donne-t-elle accès aux informations recherchées.

• Du point de vue de la quantité et du coût : combien de personnes interroger comment les trouver et à quel prix.

• Population et échantillon : la théorie des sondages.

Le questionnaire

• La question, la réponse et le concept

• Les différentes formes de questions

• Le questionnaire comme liste

• Le questionnaire comme système

• L’art du questionnaire

La question la réponse et le concept

• La question : être compris et provoquer une réaction.– Guider la réaction en listant les réponses possibles– Laisser libre au risque de ne pas se comprendre

• La réponse : comprendre la réaction et l’enregistrer.– Réponses assistées : observer la réponse– Réponses spontanées : transcrire ou interpréter

• Le concept ou la variable : passer du particulier au général, du concret à l’abstrait

Pour bien rédiger les questions

• Faire la différence entre question qu’on se pose et question qu’on pose.

• Parler la langue des répondants• Eviter les formes négatives ou interro négatives• Une seule idée par question• Choisir la forme la plus claire et la plus concise• Eviter la formulation implicite d’opinion• Bien choisir le type de question

Question à réponse ouverte texte

Avantages

• Met le répondant en confiance sur le mode de la conversation

• Limite les biais liés à l’influence de la question

• Permet de « faire des découvertes »

Inconvénients• Demande un effort et

une compétence de parole ou d’écriture de la part du répondant

• Pose le problème du sens de la réponse et de sa compréhension

• Coûteux à enregistrer

Question à réponses numériques

Avantages• Elles ont l’objectivité

des nombres• Peuvent permettre la

recherche de précision

• Permettent de faire des calculs

Inconvénients• Nécessitent une

certaine compétence du répondant

• Incompatibles avec l’imprécision ou l’à peu prêt

Questions à réponses fermées

Avantages

• Facilitent la compréhension de la question

• Facilitent l’expression de la réponse

• Fixent le sens de la réponse

• Facilite la compilation des réponses

Inconvénients• Limitent les possibilités

d’expression du répondant

• Influencent les répondants

• Provoquent des effets d’ancrage

Réponses unique, multiples ou ordonnées

• Réponse(s) fermée(s) : la (les) réponses sont choisies dans une liste de modalités

• Réponse unique : les modalités sont exclusives

• Réponses multiples : les modalités ne sont pas exclusives. Limiter ou non le nombre de réponses possibles. (Equivalent à n questions oui / non)

• Réponses ordonnées : classer les modalités selon un ordre donné (préférence, priorité, importance…). Limiter ou non le nombre de modalités à classer. (alternatif à n échelles)

Questions échelles

Avantages• Très pratiques pour

recueillir des opinions

• Permettent des « mesures qualitatives »

• Faciles à exploiter

Inconvénients• Enferment le

répondant dans un système

• Difficulté à choisir le nombre d’échelons

Question numérique ou échelle ?

• Une numérique est plus riche qu’une échelle.

• On peut passer d’une numérique à une mise en classe sur une échelle mais pas l’inverse

• Privilégier l’expression du nombre exact par rapport au recueil approximatif effectué sur des classes d’intervalles.

• Le choix a un effet sur le taux de réponse

Traiter les échelles comme des numériques

• Attention aux intervalles :– moins de 10 ans, de 10 à 15, de 15 à 20, de 20 à 25, de 25 à 50, plus de 50

• Attention au sens de variation et aux effets d’ancrage– Très satisfait;Plutôt satisfait; Plutôt insatisfait,Très insatisfait

• Une solution : décider de la valeur numérique de chaque échelon

N° Echelon

Age

N° Echelon

Niveau satisfaction

Les différentes formes d’échelle

• Classes d’intervalles d’une valeur numérique

• Degré d’accord

• Niveau de satisfaction ou autre dimension

• Echelle sémantique différentielle

Question ouverte ou fermée ?• Les questions fermées assistent la mémoire aident et orientent le répondant.• Les questions ouvertes font plutôt appel à la mémoire immédiate et

demandent un effort supérieur.

• Toujours fermer les questions quand il existe une nomenclature de référence pour les réponses.

• Eviter de fermer si les réponses possibles ne sont que partiellement connues

• Ouvrir pour éviter de projeter dans l’enquête les à priori ou préjugés du chargé d’étude : faire précéder les questions fermées d’une ouverte ou faire suivre les fermées par Autre précisez.

Le questionnaire comme liste de questions

• Les grandes parties – Identité : qui– Comportement : fait quoi, où, quand…– Motifs : pour quelles raisons– Opinion valeurs : quel sens ça a

• Le séquencement des questions– Dans quel ordre poser les questions

• Conversation ou interrogatoire ?• Rendre explicite les buts de l’étude ou les dissimuler ?• La séquence ouvert fermé, spontané assisté

– Saut et renvois– Scénarisation du questionnaire

Le questionnaire comme liste de questions

Ce qu’on veut

faire,décider

Ce qu’on veut

savoir

Identité

Comportement

Motifs

Opinions valeurs

Attention aux questions inutiles

Qui ?

fait quoi, où, quand… ?

pour quelles raisons ?

quel sens ça a ?

La séquence des questions..

Dans quel ordre poser les questions• Conversation ou interrogatoire ?• Rendre explicite les buts de l’étude ou les dissimuler ?• La séquence ouvert fermé, spontané assisté

• Renvois : Aller à …… Si….

• Restrictions : Ne poser la question que Si

• Attention de ne pas en abuser– Un questionnaire n’est pas un organigramme– Les rationalité du répondant ne correspond pas forcément à celle

du chargé d’étude.

Le questionnaire comme système

Identité Comportement

Motifs

Opinions valeurs

Nos décisions Nos actions

Le modèle SERVQUAL

• Les services obéissent à une logique de processus : identifier et faire évaluer les étapes :– Avant, pendant, après….

• Les services mettent en œuvre des « ingrédients » multiples : faire évaluer les dimensions :– Les biens, les lieux, les dates, les hommes,

l’information…

• Evaluation partielles et satisfaction globale– La satisfaction globale est la résultante de satisfactions

partielles

Avant

Pendant

Après

Satisfactionglobale

Biens

Lieux

Hommes

Information

Les mécanismes de l’observation

Concepts théories hypothèse

Les phénomènesLa réalité ?

L’OBSERVATEUR

Instrument d’observation

LE MODELE

Le ciel ?….

Il a la forme de la fenêtre !

Le questionnaire est comme une fenêtre ouverte sur le monde.

L’art du questionnaire

• Exhaustivité et utilité des questions : adopter le point de vue du client.

• Formulation des questions : se couler dans l’univers des répondants

• Motivation des répondants : expliquer les raisons de l’enquête et valoriser.

• Séquencement des questions : gérer la relation enquêteur enquêté

• Lourdeur du questionnaire : limiter le coût pour le répondant

Une seule solution : tester le questionnaire en situation réelle

Collecter les réponses

Tout dépend du protocole :

• Enquêtes administrées par enquêteurs– Face à face– Téléphone

• Enquêtes auto administrées– Diffusion par Internet– Envoi postal– Bornes multimédia placées dans un lieux public– Questionnaires proposés sur un lieux public

Les critères de choix d’un protocole

• La qualité de la relation conditionne la qualité des réponses : bien se faire comprendre, bien comprendre, contrôler les influences.

• La qualité de l’échantillon conditionne la validité des résultats : atteindre des répondants représentatifs

• L’efficacité de la sollicitation conditionne la quantité d’information recueillie : maximiser le taux de réponse

• Le coût de la collecte : production des supports, coût de la diffusion et de la mise en relation, coût de la saisie des réponses

Choisir : objectifs, moyens contraintes.

+++++

+-

+

--

+++++

---

-

---

+++++

+--

--

---

+++++++

-++

+

+

• Enquêtes administrées par enquêteurs– Face à face– Téléphone

• Enquêtes auto administrée– Via l’Internet– Par voie postale– Borne multimédia placée

dans un lieux public– Questionnaire proposé

sur un lieux public

La relation

Le taux de retour

La représent

ativité

Les coûts

La gestion du terrain

• Enquêtes administrées par enquêteurs– La formation des enquêteurs

• Règle de prise de contact (zonage, plans d’appels)• Consignes pour la passation

– Le contrôle des enquêteurs• Suivi des quotas• Contrôles qualitatifs

• Enquêtes auto administrées– Annonce et publicité sur l’enquête– Relances– Gratifications

• Les panels– Former les panélistes– Gérer le panel (appels, renouvellement…)

La saisie et ses auxiliaires

• Saisie des enquêtes par enquêteurs– Atelier de saisie manuel ou scanner– CATI enquête et saisie au téléphone– CAPI l’enquêteur utilise un ordinateur pour communiquer et saisir en

temps réel– PDA l’enquêteur utilise un assistant personnel pour saisir pendant

l’interrogation

• Saisie des enquêtes auto administrées– Internet : le répondant est connecté il répond au travers d’un navigateur

internet– Bornes : clavier ou écran tactil– Papier : atelier de saisie clavier ou scanner

• Enquêtes décentralisées et organisation en réseau– Réseau locaux– Réseaux « disquette »– Internet

Les enquêtes complexes

L’organisationEnquêtes multi-sitesEnquêtes multilingueEnquêtes à points de vue multiplesEnquête à média multiplesCATI et Scanner

Les interfaces de collectes : les formulairesPrésentation et illustrationsContrôles d’accèsScénarisationCollecte à valeur ajoutée

L’exploitation des données : les tableaux de bordConsolidationBenchmarkingAide à la décision et alerte

Enquêtes multisites

CentreHolding, service

marketing, qualité…

Agence A

Agence B

Agence C

Agence D

Le centre conçoit l’enquête : questionnaire et analyses.

Les agences mettent en œuvre à leur initiative ou non, elles

diffusent, collectent et saisissent les données

Administration locale

le centre installe dans les agences les ressources de l’enquêteles agences reproduisent le questionnaire, le diffuse, font la saisie et voient les résultats et tableau de bord grâce au module opérateur installé sur leur machineConsolidation faite par transfert de fichiers

Internet ou Intranet

le centre publie l’enquête sur un serveur équipé du logiciel serveur.les agences accèdent au questionnaire à la saisie et aux tableaux de bord par un navigateurLa consolidation est automatique

En résumé…Du diagnostic au projet

Les questions qu’on se pose

Les moyens qu’on alloue

Documentaires

Les recherches préalables

Exploratoires

Ce qu’on veut observer L’instrument d’observation

Populations Le questionnaireLes questions qu’on poseEchantillons

La méthode

Mode d’administration Protocole de terrain

Enquête pilote et cadrage définitif

Quel type d’enquête

?Quali SI Interne

Le demandeur

Le chargé d’étude

Le groupe de pilotage

Les logiciels

• Word

• Excel

• SAS ou SPSS

Sphinx

Choisir l’efficacité et la simplicité !