séminaire internet et santé: l'évaluation des informations de naitre et grandir par les...
Post on 06-Aug-2015
64 Views
Preview:
TRANSCRIPT
L’évaluation des informations de Naitre et grandir par les parents
Pierre Pluye, Professeur agrégé, Dept. Médecine familiale, Université McGillGeneviève Doray, Directrice Naître et grandir, Fondation Lucie et André Chagnon
Reem El Sherif, Étudiante MSc, Dept. Médecine familiale, Université McGill.
François Lagarde, Fondation Lucie et André Chagnon; Vera Granikov, Paula Bush, Mathieu Bujold, Gillian Bartlett, David Li Tang & Roland Grad, Université McGill
ComSanté, UQAM, jeudi 9 avril 2015
PLAN
CONTEXTE• Naitre et grandir (N&G)• Méthode d’évaluation des informations (MEI)
3 QUESTIONS• Effets des informations N&G?• Validité du questionnaire MEI?• Apprentissage organisationnel?
CONTEXTENaître et grandir
Objectifs et contenuUsagers & notoriété
Objectifs de Naître et grandir
Valoriser, informer, éduquer et outiller les parents• l’ensemble des parents avec enfants de 5 ans et moins• persona principal : parents de milieux défavorisés• famille élargie et toutes les personnes qui ont pour
responsabilité de prendre soin d’un enfant
Sensibiliser l’ensemble de la société à l'importance du développement précoce des enfants afin de créer des conditions et des environnements propices à la réussite éducative.
4
Attributs du contenu
• CRÉDIBLE: Révisé par des spécialistes et mis à jour en continu;• RÉALISTE: Met en valeur des gestes simples et des conseils pratiques sur la
façon d’élever un enfant;• RESPECTUEUX: Encourage les parents à prendre leurs propres décisions;• COMPRÉHENSIF: Reconnaît et valide les différents points de vue des
parents, et reconnaît qu’ils s’efforcent à faire de leur mieux;• POSITIF: Convaincu que les parents peuvent apporter des changements
positifs dans leur vie et dans celle de leurs enfants;• COOPÉRATIF: Garde en tête les lecteurs et tient compte de leurs
commentaires;• AXÉ SUR LE JEU: Privilégie l’apprentissage actif dans tous les domaines du
développement de l’enfant.
6
Portée
SITE WEB1er janv. - 31 déc. 2014
MONDE(millions)
QUÉBEC(millions)
Nombre de pages web vues 33.8 13.3
Nombre de visites au site web 17.3 6.1
Nombre de visiteurs uniques 8.5 2.2
INFOLETTRE: 110 210 parents abonnés (janvier 2015)
Enquête transversale SOM
• Sondage web du 10 au 20 octobre 2014• Internautes québécois francophones• Parents d’enfants âgés 0 à 7 ans• Taux de réponse = 38,8 %• 1009 répondants: – RMR de Montréal (n=394)– RMR de Québec (n=356)– Ailleurs au Québec (n=259)
Enquête transversale SOM
Naitre et grandir (n=1009)
Connu Consulté
Enquête transversale SOM
Quelles sont les sources d'information sur le rôle de parent et le développement des enfants que vous consultez le plus?
CONTEXTEMéthode d’évaluation des informations
Évaluation systématique (imbrication)4 niveaux d’effet des informations
Évaluation développementaleValidation de contenu initiale
Développements méthodologiques en évaluation de programmes (combinaison des arguments normatifs, objectifs et subjectifs)
•Experts (jugement de valeur)
+ •Experts (mesure)
+ •Experts et intervenants (participation)
+ •Experts et intervenants (évaluation qualitative)
+ •Experts, intervenants et usagers (méthodes mixtes)
Pluye P (2012). Les méthodes mixtes. Dans V. Ridde & C. Dagenais (Eds.), Approches et pratiques en évaluation de programme (pp. 125-143). Montréal Presses de l’Université de Montréal.
Pluye P & Hong QN (2014). Combining the Power of Stories and the Power of Numbers: Mixed Methods Research and Mixed Studies Reviews. Annual Review of Public Health, 35, 29-45.
Méthode d’évaluation des informations
Imbrication: Évaluation systématique des objets d’informations (pages web et alertes)• Cadre conceptuel ‘Push-pull’
La ‘valeur’ des informations: Évaluation de 4 niveaux d’effet des informations (modèle théorique ‘ACA-LO’)• Pertinence • Impact cognitif • Utilisation• Effets sur le bien-être et la santé
Évaluation développementale des informations par les usagers (application bidirectionnelle des connaissances)
Différentes versions du questionnaire pour les cliniciens, les patients et les consommateurs d’information (IAM4all)• www.mcgill.ca/iam
User: For each potentially relevant information object 4 levels of outcomes of information receiving/seeking (ACA-LO)
Information Assessment Method (IAM)Relevance, cognitive impact, information use, expected benefits
Clinical Information Channel(information delivery)
Subscription Passive acquisitionInformation receiving
Search queryActive acquisition Information seeking
PUSH
PULL database(information retrieval)
Latent period
Directly
Push-Pull stimulation
Pluye et al. 2011 Journal of Evaluation in Clinical Practice
In a social context (e.g., continuing education)
Cognition
Application
Acquisition
The ACA cycle
Human information interaction process depicted by the ACA cycle
Relevance
Cognitive Impact
Use
Expected benefits
is associated to 4 Levels of Outcomes
Outcomes captured in the Information Assessment Method (IAM) questionnaire
ACA-LO Theoretical Model
Pluye et al. 2013 Journal of the American Society for Information Sciences and Technology (JASIST)
Évaluation développementale par les usagers Application des
connaissances unidirectionnelle
Application des connaissances bidirectionnelle
Rôle clé Fournisseur d’information: Expertise ‘contributive’ (par ex., chercheur) et interactive (éditeur)
Utilisateur d’information:Expertise expérientielle
Processus # Fournisseur: Effectue la synthèse des connaissances et diffuse ces informations # Utilisateur: Trouve et/ou reçoit les informations
# Utilisateur: Envoit des commentaires constructifs# Fournisseur: Intègre ces commentaires dans les informations# Utilisateur: Trouve et/ou reçoit les informations
Utilisation des informations
La meilleure information pour les patients (« best available evidence »)
Mieux que la meilleure information?
Pluye et al. 2014 Canadian Family Physician Journal
Évaluation développementale par les usagers (exemple*)
• 51 APhC ‘Highlights’ (e-Therapeutics+)• Courriel hebdomadaire à 17,000 membres du CMFC• 5,346 MFs ont évalué au moins 1 Highlight avec la Méthode
d’évaluation des informations (version clinicien):– 31,429 questionnaires complétés (apprentissage réflexif)– 4,166 (13.3%) commentaires (stimulation)– 682 (2.2%) commentaires ‘potentiellement constructifs’
sélectionnés par McGill et envoyés à APhC.– 126 (0.4%) commentaires constructifs: changement du contenu
informationnel de e-Therapeutics+
*Plus de 10.000 médecins et pharmaciens utilisent la Méthode d’évaluation des informations dans différents programmes de formation continue au Canada (par ex., AMC, APhC, CMFC) et au Brésil (Ministère de la santé).
Méthode d’évaluation des informations par les consommateurs (checklist)- Origine des questions- Développement- Validation initiale• Modèle théorique et versions
antérieures du questionnaire• Revue de littérature (online
consumer health information)• Entrevues avec 16 personnes:
expérience avec les informations sur la santé; pertinence et représentativité des questions
• Panel de 20 experts: 12 spécialistes en information et 8 chercheurs en santé
Pluye et al. 2014 Journal of Medical Internet Research - Protocols (JMIR)
Pertinence7 questions
Impact cognitif8 questions
Utilisation5 questions
Bénéfices attendus7 questions
Évaluation des informations de Naitre et grandir par les parents• Informations du site web et de l’infolettre de
Naitre et grandir (pages web = fiches)
• Objectifs généraux: évaluer et améliorer la valeur des informations de Naitre et grandir du point de vue des parents
• Évaluation développementale par les parents
Évaluation des informations de Naitre et grandir par les parents
3 objectifs spécifiques• Faire participer les parents à une brève activité d'auto-
apprentissage fondée sur une réflexion individuelle qui peut contribuer à accroître leur utilisation des informations de Naitre et grandir (N&G) – Réflexion stimulée par le questionnaire de la Méthode d’évaluation des
informations (MEI)
• Évaluer le contenu informationnel de N&G en utilisant les évaluations quantitatives obtenues avec la MEI
• Améliorer N&G en utilisant les commentaires constructifs des parents obtenus via la MEI
Évaluation des informations de Naitre et grandir par les parentsCycle de gestion des connaissances (itératif)1. Naitre et grandir produit des informations pour les
parents.2. Les informations sont diffusées via le site web et
l’infolettre.3. Les parents sont invités à évaluer les informations
avec la Méthode d’évaluation des informations.4. McGill analyse les évaluations et transmet les
résultats à Naitre et grandir qui peut les utiliser pour améliorer N&G au besoin.
Évaluation des informations de Naitre et grandir par les parents
TROIS QUESTIONS
EFFETS DES INFORMATIONS?VALIDITÉ DU QUESTIONNAIRE?
APPRENTISSAGE ORGANISATIONNEL?
1
Effets des informations de Naitre et grandir?
Effets des informations de Naitre et grandir
1er juin 2014 – 31 janvier 2015 SITE WEB INFOLETTRE
Nombre de réponses 17545 4862
Nombre de participants na 4007
Nombre moyen de réponses par
participant (minimum-maximum)na 1.2 (1-11)
Nombre moyen de réponses par
fiche (minimum-maximum)25.8 (1-502) 9.3 (1-63)
Effets des informations de Naitre et grandir
QUATRE NIVEAUX D’EFFET DES INFORMATIONS
N = Nombre de réponses
SITE WEB
N=17545
INFOLETTRE
N=4862
Niveau 1 : Pertinence situationnelle 89.5% 93.7%
Niveau 2: Impacts cognitifs et affectifs positifs 84.4% 92.9%
Niveau 3: Intention d’utiliser les informations 74.9% 85.7%
Niveau 4: Bénéfices attendus (bien-être/santé) 72.3% 82.4%
Site web et infolettre:Titre de la fiche (top 10)
% ‘information utilisée pour mon enfant’
% ‘bénéfice attendu pour mon enfant’
Nombre de réponses
6 mois: développement social 98.0% 98.0% 51
4 mois: développement social 95.6% 92.6% 68
3 mois: développement affectif 94.4% 90.5% 126
5 mois: développement social 94.3% 94.3% 53
3 mois: motricité fine 93.4% 92.1% 76
7 à 9 mois: développement social 93.3% 86.7% 60
Le rhume et la grippe 92.9% 92.9% 70
Laryngite 92.8% 92.8% 83
Prendre soin de bébé 91.9% 83.8% 99
4 mois: motricité globale 90.7% 89.3% 75
InfolettreANALYSE 1: Statistiques descriptives• Toutes les réponses: N=4862
ANALYSE 2: Test statistiqueN=3175 réponses2437 participants (au moins 1 fiche N&G évaluée, et questionnaire démographique complété): • 2326 (95,4%) sont des femmes• 2187 (89,7%) sont âgés entre 25 et 44 ans• 2296 (94,2%) vivent avec un conjoint• 2101 (86,2%) vivent avec leur enfant• 306 (12,5%) ont un revenu familial annuel inférieur à $40 000• 185 (7,6%): diplôme du secondaire (DES) ou aucun diplôme
Infolettre: participants
<25 25-29 30-34 35-39 40-44 45-49 50-54 55-59 >60
N 35 409 923 643 212 45 42 49 79
50
150
250
350
450
550
650
750
850
950
Age
Infolettre: participants
Aucun diplôme Diplôme du secondaire Diplôme du collégial Diplôme universitaire
QC 4.61280566686591 21.5446932087159 25.5863036973407 48.2561974270787
N&G 1.8 5.7 34.9 57.5
5.0
15.0
25.0
35.0
45.0
55.0
65.0
Niveau Scolarite
%
Infolettre: participants
0 $ - 20 000 $ 20 000 $ - 40 000 $ 40 000 $ - 60 000 $ 60 000 $ - 80 000 $ 80 000 $ - 100 000 $ Plus de 100 000 $
QC 0.1045 0.1877 0.1988 0.1721 0.1415 0.1954
N&G 0.0359624029423784
0.0890886800163465
0.148344912137311 0.20065386187168 0.206375153248876 0.319574989783408
2.5%
7.5%
12.5%
17.5%
22.5%
27.5%
32.5%
Revenu Familial Annuel
Infolettre: participants
Infolettre: effets des informations
• Résultats descriptifs présentés par niveau d’effet (N=4862)
• Inférences fondées sur le test du Chi-carré de Pearson (N=3175)
– 1 population et 2 variables catégorielles
– Y a-t-il une différence significative entre les variables?
– Conclusion: rejet de l’hypothèse nulle (aucune différence)
– Analyse effectuée avec le logiciel SAS
Niveau 1: Pertinence situationnelle (N=4862)
Q1. Pourquoi avez-vous regardé cette information? N (%)Pour me renseigner sur les enfants en général 2797 (57.5)Pour répondre à une question/problème qui touche mon enfant 1912 (39.3)Pour lire l'opinion d'un spécialiste 1437 (29.6)Pour compléter/vérifier les informations reçues d’un professionnel 270 (5.6)Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre (par ex., ma nièce ou l’enfant d’une amie) 229 (4.7)
Pour m'aider à décider si je dois consulter un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre) 152 (3.1)
Pour me préparer avant de parler à un professionnel 96 (2.0)
Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
Niveau 1 (participants): Pertinence situationnelle (N=3175 )
Q1. Pourquoi avez-vous regardé cette information?
Faible revenu et niveau d’éducation
N (%)
Autres réponses
N (%)
Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre **12 (0.4) 135 (4.3)
Nombre total de réponses 100 (3.1) 3075 (96.9)
** p < 0.0001
Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) regardent 2.7 fois plus souvent l’information N&G pour quelqu’un d’autre.
Note: Résultat convergent avec Q4 ‘j’utiliserai cette information pour quelqu’un d’autre’.
Niveau 2: Impact cognitif/affectif (N=4862)Q3. Que pensez-vous de cette information? N (%)
Maintenant je sais quelque chose de nouveau 1887 (38.8)
Cette information dit que je fais ou j'ai fait la bonne chose 1774 (36.5)
Maintenant je suis rassuré(e) 1300 (26.7)
Je me suis souvenu(e) de quelque chose que je savais déjà 1264 (26.0)
Maintenant je veux en apprendre plus sur ce sujet 638 (13.1)
Je ne suis pas satisfait(e) de cette information 69 (1.4)
Je pense qu'il y a un problème avec cette information 12 (0.2)
Je pense que cette information peut provoquer des dommages 7 (0.1)
- Q3 posée lorsque les participants ont compris l’information (N=4555; 93,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
Niveau 2 (participants): Impact cognitif/affectif (N=3175)
*Participant avec un revenu annuel familial < $40000, et DES ou aucun diplôme.
Q3. Que pensez-vous de cette information?
*Faible revenu et niveau d’éducation
N (%)
Autres réponsesN (%)
Nombre total de réponses 100 (3.1) 3075 (96.9)
Aucune différence statistiquement significative quelque soit le type d’impact.
Niveau 3: Intention d’utiliser (N=4862)
Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant? N (%)
Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant 2679 (55.1)
Cette information m'aidera à mieux comprendre une question ou un problème qui touche mon enfant 1835 (37.7)
Je ne savais pas quoi faire, et cette information m'aidera à prendre une décision qui touche mon enfant 405 (8.3)
Je faisais ou pensais faire quelque chose pour mon enfant, et j'utiliserai cette information pour le faire autrement 399 (8.2)
J'utiliserai cette information pour discuter avec un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre)
120 (2.5)
- Q4 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
Niveau 3 (participants): Utilisation des informations (N=3175)
Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant?
Faible revenu et niveau d’éducation
N (%)
Autres réponses
N (%)
Non, mais je vais utiliser cette information pour quelqu’un d’autre **17 (0.5) 167 (5.3)
Nombre total de réponses 100 (3.1) 3075 (96.9)
** p < 0.0001
Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 3.1 fois plus souvent l’intention d’utiliser l’information N&G pour quelqu’un d’autre.
Note: Résultat convergent avec Q1 ‘J’ai regardé cette information pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre’.
Niveau 3 (participants): Utilisation des informations (N=3175)
Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant?
Faible revenu et niveau d’éducation
N (%)
Autres réponses
N (%)
Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant
*36 (1.1) 1759 (55.4)
Nombre total de réponses 100 (3.1) 3075 (96.9)
* 0.0001 < p < 0.01
Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) utilisent 1.6 fois moins souvent l’information N&G pour valider ce qu’ils font.
Niveau 4: Bénéfices attendus (N=4862)Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant? N (%)
Cette information m'aidera à améliorer le bien-être/santé de mon enfant 2196 (45.2)
M'aidera à être moins inquiet (inquiète) pour un problème qui touche mon enfant 1308 (26.9)
M'aidera à mieux gérer un problème qui touche mon enfant 1043 (21.5)M'aidera à prévenir un problème qui touche mon enfant (ou en empêcher l’aggravation) 790 (16.2)
Je serai plus impliqué(e) dans les décisions pour mon enfant 776 (16.0)Me rendra plus satisfait(e) des services ou des soins que je reçois 347 (7.1)Me permettra de mieux discuter avec un professionnel 229 (4.7)Autre benefice 324 (6.7)Aucun benefice 163 (3.4)
- Q5 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
Niveau 4 (participants): Bénéfices attendus (N=3175)
Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant?
Faible revenu et niveau
d’éducationN (%)
Autres réponses
N (%)
Cette information m'aidera à améliorer le bien-être ou la santé de mon enfant *27 (0.9) 1504 (47.4)
Nombre total de réponses 100 (3.1) 3075 (96.9)
* 0.0001 < p < 0.01
Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) espèrent 1.8 fois moins souvent que l’information N&G les aidera pour améliorer le bien-être ou la santé de leur enfant.
Niveau 4 (suite): Bénéfices attendus (N=3175)Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant?
Faible revenu et niveau d’éducation
N (%)
Autres réponses
N (%)
Cette information m'aidera à être moins inquiet(e) pour un problème de mon enfant *31 (1.0) 784 (24.7)
Grâce à cette information, je serai plus impliqué(e) dans les décisions pour mon enfant
**25 (0.8) 495 (15.6)
Nombre total de réponses 100 (3.1) 3075 (96.9)
*0.0001 < p < 0.01 ; ** p < 0.0001
Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 1.2 fois plus souvent répondu que l’information N&G les aidera à être moins inquiets, et 1.6 fois plus souvent que l’information N&G les aidera à être plus impliqués dans les décisions concernant leur enfant.
2
Validité du questionnaire?
Validation écologique du contenu des questionsMéthodes mixtes (devis convergent*)
Composante quantitative longitudinale (pertinence des questions)• 22 407 questionnaires MEI complétés• Ratio de pertinence
R = N réponses (question) / N réponses (niveau)
Composante descriptive qualitative (représentativité des questions)• 121 (0.5%) commentaires sur le questionnaire (49+ 72-)• 19 entrevues (maximum variation sampling)
– Participants variés (âge, éducation et revenu)• Analyse qualitative de contenu
Résultats: Clarification et simplification du questionnaire
*Pluye & Hong 2014 Annual Review of Public health
3
Apprentissage organisationnel?
Apprentissage organisationnel Routinisation du cycle de gestion des informations
Analyse de contenu: Étapes• Discussion et compréhension partagée de la version V1 des codes• Codage de 50 commentaires avec V1 (PR & PB indépendants) • Discussion du codage des commentaires «difficiles» (PR & PB) : V2• Discussions et modifications (PR & PB) du manuel de codage (ajustements)
au fur et à mesure du codage des 410 premiers commentaires issus de 7019 questionnaires MEI complétés ( juin-septembre 2014): V3 (codes, définitions, exemples).
• 50 derniers commentaires (PR & PB indépendants) : accord 84%• Codage indépendant de 191 commentaires issus de 7605 questionnaires
MEI complétés (novembre 2014 – janvier 2015) par 2 nouveaux codeurs (REL et PP): Accord inter-juge (kappa de Cohen)
Résultat: Manuel de codage fidèle (évaluation développementale)
DISCUSSION ET CONCLUSION
Effets des informations de Naître et grandir
• Évaluation systématique des objets d’information (fiches N&G)• Perception des parents: Effets positifs des informations N&G• Spécifiquement pour les parents à faible niveau de revenu et d’éducation
(hypothèses à confirmer: voir ‘Future évaluation’)o Utilisation des informations N&G pour les enfants des autreso Diminution de l’inquiétude o Amélioration de l’engagement
• Forceso Grand nombre de réponses (sans incitatif)o Test du Chi-carré: Contrôle des limites
Résultats similaires avec les ‘réponses uniques’• Limite
o Volontaires (sur-estimation des statistiques descriptives)
Validation écologique de contenu
Questionnaire MEI validé et simplifié
Contenu validé par les parents qui utilisent N&G• Pertinence des questions• Représentativité pour chaque niveau d’effet
Prochaines étapes• Validation logique en cours (experts McGill et N&G)• Implantation du questionnaire révisé (été 2015)• Validation de construit (2016)– Item Response Theory– Generalisabilité (Messick)
Apprentissage organisationnel
La routinisation du cycle de gestion des informations• Processus permettant l’évaluation développementale des
informations de N&G par les parents
Prochaine étape (après l’implantation du questionnaire validé)• Système de gestion des commentaires*
– Base de données ACCESS partagée de manière sécuritaire via les serveurs de Naitre et grandir
– Sélection hebdomadaire des commentaires (McGill)– Utilisation des commentaires pour améliorer le contenu
informationnel ou aider les parents (Naitre et grandir)*Tang et al. Journal of the American Society for Information Science and technology (JASIST) 2015
Conclusion
Évaluation unique des effets des informations de N&G
Future évaluation: étude de cohorte (soumise aux IRSC)
– Environ 500 parents volontaires
– Méthodes mixtes: mesures et histoires de vie
Merci
Commentaires et questions
top related