nadine mandran pimlig, mars 2012. les expérimentations / études ◦ système d’information ◦...
TRANSCRIPT
Nadine MandranPIMLIG, Mars 2012
Les expérimentations / études ◦ Système d’information◦ Ingénierie dirigée par les modèles◦ Interface Homme-Machine◦ Environnement informatique pour l’apprentissage humain◦ Les systèmes agents et les avatars ◦ L’apprentissage par renforcement ◦ La géomatique
Les méthodes des SHS et les statistiques supportent la recherche en informatique
Nécessité de créer nos propres méthodes d’investigations
PIMLIG, N.MANDRAN Mars 2012
Expérimenter en informatique ? Le cycle VVV
PIMLIG, N.MANDRAN Mars 2012
Claude Bernard, 1813-1878
« un savant complet est celui qui embrasse la théorie et la pratique expérimentale »
1- Il constate un fait2- A propos de ce fait une idée nait dans son esprit3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite
PIMLIG, N.MANDRAN Mars 2012
NUMERIQUE
Expérience
VERBAL
Percevoir l’existence d’un pb
Dégager le pb prioritaire
Déterminer la solution prioritaire
Enregistrer les données et les faits
Formuler
Explorer
Analyser le pb
Analyser les causes
Programmer la solution
Evaluer la solution et ses effets
Capitaliser le « progrès »
Réflexion
PIMLIG, N.MANDRAN Mars 2012
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche »
NUMERIQUE
Expérience
VERBAL
Percevoir l’existence d’un pb
Dégager le pb prioritaire
Déterminer la solution prioritaire
Enregistrer les données et les faits
Formuler
Explorer
Analyser le pb
Analyser les causes
Programmer la solution
Evaluer la solution et ses effets
Améliorer par le traitement des non conformités
Réflexion
PIMLIG, N.MANDRAN Mars 2012
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche »
NUMERIQUE
Expérience
VERBAL
Percevoir l’existence d’un pb Dégager le pb
prioritaireDéterminer la solution prioritaire
Enregistrer les données et les faits
Formuler
Explorer
Analyser le pb
Analyser les causes
Programmer la solution
Evaluer la solution et ses effets
Améliorer par le traitement des problèmes
Réflexion
PIMLIG, N.MANDRAN Mars 2012
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche »
NUMERIQUE
Expérience
VERBAL
Percevoir l’existence d’un pb
Dégager le pb prioritaire
Déterminer la solution prioritaire
Enregistrer les données et les faits
Formuler
Explorer
Analyser le pb
Analyser les causes
Programmer la solution
Evaluer la solution et ses effets
Capitaliser le « progrès »
Réflexion
PIMLIG, N.MANDRAN Mars 2012
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche »
Exprimer
Percevoir l’existence d’un pb
Dégager le pb prioritaire
Déterminer la solution « prioritaire »
Enregistrer les données et les faits
Formuler le problème
Explorer coté recherche:
Explorer auprès des utilisateurs
Analyser les « idées du terrain »
Co-concevoir et Programmer la solution
Evaluer la solution et ses effets
Proposer des perspectives
Etat de l’art : recherche, sociétal, industriel
Etude qualitative : entretien focus-group
Séance de co-conception, focus-group
Expérimentation « instrumentée »
Exprimer et Mesurer
PIMLIG, N.MANDRAN Mars 2012
A partir des questions ou des hypothèses de recherche
Exploration préalable : Etat de l’art, base brevet, études sociologiques, recensement
Explorer : qualitatif Co-concevoir : qualitatif Evaluer : Quantitatif et qualitatif
PIMLIG, N.MANDRAN Mars 2012
Le « Grand public » ◦ pour connaitre l’utilisation qu’ils font d’un logiciel◦ Pour connaitre leurs habitudes et leurs opinions◦ Pour connaitre leur vocabulaire, leurs représentations
Des professeurs, des élèves◦ pour comprendre leur pratiques d’enseignants◦ Pour leur faire évaluer des copies ◦ Pour connaitre leur vocabulaire
Des chirurgiens ◦ pour connaitre les connaissances qu’ils mobilisent pour réaliser une
opération◦ Pour connaitre leur vocabulaire
Des élèves ◦ Pour connaitre l’utilisation qu’ils font d’un logiciel
Des experts en informatiques◦ Pour connaitre leur vocabulaire ◦ Pour leur faire valider des dictionnaires et des représentations
PIMLIG, N.MANDRAN Mars 2012
PIMLIG, N.MANDRAN Mars 2012
Quoi ? Objectifs ◦ Explorer un domaine ◦ Co concevoir ◦ Evaluation
Sur quoi ? Les enjeux◦ Applications logicielles◦ Des modes d’interactions◦ Des concepts◦ Des méthodes◦ Des langages◦ Des formalismes
Où ? ◦ In vitro ou in situ ◦ (écologique)
PIMLIG, N.MANDRAN Mars 2012
Comment ? ◦ Méthodes qualitatives
Entretien individuel Focus group Observation Magicien d’oz, … Des photos, des vidéos , Des schémas
Données produites : Audio, photo, schémas, des carnets de bord, …..
Analyse thématique, carte heuristique, Etude de schéma, …
◦ Méthodes quantitatives Questionnaire quantitatif Tests de produits Captures d’activités, …
Données produites : traces d’activités, réponse à un questionnaire, ….
Analyse de stat classique, analyse séquentielle.
PIMLIG, N.MANDRAN Mars 2012Le plus souvent, mettre en place des méthodes complémentaires
Usages, Utilisation, Pratiques Fréquences, Satisfaction, Besoins, Attentes, Efficacité, utilisabilité, Appropriation, Durée Stratégies d’utilisation, Traces d’activités , …
PIMLIG, N.MANDRAN Mars 2012
Problème posé : L’homme a toujours aimé façonné son habitat, en est il de même avec les outils techniques issus des nouvelles technologies
◦ Connaitre l’utilisation des objets du quotidien ?
◦ Connaitre l’aptitude, l’envie des personnes à composer ces outils ?
◦ Imaginer un moyen d’interaction pour composer ces services ?
LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012
Qui ? Quelles méthodes ? Où ? Quel matériel ? Quelles données produites ? Données de cadrage ? Combien de personnes ?
PIMLIG, N.MANDRAN Mars 2012
Qui ? 18 ménages Comment ?
◦ Une étude des données existantes◦ Rencontre avec les professionnels du secteur◦ Une étude des méthodes d’investigations présentes
dans le domaine : Cultural probes◦ Création d’une méthode appropriée
LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012
Une méthode qualitative basée sur une prise de photo et des entretiens ◦ Un questionnaire sur l’utilisation de l’informatique et de la notion du
bricoleur en informatique ◦ Une prise de photo 2 objets dans 5 pièces par les deux personnes du
ménage : Un utile et indispensable Un inutile dont ils ne peuvent se passer
◦ Une discussion sur la raison du choix de ces objets◦ Une application qui choisit au hasard deux objets et les personnes doivent
imaginer qui peut être rendu par cette association
◦
PIMLIG, N.MANDRAN Mars 2012
Résultats ◦ 360 idées de services rendus par le couplage d’objets
Analyse statistique sur le lien entre les fonctionnalités intrinsèque des objets et le service rendu
◦ 8 classes de besoins et l’organisation de ces classes Analyse thématique pour faire émerger et synthétiser les types
d’applications à prévoir. Les manques
◦ Pas de vision claire du bricoleur de l’informatique ◦ La composition des services notion de transitivité
◦
LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012
Carnet de bord
Cultural Probes
Le magicien d’Oz
PIMLIG, N.MANDRAN Mars 2012
Méthodes issues de l’Anthropologie, la Sociologie, la Psychologie, des Sciences cognitives, de la Gestion, du Marketing, ……
IMAGINEZ
Problème SI : Comment faire élaborer de manière collaborative une procédure de travail
Avant : rencontrer les acteurs du processus les uns après les autres => long et fastidieux pour les acteurs et celui qui rédige, de nombreux aller-retour
Après : méthode Isea
PIMLIG, N.MANDRAN Mars 2012 LIG/équipe Sigma
Elaboration, conception et tests par les chercheurs
Tests avec les utilisateurs :
première phase Modification par les
chercheurs
Tests avec les utilisateurs : deuxième
phase
Tests avec les utilisateurs :
troisième phase
Modification par les
chercheurs
Modification par les
chercheursMéthode (T1) et Application
(T2)
PIMLIG, N.MANDRAN Mars 2012 LIG/équipe Sigma
Comment : un entretien pour connaitre les acteurs, des focus group pour tester et améliorer la méthode.
LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012
Analyses produites
◦ Le premier entretien donne le nom des acteurs et éventuellement des premières pistes
◦ A partir de l’observation du comportement des utilisateurs dans les focus group, recueillir la compréhension de la méthode. (mise à plat de la procédure)
◦ Lors des phases deux et trois, analyser par observation leur niveau de compréhension du graphe BPMN produit et la compréhension de la suite de la méthode. (difficultés sur la procédure, améliorations)
PIMLIG, N.MANDRAN Mars 2012 LIG/équipe Sigma
LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012
Problème IHM : Une application avec des nouveaux modes d’interaction sur iPhone
Comment : protocole « classique » Un groupe contrôle avec l’application iPhone classique
et un groupe par mode. Environ 10 personnes par mode soit 30 personnes Capture des gestes sur l’interface : temps de
réalisation d’un geste et précision de ce geste Analyse statistique « classique » avec comme
hypothèse : les nouveaux modes d’interactions sont meilleurs en terme de précision et rapidité
Questionnaire sur les habitudes et les usages de l'iPhone avant l’expé
Questionnaire de débriefing sur les perceptions de ces nouveaux modes : utilisabilité Brookes 93 (SUS) , …
LIG/équipe IIHMPIMLIG, N.MANDRAN Mars 2012
Variables de contrôles◦ Genre, signe, âge, spécialité
Facteur expérimental◦ Mode d’interaction : time over, touch over, apple touch
Variables mesurées◦ Les actions : temps de réalisation d’un geste et
précision de ce geste ◦La succession des clics : traces d’activités
PIMLIG, N.MANDRAN Mars 2012
Variable dépendantes (à expliquer)◦ En général les variables mesurées
Le type d’actions Le nombres d’actions La précision, …..
◦ Mais aussi de nouvelles variables créées à partir des variables mesurées La durée entre chaque actions
Variable indépendantes (explicatives) ◦ En général, le facteur expérimental
Le type de mode d’interaction
◦ Mais aussi les variables de contrôle Genre, signe, âge, spécialité
◦ Ou de nouvelles variables créées à partir des variables mesurées ou de combinaisons des facteurs expérimentaux ou des variables de contrôles Combinaison genre et Spécialité : « Femme âge < 25 ans », « Femme âge > 25
ans » «Homme âge <25 ans » « Homme âge > 25 ans »
PIMLIG, N.MANDRAN Mars 2012
Variable quantitative◦ Mesurable ◦ Ayant une unité, un étalon◦ Le nombre de cette mesure à du sens ◦ Possibilité de faire des opérations mathématiques ou des mises en classes
Exemple : le nombre d’actions, la durée des actions, ◦ Un cas particulier les variables ordinales, les séries chronologiques
Variable qualitative ◦ ne relèvent pas d’un processus comptable ou numérique◦ n’ont pas d’unité de mesures◦ ne sont pas des nombres, si c’est le cas ce nombre n’a pas de sens quantitatif◦ Les valeurs de la variable sont des modalités
Exemple : Genre : 2 modalités Homme et Femme, Diplôme : 3 modalités : inf au bac, bac, bac et plus, Spécialité : informatique, didactique, autre ◦ Possibilité de faire des regroupement de modalités◦ De mettre en classes une quantitative => la rendre qualitative
Variable séquentielle◦ le contenu s’inscrit en séquence : le cas des traces d’activités sur une interface ◦ « time-codée », ou « ordonnés » (ordre des actions, temporalité , fréquence) ◦ associée ou non à des paramètres qui viennent préciser l’action
PIMLIG, N.MANDRAN Mars 2012
Datamining …. ?
PIMLIG, N.MANDRAN Mars 2012
Production de données
Validation des données
Analyse des données
Interprétation des résultats
PIMLIG, N.MANDRAN Mars 2012
Pourquoi ? ◦ Pour étudier sur le long terme des pratiques afin de
concevoir des applications et les évaluer Objet d’étude : Une application pour le suivi des
élèves dans une classe de TP d’électricité, Qui ? Des profs de physiques
Autre objet : Une application pour l’apprentissage de la chirurgie orthopédique ? Qui ? Des chirurgiens, des étudiants en médecine
PIMLIG, N.MANDRAN Mars 2012
Explorer : 4 Profs « experts » ◦ Recenser les pratiques des enseignants de Physique◦ Repérer les scénarios pédagogiques utilisés◦ Connaitre les pratiques en termes de suivi d’une classe
Co concevoir une application : 4 Profs « experts » ◦ Faire une maquette, La faire évaluer◦ Proposer un prototype, Le faire évaluer
Evaluer l’application : 15 profs « autres », 15 étudiants ◦ Mesure des pratiques◦ Formation au scénario pédagogique◦ Formation au logiciel◦ Test du logiciel◦ Utilisation => traces d’activités ◦ Questionnaire sur l’utilisabilité
LIG/équipe METAHPIMLIG, N.MANDRAN Mars 2012
Un besoin d’explorer important pour innover dans les recherches en intelligence ambiante
De disposer de méthodes d’investigations Un « coût » différent selon les types d’études
◦ Evaluation : rapide à réaliser, permet des mesures quantifiées plus prisées dans les publications
◦ Exploration et co-conception sont « chronophages »
PIMLIG, N.MANDRAN Mars 2012
Problématique de recherche
Etat de l’art
Proposition de recherche Concept – méthode – logiciel
Phase expérimentaleSHS
Analyse des résultats
Publication des résultats
Conception et réalisation d’un prototype
Déploiement, finalisation du prototype
Communication, valorisation
Ecole doctorale . N.Mandran 2011