ingénierie d’aptitude à l'utilisation (ou · l’aptitude à l’utilisation est une...
TRANSCRIPT
Ingénierie d’Aptitude à l'Utilisation (ou Utilisabilité) pour les technologies de
santé / dispositifs médicaux Sylvia PELAYO & Jessica SCHIRO
2 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
1. Qui êtes-vous ? 2. Qu’est-ce que « l’Ergonomie/les Facteurs Humains » pour vous ? 3. Quelle est votre expérience de l’« aptitude à l’utilisation » et des
normes associées ? 4. Quelles sont vos attentes et vos questions spécifiques ?
Faisons connaissance…
3 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le CIC-IT de Lille (Centre d’Investigation Clinique – Innovation Technologique)
Espace partagé, ouvert aux laboratoires de recherche, aux industriels et aux cliniciens.
Mise à disposition des méthodologies, expertises et plateformes techniques consacrées à l’innovation et à l’évaluation des technologies pour la santé
4 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le Living Lab Evalab
www.cic-it-lille.com http://evalab.univ-lille2.fr/
Spécialisé dans l'Ergonomie (ou Facteurs Humains) et l'Ingénierie d'Utilisabilité des technologies de santé et dispositifs médicaux.
Dossier Médical Personnel
Moniteur de la douleur
Aide à la décision pour diabétiques
Stylos auto-injecteurs
Diagnostic in-vitro
Les objectifs de la formation
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 6
Comprendre les exigences de la réglementation européenne concernant « l’ingénierie d’aptitude à l’utilisation » (Usability Engineering) obligatoire pour les dispositifs médicaux (marquage CE)
Objectif général de la formation
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 7
• Comprendre le cadre réglementaire lié à l’ingénierie d’aptitude à l’utilisation
• Connaitre les exigences de la norme IEC 62366 harmonisée à l’exigence essentielle d’ergonomie
• Savoir décrire et mettre en œuvre un processus d’ingénierie d’aptitude à l’utilisation en lien avec les processus de conception et de gestion des risques.
• Identifier et décrire des outils d’évaluation formative et sommative de l’aptitude à l’utilisation
Objectifs détaillés de la formation
Programme de la journée
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 9
Partie conceptuelle 9h – 13h00
13h00 – 14h00 Repas
Partie pratique 14h00 – 16h45
Plan de l’intervention
Quelques définitions
Cadres réglementaires, normatifs et de référence
Méthodologie et méthodes
Mise en application à partir d’un cas d’étude
Partie conceptuelle
Quelques définitions Ergonomie? Facteurs Humains?
Utilisabilité? Aptitude à l’utilisation?
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 12
Ergonomie? Facteurs Humains?
• L’ergonomie (ou Human Factors) est la discipline scientifique qui vise la compréhension fondamentale des interactions entre les humains et les autres composantes d’un système, et la profession qui applique principes théoriques, données et méthodes en vue d’optimiser le bien-être des personnes et la performance globale des systèmes [1]
• Plusieurs domaines de spécialisation : ergonomie physique, ergonomie cognitive, ergonomie des organisations
[1] http://www.iea.cc/whats/index.html
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 13
Ergonomie? Facteurs Humains?
Postures de travail
Manipulation des matériels
Troubles musculo-
squelettiques Ergonomie physique
Concerne les caractéristiques anatomiques, anthropométriques, physiologiques et biomécaniques de l'homme.
Disposition du lieu
de travail
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 14
Ergonomie? Facteurs Humains?
Prise de décision
Formation Charge mentale
Ergonomie cognitive
Concerne les processus mentaux tels que la perception, la mémoire, le raisonnement et la réponse motrice, car ils affectent les interactions entre les humains et les autres éléments d'un système.
Fiabilité
Interaction Homme-Machine
Stress au travail
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 15
Ergonomie? Facteurs Humains?
Gestion des RH
Travail collectif
Ergonomie organisationnelle
S'occupe de l'optimisation des systèmes sociotechniques, y compris leurs structures organisationnelles, leurs politiques et leurs processus.
Qualité
Conception des temps de travail
Communication
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 16
Utilisabilité?
L’utilisabilité est le degré selon lequel un produit peut être utilisé par des utilisateurs identifiés pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié [2]
• Efficacité: « to do the right things »
• Efficience: « to do the things right »
• Satisfaction: confort et acceptabilité du système de travail
L’utilisabilité est une dimension d’un produit: • Que l’on peut mesurer
• Que l’on peut optimiser
[2] Norme ISO 9241-11:1998
Ergonomie du produit
17 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Aptitude à l’utilisation?
L’aptitude à l’utilisation est une mesure de l’efficacité, du rendement et de la satisfaction avec lesquels des utilisateurs spécifiés atteignent des objectifs spécifiés dans des environnements particuliers, dans les limites de l’utilisation prévue du dispositif médical [3]
Focus sur une dimension particulière :
Protection contre l’erreur d’utilisation liée à un défaut de
l’interface du DM, défaut dû à un problème de conception
[3] IEC 60601-1-6 et IEC 62366
18 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
De façon caricaturale…
ERGONOMIE
UTILISABILITÉ
APTITUDE Á L’UTILISATION
19 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Mise en situation pour appréhender l’utilisabilité
Dessiner une calculatrice avec les fonctions courantes (+/-/*/:) la plus « utilisable » possible
Quelques définitions
Erreur d’utilisation?
21 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples
Source : FDA
Où appliquer le patch ? Appliquer le patch sur un seul des sites possibles chaque jour
22 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples
Dysfonctionnement : « Il est
possible d’appuyer sur la molette
en pensant avoir réalisé l’injection,
mais le liquide ne sort pas »
« Le stylo a tendance à se
bloquer »
=> Un nombre significatif de
patients n’a pas reçu la bonne
dose
Source : LIBERATION Février 2012
23 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples
En Allemagne, 47 cas d’erreur d’implantation ont été reportés entre mai 2006 et mars 2007, au moins 34 patients ont du être réopérés.
Les chirurgiens ont implanté sans ciment des implants destinés à être posés avec du ciment osseux
Prothèses fournies par des fabricants américains disponibles en 2 versions : • une pour utilisation avec du ciment, • l’autre sans.
Problème : Étiquetage mentionnant « non-modular cemented », traduit par erreur comme « non-cimentée » ou « sans ciment » alors que la prothèse était en fait « non-modulaire » mais à utiliser avec du ciment.
Ces mentions étaient indiquées uniquement en anglais, et non en allemand comme exigée dans la loi allemande.
Source : Fakler et al., 2013
24 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples
Actes de radiothérapie largement tributaires des conditions d’usage, sans négliger d’autres facteurs relatifs notamment à la formation des personnels.
Plusieurs causes ont été identifiées : Notices d’instructions pas toujours disponibles en
français,
Interface homme-machine en langue anglaise (~50%),
Formation utilisateur délivrée parfois en langue anglaise,
Prise en compte insuffisante des facteurs humains dans la conception des dispositifs (saisie, affichage des données, etc)
Source : ANSM
25 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Violation principe d’utilisabilité => Effet indésirable
Erreur d’utilisation
Principe d’utilisabilité
Défaut d’utilisabilité
Effet indésirable
Clairement distinguer la zone d’injection
Zone d’injection non clairement distinguée
L’utilisateur le saisit à l’envers => Injection
dans le pouce
1- Pas d’injection du produit => Risque de
mort 2 - Risque de nécrose
du pouce
Violation
Quelques définitions
Usages?
27 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Appropriation à plus long terme…
Connaissance pratique acquise par l’expérience (Wiktionary.org)
Dimensions UTILITÉ (Pertinence pour les objectifs visés)
UTILISABILITÉ (Facilité d’utilisation et d’apprentissage)
ACCEPTABILITÉ (Adéquation aux attentes/caractéristiques, valeurs, culture, motivation, etc)
28 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Importance du contexte…
OUTIL LUI-MÊME (Principes de conception)
Mais aussi…CONTEXTE D’USAGE
Utilisateurs
Conditions d’usage
29 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Principes d’utilisabilité du marteau: Formes, poids, de la tête, de la panne, du manche
=> Principes de conception génériques
Importance du contexte…
30 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Marteau de charpentier Marteau de couvreur
Marteau de forgeron Marteau de maçon
Importance du contexte d’usage Spécification des principes d’utilisabilité
Importance du contexte…
Cadre réglementaire
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 32
§ - 93/42 EWG Medical Devices
- AAMI/ANSI HE 75 HF Design Principles
§ - 21 CFR 820.30 Design Control
- Applying HF and UE to MD FDA Guidance Paper
§ - 90/385 EEC Active Implantable Devices
§ - 93/42 EWG In-Vitro Diagnostic Devices
- List of High Priority Devices FDA Draft Guidance Paper
- ISO 13485 Quality-Management Standard
- ISO 14971 Risk-Management Standard
- IEC 62366 - IEC 60601-1-6 Usability-Engineering Standard
- IEC TR 62366-2 Usability-Engineering Guidance
Lois
N
orm
es
Gu
ides
Source : GRUCHMANN / Use-lab
Réglementation du DM
33 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Directive 93/42/CEE modifiée par Directive 2007/47/CE
=> Nouvelle Exigence Essentielle
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 34
§ - 93/42 EWG Medical Devices
- AAMI/ANSI HE 75 HF Design Principles
§ - 21 CFR 820.30 Design Control
- Applying HF and UE to MD FDA Guidance Paper
§ - 90/385 EEC Active Implantable Devices
§ - 93/42 EWG In-Vitro Diagnostic Devices
- List of High Priority Devices FDA Draft Guidance Paper
- ISO 13485 Quality-Management Standard
- ISO 14971 Risk-Management Standard
- IEC 62366 - IEC 60601-1-6 Usability-Engineering Standard
- IEC TR 62366-2 Usability-Engineering Guidance
Lois
N
orm
es
Gu
ides
Source : GRUCHMANN / Use-lab
Réglementation du DM
Directive 2007/47/CE (Ed. 2007; 2015)
Dispositifs électromédicaux (Ed. 2005; 2007; 2010)
Cadre normatif
IEC 62366
36 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le Processus d’Ingénierie d’Aptitude à l’Utilisation (PIAU) Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
User interface specifications
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Hazards-related use scenarios for
summative evaluation
Source : IEC 62366 Review of postproduction information
37 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
User interface specifications
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Hazards-related use scenarios for
summative evaluation
Intended use
Characteristics related to safety
Hazards & sequences of events leading
to hazardous situations
Risks
Overall residual risk acceptability
Risk management
Production and post-market information
Risks control measures
PIAU vs. Gestion des risques
Source : IEC 62366 Review of postproduction information
38 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
User interface specifications
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Hazards-related use scenarios for
summative evaluation
Intended use
Characteristics related to safety
Hazards & sequences of events leading
to hazardous situations
Risks
Overall residual risk acceptability
Risk management
Production and post-market information
Risks control measures
PIAU vs. Gestion des risques
Source : IEC 62366 Review of postproduction information
39 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le P.I.A.U.
• Concerne tout le cycle de vie du produit, i.e. le transport,
le stockage, l’installation, le fonctionnement, la
maintenance, la réparation et l’élimination (§ 4.1.1. IEC
62366-1)
• Les évaluations (formatives et sommatives) intègrent
également la documentation d’accompagnement et la
formation (§ 5.7.3. et 5.8. IEC 62366-1)
40 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le dossier d’aptitude à l’utilisation
• Tous les enregistrements et les documents ne font pas
forcément partie du dossier en lui-même mais des
références doivent permettre d’y accéder facilement
• Doit permettre de vérifier le bon suivi d’un P.I.A.U. pour
chacune des étapes
• Doit spécifier les risques maitrisés et les risques résiduels
(en lien avec le processus de gestion des risques)
• Doit valider l’aptitude à l’utilisation
41 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le cadrage de l’effort
Niveau d'effort et choix des méthodes et outils peuvent varier selon :
a. La taille et la complexité du DM
b. La gravité du dommage
c. L'étendue ou la complexité de la spécification d’utilisation
d. L’importance de la modification du DM existant
e. La présence d’une Interface Utilisateur d’Origine Inconnue
Source : § 4.3. IEC 62366-1
42 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les Interfaces Utilisateur d’Origine Inconnue (UOUP)
DM déjà commercialisées avant cette réglementation => Interface utilisateur d’origine inconnue par rapport au PIAU (Si modifications, seules les parties non modifiées = UOUP)
=> Exploitation des données déjà disponibles (informations postproduction et évaluation des risques)
Source : Annexe C (normative) IEC 62366-1
Cadre de référence
Conception Centrée Utilisateur (Norme renvoie à « Human Factors Engineering », ANSI/AAMI HE48, HE74, HE75)
44 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les principes
Implication active des utilisateurs
Conception pluridisciplinaire (concepteurs, marketing, utilisateurs, ergonomes, formateurs, etc.)
Evaluation itérative des solutions de conception
« Prouver » / Montrer l’atteinte des exigences et la « qualité ergonomique » du produit
Source : ISO 9241-210
45 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le processus ISO 9241-210:2010 – Ergonomie de
l’interaction homme-système – Partie 210: Conception centrée sur l’opérateur humain
pour les systèmes interactifs
Comprendre et spécifier le
contexte d’utilisation
Spécifier les exigences
utilisateurs et organisationnelles
Produire des solutions de
conception
Evaluer les solutions au regard
des exigences prédéfinies
Planifier le processus de conception centrée utilisateurs
Exigences atteintes
Source : ISO 9241-210
46 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le processus
Comprendre et spécifier le
contexte d’utilisation
Spécifier les exigences
utilisateurs et organisationnelles
Produire des solutions de
conception
Evaluer les solutions au regard
des exigences prédéfinies
Spécifier : - Population cible et caractéristiques - Buts et tâches - Environnements =>Prendre en compte les besoins, compétences et environnement de travail (ou d’usage)
Source : ISO 9241-210
47 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le processus
Comprendre et spécifier le
contexte d’utilisation
Spécifier les exigences
utilisateurs et organisationnelles
Produire des solutions de
conception
Evaluer les solutions au regard
des exigences prédéfinies
En extraire des exigences précises pour la conception du produit (e.g. cas d’utilisation,…)
Source : ISO 9241-210
48 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le processus
Comprendre et spécifier le
contexte d’utilisation
Spécifier les exigences
utilisateurs et organisationnelles
Produire des solutions de
conception
Evaluer les solutions au regard
des exigences prédéfinies
- Matérialiser les solutions - Les modifier au regard des retours
Source : ISO 9241-210
49 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le processus
Comprendre et spécifier le
contexte d’utilisation
Spécifier les exigences
utilisateurs et organisationnelles
Produire des solutions de
conception
Evaluer les solutions au regard
des exigences prédéfinies
- Vérifier la conception au regard des exigences - Estimer un degré « d’importance » selon les défauts de conception résiduels
Source : ISO 9241-210
50 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
CCU vs. PIAU
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
User interface specifications
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Hazards-related use scenarios for
summative evaluation
Comprendre et spécifier le contexte
d’utilisation
Spécifier les exigences utilisateurs et
organisationnelles
Produire les solutions de conception
Evaluer les solutions au regard des
exigences prédéfinies
Méthodologie & Méthodes
52 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes citées dans la norme Ed. 1 (Annexe D, IEC 62366)
Processus d’Ingénierie d’Aptitude à l’Utilisation
Méthodes
Analyse du contexte d’utilisation - Enquête contextuelle et observation - Interviews - Analyse des tâches - Questionnaires et enquêtes
Spécification des exigences et conception
- Comparaison de dispositifs médicaux et analyse fonctionnelle - Conception participative - Fabrication de prototypes - Questionnaires et enquêtes
Evaluation - Révision cognitive - Audit de conception - Revues d’experts - Analyse heuristique - Environnements cliniques simulés et essais sur le terrain - Rapport d’essai de l’aptitude à l’utilisation - Analyse d’erreur d’utilisation - Evaluation de la charge de travail
Méthodologie & Méthodes
1ère phase
54 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
Comprendre et spécifier le contexte
d’utilisation
55 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les exigences
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
- l’indication médicale prévue, - la population de patients prévue, - le profil de(s) l’utilisateur(s) prévu(s), - la partie du corps ou le type de tissu visé(e) - l’environnement d’utilisation, - …
Moniteur PATIENT multiparamètres : indiqué chaque fois qu’il est nécessaire de surveiller les paramètres physiologiques d’un PATIENT.
Cathéter pour septostomie : cathétérisme indiqué pour l’angiographie des vaisseaux et/ou cavités cardiovasculaires.
EXEMPLES
Stérile ou non Hôpital ou domicile Usage unique ou réutilisable
Source : § 5.1. IEC 62366-1
56 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les exigences
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
- si le DM est interprétatif, - si le DM est destiné à être régulièrement
nettoyé et désinfecté ou nettoyé et stérilisé,
- si le DM nécessite une formation particulière,
- …
Erreur d’utilisation potentielle : L’utilisateur n’utilise pas « tel produit de désinfection »
EXEMPLES
Erreur d’utilisation potentielle : Sans formation, l’utilisateur peut mal interpréter « telle et telle » données
Source : § 5.2. IEC 62366-1
57 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les exigences
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
EXEMPLES
Bout pointue d’aiguille (aiguille infectée)
DANGERS SCENARIO RELATIF AU DANGER
Après l’insertion d'un cathéter intraveineux, le médecin pose une aiguille non protégée et utilisée sur les draps du lit d’hôpital.
Le médecin oublie de retirer l’aiguille.
Un aide-soignant change les draps du
lit.
L’aiguille non protégée se trouve sur le lit d’hôpital.
L’aide-soignant souffre d’une piqûre d’aiguille.
Chute sur sol dur
Mécanisme de verrouillage de la barre de retenue du lit d’hôpital difficile à enclencher. L’infirmière ne parvient pas à reconnaître que la barre de retenue n’est pas complètement
enclenchée.
La barre de retenue n’est pas correctement enclenchée.
Le PATIENT se retourne sur un côté, s’appuyant contre la barre de retenue. La barre de retenue tombe et le PATIENT fait une chute par terre.
Source : § 5.3 et 5.4. IEC 62366-1
58 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les exigences
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
Le FABRICANT doit sélectionner : - tous les scenarios d’utilisation relatifs au phénomène dangereux, OU - le sous-ensemble des scenarios d’utilisation relatifs au phénomène dangereux sur la base de la gravité du dommage potentiel
Source : § 5.5. IEC 62366-1
59 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Utilisateurs? (profil, formation, expérience, etc.)
Tâches? (soutenues par le DM)
Contexte d’utilisation : déterminants? (organisationnels, cognitifs, physiques)
Interface utilisateur? (DM et outils avec lesquels il interagit)
Dangers et situations dangereuses?
Scenarios d’utilisation relatifs aux dangers?
=> Quels sont les besoins des utilisateurs?
(Besoins perçus/exprimés ≠ besoins réels)
Les objectifs
60 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les méthodes
Analyse du contexte d’usage : - Usage normal :
• Enquête contextuelle • Entretiens auprès d’usagers représentatifs • Observations des usages • Questionnaires
- Risques et situations dangereuses • Technique des Incidents Critiques (TIC) • AMDEC (Analyse des modes de défaillance de leurs effets et criticité)
Analyse des retours connus sur des DM similaires - Etat de l'art, Expérience acquise avec des DM existants ou similaires, Rapports de
surveillance après mise sur le marché, …
- ISO 9241-11 & ISO/IEC WD 25063 : Spécification contexte d’usage - ISO 20282-1 : Contexte d’usage pour des produits de tous les jours
Méthodologie & Méthodes
2ème phase
62 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
User interface specifications Spécifier les exigences utilisateurs et
organisationnelles
Sur la base des informations collectées au cours des étapes précédentes, la spécification de l’interface utilisateur contient les exigences de conception détaillées et pouvant être soumises aux essais, afin d'assurer que les risques du DM provoqués par les problèmes d’aptitude à l’utilisation sont acceptables.
Les exigences
EXEMPLES
Bout pointue d’aiguille (aiguille infectée)
Mécanisme de protection du corps de l’aiguille
Chute sur sol dur
Mécanisme de la barre de retenue simple à utiliser.
Indication visible montrant qu’il n’est pas enclenché.
Mécanisme en deux étapes pour déverrouiller la barre de retenue.
Source : § 5.6. IEC 62366-1
63 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les objectifs
Quelles sont les exigences d’usage? - « Doit être utilisé dans telles conditions »
- « Doit contenir telles fonctions »
- …
64 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les méthodes
Conception participative
Questionnaires
Personas
Storyboards
Scenarios d’usage
…
Méthodologie & Méthodes
Dernières phases
66 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Produire les solutions de conception
Evaluer les solutions au regard des
exigences prédéfinies
67 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
- Des résultats obtenus avec une seule méthode peuvent être insuffisants
- Evaluation formative : pas de critères formels d’acceptation. L'objectif est de répéter la conception pour obtenir un niveau de qualité spécifié et pour augmenter la probabilité que l’évaluation sommative finale de l’AU puisse être effectuée avec succès.
- Evaluation sommative : critères formels d'acceptation. Il est requis de documenter ces critères permettant de déterminer si l’utilisateur a effectué avec succès les tâches associées aux scenarios d’utilisation relatifs aux phénomènes dangereux.
Source : § 5.7. IEC 62366-1
Les exigences
EXEMPLES Erreur d’utilisation : l’utilisateur saisit 100mg au lieu de 10 mg Utilisation correcte : l’utilisateur saisit 10 mg Difficulté d’utilisation : l’utilisateur signale que l’écran est difficile à lire et ne peut pas vérifier le chiffre saisi
68 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Source : § 5.8. IEC 62366-1
Les exigences
- Conception focalisée sur les besoins et les exigences de l’utilisateur
- PIAU doit commencer tôt, processus itératif
- Equipe pluridisciplinaire
69 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les objectifs de l’évaluation formative
SUPPORT A LA CONCEPTION :
Pour avoir des retours sur les forces/faiblesses du produit
Pour vérifier si les exigences utilisateurs sont atteintes ou non
70 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Source : § 5.9. IEC 62366-1
Les exigences
- Personnes responsables de la conception ne peuvent pas faire l’évaluation sommative
- Si erreurs d’utilisation (ou problème), alors analyser les données pour identifier la cause profonde, ce à partir des performances mais aussi des commentaires subjectifs de l’utilisateur
71 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les objectifs de l’évaluation sommative
VALIDATION DE L’APTITUDE A L’UTILISATION :
Plus de risques d’erreur d’utilisation raisonnablement prévisible non acceptable
Effectuée sur la version finale, version pour commercialisation
Valide que la conception permet aux utilisateurs d’interagir avec le DM avec une probabilité faible ou quasi nulle de commettre des erreurs d’utilisation dangereuses
72 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les méthodes de l’évaluation formative
Ballade cognitive (« cognitive walkthrough »)
Analyse heuristique
Audit de conception
Revues d’experts
Environnements cliniques simulés et essais sur le terrain
Evaluation de la charge de travail
…
73 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Le cognitive walkthrough
Sans les utilisateurs réels
Évaluateur en position « d’utilisateur type »
Simule la réalisation de plusieurs tâches ou d’un scénario et utilise le produit (parcours hypothétique des utilisateurs finaux) en se posant à chaque fois une série de questions (e.g. le bouton est-il visible? Ai-je réaliser la bonne action? )
Nécessite une analyse approfondie de données concernant les utilisateurs finaux
74 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
L’analyse heuristique
Sans les utilisateurs réels
Inspection du produit selon le respect ou non d’une liste de critères ergonomiques/heuristiques
3-5 évaluateurs entraînés
Nielsen (1994)
Acceptable si associée à une autre technique
d’évaluation
Liste de Scapin et al, 1997 GUIDAGE CHARGE DE TRAVAIL GESTION DES ERREURS HOMOGENEITE COMPATIBILITE CONTRÔLE EXPLICITE ADAPTABILITE SIGNIFIANCE DES CODES
75 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
L’analyse heuristique
A SUIVRE A NE PAS SUIVRE
Ce critère concerne l’adéquation entre l’objet ou l’information affichée ou entrée, et son référent. Des codes et dénominations « signifiants » disposent d’une relation sémantique forte avec leur référent.
DEFINITION DE LA SIGNIFIANCE DES CODES
76 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Environnements cliniques simulés / Tests utilisateurs
Avec les utilisateurs réels
Appelé « Essai d’aptitude à l’utilisation »
« Early and often », dès qu’on a un prototype
Petits échantillons de sujets : N=5 / profil d’usagers [4]
Scénarios, protocole reproductible
Collecte et codage des données
Technique du « penser tout haut » + Questionnaire de satisfaction (SUS)[5]
[4] Virzi, 1992 ; ANSI/AAMI HE75 [5] Bangor et al., 2008
77 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Les méthodes de l’évaluation sommative
Essais d’aptitude à l’utilisation (Tests utilisateurs) En laboratoire Sur simulateur En situation réelle
- Observations/enregistrements - Analyse d’incidents - …
78 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Essai d’aptitude à l’utilisation
Même méthodologie générale que les tests utilisateurs de l’évaluation formative, sauf :
- Un minimum de 15 sujets par profil d’usagers [6]
- Des scénarios d’utilisation relatifs aux phénomènes dangereux obligatoires
- Des critères d’acceptabilité
- Pas de technique du « penser tout haut »
- Pas de questionnaire de satisfaction
[6] Annexe A, ANSI/AAMI HE75
A retenir
80 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Quelques critères d’évaluation
• Attention à bien considérer le contexte RÉEL
• Application correcte des méthodes, par exemple Analyse heuristique : combien d’évaluateurs? Quelle liste de critères? …
Cognitive walkthrough : Présence de scenarios? Comment sont-ils établis?
• Les personnes impliquées dans la conception/développement ne doivent pas être impliquées dans l’évaluation
• Les utilisateurs sont-ils représentatifs?
• Y a-t-il des enregistrements des évaluations?
• Penser à la cohérence de votre dossier
Les enjeux aujourd’hui
82 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
• Grande variété de produits, d’utilisateurs, d’environnements
• « Assimilation déformante » de la norme d’aptitude à l’utilisation
• Conflits avec certaines autres normes
• Norme d’aptitude à l’utilisation focalisée sur UN produit
• Difficultés pour l’analyse des données existantes sur des DM similaires
• Evaluations sommatives : peuvent être couteuses, difficultés à recruter des participants (patients ou professionnels)
Mise en application
et cas d’étude
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 84
Le dispositif médical
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 85
Le dispositif médical
Un moniteur innovant de surveillance de la douleur (classe IIb):
- Nouvel indicateur, l’ANI (Index de Nociception Analgésique) : mesure normalisée et continue du tonus parasympathique (pΣ) qui fait partie du système nerveux autonome
- L’index ANI est exprimé sur une échelle de 0 à 100 et reflète l’activité du système nerveux sympathique
- Les phénomènes de douleur, peur et anxiété sont accompagnés d’un diminution de la variabilité du rythme cardiaque
- Récupération du signal ECG provenant d’un moniteur classique de bloc opératoire
- Moniteur utilisé pendant les blocs opératoires, Anesthésie générale de l’adulte
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 86
Le dispositif médical à marquer CE
87 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
User interface specifications
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
Hazards-related use scenarios for
summative evaluation
Comprendre et spécifier le contexte
d’utilisation
Spécifier les exigences utilisateurs et
organisationnelles
Produire les solutions de conception
Evaluer les solutions au regard des
exigences prédéfinies
Le processus attendu
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 88
Comprendre et spécifier le contexte d’utilisation pour documenter les spécifications d’utilisation et
les dangers
Quelles méthodes ?
Comment s’assurer que ce que vous proposez est
conforme aux exigences?
A vous de jouer!
Use specification
User interface characteristics related to
safety and potential use errors
Known or foreseeable hazards &
hazardous situations
Hazards-related use scenarios
Hazards-related use scenarios for
summative evaluation
89 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes
1. Analyse des retours connus
- Analyse de la littérature (scientifique, grise)
- Analyse des bases de report d’incidents (e.g. MAUDE)
o Ici DM innovant, mais moniteurs de surveillance existent depuis longtemps
- Retours des usagers au fabricant sur le DM (études cliniques)
- Analyse des documents existants (manuel, dossier de gestion des risques)
- Echanges avec le fabricant
o Points de vue complémentaires (ingénieur (conception et développement), clinicien, commercial).
90 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes
2. Analyse du contexte d’usage
- Observations sur site / Entretiens avec les professionnels
o Qui ? o Pour faire quoi ? o Comment (enchainements des tâches) ?
Quelle est la nature de la tâche soutenue par le DM?
o Contexte (organisationnel, technique/physique, cognitif) ?
- Représentativité des situations observées
o 2 services d’anesthésie (traumato et réa) o 2 types d’intervention
Lourde : prothèse de la hanche Légère : arthroscopie
91 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Spécifications d’application
Indication médicale prévue. Moniteur de la composante analgésique de l’anesthésie qui a pour objectif d’optimiser l’administration des produits antidouleurs pour éviter les épisodes faisant souffrir les tissus de l’organisme […]
Population de patients prévue. Index validé sur les patients en anesthésie générale
Partie du corps ou type de tissus visés… NA
Profil de l’utilisateur visé. Médecin Anesthésiste Réanimateur (MAR)
Conditions d’utilisation prévues. o Environnement : Moniteur utilisé dans un contexte per opératoire […]
o Mobilité : Dispositif transportable mais non déplaçable en fonctionnement (pas de batteries)
Principe de fonctionnement : o Méthodes physiques utilisées : Récupération du signal ECG provenant d’un moniteur
classique de bloc opératoire, signal sur lequel on effectue un traitement mathématique pour obtenir un index d’Analgésie […]
o Mécanismes de fonctionnement : Mesure physiologique liée à la respiration permettant de tester la quantité de tonus parasympathique chez le patient […]
92 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Spécifications d’application
Indication médicale prévue. Moniteur de la composante analgésique de l’anesthésie qui a pour objectif d’optimiser l’administration des produits antidouleurs pour éviter les épisodes faisant souffrir les tissus de l’organisme […]
Population de patients prévue. Index validé sur les patients en anesthésie générale
Partie du corps ou type de tissus visés… NA
Profil de l’utilisateur visé. Médecin Anesthésiste Réanimateur (MAR), Infirmier Anesthésiste
Diplômé d’Etat (IADE)
Conditions d’utilisation prévues. o Environnement : Moniteur utilisé dans un contexte per opératoire […]
o Mobilité : Dispositif transportable mais non déplaçable en fonctionnement (pas de batteries)
Principe de fonctionnement : o Méthodes physiques utilisées : Récupération du signal ECG provenant d’un moniteur
classique de bloc opératoire, signal sur lequel on effectue un traitement mathématique pour obtenir un index d’Analgésie […]
o Mécanismes de fonctionnement : Mesure physiologique liée à la respiration permettant de tester la quantité de tonus parasympathique chez le patient […]
93 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Caractéristiques de l’interface utilisateur relatives à la sécurité
DM essentiellement interprétatif. Attention toute particulière à la compréhension des informations fournies.
DM nécessitant une formation. Attention toute particulière à la formation fournie (contenu, organisation)
DM utilisé dans un environnement complexe et encombré. Il existe des sources d’information complémentaires pouvant être conflictuelles du point de vue de l’interprétation des informations
DM nécessitant la vérification de la qualité du signal récupéré Il existe des situations où le moniteur ne peut pas être utilisé (e.g. pathologies altérant le système nerveux autonome)
Parfois le signal récupéré peut ne pas être fiable « techniquement »
[…]
94 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Phénomènes dangereux et situations dangereuses
PHÉNOMÈNES DANGEREUX ERREURS D’UTILISATION POTENTIELLES
Sens d’orientation de l’ANI doit être correctement interprété
Formation nécessaire pour la compréhension du sens de l’ANI
Sources d’information potentiellement conflictuelles
L’utilisateur interprète en sens inverse l’index de l’ANI et agit en conséquences (i.e. valeur haute interprétée comme une douleur ou inverse)
95 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Phénomènes dangereux et situations dangereuses
PHÉNOMÈNES DANGEREUX ERREURS D’UTILISATION POTENTIELLES
Non validité du signal récupéré dans certaines conditions
L’utilisateur considère l’ANI comme une valeur fiable alors que le patient souffre d’une pathologie du système nerveux autonome et agit en conséquence
96 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Scenarios d’utilisation
La valeur de l’ANI change brutalement de 60 à 85. Le MAR repère ce changement et pense que le patient souffre. Il augmente la dose de Rémifentanil. Le patient reçoit un surdosage inutile d’analgésique.
Le patient souffre d’une pathologie du système nerveux central. Le MAR s’aperçoit pendant l’intervention que la valeur de l’ANI est anormalement basse. Il pense que le patient est parfaitement en confort par rapport à la douleur. Il souhaite éviter les surdosages afin d’ améliorer les suites de l’intervention. Il baisse la dose de Rémifentanil actuellement administrée. Le patient a un sousdosage d’analgésique.
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 97
A vous de jouer!
Spécifications de l’interface utilisateur au regard des dangers et situatinos dangereuses
Quelles méthodes ?
Comment s’assurer que ce que vous proposez est
conforme aux exigences?
User interface specifications
98 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes
Réunions de travail avec le fabricant (concepteur/développeur, clinicien)
99 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Spécifications très générales
L’interface doit fournir à l’utilisateur une indication explicite quant à l’orientation de l’ANI.
L’interface doit notifier à l’utilisateur la bonne ou la mauvaise qualité du signal.
Les éléments permettant de vérifier/contrôler la qualité du signal doivent être mis en saillance pour permettre à l’utilisateur de les repérer rapidement.
CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1 100
A vous de jouer!
(Re-)Conception du DM, évaluation formative de son aptitude à l’utilisation en
conséquences et évaluation sommative finale
Quelles méthodes ?
Comment s’assurer que ce que vous proposez est
conforme aux exigences?
User interface evaluation plan
User interface design, Formative
evaluation
Summative evaluation of the usability of
the user interface
101 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes
Rédaction du plan d’évaluation
Evaluation formative Analyse heuristique Tests utilisateurs formatifs
Evaluation sommative Tests utilisateurs sommatifs
102 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Plan d’évaluation
Méthode des 5W et 1H* - WHO ? Qui conduit et participe au test ? - WHAT ? Qu’est-ce que le test évalue ? - WHERE ? Où le test se déroule t-il ? - WHEN ? Quand se déroule t-il ? - WHY ? Pourquoi est-il conduit ? - HOW ? Comment est-il conduit, documenté et reporté ?
* AAMI/ANSI HE75 : 2009
103 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Evaluation formative & analyse heuristique
Critère Description du problème Conséquences Recommandations Degré de
gravité
Guidage L’interface ne donne aucune information
pour supporter l’interprétation correcte du
sens de l’ANI
L’utilisateur peut
interpréter l’ANI
incorrectement et
injecter une dose
inappropriée
d’analgésique
Proposer des indices
visuels aidant la
compréhension du sens
104 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Critère Description du problème Conséquences Recommandations Degré de
gravité
Gestion
des
erreurs
L’interface affiche une couleur rouge
lorsque le signal n’est pas fiable
« techniquement » ; cependant, il se peut
que l’utilisateur ne le perçoive pas dan le
cours de l’action pour diverses raisons
L’utilisateur peut se
baser sur la valeur de
l’ANI alors que celle-ci
n’est pas fiable et
injecter une dose
d’antalgiques
inappropriée au patient
En plus de la couleur
rouge qualifiant la
qualité du signal, ne pas
afficher la valeur de
l’ANI lorsque celle-ci
n’est pas fiable
techniquement.
Exemples de méthodes : Evaluation formative & analyse heuristique
105 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Evaluation formative & tests utilisateurs
WHO?
5 MAR formés et 5 MAR non formés ; 5 IADE formés et 5 IADES non formés
WHAT?
Liste des phénomènes dangereux identifiés sur la base des scenarios élaborés
WHY?
Evaluation de la maitrise du risque avec la version en cours
WHEN?
En 2 temps : Manipulation du moniteur et Compréhension des informations
Formation pour les concernés 1 semaine avant
WHERE?
En salle de de réunion/Bureau des professionnels ; Au bloc en simulation
HOW?
Organisation générale ; Consignes ; Données recueillies et méthodes de recueil ; Méthodes d’analyse
106 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Evaluation formative & tests utilisateurs
107 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Evaluation formative & tests utilisateurs
WHO?
5 MAR formés et 5 MAR non formés ; 5 IADE formés et 5 IADES non formés
WHAT?
Liste des phénomènes dangereux identifiés sur la base des scenarios élaborés
WHY?
Evaluation de la maitrise du risque et de l’impact de la formation
WHEN?
En 2 temps : Manipulation du moniteur et Compréhension des informations
Formation pour les concernés 1 semaine avant
WHERE?
En salle de de réunion/Bureau des professionnels ; Au bloc en simulation
HOW?
Organisation générale ; Consignes ; Données recueillies et méthodes de recueil ; Méthodes d’analyse
108 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
HOW? Organisation générale
5 min. Présentation du projet / Rappel
Réponses aux questions éventuelles
Recueil du consentement pour leur participation aux tests
Consigne générale
25 min. Passation des tests de manipulation
10 min. Mesure de la satisfaction (Totalité du SUS)
Débriefing : Recueil des commentaires généraux des sujets
109 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
HOW? Consignes
CONSIGNES GENERALES
Bonjour, je m’appelle XX et c’est moi qui vais vous accompagner tout au long de l’essai du dispositif.
C’est un dispositif destiné à récupérer le signal ECG d’un patient via un moniteur classique externe. Il calcule et affiche un Index de Nociception Analgésique, en abrégé A.N.I. Cet index correspond à la réponse physiologique due à la douleur du patient.
L’objectif est ici de tester le branchement et le débranchement de l’appareil ainsi que certaines de ses fonctions. Ce n’est absolument pas vous qui êtes évalué(e), mais bien l’appareil. Il n’y a pas de mauvaises ou de bonnes réponses. Si jamais vous avez des difficultés, c’est que l’appareil n’a pas été conçu correctement. C’est ce que nous voulons évaluer. D’accord ?
Je vais vous demander, si vous le voulez bien, si nous pouvons enregistrer vos propos. Et comme vous pouvez le voir je vais noter vos comportements afin d’analyser ensuite si l’appareil est facile d’utilisation ou non. Je vais vous demander de penser tout haut. Il ne s’agit pas de m’expliquer ce que vous faites, mais de me dire ce qui vous passe par la tête. Cela m’aidera dans mon analyse par la suite.
Vous avez compris ? Avez-vous des questions ?
On peut commencer.
110 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
HOW? Consignes
CONSIGNES DETAILLEES Je vous laisse prendre connaissance du cas. Pouvez-vous me le commenter ?
D’accord, on imagine qu’à 11h30 on fait l’induction. Il est maintenant 13h, et après 1h30 d’intervention, voici les nouveaux paramètres.
Pensez-vous que ces cibles devraient être modifiées, et pourquoi ?
On imagine qu’il est maintenant 15h, nous sommes donc à 2h d’intervention, il y a arrêt de la coeliochirurgie et passage en laparotomie après conversion. Voici les nouveaux paramètres.
CAS CLINIQUE
induction totale IV (base primea) propofol (schnider) ultiva (minto) monitorage par BIS et ANI intubation après curarisation (nimbex) VAC 500x12 O2/AIR 60/40 coeliochirurgie pour angiocholite sur calcul enclavé
Cibles actuelles remifentanil : 4.0 ng/ml propofol : 2.5 µg/ml
111 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
HOW? Données recueillies et méthodes de recueil
Méthodes de recueil
Enregistrement et notes au fil de l’eau
Données recueillies
‒ Explications fournies par l’utilisateur
‒ Prise de connaissance de tous les paramètres nécessaires (FC, CO2, etc.)
‒ Vérification des cas où l’on peut utiliser l’ANI ou non (trouble de rythme, Prise de bétabloqueurs, etc.)
‒ Vérification de la qualité du signal ? (ECG, détection, signal RR)
‒ Action effectuée sur le rémifentanil
‒ Etc.
112 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Evaluation formative & tests utilisateurs
Résultats aux consignes - Un taux moyen pour les participants formés de 100% de réussite et
pour les participants non formés de 31,25%
Réussite aux consignes de test : Sujets Formés (N=5)
5
5
5
5
0% 20% 40% 60% 80% 100%
Cas 1 / Q1 : ANI élevé
Cas 1 / Q2 : stim chir
constant, ANI baisse
Cas 1 / Q3 : stim chir
différent, ANI grimpe
Cas 2 : ANI élevé
Réussite
Echec
113 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Evaluation formative & tests utilisateurs
Résultats aux consignes - Un taux moyen pour les participants formés de 100% de réussite et
pour les participants non formés de 31,25%
Réussite aux consignes de test : Sujets Formés (N=5)
5
5
5
5
0% 20% 40% 60% 80% 100%
Cas 1 / Q1 : ANI élevé
Cas 1 / Q2 : stim chir
constant, ANI baisse
Cas 1 / Q3 : stim chir
différent, ANI grimpe
Cas 2 : ANI élevé
Réussite
Echec
Réussite aux consignes de test : Sujets Non Formés (N=4)
1
0
4
0
3
4
0
4
0% 20% 40% 60% 80% 100%
Cas 1 / Q1 : ANI élevé
Cas 1 / Q2 : stim chir
constant, ANI baisse
Cas 1 / Q3 : stim chir
différent, ANI grimpe
Cas 2 : ANI élevé
Réussite
Echec
114 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Evaluation formative & tests utilisateurs
Résultats aux consignes - Un taux moyen pour les participants formés de 100% de réussite et
pour les participants non formés de 31,25%
Réussite aux consignes de test : Sujets Formés (N=5)
5
5
5
5
0% 20% 40% 60% 80% 100%
Cas 1 / Q1 : ANI élevé
Cas 1 / Q2 : stim chir
constant, ANI baisse
Cas 1 / Q3 : stim chir
différent, ANI grimpe
Cas 2 : ANI élevé
Réussite
Echec
Réussite aux consignes de test : Sujets Non Formés (N=4)
1
0
4
0
3
4
0
4
0% 20% 40% 60% 80% 100%
Cas 1 / Q1 : ANI élevé
Cas 1 / Q2 : stim chir
constant, ANI baisse
Cas 1 / Q3 : stim chir
différent, ANI grimpe
Cas 2 : ANI élevé
Réussite
Echec
RISQUE DE MAUVAISE INTERPRETATION DE L’ANI NON
MAITRISÉ
115 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de méthodes : Evaluation sommative & tests utilisateurs
WHO?
17 MAR et IADE formés => 1 groupe utilisateur
WHAT?
Liste des phénomènes dangereux identifiés sur la base des scenarios élaborés
WHY?
Evaluation de la maitrise du risque et de l’impact de la formation
WHEN?
En 2 temps : Manipulation du moniteur et Compréhension des informations
Formation pour les concernés 1 semaine avant
WHERE?
En salle de de réunion/Bureau des professionnels ; Au bloc en simulation
HOW?
Organisation générale ; Consignes ; Données recueillies et méthodes de recueil ; Méthodes d’analyse => pas de « penser tout haut », ni de questionnaire de satisfaction
116 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Evaluation sommative & tests utilisateurs
0
20
40
60
80
100
120
140
S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17
Durée de la tâche : évaluation de la douleur/confort du patient
Réussite sans difficulté
Réussite avec difficulté
F Echec F F
117 CIC-IT de Lille / Formation « Ingénierie d’aptitude à l’utilisation »_V1
Exemples de résultats : Evaluation sommative & tests utilisateurs
Subsiste-t-il des erreurs d’utilisation?
Quelles sont leurs causes profondes?
Peut-on les maitriser? Les diminuer?
Si non, sont-elles acceptables? (coût-bénéfice pour le patient et les utilisateurs)
Si oui, les documenter et mettre en place la surveillance postproduction adéquate