1

IF-05

Qualité ergonomique des logiciels

Pascal Salembier

2

Plan

Qualité et qualité… : génie logiciel et qualité d’usage Qualité ergonomique et utilisabilité

• Comment évaluer l’utilisabilité ?• Inspection ergonomique et test utilisateur• Normalisation

Au-delà de l’utilisabilité : « new usability » et « user experience »• Concepts• Méthodes• Limites

Exemples de conception basés sur un point de vue enrichi de l’utilisabilité

3

Quelques mauvais exemples…

4

Désorientation perceptivo-cognitive

Je regarde où ?…

5

Quelle heure est-il ?…

6

A quelle vitesse ?…

7

Qu’est-ce que c’est ?…

8

Codes multiples

9

Quel numéro ?…

10

Facteurs secondaires de déterminationde la qualité d’usage

Top-loading VCR

11

Situations professionnelles « à risque »

Three Miles Island Les opérateurs ne parviennent pas

à identifier que la vanne de suppression est coincée en position « ouverte  »

Les opérateurs ont été induits en erreur par les indications du pupitre de commande : l’indicateur lumineux présent indique uniquement si la fermeture de la vanne a été commandée ou non ; il ne donne pas directement l’état de la vanne.

12

Prolifération des sites web… pour le meilleur et pour le pire… (1670 liens sur la page !)

13

Abstraction de cas singuliers problématiques

Des objets/commandes qui ne fonctionnent pas comme on s’y attend

Des objets/supports d’affichage/commandes différents qui apparaissent comme trop semblables

Des informations trop difficiles à voir/interpréter Des objets incompatibles entre eux Des objets difficiles à manipuler Des informations/commandes difficiles à mémoriser

14

Abstraction de cas singuliers problématiques

Des informations trop longues à s’afficher Des informations qui ressemblent à des commandes Des commandes placées de manière inattendue Des commandes disposées trop loin des dispositifs

qu’ils contrôlent Des commandes cachées Des commandes « destructrices » trop faciles à activer Des signes ambigus Des informations manquantes …

15

Qualité et qualité…

16

Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels

Optique « Génie logiciel »• Relativement bien cadrée• Appréhendable par la série de normes ISO SQuaRE

(norme de référence ISO/IEC 25000:2005 - Ingénierie du logiciel - Exigences de qualité et évaluation du produit logiciel ; normes annexes)

ISO/IEC 25001:2007 - Planification et gestion ISO/IEC 25020:2007 - Modèle de référence de mesure et guide ISO/IEC TR 25021: 2007 - Éléments de mesure de la qualité ISO/IEC 25030: 2007 - Exigences de qualité ISO/IEC 25051: 2006 - Exigences de qualité pour les progiciels et

instructions d’essai ISO/IEC 25062: 2006 - Format commun de l’industrie (CIF) pour les

rapports d’essai et de rentabilité (propose un guide pour présenter les résultats des test utilisateurs)

17

Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels

« Le concept de «qualité à l’usage» a été employé dans l’ISO/CEI 14598-1 afin d’opérer une distinction entre la qualité considérée comme caractéristique inhérente d’un produit logiciel, et la qualité atteinte lors de l’utilisation d’unproduit logiciel dans des conditions définies, c’est-à-dire dans un contexte d’utilisation spécifique. Cette définition de la «qualité à l’usage» est très proche de celle de l’utilisabilité énoncée dans l’ISO 9241-11:1998. L’emploi du terme«qualité à l’usage» implique par conséquent la nécessité de prendre en compte les problèmes centrés sur l’opérateur humain lors de l’évaluation des produits logiciels. »NOTE La qualité à l’usage est définie comme «le degré auquel un produit peut être utilisé par des utilisateurs donnés pour répondre de manière efficace et satisfaisante à leurs besoins et satisfaire des objectifs déterminés, dans un contexte d’utilisation spécifique».

Optique « Usage »

ISO/CEI 14598-1

18

Qualité ergonomique des systèmes interactifs

Qualité ergonomique ou « utilisabilité »

• Ergonomie (définition de l’IEA)« L’ergonomie (ou l’étude des facteurs humains) est la discipline scientifique qui vise la compréhension fondamentale des interactions entre les êtres humains et les autres composantes d’un système, et la mise en oeuvre dans la conception de théories, de principes, de méthodes et de données pertinentes afin d'améliorer le bien-être des hommes et l'efficacité globale des systèmes. » « Les ergonomes contribuent à la conception et à l’évaluation des tâches, du travail, des produits, des environnements et des systèmes en vue de les rendre compatibles avec les besoins, les compétences et les limites des personnes. »

19

«Utilité» et «utilisabilité»

Utilité : propre à la vision ergonomique liée à la notion de besoin fonctionnel (existence de points de vue différents : cf approches marketing)

Utilisabilité : notion faussement simple qui intègre plusieurs facettes et déterminants• Définition ISO 9241-11 (Exigences ergonomiques pour le travail

de bureau avec les terminaux à écrans d evisualisation - Partie 11)« L’utilisabilité est le degré selon lequel un produit peut-être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d’utilisation spécifié. »

20

Utilisabilité

Efficacité : représente ce qui produit l’effet attendu par l’utilisateur. Elle concerne la précision ou degré d’achèvement selon lesquels l’utilisateur atteint des objectifs spécifiés

Efficience : représente la capacité à réaliser une tâche donnée avec le minimum d’effort ; plus l’effort est faible, plus l’efficience est élevée. Elle concerne le rapport entre les ressources dépensées, la précision et le degré d’achèvement selon lequel l’utilisateur atteint des objectifs spécifiés

21

Utilisabilité

Satisfaction– Initialement notion « fourre-tout », mal spécifiée,

appréhendable selon des méthodes approximatives (échelles de satisfaction, questionnaires,…)

– Origine : incapacité à rendre compte de certains phénomènes avec les seuls critères d’efficacité et d’efficience, associés à des métriques non discriminantes

– Incorporation progressive de dimensions d’évaluation supplémentaires par rapport à la norme ISO 9241-11 : facilité d’apprentissage, facilité de mémorisation

22

Utilisabilité

Facilité d’apprentissage« La facilité d’apprentissage est ce qui permet à un utilisateur débutant de se consacrer

rapidement à son travail, en diminuant le temps nécessaire à l’apprentissage de

l’application. La facilité d’apprentissage et la facilité d’utilisation sont généralement obtenus

par différentes techniques qui permettent un guidage plus ou moins étroit de l’utilisateur. »

Facilité de mémorisation« La facilité de mémorisation est ce qui permet à l’utilisateur, après une période plus ou

moins longue de non-utilisation, d’effectuer ses tâches sans avoir à réapprendre le

fonctionnement de l’application. Cet attribut est d’autant plus important que l’application

n’est utilisée qu’occasionnellement. Une application dont le fonctionnement est facile à

retenir ne nécessite pas ou peu de réapprentissage. On voit ici que la facilité d’utilisation

est liée à la facilité d’apprentissage. »

23

Evaluation de l’utilisabilité

Comment évaluer l’utilisabilité d’un système interactif ?– Approche centré sur le système : inspection

ergonomique, évaluation experte– Approche centrée sur le couplage

utilisateur/caractéristiques du système : tests utilisateurs

24

Inspection ergonomique : opérationnalisation de la notion d’utilisabilité

Conditions de l’utilisabilité d’un système interactif : respect de critères (ergonomiques) utilisables pour la conception et l’évaluation des dispositifs

Tentative d’assemblage opérationnel de résultats de travaux expérimentaux dispersés

Organisation d’un corps de recommandations existantes Mise en oeuvre des critères d’évaluation lors de l’analyse

d’une IHM doit permettre de se passer de tests utilisateurs Applicables par des non-spécialistes : « discount method » Niveau d’explicitation suffisant pour permettre des mesures Niveau de standardisation suffisant pour permettre la

réplicabilité de la démarche

25

Critères ergonomiquesd’évaluation des IHM

26

Critères ergonomiques

1. Guidage1.1. Incitation1.2. Groupement/Distinction entre items

1.2.1. Groupement/Distinction par la localisation1.2.2. Groupement/Distinction par le format

1.3. Feedback immédiat (p.53)

1.4. Lisibilité

2. Charge de travail2.1. Brièveté

2.1.1. Concision2.1.2. Actions minimales

2.2. Densité informationnelle

3. Contrôle explicite3.1. Actions explicites3.2. Contrôle utilisateur

27

Critères ergonomiques

4. Adaptabilité4.1. Flexibilité4.2. Prise en compte du niveau d’expérience de l’utilisateur

5. Gestion des erreurs5.1. Protection contre les erreurs5.2. Qualité des messages d’erreur5.3. Correction des erreurs

6. Homogénéïté/Cohérence7. Signifiance des codes et dénominations8. Compatibilité

28

Critères ergonomiques

Catégorisation intensionnelle, extensionnelle, par différentiation

Validations expérimentales avec différents groupes de spécialistes facteurs humains de certaines propriétés des critères :• Complétude (couvre ts les problèmes rencontrés)• Indépendance (pas de recouvrement entre critères)• Applicabilité (tous les critères sont utilisés)

Limites des règles de conception/évaluation• Trop générales• Trop singulières• Travail d’adaptation à réaliser• Quid des nouvelles technologies pour lesquelles pas de

critères ?

29

Tests utilisateur

Inspection ergonomique basée sur les critères ne se substitue pas à d’autres méthodes d’évaluation (tests utilisateurs)

La « qualité » ergonomique du système va être évaluée par des mesures de performance de l’usage du dispositif

Le problème est donc de trouver des indicateurs de performance pertinents

Classiquement : mesures de performance comportementale censés renvoyer à documentation de processus perceptifs/cognitifs (approche psychologie cognitive expérimentale classique)

Plus mesures de la « satisfaction » estimée par échelles de Likert (typique psychologie sociale expérimentale)

30

Tests utilisateur

Élaborer un test utilisateur (différentes phases)

Définir les objectifs du test Choisir et recruter les participants Sélectionner et organiser les tâches à réaliser Créer des scénarios de test Choisir quelles dimensions de l’utilisabilité évaluer Préparer le matériel et l’environnement de test Choisir les expérimentateurs Conduire le test (consignes, accompagnement, interventions,…) Développer et faire passer des questionnaires de statisfaction Analyser les données Présenter les résultats

31

Tests utilisateurs : normalisation

Normalisation de la passation de tests utilisateurs, du choix des méthodes, du format des CR- ISO/IEC 25062: 2006 ; ISO 16982- Permettent d’assurer la traçabilité et l’historiques des

campagnes de test- Elaborées pour permettre la comparaison entre résultats

de tests utilisateurs, et la capitalisation de connaissances relatives à l’utilisabilité des systèmes interactifs

• Basée sur la norme US ANSI NCITS 354-2001- Permet de standardiser le rendu des résultats de tests utilisateurs- Donne un exemple de cartouche de rapports et précise les

informations minimales que ce type de rapport doit contenir- Propose une checklist pour le suivi de la complétude de la passation

(p.5) et du rapport (pp. 25-29)

32

Méthodes pour les tests utilisateurs (ISO 16982)

33

Exemples de mesures

Extraits de la norme 9241 -11

34

Méthodes : choix en fonction des caractéristiques des utilisateurs(ISO 16982)

35

Méthodes : choix en fonction des caractéristiques des tâches (ISO 16982)

36

L’utilisabilité épuise-t-elle la qualité ergonomique d’un système interactif ?…

Le respect des critères ergonomiques et de « bons » résultats à des tests utilisateurs garantissent-ils la qualité ergonomique d’un système ?

Même avec enrichissement des dimensions d’évaluation (apprentissage ; mémorisation) : incapacité à rendre compte de certains résultats– Ex : visioconférence vs. Audioconférence (Ohlson et al.)– Ex : échec commercial de certains produits grand-public– Ex : refus d’utilisation de sytèmes d’aide à la décision dans

environnements critiques Nouvelle étape : intégration des aspects économiques,

esthétiques, émotionnels, interactionnels, liés à la confiance,…=> « New usability » ; « User experience »

37

« New usability » ACM Transactions on Computer-Human Interaction, Vol.9, n°2, June 2002

Evolution du statut de l’utilisateur– User ---> Digital consumer (plus complexe à appréhender)

Extension des domaines d’application– Environnements domestiques– Ludo-éducatif, Loisirs

Extension des domaines technologiques– Terminaux mobiles (cadre classique de l’interaction modifié)– Intelligence ambiante (problème de l’attention, de l’interaction incidente

et implicite)– Informatique ubiquitaire

Extension de l’empan temporel de l’évaluation– Appropriation– Usages émergents– «Innovation ascendante»

38

« User Experience » Behaviour & Information Technology, Vol.25, n°2, 2006

Approche holistique– équilibre entre les aspects pragmatiques liés à l’accomplissement d’une

tâche et les aspects indépendants de la tâche (« hédoniques »)– Réintégration de dimensions esthétiques, émotionnelles,

développementales, sociales,…– La situation (caractère « ici et maintenant » de l’expérience devient l’unité

pertinente d’analyse) Focus sur le « subjectif » (vs. « objectif » de la usability traditionnelle)

oriente le choix des méthodes et des paradigmes de référence (psycho-sociologie, micro-sociologie, phénoménologie plutôt que psychologie cognitive)

Accent sur le « + » plutôt que sur le « - » Reconnaissance de la variation dynamique des critères

(ex : centration sur les objectifs liés à la tâche puis sur incitation à l’exploration)

Equilibre « harmonieux » entre l’intérêt de l’utilisateur et l’intérêt commercial de l’entreprise (faire intervenir le jugement de tiers dans l’évaluation)

39

« New usability » et « User experience »

Caractère inapproprié des approches classiques de usability engineering– Situations de laboratoire vs. études de terrain– Paradigme HCI classique (1 ordinateur+1 utilisateur dans un lieu fixe

interagissant de manière intentionnelle et visible) vs. nouveaux paradigmes (appliances disséminées dans l’environnement interagissant de manière implicite ou incidente avec plusieurs acteurs)

– Echelle de temps différentes– Multi-dimensionnalité de l’utilisabilité (de l’utilisateur

professionnel au consommateur numérique) : intérêt (« value ») de l’interaction est de nature variable (plaisir dans l’interaction, réalisation rapide d’un objectif, émotion esthétique, acquisition de connaissances,…)

40

Méthodologie d’évaluation « enrichie »

Modifications des dispositifs de recueil des données (ex : observation)

41

Méthodologie d’évaluation « enrichie »

Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience

d’interaction

42

Entretiens d’Explicitation et d’Autoconfrontation

Verbalisations consécutives à l’activité Sans traces : Explicitation

• Guidage par l’intervieweur : focalisation et relances sur les points importants ; techniques d’entretien spécifiques

Assistées par les traces : Autoconfrontation• Eviter les rationnalisations a posteriori

(justifications)• Relances adaptées pour éviter ce type de biais

43

Méthodologie d’évaluation « enrichie »

Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience d’interaction Délégation du recueil de données aux sujets (diary

reports, scrapbooks,…)

44

Limite actuelles de la notion de « user experience »

Approche pré-théorique (voire a-théorique…)– Pas de concepts et de langage de description ancrés dans un

arrière-plan théorique– Quelques candidats possibles

• Théories instrumentales de l’Activité : accent sur le « développement » psychique du sujet ; ré-actualisation dans le concept « d’extension du pouvoir d’agir »

• Psycho-phénoménologie et neuro-phénoménologie (en liaison avec les travaux sur la conscience)

Développement de méthodes dédiées Démonstration systématique de l’intérêt des

évaluations basées sur l’UX et lien avec les problématiques de « qualité »

45

Documents associés au cours

• Norme ANSI NCITS 354 - 2001 Common Industry Format for Usability Test Reports (CIF). Similaire à la norme ISO/IEC Exigences de qualité et évaluation du produit logiciel (SQuaRE) - Formation commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité.

• Critères Ergonomiques de Bastien & Scapin, 1993 (rapport INRIA)

• Norme ISO 13407 Processus de conception centrée sur l’opérateur humain pour les systèmes interactifs

• Norme ISO/TR 16982 Méthodes d’utilisabilité pour la conception centrée sur l’opérateur humain

46

• Le site de Jakob Nielsenhttp://www.useit.com/jakob/index.html

QuickTime™ et undécompresseur TIFF (LZW)

sont requis pour visionner cette image.

• Les ouvrages de Don Norman

QuickTime™ et undécompresseur TIFF (LZW)

sont requis pour visionner cette image.