Diapositive 1

L'valuation d'une interface consiste mesurer l'utilit et l'utilisabilit du systme. Une valuation permet de dcouvrir les problmes qui pourraient empcher les utilisateurs d'accomplir leurs tches.

Les problmes d'utilisabilit sont des aspects du systme pouvant rduire l'usage du systme pour l'utilisateur, par exemple en le droutant, ralentissant ou stoppant l'excution de sa tche [LAVERY&COCKTON97].

De nombreuses techniques permettent de raliser cette valuation. Les diffrences entre les techniques concernent leur centre d'intrt, la personne responsable pour l'valuation, la prsence d'utilisateurs,...

Chaque mthode d'valuation priviligie un ou plusieurs critres d'utilit et utilisabilit travers la mesure de diffrentes variables : la dure d'excution, le taux d'erreurs,... [FARENC97].

Nous allons d'abord faire un rapide tour d'horizon des diffrentes techniques existantes. Ensuite, nous concentrerons notre attention sur une mthode d'valuation particulire : Cognitive Walkthrough.

Lewis et Rieman classifient les techniques d'valuation en deux groupes : les techniques avec utilisateur et celles sans utilisateur [LEWIS93].Evaluation avec utilisateurComme le systme conu par le processus de design doit permettre aux utilisateurs de raliser leur tche, la non-implication des utilisateurs dans ce processus de design est impensable.

Peu importe la qualit de l'analyse effectue lors de la conception d'une interface, l'exprience a montr que de nombreux dfauts d'utilisabilit n'apparaitront qu' l'occasion des tests effectus avec des utilisateurs. Le profil de ces utilisateurs doit tre semblable ceux des utilisateurs finaux du systme. [LEWIS93]Evaluation avec utilisateurSupposons un logiciel d'architecture destin la production de plan de construction. Les utilisateurs participant aux tests d'valuation de l'interface devront bien entendu tre des architectes eux-mmes.Evaluation avec utilisateurL'valution avec utilisateur est probablement la meilleure mthode pour trouver les problmes d'utilisabilit causs par une interface. Un utilisateur est plac devant une interface et doit essayer d'accomplir une ou plusieurs tches que le systme est cens supporter.

Comme dit prcdemment, les utilisateurs qui participeront aux tests doivent tre choisis de manire approprie.

Trois techniques de tests o les utilisateurs interviennent peuvent tre envisages :

L'observation auprs d'utilisateurs ;

Les rapports verbaux ;

Les questionnaires.

1.Observation auprs d'utilisateursLe test ralis en situation relle d'utilisation ou dans un laboratoire d'utilisabilit, est dirig par un expert qui prend note des problmes d'utilisabilit rencontrs par l'utilisateur test.

Les donnes sont collectes et enregistres au vol, avec un expert en utilisabilit notant ses propres remarques ou les enregistrant, par exemple, sur cassettes vido

Pour tre optimales, de telles techniques requirent l'implication de tous les intervenants, savoir les utilisateurs, les experts en utilisabilit et les concepteurs du systme.

1.Observation auprs d'utilisateursPosition de la mthode dans le cycle de vieCette technique ne peut tre utilise que lorsque le systme est dans un tat avanc du dveloppement. Il est ncessaire de disposer d'une interface ralise ou d'un prototype fonctionnel.AvantagesDsavantagesL'observation auprs d'utilisateurs, accomplie avec un nombre suffisant d'utilisateurs, donne habituellement de bons rsultats en termes de problmes d'utilisabilit trouvs.Un premier inconvnient de cette technique est le temps requis. En effet, pour trouver un nombre satisfaisant de problmes d'utilisabilit, de nombreux tests doivent tre conduits.

De plus, effectuer un seul test prend dj un temps considrable. Ainsi, un test d'une heure enregistr sur cassettes video ncessite une analyse par un expert en utilisabilit d'environ 10h. Pour une seule tche ralise par l'utilisateur!

2.Rapports verbauxObjectif et principeLe principe de cette mthode est simple [LEWIS93] :l'expert en utilisabilit demande l'utilisateur d'accomplir une tche ;l'utilisateur doit dire haute voix ce qu'il pense lors de son interaction avec le systme, les questions qui lui viennent l'esprit, les informations qu'il lit,...

2.Rapports verbauxComme l'observation auprs d'utilisateurs, la mthode des rapports verbaux permet de collecter des informations concernant l'valuation de l'interface.

Durant le test, l'valuateur doit noter :

tous les lments trouvs par l'utilisateur comme droutant dans l'excution de sa tche ;et si possible, leur origine.L'valuateur ne doit pas garder un attitude passive durant le test. Il doit forcer l'utilisateur lui donner un flux continu d'informations en lui posant certaines questions comme :

"A quoi pensez-vous maintenant ?","Pourquoi avez-vous choisi ce bouton ?",...2.Rapports verbauxPosition de la mthode dans le cycle de vie

Cette mthode convient pour valuer l'interface tous les stades de son dveloppement : du prototype papier l'interface termine.

AvantagesDsavantagesCette approche est largement utilise dans la conception logicielle : elle apporte des informations valables et situe prcisment o les utilisateurs prouvent des difficults dans l'interface.

En effet, comme l'valuateur observe l'utilisateur durant son interaction avec le systme, il peut noter non seulement les moments de confusion et les vnements imprvus mais aussi pourquoi ils se sont produits.

Enfin, la connaissance du domaine de l'valuation des IHM requise pour tre capable d'utiliser cette mthode est relativement faible.L'analyse de rapport de rapports verbaux est difficile tant donn que les rsultats dpendent de l'interprtation des remarques des utilisateurs et de la facult de l'utilisateur verbaliser ses penses.

Le fait que les rponses des utilisateurs puissent tre influences par la manire dont l'valuateur leur pose les questions est un second dsavantage de cette mthode.3. QuestionnairesLes questionnaires sont des listes crites de questions distribues aux utilisateurs afin qu'ils y rpondent aprs un test de l'interface

Le but des questionnaires est de collecter des informations sur les impressions, sur le niveau de satisfaction des utilisateurs aprs usage du systme. C'est donc une mthode a posteriori.

Position dans le cycle de vie

Le questionnaire peut tre utilis de manire complmentaire aux autres mthodes d'valuation, aprs que les utilisateurs aient test le produit fini.

Directement aprs que les utilisateurs aient test le systme, il leur est demand de dterminer leur niveau de satisfaction.AvantagesDsavantagesEn plus d'tre la moins chre, cette mthode est galement la plus aisment utilise grande chelle. En effet, une fois ralis, le questionnaire peut accompagner chaque test ralis sur le systme.Malgr que cette mthode permette de collecter l'information de manire peu coteuse, la difficult rside dans la rdaction de bonnes questions ainsi que dans l'interprtation des rponses des utilisateurs.

Cette mthode est souvent utilise pour collecter les feedback des utilisateurs ayant acquis le systme et corriger ainsi les problmes dans les versions futuresEvaluation sans utilisateurLa mthode d'valuation avec utilisateur n'est pas toujours possible, et ce, pour trois raisons :

les utilisateurs n'ont que trs peu de temps consacrer aux tests. Le systme qui leur est propos ce moment doit dj comporter le moins d'erreurs possibles.pour que les tests soient efficaces, il faut qu'ils soient raliss par le plus grand nombre d'utilisateurs possible, chaque utilisateur trouvant un sous-ensemble de problmes.la mthode cote cher en terme de temps ncessaire l'analyse de chaque test d'utilisateur.Evaluation sans utilisateurLa mthode d'valuation sans utilisateur comprend deux types de mthodes distinctesles mthodes centres sur la tche :les mthodes non centres sur la tche :Goals, Operators, Methods, and Selection Rules (GOMS );Keystroke-Level Model (KLM );Cognitive Walkthrough.Heuristic Evaluation ;Evaluation par recommandations ergonomiques.

G.O.M.S.L'acronyme GOMS signifie Goals, Operators, Methods, and Selection Rules.GoalsLes "Goals" sont les buts que l'utilisateur tente d'accomplir, habituellement spcifis de manire hirarchique.La tche se dcompose en buts, sous-buts et sous-buts lmentaires.OperatorsLes "Operators" reprsentent l'ensemble des oprations de niveau atomique avec lesquelles l'utilisateur compose une solution pour atteindre un but.G.O.M.S.MethodsLes "Methods" reprsentent des squences d'"Operators", regroups afin d'accomplir un but lmentaire.

Selection Rules Les Selection Rules sont utilises afin de dcider quelle mthode est utiliser pour atteindre un but lorsque plusieurs mthodes sont applicables

Rgle "if... then".

GOMS mesure la performance, c'est dire le temps de ralisation de la tche, des utilisateurs experts du systme. Le temps de ralisation de la tche est obtenu en additionnant le temps de ralisation de chaque tape ncessaire la ralisation la tche.

Avantages[JOHN&KIERAS94]Dsavantagesne ncessite pas d'interface aboutie ou de maquette : elle donne des prdictions.value la complexit et l'efficacit des tches de l'interface.est facilement comprise et utilise par les concepteurstablit seulement des prdictions sur le temps d'excution de tches effectues sans erreurs. Elle ne permet pas de considrer un utilisateur novice.est lourde mettre en oeuvre pour des tches importantes.Position dans le cycle de vieGOMS est un modle prdictif utiliser trs tt dans le cycle de dveloppement [FARENC97].

K.L.M.Objectif et principes

KLM est l'acronyme pour "Keystroke-Level Model". KLM est l'anctre de GOMS.

Etant centre sur la tche, cette mthode force l'valuateur se concentrer sur la squence d'actions accomplies par l'utilisateur.

Le but est de calculer le temps ncessaire. Pour le prdire, l'valuateur additionne le temps requis pour raliser chaque tape physique pour accomplir la tche.

Au contraire de GOMS, cette mthode ne prend pas en considration le temps consacr par l'utilisateur au choix des actions et leur valuation, c.--d. les rgles de slection du modle GOMS.L'valuateur doit avoir accs aux donnes concernant les temps de prdiction de chaque tape physique. Ces donnes sont constitues en mesurant le temps moyen d'accomplissement de chaque tape ou manipulation, partir d'observations directes d'utilisateurs.

Des temps d'excution de tche excessivement lev en comparaison avec une tche de complexit similaire peuvent rvler un problme.KLM est recommande pour les procdures utilises grande chelle. Gagner un peu de temps pour une procdure excute des milliers de fois en vaut la peine [LEWIS93].Supposons deux systmes de rservation de vols [SCHNEIDERMAN92] :

Il faut rserver un sige sur le vol A0821 de 15h (0300P) entre l'aroport de Washington (DCA) et l'aroport de New York, La Guardia (LGA).

Le premier systme totalement en ligne de commande demanderait l'insertion de la commande : A0821DCALGA0300P.Le second en mode semi-graphique contiendrait un certain nombre de champs qui ferait qu'une fois l'un rempli, il faudrait attendre, par exemple 1sec, avant de passer au suivant : A0821 DCA LGA 0300PKLM peut donc valuer les diffrences de performance entre ces deux systmes, l'intrt de la compagnie arienne tant videmment le systme le plus rapide.

On peut noter que dans ce cas le taux d'erreurs, bien plus grand dans le premier systme, n'est pas valu dans la mthode KLM.

Des exemples de KLM peuvent tre trouvs aux adresses suivantes :

http://bmrc.berkeley.edu/courseware/cs160/fall99/Book/contents.v-1.htmlhttp://www.droit.univ-paris5.fr/HTMLpages/enseignants/staff/futtersack/francais/ Enseignement/IHM/transparents/IHM1/sld037.htPosition dans le cycle de vieKLM est un modle prdictif utiliser trs tt dans le cycle de dveloppement [FARENC97]Avantages[JOHN&KIERAS94]DsavantagesCette mthode peut facilement tre utilise par un valuateur novice.

Ne considrant que les tapes physiques, KLM peut tre ralise presque automatiquementKLM est lourde employer : une tche de quelques minutes doit tre traduite en centaines d'tapes physiques.

Comme dit prcdemment, KLM considre uniquement les tapes physiques. Les tapes mentales ne sont pas prises en compte

Heuristic EvaluationObjectif et principesHeuristic Evaluation est une mthode d'valuation o les lments de l'interface sont examins en fonction d'une liste d'heuristiques d'utilisabilit : cette liste peut correspondre tout ou partie de la liste des 10 heuristiques d'utilisabilit de Nielsen ou tout ou partie de la liste des 8 critres de design .Les heuristiques d'utilit et d'utilisabilit sont des caractristiques communes aux interfaces utiles utilisables. Ce sont des principes gnraux pouvant s'appliquer pratiquement tout type d'interface [NIELSEN 93].

La prise en compte de ces principes lors de la conception de l'interface permet d'obtenir au mieux une interface utile et utilisable.

Nielsen dfinit 10 heuristiques :

Les critres de design constituent une dimension reconnue sur le chemin qui conduit l'laboration d'une interface utile et utilisable. Ils forment le fondement des choix en matire de conception des IHM. Ces critres de design sont aux nombre de 8 :

Par opposition aux recommandations ergonomiques qui regroupent gnralement des centaines de rgles, Heuristic Evaluation contient un petit nombre de principes.

Les problmes trouvs par cette technique correspondent des violations de ces heuristiques.Position dans le cycle de vieL'utilisation d'Heuristic Evaluation peut se faire ds que la prsentation de l'interface est ralise [FARENC97].AvantagesDsavantagesCette mthode ncessite peu d'apprentissage de la part de l'valuateur ;Elle procure gnralement de bons rsultats ;Le faible de nombre de principes respecter en fait une mthode lgre et rapide ;Comme elle n'est pas centre sur la tche, elle peut tre utilise trs tt dans le processus de conception.Cette mthode n'offre pas beaucoup de guidance sur la manire de raliser l'valuation. L'valuateur doit dcider par lui-mme comment mener l'valuation.

Evaluation par recommandations ergonomiquesObjectif et principes

Les guides de recommandations ergonomiques rassemblent gnralement des centaines de recommandations ergonomiques.

L'valuation consiste en l'examen systmatique de l'adquation de l'interface ces listes de recommandations ergonomiques. Les problmes rsultent de la non-conformit des caractristiques de l'interface ces principes.

La constitution de tels guides provient de l'exprience et la connaissance des experts en utilisabilit.

La propre connaissance de l'valuateur l'aide appliquer ces recommandations durant une valuation.Position dans le cycle de vie

Elle peut tre utilise ds qu'une version mme statique de l'interface est ralise [FARENC97].AvantagesDsavantagesComme Heuristic Evaluation, cette mthode se positionne trs tt dans le cycle de vie. Ds qu'une maquette ou un prototype est disponible, elle/il peut tre valu. Aucune tche n'est requise.Au vu de l'importance de l'exprience de l'valuateur pour l'usage de cette mthode, les guides de recommandations ergonomiques ne sont pas vraiment accessibles l'valuateur novice.De plus, le passage en revue de centaines de recommandations pour chaque caractristique de l'interface n'offre pas une mthode rapide et agrable.Parce que l'mergence de nouvelles recommandations ergonomiques est toujours postrieure l'apparition d'une nouvelle technologie, cette mthode n'est pas adapte valuer des interfaces qui utilisent ces nouvelles technologies.