L'ŒILDANS LE DOIGT

L'ŒILDANS LE DOIGT

Réflexion sur l'interface tactile

Mémoire

par Jonathan Liebermann, sous la direction de Laurent Ungerer.

Département Design graphique & Multimédia, ENSAD, 2010

Préface

La découverte du livre, du toucher, et de l'interaction avec la machine.

PRÉFACE 5

En lisant La métamorphose des objets de Frédéric Kaplan, j’ai été frappé d'y voir une image de ma propre vie, un souvenir en commun. Je me souviens nettement de mes premiers contacts avec les ordinateurs personnels. C’était, à l’instar de Kaplan, un de ces Macintoshs gris et carrés, au bureau de mes parents. Il m’avait laissé là, face à cette machine, m’encourageant à y trouver de quoi m’occuper. Et très vite, je me suis plongé dedans. Jouant avec l’interface graphique, dont chaque objet avait un sens nouveau, une fonction inconnue et parfois profondément mystérieuse. Internet n’existait pas alors, et l’ordinateur était totalement refermé sur lui-même, mais c’était déjà un monde assez riche. Il n’y avait que moi et la machine, dans un dialogue absurde, et la vague présence d’un tiers anonyme qui y avait enregistré une foule de fichiers, dossiers et sous-dossiers. C’était intuitif et attractif, tout bonnement captivant. L’interface (en nuances de gris) était un monde de métaphores, et la souris mon moyen de locomotion, le moyen physique de s’y déplacer. Mais aussi intuitive soit-elle, l’interface n’est que projection et représentation partielle d’un monde physique culturalisé. Pour citer Kaplan : « L’interface, si loin de notre corps, n’est jamais tout à fait incorporée. » Je me souviens de l’environnement de la machine , comme je me souviens de celui du bureau réel. Mais même alors, dans mon esprit d’enfant, les deux mondes ne se sont jamais confondus.

Aujourd'hui l'ordinateur est un outil dont j'ai pris l'habitude voire, dont j'ai besoin. Mon travail dépend en partie de lui, et cela à mes dépens parfois. Il me permet de faire cet objet que vous tenez là, ce mémoire. Cette entrée en matière a pour but de vous parler de cette chose que vous lisez. Cet objet dont vous pouvez apprécier la qualité du papier, en même temps que vous en assimilez le contenu. Vous le touchez, vous pouvez prendre conscience de lui par vos sens. Il vous est possible d'évaluer spontanément

PRÉFACE 7

Sony, Portable Reader System, 2007.

sa taille, sa densité. Vous pouvez le sentir et vous pourriez l'écouter. Vous vivez une expérience sensorielle, aussi modeste soit-elle, assez bavarde pour vous apprendre des choses. Cependant, vos yeux travaillent à cet instant à remplir surtout leur fonction de lecture. Les perceptions sensorielles fonctionnent le plus souvent quasi selon un décryptage inconscient. Or, si le support sur lequel est imprimé le texte change, vos yeux, dans la mesure où l'on conserve la mise-en-page, parcourraient le texte de façon analogue. On pourrait donc en conclure que votre compréhension du sens serait strictement identique. Pourtant je pense qu'un texte est lié à son contexte, à son support. Ce dernier influence le message. C'est un fait souvent répété en design graphique, rien n’est véritablement neutre lorsqu’il s’agit du média. Mais continuons, si vous le voulez bien, à digresser encore un instant, au sujet de ce petit pavé de papier que vous touchez. Et tentons une petite projection mentale.

Projetons-nous donc, dans un futur très proche, où en lieu et place de ce livre, vous tenez une tablette informatique dont l 'écran vous délivre ce texte comme le fait ce livre. Vous lisez donc ce support dont vous connaissez le fonctionnement presque aussi parfaitement qu'un livre traditionnel. En effet, cet objet est le support de toutes vos lectures indistinctement (romans, essais, journaux, magazines ou quelque texte que vous souhaiteriez visionner. Vos yeux parcourent avec l'aisance du lecteur habitué, les milliers voire millions de pages que contient votre tablette de lecture numérique, trivialement baptisé eReader (pour lecteur électronique). Vous lisez et comprenez le sens de ce texte. Ses phrases disent strictement la même chose, son apparence a été conservée. Mais dans votre main, ce n'est pas ce mémoire que vous tenez, vous manipulez votre eReader. Un objet de métal, de plastique et de silice. Sa forme et son poids sont fixes. Sa manière d'accrocher la lumière est toujours égale. Il peut vieillir mais il reste sensiblement le même. Le contenu pourra changer un milliard de fois, et l'écran afficher un nombre incommensurable de signes ; votre objet restera le même. Contrairement à ce mémoire, il vous est impossible de le retourner et de découvrir sa quatrième de couverture et autres informations probables.

PRÉFACE 9

IREX, Iliad Reader, 2007.

Vous ne pouvez pas, non plus évaluer son volume, vous faire une idée de sa longueur. Vous ne pouvez le feuilleter, faisant défiler les pages d'un geste de la main, accélérer ou ralentir. Ou encore, s'arrêter et ouvrir grand la double page qui vous interpelle. L' eBook (livre numérique) n'offre rien d'une telle expérience. Vous pressez des boutons vous permettant d'explorer l'ouvrage. Avec de la chance, vous tournez les pages d'un glissement de doigt sur la surface de l'écran. Si tant est que cela ait du sens. Votre main, dans ce cas, reste tout de même à la surface homogène et invariante de cette chose à lire. Il n'y a que cet appareil, une tablette dont le fonctionnement interne complexe nous échappe. Dont l'intérieur nous est dissimulée à tous les niveaux. Mais ne vous méprenez pas ce texte n'est en rien une charge contre le livre électronique. Cet objet a bien des atouts, il peut nous être bénéfique. L'objet électronique n'est pas nocif, et la technologie n'est pas, de mon point de vue, dangereuse. Les nouvelles technologies de la communication accroissent la circulation des idées et du savoir, engageant l'humanité dans une nouvelle étape. je pense nous devons rester vigilants, et observer attentivement les mécanismes en action.

Enfin si je vous parle des livres, c'est pour vous intéresser, vous familiariser. Vous imbiber, si je puis dire, de mon sujet. Cet objet que vous lisez, et que j'écris, vous le touchez, comme je l'ai fait avant vous. Nous vivons le monde au travers de nos sens. Ils sont notre interface, notre moyen de communication avec lui. Et quel meilleur moyen pour moi d’interagir avec vos sens que ce document que je vous sais tenir1. Dont je suis sûr que vous pouvez ressentir les particularités physiques. À la manière dont on peut se sentir respirer, on peut se sentir toucher. Cet ouvrage est un questionnement sur la modalité tactile, plus un vaste thème qu'un sujet de mémoire. Je souhaite aborder tous les aspects relatifs au toucher, mais afin d'être cohérent et de délivrer une véritable opinion, je me focaliserai sur les interfaces Homme-Machine. Nous pouvons donc résumer mon sujet ainsi : Pourquoi le tactile comme mode d'interaction privilégiée dans les interfaces Homme-Machine ?

1. Si par malheur vous lisez ce texte sur un écran, alors l’intention et la démonstration sont nulles, et par là même confirmées.

Le design d'interaction et la question du tactile

intro-duction

I

INTRODUCTION 13

En lisant ces lignes, il se peut que vous pensiez ma vision du texte, de la lecture, comme rétrograde. Il se peut qu'un texte soit d'abord et avant tout un contenu, et que le contenant importe peu. J'insiste bien sur la question du support papier, car c'est à mon sens un excellent exemple d'interface sensible liée à l'information dans le sens le plus élémentaire. Internet a démontré déjà sa capacité à accélérer la circulation des idées à travers notre monde contemporain. D'abord purement textuel et numéraire, ce sont aujourd'hui des images, des sons et bien plus, qui circulent sur le réseau. Or internet s'emploie presque exclusivement par le biais d'écrans d'interface, sans parler des explorateurs capables de décoder les pages internet brutes, illisibles autrement. On imagine que les textes, les ouvrages rédigés vont être numérisés globalement1, afin de circuler plus intensément, plus librement diront certains. La preuve a été faite de la numérisation massive des oeuvres, avec des techniques toujours plus performantes. Non seulement je ne conteste pas cette volonté, mais je dirais que cela me semble une bonne chose.

À terme, c'est une manière de donner accès au plus grand nombre aux mêmes connaissances, sans dépendre des ressources nécessaires à l'impression et à la diffusion ( le temps nous montrera si l'électronique peut vraiment résoudre certaines questions écologiques et sociales ). Dans la même veine, je ne remets pas en question la capacité des chercheurs et ingénieurs à proposer des solutions techniques d'affichage confortable adapté à la lecture. Telle que le fameux e-Paper ( papier électronique ) déjà imaginé dans les années 1970 par Nick Sheridon, ou la technologie de Nemoptic (un ancêtre de ces tablettes), et plus récemment l'e-Ink de la société éponyme, fondée par Joseph Jacobson. Cette dernière conçoit des écrans souples, éclairés par la lumière ambiante et ne consommant pas d'énergie pour conserver son affichage. Une véritable feuille imprimée numérique.

1. Illustré par de nombreux projets : Google Books Library project ou la Bibliothèque Numérique Européenne

Albert Camus (extrait de Le mythe de Sisyphe, 1942).

« Mais je n'ai rien à faire des idées ou de l'éternel. Les vérités  qui sont à ma mesure, la main peut les toucher. » 

INTRODUCTION 15

Mais là où ces objets réussissent à imiter le confort du support papier, ils échouent à offrir un véritable panel sensoriel, lié depuis longtemps aux documents imprimés. Le livre imprimé à un caractère immuable, c'est un texte rédigé, composé, assemblé et qui s'arrête alors. Ainsi fixé le livre peut être envisagé comme pensée d'une époque. Situable dans le temps, je le vois vieillir, je le sens se dégrader. Son corps n'est pas changeant et versatile. Il est une empreinte de l'esprit, qui passe de mains en mains. En apparence éloigné de la réflexion tactile, il est un lien évident. Demain, il faut accepter de voir de plus en plus de nos interactions quotidiennes être interfacées par la machine. Ouvrons désormais la discussion aux appareils issus de l'informatique. Les nouvelles technologies de l'information et de la communication, qui participent à une expérience de virtualisation généralisée, évoluent rapidement. Les fruits de longues recherches apportent de nos jours sur le marché des produits en véritable rupture avec notre histoire de l'interaction entre l'homme et la machine. Ce qui m'intéresse ici c'est le travail et l'évolution portant sur l'usage de ces nouveaux outils. Par là, j'entends les interactions et comment elles ont été mises en valeur, au point de devenir parfois le centre de toutes les préoccupations. C'est l'essence du design d'interaction.

Qu'est-ce que le design d'interaction ?

Apparu vers la fin des années 1980, et lié à l 'émergence de l'informatique personnelle, il est une adaptation du design d' interface utilisateur (user interface design) issu du design industriel. L'expression fut proposée par deux auteurs majeurs de la discipline, Bill Moggridge1 et Bill Verplank2. Mais pour expliquer le sens que prend le design d'interaction aujourd'hui, je me permet d'emprunter quelques mots à l'équipe d'IDSL, un studio de design français spécialiste de l'interaction. Ils décrivent ainsi cette discipline :

« Avec l' évolution permanente des technologies de l' information et de la communication (TICs), le Design d'objet s'est enrichi de nombreuses possibilités de faire communiquer le produit avec son environnement.

1. William (Bill) Moggridge est designer industriel, spécialiste de l'interaction. Il a participé au développement des premiers ordinateurs portables.

2. Bill Verbplank est un spécialiste de l'interaction Homme-Machine, il a longtemps travaillé pour Xerox.

Alphabet manuel, Langue des Signes Française (LSF).

INTRODUCTION 17

Mais la grande richesse vient de la capacité croissante des objets/machines à capter et traiter des informations provenant de leur environnement ». Ils parlent « d'une dimension virtuelle qui crée une expérience plus complexe et évolutive entre l'utilisateur et l'objet. »1

Cette nouvelle complexité nécessite un vocabulaire propre et des outils nouveaux qui constituent une discipline à part entière. À cela s'ajoute des notions éthiques fortes. La prise en compte de nouveaux paramètres d'interaction avec les objets impliquent l'utilisateur à un niveau émotionnel et sensoriel original. L'affectivité n'est pas une notion nouvelle dans le design, elle transparaît cependant plus que jamais au travers de ces nouveaux objets. Le design d'interaction s'appuie généralement sur des outils informatiques, et la grande majorité des objets conçus se composent d'éléments d'ordinateurs, avec les capacités de calcul qui leur sont liées. Mais il ne s'attache pas seulement à définir, organiser et configurer le comportement et les possibilités de la machine. Au contraire, il tend à inspirer tous les aspects du design dans sa façon de mettre l'utilisateur au centre des problématiques. C'est un design tourné vers l'Homme, plutôt que l'objet. Faisant de tout objet, une machine potentiellement communicante. L'interaction Homme-Machine, ou Homme-Ordinateur, n'est qu'une des composantes du design d'interaction. Elle est cependant à la source de beaucoup de nos nouveaux comportements. Je traiterai donc cet aspect en priorité au travers de ce mémoire.

Dans la pratique, le design d'interaction est centré autour de la notion « d' intégrer la technologie de l' information aux complexités sociales ambiantes du monde physique. » C'est selon Malcom McCullough1 : « Avec la conséquence de l' informatisation pervasive, le design d' interaction tend à devenir un des principaux arts libéraux du XXIe siècle. » C'est une discipline en gestation qui présage, semble-t-il, de grandes choses et aura une influence grandissante dans l'avenir. Pour mieux comprendre le mouvement en jeu, regardons rapidement ce que nous présente l'histoire de l'informatique, ou plus exactement, de l'interface informatique. David Liddle a dirigé l'équipe

Microsoft, Surface, 2008.

1. IDSL est composé de Nicolas Gaudron et Virginia Cruz. Ils participent à plusieurs projets de design d'interaction avec l'Ensad.

2. Malcolm McCullough est professeur en Architecture et Urbanisme, il a largement contribué au design d'interaction.

INTRODUCTIONINTRODUCTION18 19

qui a conçu l'interface graphique pour l'ordinateur Star de l'entreprise Xerox, apparu en 1981. C'est le premier ordinateur personnel employant la métaphore du bureau1, avec ses dossiers et ses fichiers représentés par des icônes. Il signe aussi l'apparition des fenêtres et d'un grand nombre d'autres fonctions innovantes. Liddle considère que l'interaction de l'Homme avec la Machine suit trois stades historiques et individuels, observés à l'origine au sujet de l'émergence de l'informatique, ils s'appliquent à toute nouvelle technologie :

1 - Enthousiaste : la technologie émerveille par elle-même, peu importe les difficultés d'utilisation. 2 - Professionnel : la machine est utilisée par un autre que l'acheteur, et son confort d'usage n'est pas une priorité. 3 - Consommateur : aujourd'hui le public n'est plus tellement captivé ou intéressé par la technologie. Il ne veut pas perdre de temps ou se sentir incapable. La machine doit être évidente et simplifier la vie quotidienne.

C'est donc à cette étape actuelle que le design d'interaction a un grand rôle à jouer. Le concepteur ne peut plus se focaliser uniquement sur la technologie aux dépens de l'usage. De l'étude de cet usage doit émerger une démarche qui est au service de l'utilisateur, aussi novice soit-il. Gilliam Crampton Smith2, directrice de l'Interaction Design Institute Ivrea (Italie), définit un travail d'utilisabilité, d'utilité, de satisfaction et de communicativité . Et ajoute que le design d'interaction doit inclure une dimension sociale (sociabilité). Smith tente ainsi de définir ce qu'est un bon design d'interaction, et relève des notions très intéressantes pour nous. Elle nous explique que lorsque l'on tourne le bouton d'une radio, le bout de nos doigts et nos muscles peuvent presque sentir les stations en train d'être scannées. Avec les ordinateurs, cette relation est bien moins directe. Notre monde et celui des machines semblent très éloignés, très différents. Nous avons donc besoin d'un modèle mental clair de ce avec quoi nous interagissons. C'est la notion de paradigme que met en lumière Alan

Cooper1 dans son article, The Myth of Metaphor. Il y décrit trois grands paradigmes d'interfaces avec la machine :

Le paradigme technologique : l'interface reflète la manière dont le mécanisme contrôlé est construit. Réservée aux spécialistes qui savent comment la machine fonctionne. Le paradigme métaphorique : i l permet de mimer le comportement de l'interface sur celui d'un objet de la vie courante et donc déjà maîtrisé. On peut penser à la corbeille par exemple (apparue la première fois en 1980, sur l'ordinateur Lisa d'Apple). Enfin, le paradigme idiomatique : il utilise des éléments d'interface au comportement stéréotypé, cohérent et donc simple à apprendre ; mais pas nécessairement calqué sur des objets du réel. La fenêtre de l'explorateur Windows ( Microsoft ) n'est pas une métaphore au sens strict, elle n'a pas grand chose d'une fenêtre.

Le modèle mental, ou paradigme, n'est pas nécessairement cloisonné et fini. Il est plutôt une synthèse des capacités et des moyens de communications avec la machine. Afin de réussir cette synthèse, le designer doit trouver des solutions aux problèmes que posent l'interaction. Smith nous explique qu'un système, adéquat doit posséder un retour rassurant ( reassuring feedback ). Cette notion nous y reviendrons avec plus d'attention. Mais notons déjà, que sur un clavier, par exemple, on peut dire que l'on a appuyé avec certitude. Non pas uniquement parce que le caractère est apparu à l'écran mais aussi parce que nous pouvons sentir le déplacement de la touche et entendre le léger clic qu'elle émet. Smith aborde ainsi la notion de la perception sensible. Celle-ci est la matière première de ce mémoire.

De manière générale, l'interaction se doit d'être intuitive2, ce point est, me semble-t-il, largement admis de nos jours. Il peut en partie justifier le succès de l'iPod et plus récemment, de l'iPhone. C'est la conjonction des paradigmes métaphoriques et idiomatiques qui peuvent expliquer

2. On ne veut ni mode d'emploi, ni temps d'apprentissage. cela doit fonctionner tout de suite et facilement.

1. Alan Cooper est un pionnier de l'interface graphique. Il est l'auteur de deux ouvrages références : About Face: The Essentials of User Interface Design et The Inmates Are Running the Asylum

2. Gilliam Crampton Smith, est une spécialiste du Design d'interaction. Elle est aujourd'hui professeure à la Faculté de Design et d'Arts, IUAV Université de Venise.

1. La métaphore du bureau est en train de disparaître avec l'informatique domestique et mobile.

INTRODUCTION 21

particulièrement ces succès. Smith résume donc le travail du design d'interaction comme l'action de concevoir la qualité de l'interaction, concevoir le comportement de la machine ; englobant l'utilisateur, la machine, l'environnement, le contexte, la temporalité, etc. On observe que ce design puise largement dans les principes de la psychologie cognitive. Cela inclut les modèles mentaux, la topologie, les métaphores d' interface et les affordances. La plupart de ces notions sont mises en lumière par Donald A.Norman1 dans son oeuvre référence : The Design of Everyday Things. Il éclaire des points capitaux sur l'étude et l'analyse nécessaires à la conception d'interaction pertinente. Je précise plus loin la description de ces notions, dont l'importante question des affordances. Cette vision particulièrement globale du comportement de la machine ne se restreint pas aux interactions Homme-Machine. Il est ainsi développé en parallèle des interactions Machine-Machine, c'est-à-dire la communication entre machines plus ou moins hétéroclites. Développer le comportement de machines entre elles, soit en l'absence d'intervention humaine volontaire, soulève bien des questions. Cependant je ne m'attache ici à ne traiter que de la sémiologie des interactions où l'homme est en jeu, parfois instigateur de l'action, en tant qu'acteur actif ou passif.

Enfin à l'intérieur du design d'interaction, il existe plusieurs courants, plusieurs approches. Le design d'interaction social, qui s'emploie à aider voire à encourager les interactions entre individus, entre groupes, ou encore d'un avec le plus grand nombre. C'est un travail capital dans un monde où la communication peut se passer de la présence physique, et où les liens sociaux directs tendent à se déliter. L'individu est projeté dans un environnement saturé d'informations et d'un autrui infini. Il faut donc concevoir une forme de résistance et de protection pour lui-même. Communiquer par l'intermédiaire de machines transforme nos interactions sociales, on ne peut plus ignorer l'influence de l'interface informatique. L'interaction tactile devient un facteur non négligeable.

Apple, souris Lisa, 1980.

1. Donald A. Norman est concepteur et théoricien de l'interaction. Il est l'auteur de nombreux ouvrages majeurs dans ce domaine.

INTRODUCTION22

Un autre aspect, qui devient de plus en plus central est le design d'interaction affectif. Comme je l'ai brièvement noté plus tôt, l'utilisateur est plus que jamais impliqué émotionnellement dans les interactions avec nos objets, les designers s’efforçant d’accroître leur valeur affective. John Maeda en fait une loi de son livre The Laws Of Simplicity1 qu'il nomme émotion. Relatif à une sorte d'animisme quasi primaire, à une projection affective humaine qui nous nourrit autant qu'elle nous déchire. L'interaction affective permet aujourd'hui d'accroître la satisfaction liée aux objets émergents, aux usages innovants ou traditionnels. Réduisant ainsi l'angoissante saturation du quotidien par l'abondance matérielle et informationnelle contemporaine. D.Norman parle également de design d'interaction naturelle, qu'il étiquette comme une expression avant tout mercatique ( marketing ), comme nous le verrons par la suite. Il décrit l'apparition de nouveaux modes d'interaction à l'instar de la voix, du toucher, du geste… Des modalités dites plus naturelles.

Cette nouvelle approche spécule d'une intégration accrue de nos objets informatiques dans notre vie, par un processus de dissolution. Il faut comprendre un glissement progressif des TICs dans notre quotidien, disparaissant à notre conscience active. Pour être encore plus explicite, l'ordinateur devient omniprésent mais s'efface, il devient invisible et s'emploie naturellement par le biais de nos actions. Cette disparition de l'interface active, dans laquelle l'utilisateur se plie aux contraintes et aux rythmes de la machine, et de l'ordinateur-écran comme point d'interaction privilégiée, participe à l'émergence d'une informatique pervasive ou ubique (Ubiquitous Computing). Ce sont là les concepts développés par Mark Weiser2, ou Adam Greenfield3. Ces trois grandes thématiques, soit le design d'interaction affectif, intuitif et social, sont en fin de compte un seul mouvement, participant à une même volonté de replacer l'homme au centre des défis technologiques, industriels et sociaux. Remettre la machine aux services de l'Homme, objet simple, sensuel et intelligent. Plus loin, je montrerai en quoi, toutes ces tendances ne constituent qu'une seule lutte unique, prenant ses origines dans la première révolution industrielle. Cette vision d'une informatique diluée dans notre quotidien, d'une interaction naturelle avec la machine est le véritable

point de départ de mon questionnement. À travers ce mémoire je souhaite interroger cette proposition : qu'est-ce qu'une interaction naturelle ? Quel est son but ?

Pour moi, ces questions sont profondément complexes et reposent sur des concepts philosophiques, je pense que ce mémoire ne suffirait pas à aborder pleinement cette problématique. Je vais cependant tenter une approche de ces questions à travers une perception essentielle dans cet exercice, celle du toucher, du geste, du contact. Qu'entend-on par toucher ? De quelle fonction s'agit-il ? Qu'est-ce qui est mis en jeu ?

1. John Maeda est designer graphique et ingénieur informatique, il a longtemps travaillé avec le MIT (État-Unis). Il est actuellement directeur de la Rhode Island School of Design.

2.Mark Weiser est chef scientifique au Xerox PARC (État-Unis). Il est considéré comme le père de l'informatique ubique, il emploie ce terme la première fois en 1988.

3.Adam Greenfield se définit «architecte de l'information», il est aussi directeur du Design chez Nokia.

En quête d'une interaction naturelle

CONSTAT

II

CONSTAT 27

Toutes ces questions et toutes celles qui suivront, sont issues d'une première intuition, d’un questionnement personnel venu de l’observation de notre société: Pourquoi ai-je le sentiment que tout devient tactile ? En quoi l'iPhone est-il cette révolution tant annoncée? Qu'y a-t-il de révolutionnaire à appuyer sur un écran ? Enfin pourquoi rendre tactiles les appareils mobiles avant les autres?

À cela, je pense déjà pouvoir amener quelques éléments de réponse. L'industrie s'excite, si je puis dire, autour des nouvelles interfaces gestuelles et tactiles surtout. Ce point est simple à démontrer et à observer, il ne requiert que des données chiffrées. Ensuite, et afin d'inscrire mon discours dans une chronologie technologique et sociale, je ferai un bref inventaire historique des méthodes d'interaction explorées.

Je citais plus haut le terme de design d' interface naturelle, et je le définissais comme une expression en quelque sorte commerciale. Apparu récemment pour décrire ces interactions qui semblent élémentaires et qui mettent en action des gestes plus ou moins simples, la notion d'interface naturelle s'oppose à l'approche clavier/souris/écran qui prévalait dans nos rapports à l'ordinateur. Il s'est imposé car il rapproche la Machine de l'Homme, il la rend plus accessible et donc moins dangereuse, ou plus justement moins nocive.

Il est amusant de voir ce terme émerger alors que les expressions de biologique (organic pour les anglo-saxons) et écologique ont été partiellement vidés de leur signification. Et alors que le développement durable devient un sujet majeur de la société contemporaine, quoi de plus normal alors que l'interface elle-même devienne naturelle. Plus pragmatiquement, il peut

Vincent Hayward, ingénieur en informatique et électronique à la McGill University de Montréal,à propos de l'illusion haptique dans les interfaces.

« It's just a way of taking advantage of human perception. » 

CONSTATCONSTAT28 29

paraître évident que dicter un ordre à un ordinateur, lancer une commande d'un geste de la main, apparaissent comme autrement plus naturel que de déplacer un symbole de flèche à la surface d'un simili-bureau, ou encore, d'appuyer simultanément sur trois touches d'un clavier, nécessitant une agilité manuelle digne d'un pianiste expérimenté. Mais de là à dire d'une interface qui consiste à toucher un écran plat et lisse en un endroit précis pour obtenir l'effet désiré ( qui se trouve par exemple être jouer de la musique) que c'est une interface naturelle ; il y a un grand pas que je ne souhaite pas franchir.

Dans le même ordre d'idée, on peut souvent lire l'expression d'interface tangible. Le principe étant encore une fois de confronter l'interaction informatique classique (nommée WIMP en anglais pour Window, Icon, Menu, Pointing) avec des modes d'interaction plus subtile et plus matérielle, nécessitant l'usage d'objets physiques, par le biais de métaphore généralement. Un exemple célèbre d'interface tangible est le Marble Answering Machine (qui n'est pas à proprement parler un ordinateur) de Durell Bishop : un morceau de marbre (d'une forme quelconque) correspond à un message vocal reçu, en le déposant dans un réceptacle, le message est lu. On le retire, la lecture s'arrête. Enfin on le place dans un autre réceptacle, le message est effacé. Ce type d'interaction implique une activité avec des objets physiques, introduisant des relations sensorielles plus ou moins arbitraires. Le nom initial était Interface utilisateur manipulable (Graspable user interface), dont l'un des pionniers est Hiroshi Ishii1. Le terme d'interface physique serait valable mais certainement déconcertant. L'intention est de donner une forme physique à l'information numérique. En cela, ce type d'interface est probablement plus naturel, car il importe le monde de l'information dans le monde physique, lui procurant un corps, le faisant exister même un court instant. Relativement factice, ce prêt physique fait aux données numériques ne les rend pas moins virtuelles. Nous y reviendrons et nous remploierons le terme tangible plus loin pour qualifier ce qui est à attendre des nouvelles formes d’interactions. Pour le moment je vais donc continuer la mise au point sur les interfaces dites naturelles. Je me permettrais de constater que

l'industrie semble en effervescence autour de cette nouvelle approche de l'interaction Homme-Machine. En vérité et nous le mettrons au clair, celle-ci n'a rien de nouvelle, elle est simplement devenue industriellement, et donc économiquement, viable.

Le facteur industriel

Par un bref aperçu tout d'abord, nous remarquons que les premiers appareils personnels à devenir pleinement tactiles sont les téléphones portables. Cela s'explique assez bien par l'importance qu'a pris cet objet ces dernières années, ainsi que la capacité à réduire la taille de chaque composant. Le tactile mobile se concrétise.

On peut constater qu'au troisième trimestre 2007 (source ARCEP, janvier 2008), le mobile a été plus utilisé que le téléphone fixe, le positionnant dés lors comme l'outil de communication vocal par excellence. Notons également un taux de pénétration du mobile de près de 92% en France, avec en Juin 2009, 56,6 millions de clients mobiles pour 62,1 millions d'habitants. Ce qui reste pourtant inférieur à de nombreux pays industrialisés. Ajoutons à cela une stagnation des revenus des opérateurs sur les services voix et une augmentation des sms et mms (+13,6%) et surtout une augmentation des revenus Internet et Multimédia (+45%) sur la période fin 2007 à fin 2008, selon les mêmes sources.

Il est simple de conclure que nos téléphones mobiles sont devenus bien plus indispensables que nos téléphones fixes. Ces premiers deviennent des terminaux informatiques de plus en plus puissants dont la fonction de téléphone n'est presque plus qu'un détail.Pour continuer dans ce sens, il suffit de regarder les chiffres liés aux ventes de ces téléphones augmentés : les smartphones.

1. Hiroshi Ishii est professeur au MIT (États-Unis) et directeur du Tangible Media Group.

CONSTAT 31

Ainsi selon le cabinet Informa Telecoms & Media, l'année 2010 devrait voir s'imposer la vente de ces appareils avec seulement 27% en volume, mais 55% en valeur. Leur vente devrait encore s'accroître de 36% cette même année, par rapport à 2009. Alors que le téléphone classique tournait autour d'acteurs relativement identifiés et fixes, le marché des smartphones attirent de nombreux investisseurs et industriels. Le Top 5 mondial avec Nokia, Samsung, LG, Motorola et Sony, voit d'autres acteurs de niche venir grignoter sur ce marché tel que RIM, Apple, HTC ou Palm. Le mobile multimédia, le smartphone est donc en train de s'imposer massivement.

Ce qu'il faut voir, par la même occasion, c'est que la majorité des smartphones ont un écran tactile, d'où ce paragraphe économique. Le tactile s'impose d'abord comme plus adaptée à la mobilité, à l'objet personnel.

Plus de 55% des mobiles multimédias vendus au dernier trimestre 2009 étaient équipés d'un dispositif tactile selon une étude du cabinet Canalys. Cette même étude indique : qu'alors que les ventes de smartphones ont progressées durant ce trimestre de 41% par rapport à 2008, les ventes de modèles équipés d'un écran tactile ont bondi de 138%. Sur ce marché précisément, Apple et son iPhone domine avec 33,1% des ventes.

La firme de recherche ComScore annoncent également des chiffres impressionnants : 23,8 millions d'abonnés utilisaient un écran tactile à la fin du mois d'août 2009, comparativement à 9,2 millions au même moment en 2008. Cette tendance devrait se poursuivre et se confirmer, Canalys nous indique selon son étude que sur 4 000 consommateurs interrogés, 60% des personnes souhaitent un écran tactile pour leur prochain mobile.

Sonos, Controller 200, 2009.

CONSTAT 33

Je conclurai ce paragraphe par une analyse de Gartner, référence dans le domaine des études sur les NTICs. Selon cet institut 58% des appareils vendus dans le monde en 2013 seront tactiles. Cette proportion dépasserait 80% aux États-Unis et en Europe de l'Ouest. En clair, dans quelques années, tout le monde aura un smartphone et ils seront presque exclusivement tactiles. Une telle tendance à la vue de ces études dépasse la simple intuition que j'ai pu formuler. Alors que je notais qu'un appareil sur six comportaient du tactile dans les magasins de téléphonie mobile, on parle d'un futur proche où huit appareils sur dix seront tactiles. Il s'invite donc chez tous et il semble que tous veulent du tactile. Mais pourquoi cet engouement ? Est-ce un phénomène de mode ? Ou bien, s'amorce-t-il une véritable changement ? C'est la question à laquelle j'aimerais apporter un début de réponse. Mais pour cela, il nous faut comprendre de quoi on parle et où en est la technologie tactile.

MSI, WindTop, 2009.

L'interaction avec la machine, du bouton et de la diode à l'écran tactile

Histo-rique

III

HISTORIQUE 37

Faisons un point sur l'Histoire des interfaces et surtout des interfaces de pointage. Ce dont on parle, c'est d'interface Homme-Machine. Soit ici les moyens qui nous sont donnés d'agir sur un ordinateur, ou tout type d'objet électronique. Bien que l'attention que l'on porte au fonctionnement du lave-vaisselle n'est pas la même qu'à l'ordinateur familial. Cela s'explique en partie par la complexité des ordres échangés. Dans tous les cas, il faut nous faire comprendre par la machine afin de réaliser ce que l'on souhaite. Car c'est là théoriquement l'unique fonction de la machine: nous faciliter l'existence en remplissant la tâche laborieuse pour laquelle elle a été conçue, nous libérant ainsi de certaines contraintes. L'Homme, pour agir sur son monde, a développé l'outil, la machine est une sorte d'ultime outil. Il faut un marteau pour enfoncer des clous dans une planche. Avec une machine, je n'ai même plus besoin de savoir comment elle s'y prend, à l'arrivée le résultat est similaire voire meilleur. En vérité aujourd'hui, la machine agit surtout à notre portée sur le monde de l'information. L'informatique est un mot issu de la contraction d'information et d'automatique. Voilà ce que nous proposent massivement les nouveaux outils : de la puissance de calcul à notre disposition. Comme nous l'avons évoqué pour le livre, le sujet avec lequel nous essayons d'interagir est l'information elle-même, le contenu. Encore faut-il vouloir, et plus important, pouvoir s'en servir.

À l'origine, ces machines se résumaient à quelques boutons et diodes, l'information était entrée sous forme d'instructions encodées sur des cartes perforées ; les données sortaient en fin d'opération sur des imprimantes rudimentaires. Des procédés similaires sont encore employés dans l'industrie. La carte perforée date du début du XIXe siècle, elle est inventée par Joseph-Marie Jacquard pour son métier à tisser. Il faut attendre les années 1990 pour qu'apparaisse le clavier et donc en-même temps la

Vint Cerf, Père d'Internet (Septembre 2008), à propos de l'interaction avec la machine, cité par Immersion.

«The possibility of haptic interactions – touch. Not just touch screens, but the ability to remotely interact with things. »

HISTORIQUEHISTORIQUE38 39

programmation. Le clavier1 permettant d'entrer les commandes en mots qui sont ensuite traduites par le programme pour être compris par la machine. Rapidement l'écran fit son apparition, c'est l'ère de l'écran/clavier et de ses abjectes lignes de codes. Cela change au début des années 1960, alors qu'une vague informatique se répand sur l'industrie. La machine se démocratise d'abord très lentement. Apparaissant ça et là dans des laboratoires, des universités ou des entreprises de pointe.

En 1964, Douglas Engelbart2 invente la souris. C'est alors un système de deux roues perpendiculaires dans un boîtier en bois, avec un grossier bouton poussoir sur le dessus. La souris est née, elle évoluera vite pour être maintenant partout. Pourtant à l'origine, elle n'était pas destinée à l'usage d'outil de pointage universel qu'on lui confère. À peu près au même moment, Ivan Sutherland3 développe son SketchPad : un crayon optique qui permet non seulement de pointer mais également de tracer, avec la précision d'un geste de dessin, auquel s'ajoute la rectitude informatique et une myriade de fonctionnalités. Pour diverses raisons économiques, industrielles, politiques et simplement pratiques, tout le monde se désintéressa de cet outil, jusque son propre inventeur. C'est un fait qui reste passablement troublant lorsque l'on observe le retour de ce type d'interface à l'heure actuelle. C'est corrélativement que l'écran s'impose comme périphérique de restitution (par opposition aux périphériques d'acquisition que constituent le clavier ou la souris), sa surface en deux dimensions implique une utilisation verticale, face à soi. Dans ces circonstances, l'emploi du stylo (ou stylet) eut été éprouvante sur la durée. C'est d'ailleurs un facteur qui influe beaucoup sur le design d'interface tactile. Vers la fin des années 1960, les ordinateurs évoluent rapidement, plus puissants et plus petits, ils deviennent personnels. La métaphore du bureau voit le jour. L'interface évolue alors visuellement mais l'interaction reste sensiblement la même : un ordinateur qui calcule d'un côté, de l'autre, un écran, un clavier et une souris pour lui donner des ordres et recevoir des réponses.

En fait, il existe d'autres modes d'acquisition comme les manettes, les joysticks ou les tablettes graphiques. Ce ne sont là qu'un aperçu mais déjà on note que ceux-ci sont dédiés à des activités précises (le jeu, le dessin,etc.) Aucun de ces outils ne présente les avantages et la simplicité de la souris. La tablette peut remplacer chez certains utilisateurs l'usage de la souris mais cela reste marginal. D'ailleurs des souris il en existe plusieurs, de types assez variés :

On trouve la souris traditionnelle, équipée d'une boule en dessous, qui déplace deux petits axes (avant/arrière, droite/gauche). Puis d'un usage très similaire, la souris optique et laser. Celles-ci photographient en quelque sorte la surface de nombreuses fois par seconde et peut donc déterminer avec une grande précision les déplacements, même les plus légers. Cet accroissement de la sensibilité du geste avec la souris est toujours un axe d'étude chez les constructeurs informatiques.

Mais avant ces dernières, existaient aussi les trackballs, sortes de souris standards inversées. L'objet reste immobile, les doigts et la main font bouger la boule afin de déplacer le curseur à l'écran. Le geste de déplacement de la boule dans son socle tout en regardant l'écran en deux dimensions, se montre plutôt laborieux. En effet, la souris a l'avantage de se déplacer sur un plan similaire à l'écran, et la relation entre ces deux mouvements est simple et relativement intuitive.

Autrement, vous avez peut-être déjà vu des ordinateurs portables (souvent nommés ThinkPad) avec un point rouge au milieu du clavier. Ceci est un Trackpoint, une espèce de bouton de pointage. Il est sensible à la pression et à l'inclinaison que lui applique l'utilisateur avec son doigt. Sensible et rapide, il se comporte comme une espèce de joystick miniature dont l'utilisation ne nécessiterait qu'un seul doigt. Il est donc théoriquement économe en fatigue pour l’utilisateur car de très petits mouvements sont nécessaires. Dans la pratique, cet outil se révèle difficile à contrôler et la pression épuise vite la main. Un grand avantage cependant est la possibilité de conserver ses mains sur le clavier.

1. Le clavier Azerty a été conçu à l'origine pour ralentir la frappe dactylographique et éviter ainsi la détérioration des machines à écrire(marteaux). Il est resté malgré sa logique de contre-performance.

2. Douglas Engelbart est un pionnier de l'informatique. Il a inventé la souris, participé à l'élaboration d'internet et de l'interface graphique en général.

3. Ivan Sutherland est également un pionnier d'internet. Il a beaucoup participé à l'émergence de l'ordianteur personnel.

HISTORIQUE 41

Enfin on a vu apparaître plus récemment et devenir rapidement la norme : le Trackpad. Soit le pavé tactile, ce petit rectangle de matière différente situé en-dessous du clavier de nos ordinateurs portables. Ce dernier exploite une technologie tactile déjà éprouvée, il offre un plan similaire à l'écran, ne nécessite que les mouvements d'un doigt (à l'origine) et il est très simple d'utilisation. Où que l'on place son doigt, la position du curseur reste identique. De plus certaines versions évoluées emploient un système fin d'accélération. D'un encombrement minimum avec des performances élevées, le Trackpad est devenu le dispositif de pointage préféré. Il faut dire que le confort que l'on tire d'un pavé piloté d'une caresse des doigts est sans commune mesure avec la souris, si ce n'est la vitesse de ciblage. La Loi de Fitt (the Fitt's Law) permet de calculer ce genre d'information avec précision. Mais la performance n'est pas déterminante dans cet exposé.

L'apparition récente du multi-touch(plusieurs doigts) a augmenté les possibilités de cet outil. D'abord deux, il est possible d'utiliser maintenant quatre doigts sur le trackpad de certains machines. Apple a même breveté des gestes à cinq doigts, avec l'aide de l'entreprise FingerWorks que la société californienne a rachetée, permettant ainsi l'usage de gestes tactiles plus complexes et donc de commandes plus riches. La même société a imposé plusieurs de ces gestes, comme le célèbre zoom (dé-zoom), en écartant les doigts sur l'image affichée. Le scrolling (déplacement orthogonal dans un document qui ne s'affiche pas intégralement) à deux doigts est également une invention qu'Apple revendique. Mais là nous rentrons dans une autre catégorie, celle du dispositif tactile. Seul le bouton de cliquage et le curseur rappellent la souris. L'écran tactile est plus proche de ce nouveau moyen de pointage. J'ai parlé de gestes à propos du trackpad et c'est probablement brûler une étape, car l'écran tactile est devenu gestuel il y a très peu de temps. Il se résumait longtemps à n'être que la localisation d'un point unique déterminé par le doigt. En effet, on parle communément d'écrans et d'interfaces tactiles, or il faudrait parler plus logiquement : d'écran équipé d'un dispositif de pointage par le doigt.

Xerox, prototypes d'outils de pointage, 1978.

HISTORIQUE 43

Je vais tenter de démontrer en quoi le terme tactile définit bien plus que le fait de pointer un objet à l'écran. Toucher n'est pas un sens vide et totalement orienté vers l'efficacité rationnelle. Je souhaite montrer que ces systèmes ne méritent pas d'être appelés tactiles. Pensons un instant aux installations publiques dites tactiles, n'offrant que de grossiers boutons et dont le contact du doigt est vaguement perçu. De très nombreux usagers ont eu l'occasion de tester les bornes automatiques de l'entreprise de transport des chemins de fer, la SNCF. Ces dernières, bien que haut de gamme à leur apparition, ne se sont jamais montrées satisfaisantes, générant souvent la frustration de l'usager, dubitatif entre sa maladresse et la stupidité de la machine! Nous pourrions accuser la technologie tactile employée à l'époque de leur conception et installation. Afin de mieux comprendre les démonstrations qui suivront, je vais vous ennuyer encore un peu avec de la technique, et passer en revue les différentes technologies tactiles existantes.

Les technologies tactiles

L'avènement des écrans tactiles, tel que l'industrie et les médias l'annoncent, apparaît comme une sorte de révolution (c'est le terme entendu), ce n'est pourtant pas une technologie nouvelle.

Dès 1972, IBM présente PlatoIV, un ordinateur précurseur équipé d'un écran plasma et d'un système de reconnaissance du toucher par infrarouge. Cet équipement était alors mono-point, un seul doigt à la fois. Les fonctions tactiles étaient très limitées. En 1984, les laboratoires Bell mettent au point un écran capable de suivre plusieurs doigts. Par la suite, d'autres projets ont vu le jour, mais il a fallu attendre ces dernières années pour voir sur le marché une véritable gamme d'écrans tactiles. Cela s'explique, en partie, par le fait que l'on n'a pas encore trouvé la technologie idéale, à la fois adaptable et exempte de défauts. Regardons plutôt ce qui est produit aujourd'hui.

IBM, PlatoIV, 1972.

HISTORIQUEHISTORIQUE44 45

Les écrans résistifs : c'est la technologie la plus économique et donc la plus répandue. La surface de l'écran est recouverte d'une couche tactile souple. La détection du toucher se fait par la pression exercée sur cette couche. Elle est composée de deux épaisseurs, deux membranes conductibles. Elles sont maintenues séparées par de minuscules patins isolants. Lorsqu'une pression suffisante est exercée sur l'écran, la membrane supérieure entre en contact avec la couche inférieure. La position de ce contact est relevée par un contrôleur électronique. C'est une technologie plutôt bon marché et très précise. On peut appuyer sur l'écran avec n'importe quel objet ou partie du corps. Cependant, l'ensemble des couches est assez peu transparent (elles absorbent environ vingt pour cent de la lumière émise), et relativement fragile de par sa souplesse. Très répandus, les écrans résistifs équipent les PDAs (Personal Digital Assistant), téléphones portables, navigateurs GPS, baladeurs ou encore des consoles de jeu comme la Nintendo DS. Ce système ne permettait pas l'usage de plusieurs doigts, cette contrainte a été dépassée récemment comme le prouve le produit proposée par l'entreprise Stantum.

Les écrans capacitifs : ils représentent le second type d'écrans les plus employés, mais profitent d'une tendance actuellement qui pourrait hisser la technologie capacitive au premier rang. Ils sont également constitués d'une couche tactile qui se superpose à l'écran, mais celle-ci est unique. La surface en verre de l'écran est ainsi recouverte d'un dépôt conducteur. Ce matériau est quasi transparent lorsqu'il est très fin (plus de quatre-vingt-dix pour cent de luminosité). Cette couche est reliée à des électrodes sur les bords de l'écran. Ainsi est créé un champ électrique uniforme à la surface. L'approche d'un doigt perturbe ce champ localement, la position est mesurée. Compactes, d'une excellente précision et très réactifs, ces écrans ont aussi l'avantage d'être recouverts d'une couche de verre et sont donc plus résistants que les résistifs. Mais ces écrans sont chers et surtout, ils ne sont sensibles qu'à un conducteur, donc inopérable avec un stylet ou des gants. De plus ils Schéma d'un écran résistif.

substrat en verre

couches conductrices

membrane extérieure flexible à revêtement dur

points d'espacement isolants

HISTORIQUE 47

sont sensibles à la présence d'eau ou d'humidité à la surface de contact, ce qui limite leur contexte d'usage.

Mais malgré ces inconvénients, les écrans capacitifs semblent parfois les plus intéressants. C'est cette technologie que l'on retrouve sur l'iPhone et la plupart des smartphones dernière génération. Les Trackpads (ou Touchpads) usent du même système mais il ne s'agit pas d'écran. Ils existent en fait plusieurs technologies capacitives : de surface ou projetée, principalement. C'est uniquement cette dernière qui autorise le multi-touch Nous allons voir d'autres technologies intéressantes, mais elles ne s'appliquent cependant plus aux terminaux mobiles.

La technologie EMR : vous avez sûrement déjà vu une de ces tablettes graphiques qu'utilisent surtout les info-graphistes. Ces tablettes fonctionnant exclusivement avec un stylet employant la technologie EMR, dont la société Wacom est propriétaire. Assez proche de la technique capacitive, la tablette comporte des bobines électriques. Une autre bobine est insérée dans le corps du stylet. En fonctionnement, un courant alternatif circulant dans les bobines génère un champ magnétique. Ce champ excite la bobine du stylet et y crée un courant. C'est le phénomène d'induction. Le stylet est donc alimenté à distance par la tablette, et la perturbation du champ est mesurée pour localiser le stylet. Cette technologie n'est pas tactile puisqu'elle nécessite l'usage du stylet, mais elle est très précise et convient parfaitement au dessin. Dissimulée sous un écran plat elle permet de travailler à même l'écran, sans aucune perte de luminosité. On peut la retrouver sur certaines Tablets PC.

J'ai eu la chance de tester ce procédé (rare et coûteux) à mon école, et je peux affirmer qu'il apporte un certain confort, ainsi qu'une efficacité gestuelle. Seulement l'absence de réelle fonction tactile oblige l'utilisateur à faire des allers-retours incessants vers son clavier, voire sa souris. Enfin, un problème sensible de parallaxe1 apparaît à l'usage, imposant par conséquent un calibrage régulier. Voire le retour strict à la

Wacom, tablette Volito 2, 2005.

1. La parallaxe est un phénomène de différence d'angle entre l'observateur et les différents plans dans sa vision.

HISTORIQUE 49

souris dans le pire des cas.

La technologie Touch RFCC : Wacom a bien senti le problème et ne voulant pas rater le coche de la révolution tactile, la société a dévoilée tout récemment la RFCC (Reversing Ramped Field Capacitive). C'est une variante des écrans capacitifs qui emploie cette fois quatre champs électriques au lieu d'un ; augmentant la précision et la fiabilité. Associée à l'EMR, Wacom est à même de proposer des écrans à la fois sensible au doigt et au stylet, avec une grande précision.

La technologie N-trig : de la société éponyme (commercialisée sous le label DuoSense), cette technologie est hybride à l'instar de la précédente. C'est-à-dire utilisable au doigt et au stylet. Très proche de la technologie Wacom, par couplage d'un écran capacitif et d'un système à induction.

On pourrait objecter que ces techniques employant un stylet n'ont rien à faire ici, elles ne sont pas tactiles. Mais elles s'en approchent selon moi, permettant une gestuelle et un contrôle plus naturels. Les outils Wacom par exemple, sont capables de déterminer la pression exercée à la surface de la tablette, affectant ainsi directement le tracé à l'écran. Le point commun à toutes ces technologies est leur fonctionnement dit électronique (mesure d'un champ électrique), mais elles ne sont pas les seules. Il existe également des moyens de rendre une surface tactile par détection optique.

La technologie FTIR  : Mise au point par Jeff Han à la New York University, FTIR (Frustrated Total Internal Reflection) signifie en français  : réflexion interne totale contrariée. Elle repose sur un phénomène optique bien connu et déjà employé dans la fibre optique : la réflexion totale. Sous un certain angle d’incidence, un flux lumineux est totalement réfléchi à l’intérieur d’un matériau homogène. En plaçant son doigt sur le verre de l’écran, on brise localement ce phénomène

signal électrique

champ magnétique

N-trig, schéma des différents modes d'acquisition.

HISTORIQUE 51

de réflexion. Cette perturbation est détectée par une caméra disposée derrière l’écran. Généralement c’est un faisceau infrarouge qui est employé. Facile à mettre en œuvre et peu cher, ce système a des avantages conséquents. Il s’adapte parfaitement à des écrans de très grande taille et ne nécessite pas l’usage restrictif du doigt nu. Jeff Han a créé sa société Perceptive Pixel afin de commercialiser cette technologie qui l’a rendu célèbre. La présentation de ce projet lors de la conférence TED de 2006, fit découvrir le multi-touch au grand public, ce fut l’ovation. Mais la clientèle pour écrans tactiles géants est rare.

Le tapis infrarouge : il s'agit d'un système proche du FTIR. On le retrouve sur quelques produits vendus aux particuliers parce que abordable. Ici le faisceau infrarouge est projeté à la surface de l’écran à la façon d’un mince tapis. Tout objet qui rencontre ce faisceau le coupe, alors les capteurs détectent la position de contact. Peu sensible à l’usure et utilisable à plusieurs échelles, cette technologie est globalement avantageuse. En revanche, sa précision est faible et surtout, la détection du doigt se fait avant le contact avec la surface de l’écran, ce qui reste perturbant, voire définitivement inconfortable.

Enfin une dernière technologie prometteuse existe, c’est le suivi vidéo : On retrouve cette dernière sur Surface, la table-écran tactile de Microsoft. Toute sa surface est un écran tactile, capable également de communiquer avec certains appareils mobiles. Pour cela, l’écran est constitué d’une simple feuille acrylique servant de surface de projection, à la manière d’une vidéo-projection de salon ou de certaines télévisions. À cela s’ajoute une source infrarouge et plusieurs caméras capables de détecter cette lumière imperceptible à l’œil humain. La lumière infrarouge est donc projetée sur toute la surface, lorsqu’un doigt entre en contact avec celle-ci il forme une ombre. Les caméras détectent cette ombre, et la machine se charge de la traduire en position, puis en mouvement. Ce système est très performant, Microsoft propose ainsi une autre version, verticale cette fois: TouchWall. Cette technologie

Schéma du FTIR.

déflècteurdiffuseur

réflexion interne totale

surface acrylique

HISTORIQUEHISTORIQUE52 53

est véritablement simple à mettre en œuvre, elle coûte relativement peu cher et montre de très bons résultats. Mais elle a aussi un autre point fort : elle est multi-touch, autorisant ainsi l’usage simultanée par plusieurs personnes. Comparé aux précédents, ce système est si accessible qu’il est même envisageable de fabriquer sa propre surface tactile à l’aide de cette technologie. On peut acheter des composants à monter soi-même (ex : TouchKit ou Cubit) pour son usage personnel, ou plutôt à des fins d’expérimentations.

Nous avons là un panorama des technologies tactiles qui existent actuellement ou, plus exactement, de celles qui sont suffisamment matures pour avoir atteint le stade industriel. Chacun présente, comme nous l’avons vu, des avantages et des inconvénients qui déterminent des contextes et des usages. Il n’est pas envisageable en effet d’utiliser un écran capacitif dans un environnement humide ou particulièrement froid (usage de gants), ni un écran résistif dans un cas qui risquerait de perforer la couche tactile. Par ailleurs, la taille de l’appareil considéré influence grandement le choix d'une technologie plutôt qu’une autre. Il n’est pas envisagé d’utiliser la FTIR sur un mobile, encore moins le suivi vidéo. Mais on remarque aussi, que malgré une certaine diversité de moyens et la présence de certaines technologies depuis une quarantaine d’années, les appareils tactiles ne s’imposent qu’aujourd’hui comme une vraie révolution (l’expression est exagérée). Nous pourrions justifier cela par la rentabilité industrielle, et ce serait partiellement avérée. Mais ce qui fait la grande différence, c’est l’apparition d’interfaces logicielles adaptées et puissantes permettant à l’utilisateur d’exploiter pleinement les capacités de ces outils. Non seulement, le matériel s’est profondément amélioré, mais surtout nous savons mieux comment les rendre accessibles. Les développeurs et ergonomes ont su trouver les moyens de faire de l’interface tactile un véritable atout. Par là même, c’est aussi une vision et une approche radicalement différentes de l’interface utilisateur. Il est nécessaire de repenser entièrement les interactions, la navigation, la communication avec la machine dans son ensemble. Les écrans tactiles installent une relation nouvelle, ils sont le

signe d’un progrès continu dans le domaine des interactions. Ils proposent une forme d’unité d’interaction qui faisait défaut jusqu’à maintenant. Les problèmes ne sont pas réglés intégralement, mais une rupture a lieu, c’est ce que j’expose dans le chapitre suivant.

Lorsque les premiers écrans tactiles sont apparus, j’ai vécu, comme beaucoup, une fascination pour cette nouvelle forme d’interaction. J’ai été émerveillé de pouvoir presser un bouton affiché du bout du doigt, sans avoir à déplacer une quelconque flèche péniblement. Une forme de magie opérait, elle était parfois renforcée par l’apparence de l’appareil, ses qualités esthétiques et plastiques. Mais rapidement mon intérêt a décru à mesure que les défauts me sont apparus. Alors lorsque l’ avènement de la révolution tactile fut déclarée, j’ai rapidement douté. La vérité, à mon sens, est que l’interaction tactile est une évolution radicale et profonde, mais certainement insuffisante dans l’état actuel. Certes l’ iPhone a redessiné notre manière de voir le téléphone portable, et il est sûr que j’aimerais avoir plus d’outils tactiles. Dans les chapitres qui suivront, je vais essayer de démontrer en quoi ce mode d’interaction peut faire évoluer positivement notre rapport à la Machine. Mais j’essaierai également de montrer en quoi l’interaction tactile a encore énormément de chemin à faire avant d’accomplir pleinement la révolution qu’elle semble promettre.

Des origines de la machine, de son corps et du nôtre

Philo-sophie

IV

PHILOSOPHIE 57

Au tout début des années 1990, je me souviens avoir suivi mon frère chez des amis et nous avons joué à la première console de salon Nintendo, la NES (Nintendo Entertainment System, apparue en 1983 au Japon) ; le jeu s’appelait Duck Hunt. Pour ceux qui n’ont pas connu le bonheur d’y jouer, c’était comme son nom l’indique un jeu de tir aux canards. C’était le premier jeu vidéo domestique à employer un pistolet (le NES Zapper) en lieu et place de la manette (rudimentaire), il fallait viser et tirer. Cette forme d’interaction et la magie du procédé nous enthousiasmaient véritablement. Nous tirions sur l’écran de télévision familiale et les canards tombaient. Chacun cherchait sa meilleure position, son meilleur angle, et c’était plaisant et éprouvant. Similaire aux arcades de jeu, Nintendo avait innové en apportant un objet qui transformait totalement l'interaction. Encore, cette innovation de l'époque semblerait dérisoire face à le Wiimote, la manette de jeu de la console Nintendo Wii. Cette dernière a redessiné les bases de l'interaction vidéo-ludique. Sans fil et bardée de capteurs, cet objet capte la plupart de nos gestes. La Wiimote permet de simuler un nombre grandissant d'objets et d'actions. Une manette incroyablement polyvante au sein de son monde. Il n'est pas question là de toucher, sinon kinesthésique. Mais le geste et la simulation de l'action constitue le renforcement de la croyance en une interaction utile et vraie ; présente dans un espace qui est à la fois numérique et physique.

Il y a une image, une référence que je souhaitais éviter, à l'époque. Trop vue, trop entendue, trop exploitée. Puis je réalisai bientôt que c’était pour une raison évidente que cette image faisait tant de bruit. Dale Herigstad est venu très récemment à mon école afin de nous parler de l’avenir des interactions, de l’avenir des écrans en particulier. Herigstad est celui qui

James J. Gibson (extrait de The Ecological Approach to Visual Perception, 1966), à propos de l'haptique.

« la sensibilité de l’individu au monde adjacent à son corps, par l’usage de son corps. »

PHILOSOPHIE 59

a imaginé et conçu (simulé) l’interface gestuelle présentée dans le film Minority Report. On y voit l’acteur Tom Cruise manipuler des documents multimédias sur un très grand écran, courbé pour presque l’entourer. Mais au lieu d’une souris, celui-ci porte d’étranges gants et déplacent ses mains avec des gestes assurés. Aucun contact physique avec un quelconque objet de pointage, à l’exception de ces gants. Non seulement il semble à l’aise, mais le film nous donne la sensation qu’il parcourt ses fichiers à une vitesse étonnante, voire improbable. Déroulant un film qu’il arrête d’un rapide mouvement du doigt, ou rejetant au loin une image sans intérêt du plat de la main.

Ces gestes n’ont pas grand chose de naturel, mais ils ont l’air simple. Il maîtrise une puissante machine du bout des doigts, et c’est cela que nous trouvons merveilleux. Nous rêvons de machines qui nous répondent au doigt et à l’œil. Voire des machines qui nous comprennent. C'est une vision qui a un effet sur tous : elle nous renvoie à la pauvreté de notre rapport présent à l'interface, laissant entrevoir un possible vantant la puissance et la maîtrise. Puis c'est aussi, le reflet d'une pulsion d'être avec la machine, plonger en elle. C'est la vision de Herigstad, l'utilisateur s'immerge dans une interface qui lui est totalement dédiée, autour de lui, attentive au moindre de ses gestes.

Je pourrais bien sûr citer d’autres exemples culturels, et j’imagine que vous-mêmes en avez d’autres. Ce qui n’était qu’un souffle de désir il y a quelques décennies est devenu un vent d’enthousiasme, une tempête de recherches et de publications sur les nouvelles interactions. L’interface gestuelle arrive enfin, et c’est l’avènement d’une ère nouvelle pour certains. Steve Ballmer (CEO Microsoft) nous dit :  I believe we will look back on 2010 as the year we expanded beyond the mouse and keyboard and started incorporating more natural forms of interaction such as touch, speech, gestures, hand writing and vision. What computer scientists call the  NUI  or natural interfaces. Nous avons déjà évoquer ce terme, galvaudé de mon point de vue, plongeons maintenant dans son analyse.

Microsoft, Surface, ( multi-touch ).

PHILOSOPHIEPHILOSOPHIE60 61

Les origines de la Machine

La  Machine  est un mot lourd de sens en ce XXIe siècle. Elle a d’abord été arme de guerre durant notre époque moyenâgeuse, puis force de labeur industriel et agricole au XVIIIe et XIXe siècles. Par la suite elle a envahit la vie courante dés le début du XXe siècle avant de devenir plus spécifiquement synonyme d'outil informatique dans la seconde moitié du siècle et, finalement aujourd’hui, s’installer dans chaque foyer, chaque poche. Pourtant la machine a souvent été liée à une notion d’aliénation. Lorsque l’on parlait des machines industrielles, on les confrontait aux ouvriers, et l’on discourait sur les dommages qu’elles leur causaient, les cadences qu’elles imposaient, etc. Le film de Chaplin, Modern Times, en délivre une vision assez claire, caricaturale et violente. La révolution industrielle du XIXe siècle, qui nous fît entrer dans une ère radicalement différente, est venue avec son lot de problèmes. Sont apparues toutes sortes de limites ayant des conséquences pour l’Homme  ; au point que celui-ci se batte parfois contre la machine elle-même. La littérature et le cinéma regorgent de cette lutte souvent métaphorique. Mais je fais référence ici aux luttes réelles du Mouvement Luddiste (1811-1812) et aux destructions de machines en réaction à la mécanisation de leur travail. Le triomphe annoncé de la Révolution industrielle n’a pas effacé le sentiment d’angoisse et de suspicion que la Machine suscite. Plus proche de nous, on observe le remplacement d’ouvriers et d’employés plus généralement, par des robots toujours plus perfectionnés. Dans ce cas, la Machine n’assiste plus l’Homme, elle le remplace littéralement, le vidant de son activité maîtresse, le chassant de son monde. Devenir inconnu à soi-même, à son monde, c'est-à-dire s’aliéner. Je ne discuterai pas du bien fondé de la mécanisation générale, de véritables auteurs en parlent très bien. Mais je vais relever le rapport conflictuel qui persiste avec la Machine.

Corporéité de la Machine

Celle-ci ne semble pas nous comprendre et nous la comprenons mal. La Machine semble parfois être l’outil qui aurait dépassé sa dépendance à l’humain. Un outil quasi autonome et souvent plus puissant que nous. La fascination et la crainte suscitées par les robots, exemple significatif, nous rappelle à quel point cela reste présent.

Gilbert Simondon1, dans son œuvre Du mode d’existence des objets techniques, décrit longuement les liens que nous semblons entretenir avec les machines, les outils et la technique en général. L’outil n’est pas un objet comme les autres, il nous permet d’étendre notre capacité d’agir sur le monde. Simondon note une rupture entre la période où le développement technique permet l’apparition de machines (qu’il nomme  individus techniques , et cela constitue une grande différence conceptuelle) qui remplacent l’animal. La machine à vapeur remplace le cheval pour remorquer les wagons. Jusque-là les gestes peuvent changer, le rapport au temps, au monde, est en partie modifié. Mais l’homme n’est pas remplacé, il ne naît donc pas de frustration, mais une simple perturbation. La frustration de l’homme commence avec les machines qui nous supplantent dans l’action ; comme le métier à tisser automatique, ce sont alors les machines que l’ouvrier brise dans l’émeute, parce qu’elles sont ses rivaux immédiats. Il explique en quoi le progrès du XVIIIe siècle est ressenti par l’individu dans la force, la rapidité et la précision de ses gestes. Celui du XIXe ne peut plus être éprouvé par lui, parce qu’il n’est plus au centre de l’action, il n’est plus le centre de commande et de perception dans l’action adaptée. Il devient spectateur des résultats du fonctionnement ; au mieux, responsable de l’organisation des  ensembles techniques . Simondon insiste sur le progrès dans ce sens :

« la notion de progrès se dédouble, devient angoissante et agressive, ambivalente ; le progrès est à distance de l’homme et n’a plus de sens pour l’homme individuel, car les conditions de la perception intuitive du progrès par l’homme n’existent plus. »

1. Gilbert Simondon est un philosophe Français du XXe siècle. Il a été précurseur dans l'établissement d'une philosophie de la technique.

PHILOSOPHIE 63

En disant cela, Simondon étend la notion du design centré sur l’utilisateur aux rapports profonds que l’on entretient avec les outils.

Je pense que ces problématiques sont encore très présentes et, les outils, ou instruments informatiques que nous voyons se déployer partout, ont hérités de ces troubles. Non seulement la machine informatique nous dépasse en pouvoir, mais aussi en compréhension. Nous sommes face à des  individus techniques  d’une complexité qui échappe à la majorité et dont nous sommes trop souvent les simples spectateurs. Nous entrons une information et nous attendons de voir une réponse ressortir. La multiplication d’appareils très diversifiés, plus ou moins spécialisés, ainsi qu’une batterie grandissante de logiciels, renforcent cette idée de dépassement et de mise à l'écart de l’homme. Combien d’entre nous utilisent des ordinateurs, et toutes sortes de programmes ? Seulement, combien savent coder un programme ? Certes il n’est pas nécessaire de comprendre et de connaître tout ce que nous employons, mais cela à des conséquences sur notre rapport au monde.

Cette question rapportée strictement à l’informatique fait naître, de mon point de vue, une dualité entre notre monde physique et celui de l’information, à un niveau différent de celui les objets ; qui sont par essence manipulés. Si l’on ajoute à cela le caractère purement abstrait de l’information extraite de son contexte, le monde informatique est envisageable alors comme inconsistant et désunifiant. Le rapport au temps est profondément bouleversé dans le monde informatique et cela a des conséquences notables sur notre perception du réel. L’interaction avec la machine devient le centre des préoccupations.

Il n’est pas concevable de se passer de l’informatique actuellement, c’est pourquoi tant d’efforts sont déployés pour transformer nos rapports avec ces machines, qui pourvoient et manipulent l’information. On peut admettre que l’interaction doit dans cette logique nous conférer le sentiment d’être maître de l’information et de son automatisation. Afin

Intel, Classmate PC ,2009.

PHILOSOPHIE 65

de se considérer comme être agissant en ce monde, je dois interagir avec lui, aussi immatériel soit-il. C’est tout là, l’essence du design d’interaction, du design d’interface tangible ou naturelle…

En effet, l’interaction gestuelle et tactile pose un principe important dans l’activité motrice de l’homme. Cela peut paraître banal à relever mais je pense qu’il est essentiel d’insister dessus : Dés lors que je me passe d’un instrument de navigation (l’outil de pointage) pour pouvoir me déplacer et agir au sein d’un environnement, j’ai le sentiment d’être intégré à celui-ci. Le simple fait de pouvoir pointer du doigt l’objet sur lequel nous souhaitons agir, renvoie à des expériences vécues dans le monde physique. Mon corps est véhicule de l’action par lui-même. Mais ce moyen d’agir n’est pas strictement une transposition métaphorique de pouvoir toucher l’objet . Il est certainement une métaphore en cela que je ne touche pas vraiment l’objet. Mais il est bien plus, contrairement au bureau sur mon écran, car il fait agir l’Homme dans son potentiel physique. J’agis sur mon monde par le biais de mon corps.

Merleau-Ponty1 dans son Approche phénoménologique du corps décrit cette relation  : « (l’ individu) est son corps et son corps est la puissance d’un certain monde. » Et Michel Bernard, s’appuyant sur ce discours dans son œuvre, Le Corps, nous explique : « Mon corps ne m’apparaît pas comme une mécanique neutre associée à une mosaïque d’organes, réceptacle indifférent d’excitations intéroceptives2, proprioceptives3 et extéroceptives4, mais comme posture en vue de certaines tâches actuelles ou possibles. Il n’est pas en face d’un espace objectif  : il est ancré, enraciné dans une certaine situation qui polarise toutes ses actions. »

Cette vision phénoménologique du corps entre perception et action m’amène à envisager la machine dans une comparaison avec le corps humain. Ainsi, l’interaction tactile qui consiste à pointer un objet graphique et que la machine reconnaisse cette action, renvoie à un

Apple, iPhone, 2007.

1. Maurice Merleau-Ponty est un philosophe Français du XXe siècle. Il est un auteur principal du courant de la Phénoménologie.

2. Intéroceptive : sensation qui provient de l'intérieur du corps.

3. Proprioceptive : sensibilité des muscles, des ligaments et des os.

4. Extéroceptive : sensation qui provient de l'extérieur du corps.

PHILOSOPHIEPHILOSOPHIE66 67

schéma interne pour l’Homme. C’est une projection qui fait du corps de la machine, un corps perceptif et agissant, ancrée elle aussi dans l’action avec soi. Machine agissante et perceptive dans ce monde partagé. Nous sommes alors bien loin de l’outil que je pilote avec une souris. Je suis étonné par moments que ces objets ne soient pas doublés d’un animisme qui nous ferait les considérer plus encore comme des créatures.

Il est des objets qui emploient la métaphore de la machine animale1. Le corps de la machine capte notre geste et indique sa réaction. Il devient donc un tout constitué d’organes récepteurs et d’autres agissants, dans une boucle d’interdépendance relative. Il peut communiquer et surtout, je crois le comprendre. Il continue à me dépasser en terme de complexité mathématique, mais son comportement ne m’est plus aussi inaccessible. Nous aussi si l’on nous touche, notre attention est captée. Si quelqu’un pointe du doigt un objet, nous regardons l’objet. Je ne cherche pas à dire que nous faisons des objets à notre image, encore que. Je pense que nous transférons notre rapport au corps à la machine, et ce dans le but, plus ou moins conscient, de la rendre moins hostile, plus compréhensible. Je ne dirai donc pas que ces interactions centrées sur l’utilisateur soient naturelles, je pense plutôt qu’elles sont le symbole d’une lutte contre l’aliénation (toute mesure gardée) vécue par l’utilisateur.

Certains auteurs, comme Adam Greenfield et Mark Weiser avant lui, pensent qu’une ère nouvelle arrive, celle de l’Ubiquitous Computing (l’ informatique ubique). Dans cette vision, l’informatique est omniprésente, elle est un pilier de notre quotidien et nous nous en nourrissons. Mais elle est devenue invisible malgré sa superpuissance. L’informatique s’est diffusée dans le quotidien, elle a fusionnée de façon abstraite avec le monde physique. Les points d’interaction, les interfaces deviennent flous et indéterminés car tout objet devient potentiellement véhicule de l’information.

Si l’on accepte cette vision, même partiellement, l’interaction tactile peut être vue comme une étape transitoire vers cette informatique ubique. La corporéité, pour reprendre un terme de philosophie cher à Merleau-Ponty, que l’on accorde ainsi aux objets informatiques, leur permet d’appartenir et d’exister dans un monde nous expérimentons par notre propre corps, nos sens, notre perception. Je dirais qu’en permettant de nous faire percevoir par la machine, nous nous permettons de la percevoir elle-même.

Phénoménologie de la Machine

Selon la pensée de la Phénoménologie toujours, nous pouvons continuer à définir les évolutions profondes que les interactions tactile et gestuelle entraînent. Il a souvent été relevé dans la littérature des interactions Homme-Machine, que la souris et le clavier avaient un problème majeur : c’est une interaction indirecte. En effet, je déplace ma main (en fait l’ensemble épaule/bras/main), qui déplace la souris, qui déplace le curseur, qui agit sur l’écran où sont affichés les éléments sur lesquels je souhaite agir. Le déplacement de la souris n’est pas une fin en soi, c’est l’intermédiaire dont j’use pour agir sur le monde numérique. Il s’ajoute une distinction qui se fait entre le geste et sa conséquence, car je déplace mon ensemble main/souris sur un plan horizontal, alors que j’agis sur un plan vertical, plus haut face à mon regard. Heureusement cet exercice est vite maîtrisé. J’appellerais ce phénomène une  dé-synchronisation de geste . Je ne suis pas certain de ma terminologie, mais nous pouvons identifier aisément la rupture brutale qu'entrainent les écrans tactile. L’interaction tactile élimine ce phénomène : elle propose une interaction directe. Je vois l’objet et ma main vient agir. Les deux sont intriqués dans une dynamique perceptive et motrice.

1. Au sujet de l'animisme, je vous invite à lire l'analyse sémiologique de la DS de Citroën par R.Barthes (Mythologies, 1957), dans une comparaison à l'iPhone.

PHILOSOPHIE 69

Amiga, Joystick,1990.

La phénoménologie expose cette relation, c’est notre mode d’être au monde. Nous interagissons dans une boucle étroite de perception et d’action. Non seulement plus performante, plus efficace, l'interaction directe est surtout plus cohérente avec notre expérience cognitivo-perceptive Nous vivons dans un environnement sur lequel nous projetons notre fonctionnement perceptif.

James J.Gibson1, auteur de The Ecological Approach to Visual Perception (L’Approche Écologique de la perception visuelle , 1979) développe une théorie originale et holistique de la perception. Selon Gibson, on ne peut expliquer la perception que dans la relation de l’animal avec son environnement ( d’où le nom d’approche écologique ). Contrairement au cognitivisme ou computationnalisme (Information processing psychology), qui assimilent la perception à un traitement réalisé par le cerveau sur une représentation mentale en relation avec l’image rétinienne ; Gibson envisage la perception comme un phénomène immédiat. Il crée pour cela le terme d’affordance (du verbe anglais to afford  : fournir, offrir la possibilité). Les affordances sont les possibilités d’interactions d’un animal avec son environnement. Celles-ci sont perçues dans un ensemble instantané qui définit et est défini, tant par le potentiel d’interaction de l’individu, que par la capacité de l’objet à soutenir celle-ci. L’eau n’est pas un matériau pour marcher, ni un milieu pour vivre, mais il l’est pour le poisson. Une chaise est immédiatement perçue par nous comme un élément sur lequel on peut s’asseoir. C’est une surface praticable pour une fourmi. Mais rien de tout cela pour un cheval, probablement autre chose. Les affordances sont donc la condition d’interaction avec notre monde, à la fois perception et action. Elles existent en elles-mêmes, perçues ou non ; et nous n’en prenons pas nécessairement conscience.

La Théorie de la Forme (Gestalttheorie) envisage la cognition dans une direction que je pense similaire. Nous percevons les objets dans un ensemble de signification et ce de manière instantanée. Une table est perçue

1. James J.Gibson est un psychologue Américain du XXe siècle. Il est considéré comme l'auteur le plus important de ce siècle dans le domaine de la Perception visuelle.

PHILOSOPHIE 71

comme telle, mais selon qu’elle soit couverte d’assiettes ou de livres, son ensemble signifiera spontanément une table pour manger ou pour étudier. L’interaction est alors donnée dans un seul coup comme perception d’un tout, composée des affordances et de la signification.

John Maeda s’intéresse à cette théorie de la forme, et l’influence qu’elle peut avoir sur le design. La notion d’affordance, elle, a été introduite dans le design par Donald Norman. Son ouvrage référence, The Design of Everyday Things (Le Design des Objets du Quotidien, 1988), a été critiqué pour avoir installé une confusion entre affordance perçue ou non. Dans le design, soit un environnement artificiel, l’affordance perçue est celle qui semble pertinente.

Norman s’est défendu en indiquant que ce qui importe vraiment au designer est que l’utilisateur perçoive quelle action est possible ou non. Mais il a installé de nouvelles distinctions, que je n’admets pas : Il oppose les conventions culturelles aux affordances. L’objet de la souris est une affordance, on perçoit le tout comme compatible avec la main et donc manipulable. Un bouton peut-être une affordance, même à l’écran en revanche selon lui, le curseur est une convention. Cela peut se comprendre si l’on l’envisage sous un angle instrumental. Mais le curseur est une affordance car il définit un potentiel d’action et d’interaction pour moi. Je n’interprête pas la souris comme un objet isolé, perdu sur l’écran  ; il est immédiatement signification d’un potentiel de déplacement, de pointage, de sélection, etc. Je pense qu’au système écologique brut se superpose un système culturel qui détermine notre rapport à l’environnement.

James G.Greeno1 semble soutenir ce point de vue lorsqu’il étudie la reconnaissance et l’apprentissage de symboles. Norman écrit également que les affordances physiques (soit représentant des éléments sur lesquels je peux agir physiquement) jouent un rôle mineur dans le design d’interface graphique. Difficile d’affirmer ce que

Apple, brevet sur des commandes gestuelles, 2010.

1. James G.Greeno est un chercheur spécialisé dans le domaine cognitif. Il a beaucoup étudié la structuration de l'information.

PHILOSOPHIEPHILOSOPHIE72 73

L’écran tactile peut permettre de vivre une interaction apparemment plus riche avec la machine. Il élève l’importance des affordances dans ce domaine, conjointement, il renforce l’expérience d’incorporation de la machine à notre environnement. Ces deux mouvements participent selon moi à encourager, ou plutôt améliorer la relation de l’Homme avec la Machine : moins effrayante, moins obscure, moins absurde.

La réappropriation du corps

Pour continuer dans cette voie, je souhaite insister sur cette lutte contre une forme d’aliénation mécanique et y ajouter une seconde lutte, plus moderne dans sa forme. Elle consiste en la ré-appropriation de son propre corps. Il est facile de relever un discours qui se diffuse actuellement et qui est apparu il y a déjà une trentaine d’années : L’interaction directe est une libération. Nous serions donc pris dans une sorte de marche en avant, vers un progrès de notre contrôle, de notre capacité à interagir avec le monde contemporain. Spatialité et temporalité sont bouleversées mais l'Homme reste maître à bord, son corps comme outil primordial.

Cela commence dans l’univers informatique avec l’importante publication du professeur Ben Shneiderman1, Direct manipulation. Il y décrit l’habilité de manipuler des objets numériques sur l’écran, sans utiliser de ligne de commande. Dan Saffer2, dans son livre, Designing Gestural Interface, renchérit en définissant l’interaction tactile (et gestuelle) comme l’ultime manipulation directe : utiliser son corps pour contrôler l’espace numérique.

Aussi en travaillant dans un bureau de recherche et développement, Orange Labs, je ne fus pas surpris de découvrir les efforts faits pour mettre au point des modèles physiques d’interaction. Sans rentrer dans les détails, cela consiste à modéliser mathématiquement, en langage informatique, des propriétés et comportements physiques. Ce principe est employé dans les simulateurs en tout genre ou les expérimentations

Norman entend par Physical affordances dans ce cas, puisque si l’on évacue l’imitation numérique du monde physique, il ne reste que des conventions et donc plus d’affordance selon Norman.

Pourtant si les boutons ressemblent tant à de vrais boutons, avec leur volumétrie, leurs ombres, leur comportements physiques, c’est bien pour faire sens à la perception. Le bouton est en relief car c’est une affordance évidente. Il est intéressant d’obsever que le symbole d’une main qui pointe l’index (remplaçant la flèche) est très souvent employé pour renforcer la compréhension qu’un objet est pressable. Avec l’écran tactile, le curseur disparaît et il nous faut découvrir autrement comment et quand agir. Le bouton représenté en relief reste donc très pertinent dans ce cas précis. Ces difficultés amènent Norman à être très critique avec l’interaction gestuelle, car elle est plus complexe à aborder ; il est encore plus difficile de savoir comment agir. D’un côté je soutiens cette remarque, et d’un autre, je m’oppose à la vision réductrice et fonctionnaliste pour revenir au mode d’existence de l’écran tactile. Certes le geste est un moyen d’interaction relativement complexe, mais il devient un acte interprété par la machine, non plus dicté à celle-ci. L’écran peut devenir multiple, il s’adapte, il est contextuel. Chaque pixel peut modifier sa valeur des centaines de fois par seconde ; à l’instar de notre environnement visuel sans cesse changeant. Nous percevons sans traitement cognitif intermédiaire, un environnement sensible qui est dynamique et variant. Nous percevons donc dans cette double dynamique, à travers l’exploration et l’évolution sensorielle. L’écran tactile permet ce type de rapport. L’écran informatique avait cette qualité d’être dynamique, évolutif et manipulable  ; dorénavant, il évolue sous l’action de ma main (voire plusieurs). En touchant je modifie ce que je vois. Mon action et ma perception sont imbriquées plus étroitement.

Contrairement à Norman, je pense donc que ce type d’interface ne supporte plus les paradigmes classiques. Il convient de repenser l’interface afin de  libérer  tout son potentiel d’interaction.

1. Ben Shneiderman est un ingénieur informatique spécialisé dans l'interaction Homme-Machine et le design d'interface.

2. Dan Saffer se définit comme designer d'interaction, il est spécialisé dans les domaines tactile et gestuel.

PHILOSOPHIE 75

de réalité virtuelle. De la même manière, on cherche à simuler un comportement physique à l’utilisateur, au court de l’interaction et de façon quasi instantanée. On fait passer la machine informatique pour autre chose, on lui prête un corps. La machine a bien un corps physique, mais encore une fois c’est l’information qui est l’individu-sujet, que l’on manipule. Donc d’une certaine façon, nous donnons corps à l’information. Ceci vient conforter le discours que je soutenais précédemment, mais cela amène aussi à penser la projection qui se fait selon moi, entre ce corps et le nôtre.

Ce corps que nous pensons, notre corps, est une construction mentale hautement influencée par la culture. Cette idée relevée par plusieurs auteurs se trouve résumée par Michel Bernard et actualisée. Il traite de l’adoration du sportif dans nos sociétés contemporaines, à travers une analyse qu’il emprunte à Roland Barthes1:

En donnant ainsi l’ illusion d’assurer la revanche du corps contre l’abrutissement et la pollution de la civilisation urbaine et technicienne, l’extension des loisirs a contribué à forger une image mythique d’un Homme pourvu d’un corps harmonieux, libre, sain et beau. Autrement dit la civilisation a crée de toutes pièces  un humanisme du corps .

Et d’ajouter en citant Jean-Marie Brohm2 :   dans tous les domaines de la vie sociale, le corps devient de plus en plus l’objet, le centre de certaines préoccupations technologiques ou idéologiques. Que ce soit dans la production, dans la consommation, dans le loisir, dans le spectacle, dans la publicité, etc. Le corps est devenu un objet de traitement, de manipulation, de mise en scène, d’exploitation. C’est sur le corps que convergent toute une série d’intérêts sociaux et politiques dans l’actuelle  civilisation technicienne .

Ils insistent sur une tentative sociétale de réappropriation du corps, pas nécessairement pour soi-même et à des fins parfois mercantiles. Mais ce qui est central, c’est ce corps culturalisé. Dans mon idée, l’évolution du design

Apple, Magic Mouse,2009.

1. Roland Barthes est un écrivain et sémiologue Français du XXe siècle. Il est célèbre pour son travail de démystification de la société.

2. Jean-Marie Brohm est un sociologue, anthropologue et philosophe Français. Il est connu pour sa sociologie critique du sport.

PHILOSOPHIE 77

est souvent engagée dans cette voie. Le design d’interaction ou le design tangible, sous le couvert fantasmatique de rapprochement des mondes physiques et numériques, explorent progressivement un ré-engagement et une prise de possession du corps. Nous cherchons à satisfaire le corps pour empêcher une distanciation engendrée par la société, à laquelle participe le développement frénétique du numérique. En nous engageant de toute notre chair dans l’interaction avec la machine, nous simulons un acte que nous pensons empreint de réel. Je ne saurais dire si je soutiens cette approche, je tente seulement d’en comprendre le mécanisme sous-jacent. Car il m’apparaît que nous ne développons pas ce qui pourrait être la meilleure des interactions Homme-Machine, mais plutôt la plus satisfaisante et compatible avec la vision contemporaine du corps.

Et pour conclure ce paragraphe, je souhaite citer une étude de StrategyOne pour Hewlett-Packard, réalisée en 2009 auprès d’un échantillon représentatif de mille personnes. L’étude montre l’engouement des Français pour les technologies tactiles. Ainsi, 91% des Français déclarent que l'écran tactile est facile à utiliser et 87% qu’il est agréable d’utilisation.

 L’objet tactile est à la pointe de notre quête de bien-être par les sens. Il n’a en fait rien de dérisoire et occupe souvent une fonction importante, s’affichant comme très beau, de façon visible.  dixit Jean-Claude Kaufmann, Directeur de Recherche au CNRS, qui a commenté l’étude. Celle-ci met par moments l’accent sur le caractère esthétique des appareils mobiles. Mais ce que nous retiendrons surtout de ce qui n’est peut-être qu’un énième vague sondage, c’est cette phrase superbe :   70% (des sondés) déclarent que les interfaces tactiles donnent le sentiment de mieux maîtriser la technologie.

Nous aurions peut-être dû commencer par là.

Apple, brevet d'écran tactile inclinable, 2010.

PHILOSOPHIEPHILOSOPHIE78 79

Au regard des trois phénomènes que j'ai exposé, soit l'apparition de la machine-corps, le renforcement de l'affordance et la réappropriation du corps humain. Il me semble que nous pouvons admettre l'avancée que constitue l'écran tactile et l'interaction gestuelle. Je n'ai pas pleinement développé ce dernier point.

Le geste est en effet un processus un peu à part du domaine tactile propre, disons plus spectaculaire. Je pense que dans l'ensemble l'étude du geste suit la même analyse. À ceci près que le geste est plus dynamique et plus sensible. Il est une forme d'ensemble action-perception plus intense énergétiquement et temporellement. L'emploi d'une interface gestuelle dénote une plus grande sensibilité de la machine dans le cas où elle comprend la signification de mon geste.

Il y a deux catégories (modalités) gestuelles, le geste en contact(dit deux dimensions) ou le geste libre(dit trois dimensions). C'est certainement ce dernier qui est le plus complexe techniquement. Mais dans l'ensemble toute interaction gestuelle est plus complexe que le pointage d'icônes ou de menus. Nous pouvons encore distinguer trois types de gestes dans chaque cas :

Le geste de manipulation directe, ce sont les commandes les plus immédiates, les objets visibles. Le geste métaphorique qui est l'emploi d'un geste déjà existant culturellement. Enfin le geste symbolique, il se rapproche de l'écriture ou du dessin. Ce mode d'interaction pose de nombreuses contraintes. Aucun langage gestuel n'existe vraiment, et aucun geste ne peut prétendre à une totale universalité. À cela s'ajoute des questions physiques, éthiques et techniques qui font du geste une modalité à la fois passionnante et restrictive. Elle contribue cependant à offrir une interaction que l'on tend à qualifier de naturelle car elle peut être si intuitive, qu'interagir par le geste devient un plaisir. Conservons cette idée que cette modalité est incluse dans la perspective tactile globale ; elle est l'évolution d'une certaine partie.

Je revenais donc vers ma position d'origine, selon laquelle l'interface tactile est une avancée majeure. Elle fait exister la Machine différemment et nous re-positionne face à elle. L'interaction entre l'Homme et la Machine est positivement modifiée. En vérité, je dois nuancer mon propos, voire me contredire totalement. En observant attentivement le toucher, on peut aisément découvrir la limite actuelle, la plus évidente et capitale, à ce type d'interaction. En fait, il apparaîtra que l'interaction tactile engage, peut-être, une régression sur le plan sensoriel. Le tactile ce serait encore moins toucher.

La sensibilité du corps et toucher en particulier

senshumain

V

SENS HUMAIN 83

Dire que l'interaction tactile est finalement moins tactile que l'emploi classique de la souris et du clavier, ça doit paraître étrange. Pour être plus clair, il faut reprendre la définition du tactile. Une expression employée régulièrement à tort. Nous avons répété ce mot tout au long de ce texte, c'était souvent une erreur ; mais cette convention nous a permis de nous entendre. Il est temps maintenant de redéfinir la terminologie : qu'est-ce que le tactile?

Afin d'être exhaustif, et loin s'en faut, je me devrais de définir attentivement les cinq différents sens humains : la vue, l'ouïe, le toucher, l'odorat et le goût. Partons du principe que vous connaissez ces sens depuis longtemps. Nous pouvons déjà exclure l'odorat et le goût comme sens pertinents dans les interactions avec la machine. Apparemment nous employons donc la vue (l'écran), l'audition (son et feedback sonore) et le toucher. Mais dans quelle mesure utilisons-nous ce dernier? Je vous propose une observation physiologique des ces trois modalités.

Le système visuel

Le système visuel est très complexe et très spécialisé. On peut cependant le tromper comme le démontrent les nombreuses illusions d'optique. Différents paramètres ont été étudiés, nous ne nous attarderons pas sur les détails. Tout d'abord, le champ visuel est proche de cent quatre-vingt degrés, ses caractéristiques sont différentes entre le centre (fovéa) et la périphérie. La périphérie est moins sensible aux couleurs et plus sensibles au mouvement, ainsi qu'aux variations lumineuses. L'acuité visuelle, soit la résolution du système, permet à un individu conventionnel de voir un trait noir sur fond blanc, d'une épaisseur de quatre centièmes de millimètre à

Roland Barthes (extrait de Mythologies, Éditions du Seuil, 1957) à propos de la palpation sensorielle.

« Le toucher est le plus démystificateur de tous les sens, au contraire de la vue, qui est le plus magique. »

SENS HUMAIN 85

une distance de cinquante centimètres. La perception de la couleur est très complexe et dépendante du contexte. L'œil perçoit le mouvement avec une sensibilité très élevée, de l'ordre du dixième de seconde, jusqu'à parfois un centième de seconde. Enfin l'on perçoit la profondeur et le relief, grâce à la stéréoscopie, que permet l'usage simultanée de nos deux yeux. Nos yeux ne sont pas fixes, et effectuent constamment de rapides mouvements afin d'extraire un maximum d'informations de l'environnement. La vue est sans conteste le sens le plus sollicité de façon générale, les interfaces courantes ne s'appuient souvent que sur lui.

Le système auditif

Contrairement à la vue, on peut entendre sans écouter, c'est un sens omnidirectionnel et toujours actif. Les signaux sont constamment interprétés mais peu parviennent à notre conscience. Notre audition peut se focaliser dans l'espace sans que l'on sache exactement comment. L'ouïe peut masquer ou filtrer certains sons dans une multitude, les conditions sont mal connues et dépendent du contexte. De plus, nous sommes capables de localiser une source sonore dans l'espace. Comme pour la vue, la stéréoscopie participe à cette faculté perceptive. Mais d'autres traitements agissent afin de dés-ambiguïser ces perceptions. Malgré ses capacités, l'ouïe est très peu sollicitée par les systèmes interactifs actuels, en dehors de bips plus ou moins variés et de signaux pré-enregistrés. Certains travaux ont montré l'augmentation des performances pour certaines tâches informatiques, qui peut résulter de l'usage du son. De mon point de vue ce n'est pas une simple question d'efficience. L'étude du toucher exposera cette opinion plus explicitement.

Main d'homme

SENS HUMAIN 87

Le système tactile

Le toucher est le sujet de ce mémoire, c'est aussi le sens qui fait le plus débat. Le toucher est une modalité dont l'apport du point de vue cognitif, a donné lieu à des appréciations très diverses, sinon franchement contradictoires. Il est apparu à certains comme un outil perceptif puissant et efficace. Mais la dominance de la vision semble si massive, lorsque l'on en a l'usage, que l'apport du toucher a aussi été considéré comme mineur et restreint à quelques domaines ; comme le contrôle de la posture ou celui de l'agrippement des objets en vue de leur transport ou de leur transformation. En fait, c'est l'approche sensorielle générale du toucher qui est très peu comprise. Susan J.Lederman (1988) cite quatre raisons au fait que notre savoir sur le toucher ne se soit pas développer aussi vite que la vision ou l'audition:

« 1. Il y a un manque de moyens technologiques disponibles pour la production et la présentation des stimuli qui agitent la peau. 2. Les moines, durant la période Moyenâgeuse, n' était pas autorisés à transcrire, et ne pouvaient donc préserver, quelque texte relatif à la peau. 3. Il y a une réticence générale dans notre société à aborder les questions liées au toucher, et 4. La peau est le plus vaste organe du corps, et il est hautement complexe. »

Il est certain que l'attention portée à la vision joue une part importante dans cette ignorance. Les processus à l'œuvre dans la perception tactile de l'environnement, font eux aussi l'objet d'évaluations divergentes. Alors que dans les années 1960 et 1970, et à la suite des travaux d'Eleanor J.Gibson (1969) et de James J.Gibson (1966), les recherches tendaient à faire ressortir les aspects communs au toucher et à la vision ; les études plus récentes insistent sur le caractère spécifique de ce système perceptif. Par ailleurs, les progrès des techniques d'imagerie cérébrale et ceux de la neuropsychologie, permettent aujourd'hui une approche plus fine de la manière dont fonctionne cette modalité, et comment elle est intégrée aux autres sources d'informations perceptives. L'étude du sens du toucher révèle trois composantes principales :

Anatomie de la main.

SENS HUMAIN 89

Le sens thermique, cette sensation nous renseigne à la fois sur la température de l'objet, et fournit également une information sur la nature de l'objet ; la façon qu'il a d'absorber ou de me renvoyer ma propre chaleur (le métal apparaît toujours plus froid que le bois, à même température). La sensation de froid ou de chaud apparaît à condition que les variations de température soient au moins de six degrés Celsius par minute. Si la variation de température est plus lente, l'écart thermique peut devenir très important avant que nous ne ressentions un changement de température.

Le sens tactile, c’est la sensation des textures. Au bout de nos doigts (et plus largement sur notre peau), nous possédons des capteurs de pression qui nous donne une information sur le relief de l’objet. Les informations issues de la déformation mécanique de la partie de peau stimulée sont codées par les mécano-récepteurs cutanés, situés dans les différentes couches de la peau ; ils ont des sensibilités variées. La captation de l’information se fait par exploration de la surface en contact, une étude originale tend à démontrer que l’empreinte digitale aurait une fonction de filtre (les nervures) tactile. Elle permettrait une discrimination plus fine des textures. Une autre observation intéressante concerne la sensibilité locale. Les études ont montré que la perception tactile focalise l'attention cutanée en inhibant les zones autour du stimulus. Cela permet d'accroître le contraste perceptif.

Et enfin, le sens kinésthésique, qui pour certains auteurs englobe la proprioception ; je rejoins ce point de vue. La kinesthésie correspond à la sensation d’effort de nos muscles, tendons et articulations, etc. C’est la sensation des forces et des déformations internes. La proprioception est définie en partie comme notre capacité à connaître la configuration de notre corps dans l’espace (je sais sans avoir à la regarder si ma main est ouverte ou fermée, encore si mon bars ou ma jambe pointent dans une direction). C’est une kinesthésie viscérale en l’absence d’effort.

Main vue par rayons-x.

SENS HUMAINSENS HUMAIN90 91

Ces trois sens constituent la sensation tactile dans son ensemble. Ce n'est pas une seule modalité, mais la conjonction de sensations internes et externes, formant une sensation unifiée : le toucher.

Une modalité exploratoire

Le toucher se distingue de la vision et de l’audition en ce qu’il est une modalité de contact, une proximo-réception. En raison de cette propriété, le champ perceptif tactile est limité à la zone de contact avec les objets. Dans la perception tactile dite passive, où une stimulation est appliquée sur un segment immobile du corps, le champ perceptif est réduit à la taille exacte du stimulus. Si certaines discriminations sont cependant possibles dans cette situation, les capacités perceptives tactiles y sont limitées en raison de l’absence de tout mouvement d’exploration. Ce phénomène important a été démontré par les études de plusieurs auteurs majeurs1 dans le domaine psychologique et physiologique de la perception tactile. Je décris ici des informations primordiales à la compréhension du toucher et je remercie donc les analyses d’Y.Hatwell, A.Streriet A.Gentaz2, auxquels j’emprunte ces mots.

La plupart du temps, des mouvements volontaires d’une amplitude variant en fonction de la taille de ce qu’il faut percevoir, doivent être produits pour compenser l’exiguïté du champ perceptif tactile et afin d’appréhender les objets dans leur intégralité. Des perceptions kinesthésiques issues de ces mouvements sont nécessairement liées aux perceptions purement cutanées, pour former un ensemble indissociable appelé perceptions tactilo-kinesthésiques ou haptiques ( du grec haptikos ou haptesthai ). Il en résulte une appréhension morcelée, plus ou moins cohérente, parfois partielle et toujours très séquentielle. Elle charge lourdement la mémoire de travail et nécessite en fin d’exploration, un travail mental d’intégration et de synthèse pour aboutir à une représentation unifiée de l’objet. Le caractère successif du toucher a frappé depuis longtemps les observateurs et a été opposé à la simultanéité de la vision. En raison de ce caractère séquentiel, on pourrait rapprocher le toucher de l’audition.

Cependant le fonctionnement de l’audition est particulièrement adapté à la perception des stimuli temporels (durées, rythmes, parole). Alors que le toucher est , à l’instar de la vision, une modalité spatiale parce qu’il ne se déroule pas de façon linéaire et dans un ordre imposé. Dans l’audition, l’ordre d’apparition des stimuli ne peut être modifié car il est porteur de sens (la parole, la musique, etc). Le toucher, lui, peut revenir en arrière, explorer dans n’importe quelle direction, repasser plusieurs fois sur le même stimulus. Le percept tactile final dépend donc plus de la qualité des mouvements d’explorations effectués et de la qualité de la synthèse mentale. En du rôle central que jouent ces mouvements, ce sont les régions les plus mobiles et les mieux dotées en récepteurs sensoriels qui sont les plus performantes. Il s’agit de la région buccale, très utilisée par les nourrissons, et surtout des mains, ou plus exactement, du système épaule/bras/main. Chez l’adulte, cet ensemble constitue le vrai système perceptif haptique.

Mais les mains sont aussi, et peut-être surtout, des organes moteurs grâce auxquels sont réalisés les activités de saisie, maintien, transport et transformation des objets de la vie quotidienne. Plus que dans d’autres modalités, perception et action sont donc indissociablement liées dans la modalité haptique. Ces observations placent la main au centre d’une relation privilégiée d’interaction avec le monde physique. D’où l’évidente logique dans l’emploi de cette modalité pour la manipulation d’objets de toute nature. J’aurais envie d’aller plus loin, en d’en déduire le relatif échec de toute tentative d’interaction riche avec une machine par d’autres modalités, comme la voix, ou pire, les yeux1.

La gestuelle manuelle constitue une manipulation physique optimale, d’une grande richesse. J’ajouterais à cela, que le toucher est une modalité de renforcement de la tangibilité, elle me conforte dans mes impressions. De plus, elle n’entraîne que rarement des sensations désagréables et dont il est impossible de se défaire. C’est donc une modalité sous contrôle dont on peut tirer satisfaction. Le rapport intense à l’autre passe par le toucher, cette sensualité est presque exclusivement liée à ce sens.

2. Tous trois sont chercheurs et spécialistes de la psychologie cognitive de la perception tactile.

1. Exemple : « Eye gaze Interaction », un concept de navigation dans une interface par le regard.

1.Katz ( 1925/1989 ), Gibson ( 1966 ) et Revesz ( 1950 ).

SENS HUMAINSENS HUMAIN92 93

John M.Kennedy1 (1978) énumère quelques informations que le toucher peut fournir  : viscosité, lissé, souplesse, texture et élasticité. Klatzky & Lederman (1993) ajoutent : la température, la taille et la forme, dans une approche plus spatiale. Gibson aussi avait déjà auparavant noté de tels critères. Ils nous proposent ainsi de penser le toucher en tant qu’expérience interne, viscérale et subtile. Une grande richesse qui fait cruellement défaut aux actuelles interfaces dites tactiles. Nous pourrions conclure que ce terme est inadapté, il nous faudrait parler d’interface kinesthésique en deux dimensions par contact. Mais il nous serait alors impossible de se faire comprendre.

Multi-modalité

Pour continuer sur la relation entre la vision et le toucher, qui sont en fin de compte les modalités les plus engagées apparemment dans l’interaction tactile, il me faut expliciter la notion de multi-modalité. Hatwell nous explique en quoi nos activités quotidiennes reposent toutes sur la participation simultanée et interactive des différents sens. La plupart des objets et événements nécessitent, pour être perçus, la mobilisation de plusieurs modalités sensorielles. On pourrait envisager une interaction mono-modale mais cela ne correspondrait presque à aucune expérience du réel. Tous nos comportements supposent l’intégration d’informations venant de l’audition, la vision, la sensibilité somesthésique (tactilo-kinesthésie et proprioception), etc. C’est cette multimodalité qui permet d’extraire les invariants de notre environnement et qui confère la véritable tangibilité du réel.

Un phénomène plus étonnant a été étudié par Harry McGurk1

(McGurk Effect), il nous éclaire sur la question de la multimodalité. Son expérience montre qu’il y a des zones du cerveau qui traitent plus d’une information sensorielle simultanément, cela a été observé physiologiquement en parallèle. Il apparaît donc que des mêmes réseaux de neurones traitent plusieurs modalités, comme par exemple la vision et le son. McGurk a démontré que les différents sens sont perçus dans un ensemble et se

Perception haptique

La perception haptique se distingue de la simple perception cutanée, en cela qu’elle mobilise une activité sensori-moteur, presque toujours initiée avec intention. Cette dernière notion est essentielle car elle implique le toucher dans une dynamique individuelle d’interaction. Je veux dire que le toucher plus que tout autre sens, comme le soulignait Hatwell et Berger (1999), est une modalité qui est active et intentionnelle. Elle se projette généralement vers l’objet et nécessite dans la plupart des cas une exploration par le corps.

David Katz, dans son œuvre référence Der Aufbau der Tastwelt (littéralement, le Monde du Toucher), remarque  : «  Les propriétés tactiles de notre environnement ne nous heurtent pas comme les couleurs ; elles restent muettes jusqu’à ce que nous les fassions parler. » Katz note également, il est soutenu par Klatzky & Lederman (1987), que la main permet d’obtenir les informations internes aux objets, alors que l’œil reste fixé à leur surface.

Lequel de l’œil ou de la main possède un sens primordial sur l’autre, il existe plusieurs théories. Nous retiendrons que les récentes données scientifiques donnent raison au positionnement de Rock & Harris (1967), selon lequel la vision domine et éduque le toucher, pas l’inverse. Ainsi la vision joue rôle important de guide au toucher et à l’interprétation du comportement et de l’expérience tactile. Toutes ces remarques nous amènent à re-penser l’interface tactile, spontanément cette expression devient ambiguë. Si le tactile est l’expérience de la tangibilité en tant que mode d’existence matériel, et qu’elle est consécutive à la vision. Alors l’écran tactile est un mensonge perpétuel à mes sens. Alors que le clavier offre une réponse immédiate au geste, l’interface tactile est un échange biaisé entre ma vision et ma main, pour revenir à ma vision, sans laquelle je ne saurais la finalité de mon action. La main est devenu un faux intermédiaire, je prive mon sens de sa perception et n’en conserve que l’efficience motrice.

1. John M. Kennedy est un psychologue Américain spécialisé dans la perception.

1. Harry McGurk et John Mac Donald ont mis en lumière le phénomène cité. Ils sont tous deux psychologues spécialistes de la cognition.

SENS HUMAIN 95

mélangent généralement, générant ainsi un nouveau message neuronal. Ce dernier délivre une sorte de déduction sensorielle résultant des deux stimuli. Une expérience simple consiste à regarder une personne prononcé le son « Ba ». Le visage de cette personne articule le son « Ga ». Il en découle que l’observateur assure percevoir le son « Da ». Cette illusion nous rapporte une compréhension essentielle de la perception, tromper un sens engendre une perception globale erronée, et pas seulement locale.

On peut conclure que notre perception et notre action sont étroitement dépendantes de cette espèce de réunion sensorielle, et pas de manière aussi compartimentée que l’on a pu le penser. Ainsi notre interaction avec l’environnement se fonde sur cet assemblage sensoriel. Nous faisons correspondre notre expérience perceptive avec l’ensemble perceptif immédiat. C’est cette fusion consistante qui forme le réel. Cette approche est particulièrement phénoménologique et englobe parfois des notions que nous devrions explorer en profondeur. Ce mémoire n’a cependant pas la prétention d’expliquer le réel, même superficiellement. Je souhaite plutôt appuyé mon discours sur la multimodalité intrinsèque, entre la vision, l’audition et le toucher.

Cette sensorialité globale implique une persistance dans notre relation aux objets. J’ai des attentes tactiles à la vue d’un objet, je peux prévoir la sonorité d’un matériau, etc. L’effet trompe-l’œil  de condensation sur une bouteille de soda (impression de fraîcheur) génère une illusion, démentie lors de la captation tactile, et pouvant engendrer une rupture perceptive. Ainsi il est possible de tromper l’œil, l’oreille ou la main. Mais il est bien plus complexe de faire illusion à tous nos sens harmonieusement. Cet ensemble qui constitue la perception du réel est très partiellement simulé dans les diverses expériences de réalités virtuelles conduites jusqu’à maintenant  ; cela reviendrait à modeliser avec une infinie précision, toutes les propriétés physiques du réel, perçues par nos sens. Cette tâche est de l’ordre de l’improbable, voire simplement absurde. En revanche, il me semble très pertinent de chercher à rendre toute interaction cohérente.

Homoncule sensoriel.

SENS HUMAINSENS HUMAIN96 97

J’entend par là, que la boucle d’interaction entre l’Homme et la Machine (et l’autre Homme parfois) doit fournir une cohérence sensorielle et cognitive. Je ne veux pas rentrer dans le détail car chaque cas, ou usage, implique sa propre tangibilité. Dans le cas d’un écran tactile, certaines affordances apparaissent fondamentales.

Reprenons l’exemple des boutons poussoirs, ce type de langage perceptif implique une relation à l’objet dans laquelle tout le système s’engage. Notre corps est tendu dans l’action, il s’emploie à un accomplissement dont la finalité lui est en partie connue, cognitivement et sensoriellement. En heurtant, la surface lisse et inerte de l’appareil, le bouton a été actionné, peut-être même un son synthétisé vient confirmer l’événement. Mais je n’ai pas senti mon corps pressé ce bouton. Je n’ai perçu que l’écrasement anticipé de mon doigt contre la surface dure et uniforme, positionnée par-dessus ce prétendu bouton. En même temps que je me rapproche d’un mode d’interaction que nous avons décris comme plus naturel et cohérent, je suis déçu, frustré dans ma chair  ; convaincu de l’intangibilité de ces objets, par lesquels on a tenté de me tromper. À la façon d’un trompe-l’œil, l’interaction tactile rompt la cohérence et nous cède la pénible impression d’avoir été roulé.

Le Feed-back

Ces informations perçues par l’utilisateur, avant, pendant et après son action, constituent l’interaction de manière générale. Ces stimuli qui sont renvoyés de l’objet vers l’homme se nomment retours. Je lui préfère le terme anglais de feed-back ( littéralement re-nourrir ). En effet, ce dernier exprime plus fidèlement en quoi ces informations alimentent la perception, dans son approche écologique. Le feedback est une constituante de l’action. Une action sans feedback ne peut être achevée car elle ne serait pas perçue par l’individu. C’est comme tourner une vis qui glisse dans son logement, elle tourne sans fin, et à aucun moment je ne sais si je suis au bout car les forces restent nulles. La tension musculaire étant ici le feedback. Dans le domaine des interfaces Homme-Machine, le feedback visuel informe l’utilisateur à tout moment de la possibilité ou de l’accomplissement d’une action. Ceci est surtout vrai pour certaines interfaces graphiques dont la réalisation a été faite dans ce sens .

Certains feedbacks visuels simples comme la barre d’avancement (cette barre qui se remplit pendant un chargement, une installation) n’est pas apparue spontanément. Il a fallu que certains concepteurs réfléchissent à des moyens de communiquer autant que possible les événements se produisant dans la machine. Cela permet de comprendre la nécessité de patienter, John Meada note à ce sujet une expérience prouvant la sensation d'accélération des processus en présence de cette barre, le temps passe plus vite. Mais surtout, elle permet à l’utilisateur de comprendre ce qui est en cours. Il est informé de l’activité et est donc inclus aux processus. Il devient en quelque sorte moins passif. Notons que ce point rejoint la démonstration formulée précédemment au sujet de l’implication de l’homme aux processus de la machine. Le feedback contribue à limiter le sentiment d’aliénation mécanique. De plus, il entre dans la logique de l’interaction, celle-ci est rapidement dépendante du feedback. Il a été montré que des conducteurs équipés de radar arrière depuis un certain temps, éprouvaient des difficultés à

SENS HUMAIN 99

se garer sans cet équipement. Une action est engagée avec la perception dans un couplage fort, attendant en quelque sorte les données venant de l’un comme l’autre. Cette inter-dépendance est particulièrement avérée pour le toucher. La perception tactile ne peut se faire sans l’exploration, incluse dans l’action. Ce fait déjà évoquer plus haut, est la perception haptique. Interrogeons-nous donc sur les conséquences de ces observations : Si l’activité nécessite la perception, qu’entraîne un système qui ne renvoie rien ? Et si l’ensemble action/perception est fondée sur une métaphore d’interaction incomplète, que se passe-t-il ?

C’est en partant de cette interrogation que j’en suis venu à relever la problématique de l’interaction tactile. Cette dernière implique une relation de contrôle par la main, de sensation, d’action. Nous avons remarqué que le clavier apportait un feedback rassurant, c’est-à-dire qu’il confirmait la réussite de la frappe au travers de plusieurs retours informatifs. Un retour visuel affiche la lettre, un retour physique fait descendre puis remonter la touche, enfin un léger son se fait entendre par le mécanisme. Ce qui est donc ajouté à la simple visualisation (soit l’objectif final d'afficher un symbole), ce sont des retours mécanique et auditif . Tout bouton mécanique offre un certain feedback haptique, aussi faible soit-il, et pas nécessairement sonore. Si la touche ne s’enfonce pas, s’il elle ne semble pas remonter quand je la relâche, je peux affirmer aveuglèment que quelque chose cloche. Il n’est pas indispensable de réfléchir à ma sensation à cet instant, le tout est pris dans une grammaire sensorielle , que je connais par mon être. La perception humaine est dans cette immédiateté, mais s’enrichit à chaque instant du passé, de l’expérience. Un changement de clavier ou de souris, pour rester dans le domaine informatique, induit une période d’adaptation perceptive. Mais ceci est rapide et peu perturbant. En revanche l’absence totale de sensibilité mécanique dans le passage à l’écran tactile est autrement plus gênante. Comment savoir si j’ai bien appuyé ? si la pression était suffisante ? si c’était le bon endroit ? Mon interaction s’interface à travers un écran , lisse, homogène, dure… Il ne subit aucune modification perceptible. Je peux appuyer, glisser, relever, rappuyé, etc. Si je n’ai pas les yeux rivés sur mon

Zones les plus sensibles

Sensibilité moyenne

Zones de plus faible sensibilité

Schéma de la sensibilité tactile manuelle.

SENS HUMAIN 101

écran, je suis perdu. Il est inconcevable d’envisager la dactylographie sur écran tactile aujourd’hui, et encore moins l'utilisation par des mal-voyants. Ceci pourrait ressembler à un plaidoyer pour le clavier et la souris. Mais je pense avoir avancer assez d’arguments pour prouver l’intérêt qui réside dans l’interaction directe par la main.

Dans le même temps, il est certain que l’interface tactile sous sa forme inerte et statique est une régression en terme haptique. Mon corps est engagé dans une action plus ou moins métaphorique avec la machine et celle-ci ne renvoie que des images ou des sons. Ma main pense toucher un objet, elle se trompe. Ce qui est selon moi terribles dans ces circonstances, c’est que nous avons en apparence rapprocher le numérique d’une relation physique permettant une implication sensorielle bénéfique à l’interaction, faisant croire à l’Homme que son corps était devenu le siège d’une puissance nouvelle. Puis nous brisons alors ce schéma en privant le corps de sa cohérence. Le tactile se révèle être une privation sensorielle, impliquant un mensonge perceptif, voire relationnel. On nous dit interaction naturelle et l’on nous propose une interaction apprauvie. Bien des gens se plaignent du tactile et particulièrement les grands producteurs et consommateurs de messages textuels. On peut imaginer que chaque bouton devienne un véritable bouton pressable, chaque objet, un objet physique. Alors l’interface serait vraiment tactile au sens plein du terme. C’est parfois ce que les interfaces dites tangibles tentent de réaliser. Mais il faudrait que les objets puissent évoluer dynamiquement, au-travers de propriétés qui feraient sens pour le système et pour l’individu. À ce niveau d’analyse, nous pourrions conclure qu’un tel système est inconcevable, peut-être jamais, sûrement pas demain. L’interaction tactile réelle semble impossible avec le numérique. Mais il s’avère que de nombreux chercheurs se sont attelés à résoudre ce problème. Leur intention est de rendre plus perceptibles les objets virtuels. Les actualiser dans des formes d’interactions plus fidèles aux réalités de notre corps. De ces études plusieurs axes ressortent.

3. Corpuscule deRuffini2. Corpuscule de Pacini

5. Récepteur libre-myelinise 6. Récepteur libre

1. Récepteur de Meissner

1.

4.

2.

5.

3.

6.

4. Récepteur de Meissner

De l'illusion tactile, fantastique et banale

FEEd-back

VI

FEEDBACK 105

David Katz (extrait de Der aufbau der Tastwelt, 1925), à propos du toucher et de la discrimination.

« Color can deceive, but texture cannot do so as easily. »

Allons du plus étonnant au plus conventionnel. Afin de nous donner une image claire de ce qui est conçu et réalisé, nous devrons observer quelques éléments techniques une fois de plus. Ma présentation n’est probablement pas exhaustive, le facteur technologique évolue sans cesse. Néanmoins les grandes lignes du feedback tactile sont présentées ici, nous verrons que tout ne s’applique pas de la même façon, ou bien n’est pas toujours réaliste. Si l’on voulait rapprocher le monde numérique du monde physique et éliminer la frontière entre eux, il nous faudrait générer une réalité virtuelle qui soit actualisée physiquement au fur et à mesure de l’interaction.

Pierre Lévy dans son ouvrage, Qu’est-ce que le virtuel ? (1998), définit le virtuel non pas comme non-existence, en cela qu’il n’est pas physique, mais plutôt comme un à-venir déterminé. «  Le mot virtuel vient du latin médiéval virtualis, lui-même issu de virtus, force, puissance. Dans la philosophie scolastique , est virtuel ce qui existe en puissance et non acte. Le virtuel tend à s’actualiser, sans être passé cependant à la concrétisation effective ou formelle. L’arbre est virtuellement présent dans la graine. En toute rigueur philosophique, le virtuel ne s’oppose pas au réel mais à l’actuel : virtualité et actualité sont seulement deux manières d’êtres différentes. »

Levy fait également référence aux propos de Deleuze quant au mode d’existence du virtuel. Je soulève cette notion afin d’exclure la pardoxe qui pourrait s’installer dans l’émergence d’une matérialité numérique. Une interface tangible évoluant numériquement serait toujours une interface virtuelle. L’idée d’une réalité virtuelle serait déterminée par l’actualisation de problèmes et de données virtuelles. Ce ne serait pas un réel possible car ce serait une réalité déterminée artificiellement. La réalité virtuelle pourrait

FEEDBACKFEEDBACK106 107

donc être physique sans que le concept qui sous-tend cette expression dégénère. Cette volonté de pouvoir transformer à volonté le réel physique, pousse aujourd’hui de très nombreux laboratoires à expérimenter les nano-structures. Ce terme à la mode est très souvent employé pour parler de choses très différentes. Il est question ici d’une matière dont l’organisation à l’échelle du nanomètre1, peut être modifiée dans le temps, et contrôler par un système électronique. Nano-machines, nano-matières… le désir est de réaliser une matière malléable qui conserve ses propriétés (rigidité, élasticité, conductivité, etc). Mais dont la forme et la fonctionnalité évoluent au gré de nos besoins. Non seulement un tel procédé n’est pas du tout concevable à l’heure actuelle, mais rien ne laisse présager qu’il le soit avant très longtemps. Dans l’expectative où ce fantasme se réaliserait, nous aurions à disposition des briques de matière contrôlable informatiquement. Nos données pourraient prendre corps.

En vérité, le problème d’imitation du réel resterait entier car, dans le cas où nous voudrions conférer des propriétés physiques à la matière numérique, il nous faudrait les définir, les comprendre, les connaître vraiment et enfin être capable de les modéliser mathématiquement. Cette question en revanche est nettement plus accessible, et surtout elle se pose dans la majorité des cas exposés ici. Parce que notre corps nous fait exister dans un monde qui parle à nos sens, il faut être capable de raconter le monde à nos sens. C’est l’unique moyen de faire percevoir le virtuel, autrement le virtuel apparaîtrait effectivement comme une absence d’existence pour nous. La modélisation est donc fondamentale, et plus impérative encore dans le cas de la métaphore. En effet, si l’on pense la communication sous une forme idiomatique, des principes assez simples peuvent être appliqués. Si je peux signifier le bois sans modéliser toutes ses propriétés, alors le problème est simplifié. On pourrait admettre que le monde numérique n’a pas besoin d’un tel degré d’actualisation à la perception, mais ce mémoire ne saurait trancher la question. Ma participation à la réflexion irait tout de même plutôt dans le sens d’un enrichissement maximum de l’interaction, mais plus encore, dans le sens d’une homogénéité.

Dans la mesure où le monde physique s’exprime au toucher à travers ses propriétés mécaniques, les forces, les textures, et autres, certains chercheurs essayent de reproduire des propriétés physiques à la surface de l’écran. Si l’on peut toucher la protubérance que forme un bouton à l’écran, la main ne sera pas trompée, l’interaction retrouvera sa cohérence. Mais il est très difficile, comme on peut l’imaginer, de simuler de la matière à la surface d’un appareil tactile. Parmi les projets les plus étonnants, nous pouvons trouver celui de Nokia  : Haptikos. Il consiste en une modification physique dynamique de la surface de l’écran. En quelque sorte, un réseau pneumatique de très petite taille est installéesous l’écran et déforme celui-ci de manière locale. Plus que la protubérance du bouton, cela permettrait de simuler des textures simples. Elles seraient dynamiques et permettraient de développer une sorte de langage haptique. Du même genre, on peut citer le projet pixel tactile de Sony. Probablement encore à l’état d’idée, ce concept consiste à rendre chaque pixel mobile. Ainsi l’écran devient une fine trame de points d’affichage capables de monter ou descendre. La méthode permettrait de simuler un bouton, son abaissement ou tout événement tactile sensible.

Enfin, toujours dans le même ordre d’idée, le système mis au point dans la prestigieuse Carnegie Mellon University1, baptisé Shape-shifting. Ce procédé développé par C.Harrison et S.E.Hudson, a pour le moment été prototypé pour un distributeur automatique de billets. Il consiste en une surface écran (par projection) dont certaines parties ont la capacité de modifier leur forme physique, de telle façon que de petites zones géométriques (quelques centimètres) puissent devenir plates ou bombées à volonté. En partie fonctionnel, ce procédé a le défaut de devoir déterminer au préalable les boutons potentiels. De plus, seules deux configurations sont possibles  : relevé ou baissé. Parfaitement adapté à une machine comme un distributeur automatique, il est en revanche impensable et inutile dans l’emploi d’une interface graphique complexe, aux nombreuses fonctionnalités. Harrison a conscience de ces limites. Il est aussi persuadé que la question haptique est centrale dans l’interaction tactile. Son équipe

1. Le nanomètre est égal à un milliardième de mètre. C'est l'ordre de grandeur des plus petites espèces vivantes observées.

1. La Carnegie Mellon University est mondialement célèbre pour ses départements d'Art et de Design, spécialisée dans l'interaction Homme-Machine.

FEEDBACK 109

continue donc d’essayer de développer un écran capable de se déformer dans le but de simuler des boutons, des icônes, des glissières et tout ce qui peut constituer une interface graphique riche.

Un autre système ayant des caractéristiques mécaniques est l’HapticTouch de la société Pacinian. Cette méthode contrairement aux autres ne cherche pas à simuler l’émergence d’un relief ou une quelconque texture, elle est plutôt un moyen de rendre la souplesse. Ainsi une zone de bouton s’abaisse sous le doigt alors que le reste de l’écran demeure fixe et rigide. Cette technologie consiste en plusieurs membranes maintenues à distance par de minuscules ressorts, ces couches peuvent se rapprocher localement sous l’effet d’un courant électrique. Ce produit déjà commercialisé, et dont la société nous jure toutes les qualités, permet d’obtenir une impression de réactivité physique de la machine. Appelé un peu hâtivement haptique ce système ne génère que quelques effets, et toujours en retrait (creux) par rapport à l’affichage.

Dans une autre voie, des recherches sont effectuées non pas sur la matière elle-même mécaniquement, mais sur la perception tactile. Avec l’idée que l’air par exemple, puisse être une quasi matière tactile. Si je souffle sur ma main, je peux ressentir la pression exercée par le déplacement de l’air. En partant, de ce principe, Yuriko Suzuki et Minoru Kobayashi1 ont développé un procédé d’interface haptique à jet d’air ( Arrayed Air Jet Based Haptic Display ). Il consiste en une table parsemée de petits trous ; formant ainsi un grille de jets d’air. Cette grille est modulable en intensité, et génère ainsi des sensations de forces verticales. On peut ainsi vaguement modéliser la forme supérieure d’un objet. Strictement centré sur les données spatiales et les forces en action, ce système n’a pas grand chose d’haptique. Il serait plutôt purement kinesthésique. De plus, il nécessite d’agir par l’intermédiaire d’un ustensile en forme de louche. L’affichage enfin, est solutionné par projection ou casque à vision virtuelle. Le rendu volumétrique des objets se rapprochent assez d’une autre technologie dite haptique, qui propose une sensation kinesthésique saisissante. Cette technologie c’est le bras à retour de

Empreinte de main

1. Yuriko Suzuki et Minoru Kobayashi sont tous deux ingénieurs informatiques chez NTT, et spécialistes de l'interaction haptique.

FEEDBACK 111

force (ou d’effort). Ces appareils sont fonctionnels et sont même vendus aux particuliers, mais leur coût prohibitif n’a jamais permis une expansion de leur marché. On peut en revanche trouver des versions moins sophistiquées qu’un véritable bras, comme les joysticks à retour de force. Contrairement au bras qui exploite les trois dimensions et dont la manipulation se fait par le biais d’un objet plus ou moins adapté à la main (souvent une espèce de stylo), le joystick ne prend en compte que deux dimensions. Ce procédé donne une sensation des volumes et des forces avec précision. Certains modèles perfectionnés permettent une simulation de la souplesse des matériaux virtuels. Certes la sensation est liée au toucher et confère une vraie volumétrie à des objets numériques, on ne peut cependant pas désigner un tel système comme tactile. L’interaction indirecte par l’utilisation d’un accessoire rattaché au bras n’est pas ressenti par l’utilisateur comme véritable tangibilité. La machine est découverte comme telle et ne peut s’effacer. Elle demeure interface mécanique à nos yeux et nos mains. Mais je dois avouer que ce type de technologie est le plus performant, en terme de représentation haptique spatiale, qu’il m’ait été donné de tester.

Il est une technologie autrement plus expérimentale, elle possède certaines qualités du bras à retour de force mais ressemble d’avantage à l’Air Jet. C’est l’interface tactile aéroportée par ultrason ( Airborn Ultrasound Tactile Display ), mise au point par Takayuki Iwamoto et son équipe, à l’université de Tokyo. L'appareil génère des points de pression par émission d’ondes ultra-sonores. Ces ondes agissent à un distance précise, elles sont ajustées par une caméra qui repère la position de la main et donnent ainsi l’impression de toucher l’objet. Cela confère une volumétrie et une spatialité sans aucune interface physique intermédiaire. Iwamoto propose une solution au feedbak haptique qui supprime l’intermédiaire d’une prothèse comme un bras/stylo ou un gant1. Ce système peut simuler des consistances assez fines, et donner une quasi impression de texture, mais il est avant tout un procédé de rendu trois dimensions. L’équipe travaille sur un autre défaut : le problème de l’émission, car le Airborne Display est actuellement constitué d’une grille à plat et ne permet donc qu’un rendu vertical.

Sensable, Phantom Omni (bras à retour de force), 2007.

1. exemple : CyberTouch par Immersion (2007), un gant équipé de plusieurs petits vibreurs.

FEEDBACK 113

Nous observons aujourd'hui une agitation stimulante autour de la question haptique et tactile. Une sorte de prise de conscience de la valeur de cette interaction avec la machine, a atteint les laboratoires. Mais ces projets sont très expérimentaux et ne seront potentiellement pas commercialisés avant quelque temps. De plus, ils ne traitent souvent que d’une partie de la question tactile. Aussi souvent l’haptique dans son aspect kinésthésique est la seule perception figurée. Je citerai un cas à part celui du projet Haptex ( Haptic Sensing of Virtual Textiles ) de l’université de Genève. Ce projet avait l’ambition de créer un outil (proche du gant) capable de rendre le toucher de divers tissus, dans le but avoué de transformer le marché du vêtement sur internet. Le procédé complexe mis en place devait permettre de ressentir la densité, la souplesse du tissu, ainsi que des propriétés tactiles comme la rugosité. Resté à l’état de prototype, Haptex a le mérite d’avoir posé la question du toucher sur internet.

Parce que ce sont souvent des prototypes, ces expériences de feedback tactile prennent des formes monstrueuses. Personne ne voudrait manipuler le système d’Haptex régulièrement, ni avoir à placer ses mains dans d’étranges appareils imposants. Le design d’interaction prend en compte les différents contextes, et une installation publique n’implique pas les mêmes contraintes qu’un ordinateur de bureau. Mais dans la vision d’une informatique omniprésente, la discrétion et la mobilité sont des critères essentiels. La miniaturisation est donc souvent une difficulté du retour haptique. Lorsque j’ai abordé l’importance du marché des téléphones mobiles multimédias et surtout tactiles, mon objectif était de centrer mon observation sur ce type d’appareils dits nomades. Ils sont le point d’entrée principal de ces nouvelles technologies et par là, ils induisent certains problèmes de taille et d’énergie. L’industrie ds smartphones tactiles proposent aujourd’hui une solution au retour dit haptique, elle est selon moi très décevante.

Pranav Mistry, SixthSense project, 2009.

FEEDBACK 115

La Vibration

Les appareils mobiles embarquent tous ou presque, de petits vibreurs, allant de quelques millimètres d’épaisseur à un cylindre d’environ deux centimètres. Ces composants nommés effecteurs emploient plusieurs technologies, celles-ci ne sont combinées qu’exceptionnellement.

Le vibreur rotatif est le plus courant, nous le connaissons tous car il équipe nos téléphones portables depuis la fin des années 19901. C’est ce buzz si distinctif, qui devient tonitruant posé sur une table. Le sytème est constitué d’un petit moteur rotatif sur lequel est fixée une masse excentrée. En tournant, la masse entraîne un déplacement de l’énergie vers l’extérieur de son axe (force centrifuge) et secoue l’ensemble, qui secoue le téléphone. Cette technologie est gourmande en énergie et n’a aucune précision. En effet la structure ne possède que deux états : allumé ou éteint. Entre ces chaque état la rotation le moteur nécessite une phase d’accélération ou de ralentissement . Courtes, ces transitions sont tout de même sensibles pour une main. Les vibreurs rotatifs sont très bon marché, c’est pourquoi on les retrouve partout. Le célèbre smartphone d’Apple utilise, lui aussi, un simple vibreur rotatif, faisant vibrer tout l’appareil indistinctement et grossièrement. Pourtant il existe une autre technologie bien plus performante.

Le vibreur linéaire est un procédé électro-magnétique, proche de la technologie des hauts-parleurs (dits électro-dynamiques ). Ils sont capables de reproduire des vibrations bien plus variées et plus modulables. L’oreille humaine perçoit les fréquences d’ondes émises entre vingt Hertz et vingt mille Hertz. Pour le toucher, la sensibilité optimale semblerait se situer autour de deux cents à trois cents Hertz. C’est là que la sensibilité cutanée est maximum et permet de déterminer une sorte de couleur tactile comme l'exprime Katz. Les vibreurs linéaires permettent donc un excellent contrôle de ces fréquences, leur modularité est exceptionnelle et aucun problème d’inertie (accélération, ralentissement) ne vient parasiter la perception du

Exemple de multi-touch

1. Le vibreur rotatif est apparu pour la première fois sur le téléphone Motorola StarTAC, en 1996.

FEEDBACKFEEDBACK116 117

signal. Enfin son intensité est elle aussi réglable avec finesse. En clair ces vibreurs sont très utiles mais ils nécessitent, pour être optimaux, d’être en contact avec la peau. Autrement la vibration se propage dans l’appareil et le signal se dégrade rapidement. Ensuite ils restent assez grossiers avec leur vibration relativement locale, et s'opposent au caractère exploratoire du toucher. L’une des solutions à ce problème consiste à limiter l’action du vibreur à l’écran, ne faisant bouger que celui-ci lorsque c’est nécessaire. La société Immersion, leader sur le marché du feedback tactile, propose plusieurs solutions techniques, dont des vibreurs linéaires qui n’agissent que sur l’écran et avec un délai de réponse suffisamment faible pour offrir des sensations tactiles efficaces. Le problème du délai entre action et feedback est déterminante pour tous les types de retour. Dans le cas tactile, ce délai se doit d’être très réduit afin de rendre l’expérience fonctionnelle, agréable et cohérente. La technologie d’Immersion est si efficace qu’elle peut simuler la sensation d’avoir appuyé sur un bouton mécanique, alors qu’il est uniquement affiché à l’écran. Il n’est pas en relief mais son comportement est similaire. J’ai eu la chance de tester une telle installation et l’effet est saisissant. Par un déplacement sur le plan horizontal de l’écran, le système renvoie l’impression d’appuyer verticalement, comme une profondeur illusoire, durant un très court instant. Les boutons semblent alors physiquement plus présents. Certains effets peuvent renvoyer de fortes décharges comme de gros et lourds boutons, mais tout cela nécessite beaucoup d’énergie et reste assez volumineux. La société travaille donc à la miniaturisation de cette technologie.

Une toute autre solution est proposée par la société Artificial Muscle. Celle-ci emploie une technologie appelée EPAM pour Electroactive Polymer Artificial Muscle. C’est donc un polymère (ensemble formé de macro-molécules généralement organiques) qui se déforme (distension) sous l’action d’un courant électrique. D’une intensité modulable et très réactive, les effecteurs d’Artificial Muscle sont très performants, légers et peu consommateur en énergie. De plus, ils permettent un grand nombre de configurations permettant d’agir dans plusieurs axes et procurer une

sensation tactile plus riche. Mais cette technologie est relativement chère, et encore trop volumineuse pour être bien intégrée aux terminaux mobiles. Elle devrait très sûrement se développer prochainement. Ces quelques technologies de vibreurs, sont, et risquent de rester, les seules effecteurs tactiles que nous trouverons dans nos appareils. Une intention existe d’améliorer la relation au toucher dans l’interaction avec nos machines électroniques, comme l’emploi des vibreurs linéaires peut le laisser présager. Une véritable prise de conscience dans ce domaine, sur la nécessité d’un enrichissement, ou plutôt d’une ré-appropriation du toucher, est nécessaire. Aucun système à ce jour ne fait l’unanimité, mais la cause incombe en partie à la complexité de cette modalité. Pourtant il m’apparaît évident que l’interaction tactile ne peut occulter la question sans prendre le risque de devenir une interaction pauvre et mensongère.

Ce qu'il faut attendre de l'interaction tactile

CONCLU-SION

CONCLUSIONCONCLUSION120 121

Jean-Luc Godard.

« On se toucherait  bien, mais on n'arrive qu'à se donner des coups. »

Parler d’interaction mensongère n’est peut-être pas pertinent. Mais à la vue de l’expansion du marché tactile, nous avons pu observer que cette technologie allait se répandre rapidement. Certains auteurs pensent que celle-ci devrait supplanter toute autre forme d’interaction d’ici peu de temps. Je nuancerais ce propos en rappelant les problèmes que nous avons évoqués.

Il est certain que les interfaces tactiles sont en train de s’installer dans les poches de chacun. Envahissant notre environnement , la technologie tactile en général, est presque assez prolifique pour s’adapter aux situations les plus courantes. Nous avons noté cependant qu’aucune solution n’était totalement optimale et dénuée de contraintes. Ceci étant accepté, nous avons essayé de montrer l’intérêt dont relève une telle interaction. Je pense que la notion de réappropriation du corps, ainsi que celle de l’acceptation de la Machine et sa reconnaissance, sont des éléments essentiels pour comprendre l’impact du développement de l’interaction tactile sur notre société.

Cela est à mettre en perspective de toutes les difficultés inhérentes à ces systèmes. En effet, nous avons tenté de définir ce qu’est véritablement le toucher et l’haptique pour l’être humain. Bien que ce point ne soit pas suffisamment discuté, nous avons pu mettre en lumière les difficultés principales, et la défaillance actuelle au sein des systèmes dits tactiles. En conclusion, je tiens à rappeler que ce mémoire n’est que le point de départ d’une analyse. Il est un premier constat, induisant chez moi une opinion qui n’est pas définitive. Je ne pense pas que l’interaction tactile soit satisfaisante en l’état, et pire encore, je pense qu’elle entraîne une incohérence perceptive. Mais je ne désespère pas de voir ces problèmes résolus en grande partie. Je pense que l'interaction tactile doit se développer, mais ses usages doivent être pensés plus attentivement. L'industrie et le marketing ne doivent pas

CONCLUSIONCONCLUSION122 123

imposer le tactile sans raison. Le designer d'interaction doit être capable de définir ce choix.

Tout au long de ce mémoire, j’ai développé une réflexion orientée sur l’utilisateur et la machine, selon l’axe tactile. C’était là mon propos, mais je pense avoir omis une approche importante à mes yeux, la sensibilité humaine. Nous ne sommes pas exactement des machines organiques agissant sur d’autres, électroniques. Le toucher est certes une modalité d’interaction avec le monde. Mais le toucher est plus encore, une condition d’être au monde. Je pense que le toucher détermine en grande partie la conscience que l’on a de soi. Tous nos sens sont situés au niveau de notre tête, mais le toucher, lui et lui seul, se déploie sur tout le corps. Il est l’interface totale avec l’extérieur. La peau est en quelque sorte la frontière entre moi et le monde. Je peux me sentir être au monde à travers-lui. Le toucher est une sensation organique plus interne que tout autre. C’est une sensation à la fois de l’extérieur et de l’intérieur, communicant réciproquement. Toucher un objet c’est toujours être touché par lui. Contrairement aux autres sens qui ne sont que phénomènes de l’environnement, la sensation tactile est intime, elle est à la fois dedans et dehors. Je prend conscience du monde à travers mes sens dont celui tactile, mais lui seul me fait prendre conscience de moi à chaque instant. Le terme de proprioception décrit bien ce caractère personnel, cette capacité à me savoir dans le monde, de prendre un espace physique. La sensualité passe par cette modalité car elle est relative à une intimité charnelle.

Je sens en mon être, sans qu’il soit nécessaire de spatialiser ma sensation, elle n’est pas que fonctionnelle. Le caractère viscérale du toucher est peut-être la raison des réticences sociales dont parlait Lederman. Toucher, c’est traverser la sphère du personnel. Transpercer la limite de la peau pour entrer dans la sensorialité la plus phénoménale de soi. La relation amoureuse nécessite le toucher, car c’est un échange sensitif, allant de soi à l’autre, de l’autre à soi, et réciproquement pour chacun. Je ne saurais dire pourquoi le

toucher est si peu traité dans notre société, peut-être atteint-il une intimité que nous protégeons. En cela, il se peut que l’interaction tactile véritable soit un phantasme à ne pas réaliser, afin de conserver l’intégrité d’un corps individuel et subjectif. Faut-il objectiver le toucher comme une autre donnée informatique ? De plus, car le toucher est du domaine de l'intime, il se peut qu'il faille restreindre l'interaction tactile au objets personnels, aussi près du corps que nos téléphones portables.

Une pensée dans cette direction m’amène à rejeter totalement l’idée d’une interaction tactile. Si le monde numérique est immatériel, alors peut-être nos actions doivent elles aussi être flottantes, intangibles. Si l’informatique ubique doit émerger, alors je veux parfois penser l’information comme un gaz invisible1, sur lequel nous agirions sans avoir à le toucher. L'information serait présente et accessible à travers nos gestes, mais sa matérialité serait absente. Non pas diluée, mais littéralement sublimée, à la manière d’un solide qui se vaporise. Ceci est une direction envisageable par l’interaction gestuelle sans contact, ainsi que l’usage de la voix, ce n’est cependant pas ce qui s’annonce pour notre futur le plus proche.

Avant de mettre un point final à ce texte qui je l’espère aura su vous intéresser, je souhaiterais aborder un dernier point technologique qui est à mon sens, d’un intérêt grandissant et d’une possible évolution future. C’est une technologie qui nous arrive de Finlande, elle s’appelle Senseg E-Sense. Contrairement aux vibreurs mécaniques limitées par l’énergie, le poids et le volume, Senseg emploie une innovation en bio-physique. Nous avons vu, que la perception tactile cutanée est générée par déformation mécanique à la surface de la peau. Mais la perception tactile est toujours exploratoire, car ce que les récepteurs cutanés détectent c’est aussi la vibration engendrée par le frottement avec le matériau. Cette infime vibration nous informe de la nature de la matière plus encore que les déformations. Toucher est donc une perception ondulatoire. Dans le mesure où nous pourrions générer une onde proche de celle émise par le frottement du doigt avec une surface, il

1. Ce concept existe sous le nom de «Cloud Computing», et décrit la mise en réseau des supports de l'information et la décentralisation des données.

CONCLUSION 125

serait possible de simuler cette matière, du moins superficiellement. Ce principe étonnant et complexe n’est pas hors de portée, Senseg E-Sense utilise de telles propriétés. À l’aide d’un champ électrostatique faible et inoffensif, cette technologie permet la simulation de textures et de reliefs légers. L'entreprise a baptisé les points actifs de son système des tixels, pour touch pixel. Même si cette technologie n’est pas encore totalement au point, elle ouvre des perspectives rassurantes. Transformant, potentiellement, l’interaction Homme-Machine en profondeur et durablement.

La machine doit mimer le monde perceptif et créer un langage qui lui soit propre. Le design d'interaction aurait alors beaucoup de travail à accomplir dans la seule interaction tactile. C'est probablement par l'illusion que doit s'exprimer la machine ; je l'espère apaisante et discrète. Fabriquant un monde numérique avec une couleur, une texture ; un monde qui saurait nous toucher.

Biblio-graphie

BIBLIOGRAPHIE 129

Livres

Barthes, R. , 1958, MythologiesBaudrillard, J. , 1970, La société de consommationBernard, M. , 1995, Le corpsDe Rosnay, J. , 1995, L' homme symbiotiqueDepraz, N., 2001, Lucidité du corpsGibson, J. , 1977, The Theory of AffordancesGibson, J. , 1979, The Ecological Approach to Visual PerceptionGreenfield, A. , 2006, EverywareHusserl, E. , 1985, Idées directrices pour une phénoménologieKatz, D. , 1925, Der Aufbau der Tastwelt (Le Monde du Toucher)Katz, D. , 1944, Gestalt psychologieLévy, P. , 1998, Qu'est ce que le virtuel ?Lidwell, W. , Holden, K. , Butler, J. , 2003, Universal Principles of DesignMaeda, J. , 2006, The Laws of SimplicityMerleau-Ponty, M. , 1945, Phénoménologie de la perceptionMinker, W. , Bennacef, S. , 2000, Parole et dialogue homme-machineMoggridge, B. , 2007, Designing InteractionsNorman, D. , 1985, Direct Manipulations interfacesNorman, D. , 1988, The Design of Everyday Things Norman, D. , 1988, The Design of Future Things Saffer, D. , 2006 , Designing for InteractionSaffer, D. , 2008 , Designing Gestural InterfacesSimondon, G. , 1958, Du mode d'existence des objets techniquesTullis, T. , Albert, B. , 2008, Measuring the user experienceWolton, D. , 2000, Internet et après?

BIBLIOGRAPHIEBIBLIOGRAPHIE130 131

Auteurs ( des articles consultés ) :

Anwar, S.Beaudouin-Lafon, M.Blandford, A.Brewster, S.Brown, L.Cairns, P.Chohan, F.Debrégeas, G.Dunlop, M.Gentaz, E.Gibson, J.Greeno, J.Harris, C.Hatwell, Y.Ho, C.Hoggan, E.

Hoshi, T.Iwamoto, T.Johnston, J.Kaaresoja, T.Kennedy, J.Klatzky, R.Kobayashi, M.Koskinen, E.Laitinen, P.Lederman, S.Lenay, C.MacLean, K.Massin, O.Miralles, F.Monnoyer, J.Norman, D.

Prevost, A.Porri C.Rock, I.Sheibert, J.Shinoda, H.Smith, J.Spence, C.Streri, A.Sulaiman, S.Suzuki, Y.Swindells, C.Tan, H.Z.Tatezono, M,Taylor, F.Visell, Y.Zouhong, W.

Sites internet

cs.nyu.edu/~jhanwww.artificialmuscle.comwww.engadget.comwww.fingerworks.comwww.generation-tactile.comwww.haptique.comwww.immersion.comwww.jnd.orgwww.my-os.netwww.n-trig.comwww.pacinian.comwww.reactable.comwww.senseg.comwww.ted.comwww.wikipedia.org

Imprimeur

Copy House SARL, Paris

Papier

Pop set, Ivoire, 120g (Antalis)

Typographie

Penumbra Flare (Lance Hidy, Adobe)

Garamond Premiere Pro (Robert Slimbacht, Adobe)

Silica (Sumner Stone, Monotype)

L'œil dans le doigtJonathan Liebermann

Ensad, 2010