Virtualité augmentée et usage du sonVirtualité augmentée et usage du sonPhicons + Earcons = PhearconsPhicons + Earcons = Phearcons
Sylvain DAUDÉSylvain DAUDÉ
Directrice de thèse : Laurence NIGAYDirectrice de thèse : Laurence NIGAY
Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 22
Plan de l'exposéPlan de l'exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• ContributionsContributions
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 33
Plan de l'exposéPlan de l'exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• ContributionsContributions
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 44
Monde physiqueMonde réel
Monde non-tangibleMonde numérique
Monde virtuel
• Graphisme assisté par ordinateur : Graphisme assisté par ordinateur : • Enrichissement de scènes virtuelles avec des images Enrichissement de scènes virtuelles avec des images
du monde réeldu monde réel
• Interaction Homme-Machine : Interaction Homme-Machine : • Enrichissement du monde réel avec de l’informatiqueEnrichissement du monde réel avec de l’informatique
• Deux approches pour relier les deux mondes :Deux approches pour relier les deux mondes :
Monde physique, monde numériqueMonde physique, monde numérique
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 55
• Deux approches pour relier les deux mondesDeux approches pour relier les deux mondes• … … avec un objectif communavec un objectif commun
Monde physiqueMonde réel
Monde non-tangibleMonde numérique
Monde virtuel
Monde physique, monde numériqueMonde physique, monde numérique
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 66
Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction
Mondenumérique
Mondephysique
Objet de la tâche
Avec objetsphysiques
InteractionAvec objets numériques
Interactionphysique
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 77
Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction
Mondenumérique
Mondephysique
Objet de la tâche
Avec objetsphysiques
InteractionAvec objets numériques
Interactionphysique
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Pixels miroir [Vernier 99]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 88
Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction
Mondenumérique
Mondephysique
Objet de la tâche
Avec objetsphysiques
InteractionAvec objets numériques
Interactionphysique
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Chirurgie guidée par l’image [Grimson 96]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 99
Avec objetsphysiques
Mondephysique
Mondenumérique
Objet de la tâche
InteractionAvec objets numériques
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Mon domaine : Mon domaine : Virtualité AugmentéeVirtualité Augmentée
Interactionphysique
InteractionEntités
numériques
Entitésphysiques
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1010
Mondenumérique
Mondephysique
Objet de la tâche
Avec objetsphysiques
InteractionAvec objets numériques
Interactionphysique
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Mon domaine : Mon domaine : Virtualité Augmentée et son en Virtualité Augmentée et son en sortiesortie
InteractionEntités
numériques
Entitésphysiques
sources sonores
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1111
Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée
• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1212
Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée
• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)
• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel• situations mobilessituations mobiles• interfaces pour aveuglesinterfaces pour aveugles• retour d’informations dans les interfaces retour d’informations dans les interfaces
graphiquesgraphiques
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1313
Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée
• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)
• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel
• Ouie = outil d’analyseOuie = outil d’analyse• informations sonores simultanées : « effet informations sonores simultanées : « effet
cocktail »cocktail »• alertesalertes• données multidimensionnellesdonnées multidimensionnelles• motifs temporelsmotifs temporels
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1414
Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée
• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)
• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel
• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan
• sons en arrière-plan entendus uniquementsons en arrière-plan entendus uniquement• lorsque l’utilisateur choisit de s’y concentrerlorsque l’utilisateur choisit de s’y concentrer• lorsqu’un changement soudain intervient dans le sonlorsqu’un changement soudain intervient dans le son
• suivi des sons d’arrière-plan + activité principale suivi des sons d’arrière-plan + activité principale indépendanteindépendante
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1515
Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée
• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)
• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel
• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan• Sentiment d’immersion Sentiment d’immersion
ex : réalité virtuelleex : réalité virtuelle
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1616
Plan de l’exposéPlan de l’exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• ContributionsContributions
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1717
Phicons + Earcons = PhearconsPhicons + Earcons = Phearcons
• Phearcons = association Phearcons = association • d’objets physiques (d’objets physiques (phicons, physical icons [Ishii]phicons, physical icons [Ishii]))• avec des sources sonores spatialisées (avec des sources sonores spatialisées (earcons earcons
[Blattner][Blattner]) )
Queue d’impression
Niveau sonore chez Maman
Radio
Niveau sonore cafet
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1818
Exemples d’applicationExemples d’application
• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan• média d’ambiancemédia d’ambiance• effet cocktaileffet cocktail• passage du premier plan à l’arrière-plan en approchant passage du premier plan à l’arrière-plan en approchant
ou en éloignant l’objet physique correspondantou en éloignant l’objet physique correspondant
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1919
Exemples d’applicationExemples d’application
• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan
• Composition Assistée par OrdinateurComposition Assistée par Ordinateur• manipulation directe de sources sonoresmanipulation directe de sources sonores
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2020
Exemples d’applicationExemples d’application
• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan
• Composition Assistée par OrdinateurComposition Assistée par Ordinateur
• AudioconférenceAudioconférence• intervenants représentés par leurs photosintervenants représentés par leurs photos• possibilité d’ « éteindre » momentanément un locuteurpossibilité d’ « éteindre » momentanément un locuteur• passage d’un groupe de discussion à un autrepassage d’un groupe de discussion à un autre
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2121
ObjectifsObjectifs
• Caractériser et évaluer :Caractériser et évaluer :• l’interaction avec les Phearconsl’interaction avec les Phearcons• la spécification des Phearcons par l’utilisateurla spécification des Phearcons par l’utilisateur
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2222
ObjectifsObjectifs
• Caractériser et évaluer :Caractériser et évaluer :• l’interaction avec les Phearconsl’interaction avec les Phearcons• la spécification des Phearcons par l’utilisateurla spécification des Phearcons par l’utilisateur
• Développer et évaluer à partir de cette Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et caractérisation une plate-forme logicielle et matérielle de spécification et d’exécution des matérielle de spécification et d’exécution des PhearconsPhearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2323
Travaux relatifsTravaux relatifs
• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance• Tangible Bits, Ambient Room [Ishii]Tangible Bits, Ambient Room [Ishii]
• "The smooth transition of users' focus "The smooth transition of users' focus of attention between background andof attention between background andforeground using ambient media andforeground using ambient media andgraspable objects is a key challenge ofgraspable objects is a key challenge ofTangible Bits."Tangible Bits."
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2424
Travaux relatifsTravaux relatifs
• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance• Tangible Bits, Ambient Room [Ishii]Tangible Bits, Ambient Room [Ishii]
• "The smooth transition of users' focus "The smooth transition of users' focus of attention between background andof attention between background andforeground using ambient media andforeground using ambient media andgraspable objects is a key challenge ofgraspable objects is a key challenge ofTangible Bits."Tangible Bits."
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2525
Travaux relatifsTravaux relatifs
• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance
• Suivi d’informations sonores en arrière-planSuivi d’informations sonores en arrière-plan• [Conversy] [Conversy] : : sources sonores sources sonores
écologiquesécologiques• AROMA [Pedersen] AROMA [Pedersen] : : conscience de groupeconscience de groupe• [Malandrino] [Malandrino] : : état du réseauétat du réseau
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2626
Classification des PhearconsClassification des Phearcons
Mondenumérique
Mondephysique
Avec objetsphysiques
Avec objets numériques
Interactionphysique
Interactionnumérique
Réalitéaugmentée
Virtualitéaugmentée
Objet de la tâche
Interaction
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2727
Classification des PhearconsClassification des Phearcons
Lien entre le monde physique et le monde numérique
Statique
Dynamique
Mondenumérique
Mondephysique
Avec objetsphysiques
Avec objets numériques
Objet de la tâche
Interaction
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2828
Plan de l'exposéPlan de l'exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• ContributionsContributions
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2929
Démarche de travailDémarche de travail
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
Expérimentations
Phearcons
Processus de sonification
Architecture logicielle
Paramètres de conceptionpour la spécification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
InteractionSpécificatio
n
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3030
Plan de l'exposéPlan de l'exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• Contributions :Contributions :
• interaction avec les phearcons : justification théorique et interaction avec les phearcons : justification théorique et
expérimentaleexpérimentale
• spécification des phearcons : processus de sonificationspécification des phearcons : processus de sonification
• plate-forme de définition et d’exécution des phearconsplate-forme de définition et d’exécution des phearcons
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3131
Spécification
Expérimentations
Phearcons
Processus de sonification
Architecture logicielle
Paramètres de conceptionpour la spécification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
Interaction avec les Phearcons : Interaction avec les Phearcons : justification théorique et justification théorique et expérimentaleexpérimentale
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
Interaction
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3232
Propriétés ergonomiques [Scapin 86]Propriétés ergonomiques [Scapin 86]
• AdaptabilitéAdaptabilité• L’utilisateur choisit les objets et les sons les plus L’utilisateur choisit les objets et les sons les plus
pertinents par rapport aux informations diffusées.pertinents par rapport aux informations diffusées.• Il positionne les objets selon son but et sa tâche Il positionne les objets selon son but et sa tâche
courants.courants.
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3333
• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité
• L’utilisateur s’entoure d’un environnement familier.L’utilisateur s’entoure d’un environnement familier.
Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3434
• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources
sonoressonores• L’utilisateur manipule directement les sources L’utilisateur manipule directement les sources
sonores.sonores.• ex : déplacer-déposer une source sonoreex : déplacer-déposer une source sonore
Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3535
• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources
sonoressonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores
• L ’utilisateur manipule plusieurs sources simultanémentL ’utilisateur manipule plusieurs sources simultanément• Il suit plusieurs sources d ’informations simultanémentIl suit plusieurs sources d ’informations simultanément
Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3636
• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources sonoresConcision de la manipulation des sources sonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores• Observabilité des sources sonoresObservabilité des sources sonores
par leur meilleure discriminationpar leur meilleure discrimination• effet cocktaileffet cocktail• spatialisationspatialisation• association objet-son -> meilleure mémorisation association objet-son -> meilleure mémorisation
de la nature et de l’emplacement des sources sonoresde la nature et de l’emplacement des sources sonores
Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3737
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation
• Validation d’hypothèses théoriquesValidation d’hypothèses théoriques• utilisabilitéutilisabilité
• satisfaction des utilisateurs ?satisfaction des utilisateurs ?• association naturelle entre objet et son ?association naturelle entre objet et son ?• simplicité d’utilisation ?simplicité d’utilisation ?• discrimination des sources sonores ?discrimination des sources sonores ?
• utilitéutilité• efficacité pour le suivi de sources sonores en arrière-efficacité pour le suivi de sources sonores en arrière-
plan ?plan ?
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3838
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation
• Validation d’hypothèses théoriquesValidation d’hypothèses théoriques• Règles de conception pour une plate-formeRègles de conception pour une plate-forme
• nature du lien entre objets et sources nature du lien entre objets et sources d’informationsd’informations
• actions possibles et souhaitablesactions possibles et souhaitables• caractéristiques souhaitées des sources sonorescaractéristiques souhaitées des sources sonores
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3939
• 11 sujets11 sujets• non experts et non informaticiensnon experts et non informaticiens• âgés de 26 ans en moyenneâgés de 26 ans en moyenne• recrutés par bouche à oreillerecrutés par bouche à oreille
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4040
Son + image
Contrôle des sources sonores
Complice
Sujet
Magicien
Son spatialisé 5.1
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4141
Pression artérielle (alerte)
Respiration (continu)
Radio (continu)
Météo (toutes les 5 minutes)
Bébé à la maison (continu)
Rôle d’infirmier
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :sources sonores présentées aux sources sonores présentées aux sujetssujets
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4242
• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• effectué parmi un ensemble d’objetseffectué parmi un ensemble d’objets
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4343
• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes
• modalités proposées : modalités proposées : • voix, gestes, manipulations de l’objet, combinaison de voix, gestes, manipulations de l’objet, combinaison de
modalitésmodalités
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4444
• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes
• modalités proposéesmodalités proposées• commandes pour chaque source sonore :commandes pour chaque source sonore :
• arrêter / jouer le sonarrêter / jouer le son• augmenter / diminuer le volumeaugmenter / diminuer le volume• faire venir le son de partout / de la direction de la sourcefaire venir le son de partout / de la direction de la source
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4545
• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes
• modalités proposéesmodalités proposées• commandes pour chaque source sonorecommandes pour chaque source sonore• commandes pour toutes les sources sonores à la fois :commandes pour toutes les sources sonores à la fois :
• arrêter / jouer les sonsarrêter / jouer les sons
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4646
Appeler chez soi si anomalie bébé
Saisir des feuilles de soin
Appeler un médecin si anomalie pression/respiration
Noter les variations de pression
Répondre aux appels
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase d’expérimentationphase d’expérimentation
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4747
• Questionnaire avec réponses ouvertes et Questionnaire avec réponses ouvertes et ferméesfermées
• Entretien à la fin de l’expérimentationEntretien à la fin de l’expérimentation
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :recueil des résultatsrecueil des résultats
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4848
• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4949
• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction
• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5050
• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction
• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose
• ils sont à l’aise avec les associations objets / sonsils sont à l’aise avec les associations objets / sons
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5151
• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction
• cependantcependant
• ils ont des difficultés à se souvenir des commandes ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis) choisies (mais pas des objets choisis)
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5252
• Association information-objetAssociation information-objet• apparence de l’objet rappelant la sémantiqueapparence de l’objet rappelant la sémantique
de l’informationde l’information
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5353
• Association information-objetAssociation information-objet• Actions possiblesActions possibles
• objets suggérant des manipulationsobjets suggérant des manipulations• 3D, taille de la main, boutons3D, taille de la main, boutons
• manipulations possiblesmanipulations possibles• manipulation de boutons, déplacement dans zonesmanipulation de boutons, déplacement dans zones
• tâches souhaitablestâches souhaitables• rejouer dernière séquence de sonrejouer dernière séquence de son• jouer son de tous les haut-parleursjouer son de tous les haut-parleurs
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5454
• Association information-objetAssociation information-objet• Actions possiblesActions possibles• Sources sonoresSources sonores
• sons facilement identifiablessons facilement identifiables• sons suivis émis ponctuellement sons suivis émis ponctuellement
• régulièrement / lors d’événementsrégulièrement / lors d’événements
• si la source est rendue muette par l’utilisateursi la source est rendue muette par l’utilisateur• événements observables de manière non auditiveévénements observables de manière non auditive
• si la source est muette sans avoir été éteinte par si la source est muette sans avoir été éteinte par l’utilisateurl’utilisateur
• possibilité d’avoir un diagnostic de pannepossibilité d’avoir un diagnostic de panne• manipulation préconisée : secouer l’objet correspondantmanipulation préconisée : secouer l’objet correspondant
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5555
Spécification des phearconsSpécification des phearcons
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
Interaction
Expérimentations
Phearcons
Processus de sonification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
Spécification
Paramètres de conceptionpour la spécification
Architecture logicielle
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5656
Comment spécifier les Phearcons ?Comment spécifier les Phearcons ?
Source d’informations
Objet physique Son
Indiquer l’objet
Indiquer lien vers la source
???
Paramètres caractérisant la transformation d’informations en sons (sonification)
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5757
Comment obtenir des paramètres Comment obtenir des paramètres de conception pour la sonification ?de conception pour la sonification ?
• Adapter le processus de visualisation de Ed Adapter le processus de visualisation de Ed Chi Chi [Chi ’00] à la sonification[Chi ’00] à la sonification
• structuration du processus de sonification en structuration du processus de sonification en étapes d’abstractionétapes d’abstraction
• identification de paramètres de conception pour identification de paramètres de conception pour chaque étape de sonificationchaque étape de sonification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5858
Processus de visualisation de Chi :Processus de visualisation de Chi :transformation des donnéestransformation des données
DonnéesCLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
Ensemble dedocuments
Abstraction analytique :Vue sur les données
Transformation des données
Liste dedocuments
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
Abstraction de visualisation :Espace visuel abstrait
Transformation de visualisation
Vue :Vue sur l’espace
Transformation de réalisation visuelle
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5959
Liste dedocuments
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
Espace 2D
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
Abstraction analytique :Vue sur les données
Transformation des données
Abstraction de visualisation :Espace visuel abstrait
Transformation de visualisation
Vue :Vue sur l’espace
Transformation de réalisation visuelle
Processus de visualisation de Chi :Processus de visualisation de Chi :transformation de visualisationtransformation de visualisation
Données
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6060
Vue déformée
Processus de visualisation de Chi :Processus de visualisation de Chi :transformation de réalisation transformation de réalisation visuellevisuelle
Abstraction analytique :Vue sur les données
Transformation des données
Abstraction de visualisation :Espace visuel abstrait
Transformation de visualisation
Vue :Vue sur l’espace
Transformation de réalisation visuelle
Espace 2D
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS
Données
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6161
Processus de sonification :Processus de sonification :transformation des donnéestransformation des données
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Image
Suite de colonnesde pixels
. . .
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6262
. . .
Niveau de gris = intensitéOrdonnée = hauteur
Séquence de sons. . .
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Processus de sonification :Processus de sonification :transformation de sonificationtransformation de sonification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6363
Séquence de sons. . .
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Processus de sonification :Processus de sonification :transformation de diffusiontransformation de diffusion
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6464
Transformation des donnéesTransformation des données
• Commun avec la Commun avec la visualisationvisualisation
• Dépendant Dépendant • des donnéesdes données• de la sémantique des de la sémantique des
donnéesdonnées• de la tâche de l’utilisateur de la tâche de l’utilisateur
finalfinal• ex : ex : AROMA [Pedersen]AROMA [Pedersen]
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6565
• Espace sonore abstraitEspace sonore abstrait• = espace euclidien= espace euclidien• = 1 point sans spatialisation= 1 point sans spatialisation• son abstrait =son abstrait =
• duréedurée• traits acoustiques variant pendant cette traits acoustiques variant pendant cette
duréedurée
Transformation de sonification :Transformation de sonification :espace sonore abstraitespace sonore abstrait
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6666
Transformation de sonification :Transformation de sonification :deux niveaux de sonificationdeux niveaux de sonification
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de
sonificationsonification• 1 donnée1 donnée 1 son 1 son
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6767
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de
sonificationsonification• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.
sonssons
Transformation de sonification :Transformation de sonification :deux niveaux de sonificationdeux niveaux de sonification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6868
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de
sonificationsonification• 1 donnée 1 son• 1 ens. données 1 ens.
sons
Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6969
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification
• 1 donnée1 donnée 1 son 1 son
Son spatialisé :Son spatialisé :• sémantique position sémantique position sémantique sémantique
du sondu son• spatialisation analogique par spatialisation analogique par
rapport à un phénomènerapport à un phénomène• sonore : cathédralesonore : cathédrale• non sonore : non sonore : Diary in the Sky Diary in the Sky
[Walker][Walker]
Transformation de sonification :Transformation de sonification :représentation d’une donnéereprésentation d’une donnée
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7070
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
RDV à 15h
Transformation de sonification :Transformation de sonification :représentation d’une donnéereprésentation d’une donnée
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification
• 1 donnée1 donnée 1 son 1 son
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7171
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de
sonificationsonification• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.
sonssons
Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7272
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées
Même endroit
Endroits différents
Simultané Alterné
Colonne de pixels
Sonstéréo
Diary in the Sky
Synthèsevocale
Espace
Temps
• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification
• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.
sonssons
Coordination des sons de Coordination des sons de l’ensemble de sonsl’ensemble de sons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7373
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Transformation de diffusionTransformation de diffusion
• Transformation en 4 étapesTransformation en 4 étapes(i) choix du point de vue sur (i) choix du point de vue sur
l’espace sonore abstraitl’espace sonore abstrait
(ii) espace sonore -> paramètres (ii) espace sonore -> paramètres pour le dispositif de rendupour le dispositif de rendu
(iii) paramètres pour le dispositif (iii) paramètres pour le dispositif de rendu -> signal sonorede rendu -> signal sonore
(iv) signal sonore -> son (iv) signal sonore -> son physiquephysique
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7474
Données
Abstraction analytique :Vue sur les données
Transformation des données
Rendu sonore
Transformation de diffusion
Transformation de sonification
Abstraction de sonification :Espace sonore abstrait
Transformation de diffusionTransformation de diffusion
• Transformation en 4 étapesTransformation en 4 étapes• Dispositif physiqueDispositif physique
• précision sonoreprécision sonore• degré de spatialitédegré de spatialité• répartition géom. des haut-parleursrépartition géom. des haut-parleurs• degré de partagedegré de partage• liberté de déplacementliberté de déplacement• degré d’immersiondegré d’immersion• ex : ex : Soundbeam Soundbeam
Neckset [Sawhney]Neckset [Sawhney]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7575
Earcons de Blattner
Earcons sériede Brewster
Earcons parall.de Brewster
Param.Système
Sonnerie (dép.de l’appelant)
Sonnerie (indép.de l’appelant)
Oui
Oui
Oui
Gram-maire
Non
Non
...
...
...
Données àsonifier
X appelle
Quelqu’unappelle
Synthétique
Musical
Musical
Nature du son
...
...
Alterné
Alterné
Simultané
Simultané /alterné
...
...
• Exemple : la catégorie des « earcons »Exemple : la catégorie des « earcons »
Contributions (a) classificationContributions (a) classification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7676
• Identification d’étapes de conceptionIdentification d’étapes de conception
Contributions (b) aide à la Contributions (b) aide à la conceptionconception
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7777
• Identification d’étapes de conceptionIdentification d’étapes de conception
• Identification de paramètres de conceptionIdentification de paramètres de conceptionà chaque étape :à chaque étape :
• guide pour la conceptionguide pour la conception
• fondation pour intégrer et générer des heuristiques fondation pour intégrer et générer des heuristiques de conceptionde conception
• sonifications dépendantes du contextesonifications dépendantes du contexte
Contributions (b) aide à la Contributions (b) aide à la conceptionconception
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7878
• Paramètres identifiés permettant la spécification Paramètres identifiés permettant la spécification des sources sonoresdes sources sonores
• spécification grâce à une interface graphique : spécification grâce à une interface graphique : la plateforme en cours de développementla plateforme en cours de développement
Spécification des PhearconsSpécification des Phearcons
Données
Abstraction analytique :Vue sur les données
Abstraction de sonification :Espace sonore abstrait
Rendu sonore
Transformation des données
Transformation de sonification
Transformation de diffusion
Source d’informations
Objet physique Son
Montrer objet devant caméra
Indiquer URL ou périphérique
???
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7979
Plate-forme logicielle et matériellePlate-forme logicielle et matériellede spécification et d’exécutionde spécification et d’exécution
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
InteractionSpécificatio
n
Expérimentations
Phearcons
Processus de sonification
Architecture logicielle
Paramètres de conceptionpour la spécification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8080
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
Caméra + projecteur
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8181
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
Caméra + projecteur
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8282
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
Caméra + projecteur
Radio FMEtat : actif
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8383
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
Caméra + projecteur
Radio FMEtat : actif
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8484
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué
• 4 zones de volume4 zones de volume
max
med.
min
off
Radio FMEtat : actif
Caméra + projecteur
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8585
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué
• 4 zones de volume4 zones de volume
• zone Historique (H)zone Historique (H)
max
med.
min
off
Radio FMEtat : actif
Caméra + projecteur
H
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8686
Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons
Surround
• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur
[Bérard][Bérard]
• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué
• 4 zones de volume4 zones de volume
• zone Historique (H)zone Historique (H)
• zone Surroundzone Surround max
med.
min
off
Radio FMEtat : actif
Caméra + projecteur
H
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8787
Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8888
Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8989
Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9090
Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9191
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9292
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9393
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9494
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9595
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
Données
Abstraction analytique :
Vue sur les données
Abstraction de sonification :Espace sonore abstrait
Rendu sonore
Transformation des données
Transformation de sonification
Transformation de diffusion NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9696
• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]
• Spécification d’une PhearconSpécification d’une Phearcon= configuration de chaque niveau de l’arche= configuration de chaque niveau de l’arche
Données
Abstraction analytique :
Vue sur les données
Abstraction de sonification :Espace sonore abstrait
Rendu sonore
Transformation des données
Transformation de sonification
Transformation de diffusion NF
ANF
CD
PL
PP
Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9797
Plan de l'exposéPlan de l'exposé
• Domaine : virtualité augmentéeDomaine : virtualité augmentée
• Sujet : phearconsSujet : phearcons
• Démarche de travailDémarche de travail
• ContributionsContributions
• Etat d’avancementEtat d’avancement
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9898
Etat d’avancementEtat d’avancement
Spécification
Expérimentations
Phearcons
Processus de sonification
Architecture logicielle
Paramètres de conceptionpour la spécification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
en coursen cours
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
Interaction
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9999
Etat d’avancementEtat d’avancement
• Plateforme en cours de développementPlateforme en cours de développement
• tracking visueltracking visuel : : okok• routines sonores routines sonores : : okok• interface graphique de spécificationinterface graphique de spécification : : fin en fin en
févrierfévrier
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 100100
Ce qui reste à faire...Ce qui reste à faire...
• Expérimentations utilisant notre plateforme : Expérimentations utilisant notre plateforme : mars à maimars à mai
• utilité des paramètres de sonificationutilité des paramètres de sonification• sonification d’informations contextuelles avec Gaëtan sonification d’informations contextuelles avec Gaëtan
ReyRey• ex : activité de groupeex : activité de groupe
• utilisation de longue durée (2 mois) avec des sources utilisation de longue durée (2 mois) avec des sources distantesdistantes
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 101101
Ce qui reste à faire...Ce qui reste à faire...
• Expérimentations utilisant notre plateforme : Expérimentations utilisant notre plateforme : mars à maimars à mai
• Rédaction du mémoire : mai à aoûtRédaction du mémoire : mai à août• envoi de la thèse le 31 août, soutenance fin octobreenvoi de la thèse le 31 août, soutenance fin octobre
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 102102
PublicationsPublications
Justification théorique :propriétés ergonomiques
Justification expérimentale :magicien d’oz
Règles de conceptionpour l’interaction
InteractionSpécificatio
n
Expérimentations
Phearcons
Architecture logicielle
Paramètres de conceptionpour la spécification
Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons
Doct. cons. CHI ’04 (soumis)Doct. cons. CHI ’04 (soumis)
ICAD ’04 (soumis)ICAD ’04 (soumis)
Ubiquité Mobilité ’04 (soumis)Ubiquité Mobilité ’04 (soumis)
Processus de sonification
IHM ’02IHM ’02ICAD ’03ICAD ’03
début marsdébut marsinformations contextuellesinformations contextuellesInfo’Vis 04Info’Vis 04
mars-mai :mars-mai :• utilité paramètres sonificationutilité paramètres sonification• utilisation longue durée utilisation longue durée
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 103103
Merci pour votre attention !Merci pour votre attention !
des questions ?
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 104104
• Association information-objetAssociation information-objet• apparence de l’objet rappelant la sémantiqueapparence de l’objet rappelant la sémantique
de l’information de l’information (charge (charge informationnelle)informationnelle)
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 105105
• Association information-objetAssociation information-objet• Actions possiblesActions possibles
• objets suggérant des manipulationsobjets suggérant des manipulations• 3D, taille de la main, boutons 3D, taille de la main, boutons
(affordance)(affordance)
• manipulations possiblesmanipulations possibles• manipulation de boutons, déplacement dans zones manipulation de boutons, déplacement dans zones
(concision + charge (concision + charge informationnelle)informationnelle)
• tâches souhaitablestâches souhaitables• rejouer dernière séquence de son rejouer dernière séquence de son
(observabilité)(observabilité)• jouer son de tous les haut-parleurs jouer son de tous les haut-parleurs
("satisfaction")("satisfaction")
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites
Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 106106
• Association information-objetAssociation information-objet• Actions possiblesActions possibles• Sources sonores Sources sonores (observabilité + honnêteté)(observabilité + honnêteté)
• sons facilement identifiablessons facilement identifiables• sons suivis émis ponctuellement sons suivis émis ponctuellement
• régulièrement / lors d’événementsrégulièrement / lors d’événements
• si la source est rendue muette par l’utilisateursi la source est rendue muette par l’utilisateur• événements observables de manière non auditive événements observables de manière non auditive (équivalence)(équivalence)
• si la source est muette sans avoir été éteinte par l’utilisateursi la source est muette sans avoir été éteinte par l’utilisateur• possibilité d ’avoir un diagnostic de pannepossibilité d ’avoir un diagnostic de panne• manipulation préconisée : secouer l’objet correspondantmanipulation préconisée : secouer l’objet correspondant
Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites