université de la rochelle laboratoire informatique image interaction laboratoire l3i université de...
TRANSCRIPT
Université deLa Rochelle
Laboratoire InformatiqueImage Interaction
Laboratoire L3iUniversité de La RochelleAvenue Michel Crépeau
17042 La Rochelle Cedex 1 http://l3iwiki.univ-lr.fr/tiki-index.php
Société XD Productions49 bd Général Valin
75015 Paris http://xdprod.com
Conception de Système Interactif à Exécution Adaptative
Capture de Mouvements Contextualisée
Francois PicardXD Productions, R&D Department
Paris, France+33(0)1-44-26-22-50
Pascal EstraillierPascal Estraillier
Image, Informatics and Interaction Laboratory Image, Informatics and Interaction Laboratory (L3i), (L3i),
Department of Informatics, University of La Department of Informatics, University of La Rochelle, FranceRochelle, France
Website: http://l3i.univ-larochelle.fr/Website: http://l3i.univ-larochelle.fr/+33(0)5-46-45-91-14+33(0)5-46-45-91-14
[email protected]@univ-lr.fr
Journée de l’action ADAPT 08/09/2009, Toulouse
Motivations
• Développement d’applications scénariséesEntertainment & Edutainment
• Expérience de l’utilisateur originale, enrichissante& divertissante
- Applications de type Jeu Vidéo- Interface non invasive et non limitative- Interaction directe, pilotée par les gestes du corps de
l’utilisateur - Adaptation des réactions du système en fonction du
comportement de l’utilisateur- Immersion dans un environnement virtuel
2/13
ProjectionProjection
Internal and Internal and external external parametersparameters N N
projected projected silhouettesilhouettess
Motion CaptureMotion Capture
2D dynamic 2D dynamic forces forces applicationapplication
Delamarre Q. « Suivi du mouvement d’objets articulés dans des séquences d’images vidéo »
Body Body positions and positions and rotationsrotations
N N camerascameras
SegmentatiSegmentationon
N N extracted extracted silhouettesilhouettess
Le CyberdômeSociété XD Productionswww.xdprod.com
Principe du processus de capture de mouvements
3/13
4/13
Motion Capture
DataInterpreter
DataInterpreter
ScenarioScenario& SceneManager
USER
COMPUTER
Computer’s Response
User’s Action
Acq
uisi
tion
Dev
ice
Res
titut
ion
Dev
ice
Scene Visual Restitution
User Mouvements
INTERFACES SYSTEM CORE
Immersion
Mocap Data
Normalized Representation
3D Description
3D Events
Scene Description
Scene Events
BehaviorInterpretation
BehaviorCharacterization
Scene Description & Events
Observed Behavior
Scenario & Scene State Evaluation
Scenario Support
COGNITION
5/13
Problèmes & Solutions
• Représentation du scénario ?• Apport du scénario au niveau de l’interprétation ?• Résolution des ambigüités de sens pour un comportement
donné ?• Complexité du système interactif ?
Modélisation et gestion du contexte au sein du système
Nouvelle perception d’une situation donnée Cadre d’étude plus adaptée pour une situation donnée Réduit le nombre d’ambigüités de sens
=> Interprétation plus fiable des données
Représentation du scénarioSituation d’Interaction Elémentaire
6/13
Représentation du scénarioContextualisation
7/13
< Contextualized System State >(t+1)
< Contextualized System State >(t+2)
< Contextualized System State >(t)
Contextualized Situation
User
Computer
Contextualized Situation
Contextualized Situation
User
Computer
Contextualized Situation
User
Computer
< System State >(t)
< System State >(t+1)
< System State >(t+2)
Context Point of View
Support du scénario pour l’interprétation
Le contexte d’une situation implique un comportement précis de la part de l’utilisateur
=> Comparaison du mouvement observé et du mouvement attendu
Mesure de la différence entre deux mouvements
8/13
Behavior Semantic
Description
MovementRulesOntology – based
interpretation
BehaviorOntology
Characterization Process
SceneKnowledge
- Model Focus- 3D Poses- Model – World Connections
Réduction des ambigüités de sensRéactions adaptées du système
Réinjection des résultats de l’interprétation dans le système=> Orientation des traitements en fonction de l’interprétation du comportement de l’utilisateur
• Orientation de la capture de mouvements
-> Vision parallèle de la scène capturée
• Orientation de la gestion de l’environnement 3D-> Activation / Désactivation d’écoutes d’événements 3D
• Orientation (non imposée !) du joueur-> Utilisation de l’immersion 9/13
Optimisation du systèmeBoucles vertueuses
Réinjection des résultats de l’interprétation dans le système=> Fermeture du système en boucles contrôlées
• 3 boucles vertueuses-> au niveau du système de capture-> au niveau du système d’immersion-> au niveau du joueur
• Traitements adaptés au comportement attendu-> N’est traité que ce qui est nécessaire systématiquement
• Anticipation des ressources software & hardware-> Résultats plus précis et plus fiables-> Diminution du nombre d’erreurs et d’incertitudes possibles
10/13
USER
COMPUTER
Scene Visual Restitution
User Mouvements
CognitionProcesses
Scenario ManagementProcesses
ImmersionProcesses
Motion CaptureProcesses Mocap Data
Normalized Representation
Virtual Scene Description
Virtual Scene Events
Virtual Scene Features
Behavior Interpretation
Expected Behavior Rules &Behavior Acceptance Conditions
Current Context Object
User Orientation via Immersion
Focus On Scene Events
ContextManager
Focus On Model
11/13
Management du contexte au sein du système interactif
• Interprétation du comportement
1) Règles caractérisant le mouvement de l’utilisateur2) Connections Model-World3) Evénements 3D
• Identifications des informations contextuelles
1) Comportement attendu2) Conditions d’acception du comportement observé3) Mesures immersives pour orienter le joueur4) Model Focus5) 3D Event Focus
12/13
Informations contextuelles
USER
Scene Visual Restitution
User Mouvements
Motion CaptureD
evic
e
Interpreter
Mocap Data
MovementCharacterization
Model-WorldConnection
Immersion
Dev
ice
Normalized Representation
ContextManager
Model + 3D Basis Mapping
World Description
Observed Mvt
Observed Connections
ScenarioModel
SceneDescription
ScenarioManager
SceneManager
Interpreter
Behavior Interpretation
Observed Events
Scene State Evaluation
3D Scene Description 3D Events Scene Events
Scene Description
CharacterizationComparison
ConnectionComparison
3D eventsComparison
DistanceInterpretation
Expected Mvt
Expected Connections
Expected Events
Distances
Conditions on Distances for Behavior Acceptance
Current Context Object
User Orientation via Immersion
Events Focus
Interpreter
3D Events Focus
Model Focus
Mocap Orientation
Opt: Model + 3D Basis Mapping
13/13
Merci pour votre attention
Design de Système Interactif à Exécution Adaptative
Capture de Mouvements Contextualisée