interprétation de séquences dimages pour des applications médiaspace alberto avanzi françois...
TRANSCRIPT
Interprétation de séquences d’images pour des applications
MédiaSpace
Alberto AVANZI François BREMOND Monique THONNAT
Projet ORIONINRIA de Sophia Antipolis
31/01/2001 Orion 2
Objectifs Système d’interprétation video
Modèle 3D de la scène vide Détection des individus Suivi spatio-temporel d’individus Reconnaissance de scénarios
Résultats Conclusion et Perspectives
Plan de l ’exposé
31/01/2001 Orion 3
Eviter la rupture dans la coprésence: ex. éviter de rester en face de la caméra pour
avoir son image transmise
Protéger l’espace privé: ex: protéger des visiteurs qui ne se savent pas
observés
Objectifs
31/01/2001 Orion 4
Une caméra fixe grand angle observe toute la scène
Les personnes se déplacent librement Eviter la rupture dans la coprésence:
Seules les sous-parties intéressantes des images sont transmises
Protéger l’espace privé: Les images sont transmises en fonction du niveau de
disponibilité interprété
nécessité de l’interprétation de séquences vidéo
Objectifs
31/01/2001 Orion 5
Axe de recherches Orion: Analyser automatiquement une scène donnée
à partir des séquences d’images de cette scène.
Domaines d’application: Surveillance de métro, parking, Surveillance d’agences bancaires Espace médiatisé: bureau, salle à café.
Système d’interprétation video
31/01/2001 Orion 6
(1) Acquisition et numérisation d’images. (2) Traitement de séquences d’images: détecter
et suivre les individus. (3) Reconnaître les scénarios et les
comportements des individus évoluant dans la scène.
(4) Utilisation du modèle 3D de la scène vide.
Détection et suivid’individus
(2)
Reconnaissancede scénarios
(3)
Acquisition deséquences d’images
(1)
Caméra Utilisateur
Système d’interprétation video
31/01/2001 Orion 7
Modèle 3D de la scène vide
•Contient des informations a priori sur la scène vide observée
•géométrie des objets 3D et des structures 2D (armoires, tables, murs,…)
•sémantique des objets 3D et des structures 2D (nom, fonction, caractéristiques, ….)
•Utilisé pour détection, suivi et reconnaissance de scénarios
31/01/2001 Orion 8
Modèle 3D de la scène vide
Scène vide
31/01/2001 Orion 9
Modèle 3D de la scène vide
Deux vues VRML de la scène 3D modélisée
31/01/2001 Orion 10
Détection des régions mobiles. Détection de la couleur peau (coopération
avec PRIMA) Classification des régions mobiles
Classes: personne, groupe, bruit, objet de la scène vide, personne occultée,…
Utilise le résultat de la détection de peau Utilise le modèle de la scène vide
Détection des individus
31/01/2001 Orion 11
Détection des individus
31/01/2001 Orion 12
Détection des individus
31/01/2001 Orion 13
Détection des individus
Détection des zones de couleur de la peau dans les régions mobiles
31/01/2001 Orion 14
Suivi spatio-temporel d’individus
Régions mobiles
Module de suivispatio-temporel
d ’individus
Individus suivisDélai de T instants (images)
Approche: suivre les individus avec un retard T par rapport aux régions mobiles détectéesMotivations: permettre de rattraper les erreurs de suivi.
31/01/2001 Orion 15
Suivi spatio-temporel d’individus
B
B B
B
B
PP
B
B B
P P
P
B
B
B B
P= objet mobile classe PERSONNE B= objet mobile classe BRUIT
P P
P
P
B P P
t+1tt-1.........t-T
= piste
= individu
time
31/01/2001 Orion 16
Reconnaissance de scénarios
• Modélisation de comportements intéressants en coopération avec J Coutaz d ’IIHM
• Reconnaissance de quelques scénarios simples bases sur le nombre de personnes présentes dans le bureau observé
• Changement automatique du niveau de disponibilité en fonction du scénario reconnu
31/01/2001 Orion 17
Reconnaissance de scénarios
Modélisation des comportements
31/01/2001 Orion 18
Résultats
Séquence avec 0 à 2 personnes
31/01/2001 Orion 19
Résultats
Séquence avec 3 niveaux de disponibilité
Non disponible
Peu disponible
Disponible
31/01/2001 Orion 20
Résultats
Séquence avec croisement
31/01/2001 Orion 21
Résultats
Séquence avec croisement
Non disponible
Peu disponible
Disponible
31/01/2001 Orion 22
Conclusions
Points positifs: Détection, localisation, comptage et suivi des
personnes de bonne qualité. Modélisation de la scène vide (3D et sémantique)
nécessaire pour l interprétation de vidéo. Plate-forme d’interprétation
tourne sur un PC Linux traite jusqu’à 4 images par seconde 10 séquences de bureau ont été traitées
Approche générale qui peut être appliquée à de nombreuses autres situations d'interprétation
31/01/2001 Orion 23
Conclusions
Difficultés: Intégration avec la partie communication du
Mediaspace non aboutie. Réseau trop contraignant pour
expérimentation Hétérogénéité des materiels et logiciels des 3
équipes (Sun Solaris, MacIntosh, SGI) d’ou migration vers PC Linux
31/01/2001 Orion 24
Perspectives
Thèmes de recherches: Prise en compte des objets 3D déplaçables (ex:
chaise) dans la modélisation de la scène vide. Enrichissement des scénarios à reconnaître
(prise en compte de la localisation comme poste de travail, tableau, table de réunion,….)
Description plus fine des individus suivis (couleur des vêtements, modèle 3D, ….)
31/01/2001 Orion 25
Perspectives
Séquence difficile
31/01/2001 Orion 26
Perspectives
Séquence difficile
Non disponible
Peu disponible
Disponible
31/01/2001 Orion 27
Perspectives
Long terme: traiter des informations complémentaires, issues de
capteurs différents: capteur porte caméras stéréo capteur audio connexion de la personne à une machine (login)
extension multi-support (WAP, Palm-Pilot, montre…)
31/01/2001 Orion 28
Détection des individus
31/01/2001 Orion 29
Outil de travail collaboratif
Support à la coprésence
Facilite le contact informel, permanent entre les membres d’équipes distantes
Le projet MédiaSpace