recherches sur la langue des signes patrice dalle irit - tci* iris - e&r *institut de recherches...
TRANSCRIPT
RecherchesRecherchessur la sur la
Langue des SignesLangue des Signes
Patrice DALLEPatrice DALLE
IRIT - TCI*IRIT - TCI*
IRIS - E&RIRIS - E&R
*Institut de Recherches en Informatique de Toulouse équipe Traitement et Compréhension d’Images
IRIS - 25 juin 2003 Recherches sur la LSF 2
IRIT-TCI IRIT-TCI Traitement et Compréhension Traitement et Compréhension
d’Imagesd’Images Vision par ordinateurVision par ordinateur
Retrouver les informations sur la scène Retrouver les informations sur la scène observéeobservée
InterprétationInterprétation Reconnaître les objets, Comprendre la scèneReconnaître les objets, Comprendre la scène
Communication Visuo-GestuelleCommunication Visuo-Gestuelle Analyse des gestes ou signes d’une personneAnalyse des gestes ou signes d’une personne
Présentation
IRIS - 25 juin 2003 Recherches sur la LSF 3
CommunicationCommunication VisuoVisuo--GestuelleGestuelle
Analyse par un système de vision
- Attitudes- Expressions- Mouvements- Gestes- Signes
des émis par une personne
dans un but de communication
avec d’autres personnesou avec une machine
Présentation
IRIS - 25 juin 2003 Recherches sur la LSF 4
Types de recherchesTypes de recherches
Pédagogie en LSFPédagogie en LSF Accès à la culture : documents en LSF :Accès à la culture : documents en LSF : LSF et vie socialeLSF et vie sociale ……
Recherches
sur la langue des Signessur la langue des Signes
sur l’utilisation de la langue des Signessur l’utilisation de la langue des Signes
LSF , objet de l’étude : recherches linguistiquesLSF , objet de l’étude : recherches linguistiques Communication en LSF : Communication en LSF : technologies facilitant la communication en LSF technologies facilitant la communication en LSF
IRIS - 25 juin 2003 Recherches sur la LSF 5
Recherches sur la LSFRecherches sur la LSF Prérequis nécessaires pour étudier la LSFPrérequis nécessaires pour étudier la LSF
Constitution de corpus Constitution de corpus Formalismes de notationFormalismes de notation Outils informatiques d’analyse de corpus vidéoOutils informatiques d’analyse de corpus vidéo
Analyse de la LSFAnalyse de la LSF Formation des signesFormation des signes Caractéristiques de la LSF. Ex : grande iconicitéCaractéristiques de la LSF. Ex : grande iconicité Grammaire de la LSFGrammaire de la LSF
Modalités de la LSF Modalités de la LSF Écriture de la LSFÉcriture de la LSF
LSF , analyseur de faits de languesLSF , analyseur de faits de langues Naissance des langues (étude de sourds isolés)Naissance des langues (étude de sourds isolés) LSF et gestuelle co-verbaleLSF et gestuelle co-verbale
Thèmes des recherches
IRIS - 25 juin 2003 Recherches sur la LSF 6
Communication en LSFCommunication en LSF Communication à distanceCommunication à distance
Compression « intelligente »Compression « intelligente » Interfaces adaptéesInterfaces adaptées Messagerie en LSFMessagerie en LSF
Production d’énoncés en LSFProduction d’énoncés en LSF Avatars signantsAvatars signants
Ecriture de la LSFEcriture de la LSF Prise de notes en LSFPrise de notes en LSF
Résumés en vidéos, annotation, consultationRésumés en vidéos, annotation, consultation Traduction LSF Traduction LSF Français Français
Énoncé Énoncé sens sens représentation représentation génération génération
Thèmes des recherches
IRIS - 25 juin 2003 Recherches sur la LSF 7
Financement public des Financement public des recherchesrecherches Ministère de la rechercheMinistère de la recherche
ACI : Action Cognitique Incitative ACI : Action Cognitique Incitative CNRSCNRS
Département STIC Département STIC (Sciences et Technologies de l’Information et de la (Sciences et Technologies de l’Information et de la Communication) Communication)
4 domaines : 4 domaines : - STIC : technologies de la communication- STIC : technologies de la communication
- IHC (Interaction Humaines et Cognition) ; - IHC (Interaction Humaines et Cognition) ; rôle de l’humainrôle de l’humain
RTP : Réseaux Thématiques PluridisciplinairesRTP : Réseaux Thématiques Pluridisciplinaires Actions spécifiquesActions spécifiques Equipes projetsEquipes projets
INRIAINRIA RégionsRégions
Recherches en cours
IRIS - 25 juin 2003 Recherches sur la LSF 8
Linguistique Linguistique Informatique Informatiqueapports croisésapports croisés
LinguistiqueLinguistique Primitives, niveaux d’analysePrimitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncésDémarche d’analyse ou de production d’énoncés
InformatiqueInformatique Modélisation de la syntaxe et de la sémantiqueModélisation de la syntaxe et de la sémantique
Méthodes formellesMéthodes formelles Représentations pour rendre compte ou pour générerReprésentations pour rendre compte ou pour générer Modélisation du mouvement et des gestesModélisation du mouvement et des gestes
EnvironnementsEnvironnements EditeursEditeurs Outils de manipulation, stockage, interrogationOutils de manipulation, stockage, interrogation
Analyse : LS ( vidéo, direct) Analyse : LS ( vidéo, direct) représentation représentation Génération : représentation Génération : représentation personnage de synthèse personnage de synthèse
CVG
IRIS - 25 juin 2003 Recherches sur la LSF 9
ProjetsProjets
GestesGestes AS STIC : analyse des gestesAS STIC : analyse des gestes
Langue des SignesLangue des Signes ACI LS-COLIN ACI LS-COLIN (Cuxac)(Cuxac) : LS analyseur de langues : LS analyseur de langues (2000-(2000-
2002)2002) AS STIC AS STIC (Gibet,Toulotte)(Gibet,Toulotte) : Communication en LS : Communication en LS (2003-(2003-
2004)2004) ACI ACI (Garcia-Boutet)(Garcia-Boutet) : LSF - Formes graphiques : LSF - Formes graphiques (2003-2005)(2003-2005) INRIA : ARC-LSFINRIA : ARC-LSF
Analyse des gestes co-verbauxAnalyse des gestes co-verbaux AS STIC AS STIC (Dalle, Cuxac)(Dalle, Cuxac) : interaction gestuelle : interaction gestuelle (2002-2003)(2002-2003) Equipe projet Equipe projet (Dalle, Cuxac)(Dalle, Cuxac) : Interaction gestuelle : Interaction gestuelle (2004-(2004-
2007)2007)
Projets
IRIS - 25 juin 2003 Recherches sur la LSF 10
Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique
(Action COGNITIQUE)
- Sciences du Langage, Université Paris 8 (linguistique de la LSF)- CAMS-LaLIC, Université Paris 4 (linguistique cognitive)- IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image)- LIMSI, CNRS, Orsay (informatique)
Langues des signes : Analyseurs privilégiés de la faculté de langage,
Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image)
autour de l'iconicité et de l'utilisation de l'espace.
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 11
LS-COLINLS-COLIN
L'iconicité des messages fonctionne comme analyseur L'iconicité des messages fonctionne comme analyseur cognitif. cognitif.
affiner l'inventaire des structures de "grande iconicité" affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus modéliser l’émergence du vocabulaire standard à partir du processus
d'iconicisation initial; d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression vérifier des hypothèses des grammaires cognitives : l'expression
complémentaire des primitives spatiales et non spatiales issues des complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS.représentations sémantico-cognitives dans les énoncés en LS.
Travaux communsTravaux communs Identification des primitives signifiantes pour linguistes et Identification des primitives signifiantes pour linguistes et
informaticiensinformaticiens Structuration, segmentationStructuration, segmentation Spécification d’un outil de transcriptionSpécification d’un outil de transcription Étude et réalisation d’un corpus Étude et réalisation d’un corpus
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 12
LS-COLIN : Travaux des LS-COLIN : Travaux des linguisteslinguistes
Thèmes de Thèmes de publicationspublications issues de l’action issues de l’action(linguistes)(linguistes)
Modèle d’une grammaire iconique de la LSFModèle d’une grammaire iconique de la LSF Structures de grande iconicitéStructures de grande iconicité Opérations de transfertOpérations de transfert
Conséquences cognitives des transferts en LS
Classification des configurations manuelles Classification des configurations manuelles pronomiales en LSFpronomiales en LSF
La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 13
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 14
Corpus LS-COLINCorpus LS-COLIN
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 15
Exploitation du corpus : « histoire du cheval » (I. Fusellier)
Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, …
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 16
LS-COLIN : Editeur de partitionsLS-COLIN : Editeur de partitions
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 17
Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images
Données: séquences vidéo
Détection des zones d’intérêtsEntités statiques Locuteur MainsTête
Extraction de l’information mouvement
Entités dynamiquesTrajectoireMotifs temporels
Caractérisation et organisation
de l’information extraite
TrajectoiresContactBalancementPointage …
Vitesse; AccélérationDurée; Direction
Forme, Orientations globales et locales, nombre de régions
Projet-1
IRIS - 25 juin 2003 Recherches sur la LSF 18
AS Interaction gestuelleAS Interaction gestuelle(RTP Dialogue et Communication)(RTP Dialogue et Communication)
Etude et Développement
de la communication Homme-Machine
visuo-gestuelle
Patrice DALLE Patrice DALLE
IRIT IRIT
UMR 5505- Toulouse IIIUMR 5505- Toulouse III
Christian CUXAC Christian CUXAC
Syntaxe formelle et typologie des Syntaxe formelle et typologie des langueslangues
UMR 7023 - Paris VIIIUMR 7023 - Paris VIII
Projet-2
IRIS - 25 juin 2003 Recherches sur la LSF 19
AS-IG : MotivationAS-IG : Motivation
Intérêt : Intérêt : Le geste permet une interaction naturelleLe geste permet une interaction naturelle
ConstatConstat Le geste est peu utilisé dans la communication H-MLe geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs La vision est peu utilisée dans les dispositifs
multimodauxmultimodaux CausesCauses
Analyse en temps réel d’un objet composé articulé Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de libertédéformable, avec beaucoup de degrés de liberté
Le geste co-verbal est peu contraint et donc difficile à Le geste co-verbal est peu contraint et donc difficile à analyser par un système de visionanalyser par un système de vision
L’expression gestuelle seule est incomplète et ambiguëL’expression gestuelle seule est incomplète et ambiguë
Projet-2
IRIS - 25 juin 2003 Recherches sur la LSF 20
AS-IG : PrésentationAS-IG : Présentation
ObjectifObjectif Enrichir les capacités d’échange de la communication Enrichir les capacités d’échange de la communication
visuo-gestuellevisuo-gestuelle Développer des modèles d’analyse des langues Développer des modèles d’analyse des langues
gestuelles par un système de visiongestuelles par un système de vision
MéthodeMéthode Etude des points communs Etude des points communs
langue des signes / gestuelle co-verbale langue des signes / gestuelle co-verbale dans la communication H-Hdans la communication H-H
Transposition à la communication H-MTransposition à la communication H-M Réalisation d’une maquette de simulationRéalisation d’une maquette de simulation
Projet-2
IRIS - 25 juin 2003 Recherches sur la LSF 21
AS-IG AS-IG Apport de la langue des Apport de la langue des
signessignes
Langue des Signes
Gestesco-verbaux
analyse
enrichit
plus faciles à interpréter
plus expressifs
Projet-2
IRIS - 25 juin 2003 Recherches sur la LSF 22
AS-IG : Laboratoires AS-IG : Laboratoires « cœur »« cœur »
Langue des signesLangue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie UMR 7023 (Paris 8) "Syntaxe formelle et typologie
des langues", Ch Cuxacdes langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. SabriaUPRESA 6065 (Rouen) "DYALANG" , R. Sabria
Co-verbalCo-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. HudelotUMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. UMR 6057 (Aix-Marseille) "Parole et Langage" , I.
Guaïtella- CavéGuaïtella- Cavé
Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et UMR 5505 (Toulouse 3) IRIT -"Traitement et
Compréhension d'Images" P. DalleCompréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch
ColletCollet
Projet-2
IRIS - 25 juin 2003 Recherches sur la LSF 23
AS :AS : Communication en langue des signes des sourds
(RTP Handicap)
Représentations et Modélisations du mouvement dans le contexte
de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes.
Projet-3
IRIS - 25 juin 2003 Recherches sur la LSF 24
AS :AS : Communication en langue des signes des sourds
Modèles et langages de spécification pour la Modèles et langages de spécification pour la génération et l’animation d’agents de génération et l’animation d’agents de synthèse :synthèse :
Analyse et synthèse des expressions facialesAnalyse et synthèse des expressions faciales Codage des gestes des langues des signes Codage des gestes des langues des signes
pour le stockage des gestes, leur transmission pour le stockage des gestes, leur transmission et leur re-synthèse en temps réelet leur re-synthèse en temps réel
Interaction multimodale avec les agents Interaction multimodale avec les agents virtuels de communicationvirtuels de communication
Évaluation des différents systèmes par des Évaluation des différents systèmes par des populations sourdes (représentation, populations sourdes (représentation, reconnaissance des gestes des avatars, reconnaissance des gestes des avatars, dialogue)dialogue)
Projet-3
IRIS - 25 juin 2003 Recherches sur la LSF 25
AS :AS : Communication en langue des signes des sourds
Porteurs Sylvie Gibet
Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte
Laboratoire I3D, université des Sciences et Technologies de Lille
Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université
Stendhal, Grenoble
Projet-3
IRIS - 25 juin 2003 Recherches sur la LSF 26
ACI-JC ACI-JC La LSF : quelles conditions pour quelles formes La LSF : quelles conditions pour quelles formes
graphiquesgraphiques(proposition de projet)(proposition de projet)
Porteurs Dominique Boutet
Brigitte Garcia
(linguistes - Paris 8)
+ laboratoires partenaires
Projet-4
IRIS - 25 juin 2003 Recherches sur la LSF 27
La LSF La LSF quelles conditions pour quelles formes quelles conditions pour quelles formes
graphiquesgraphiques
Enquête , évaluation Enquête qualitative sur les attentes et besoins des populations concernées Expertise (sémio-linguistique et sociologique) des pratiques graphiques
spécifiques
Propositions Approche fondée sur le signifiant physiologique, permettant une forme
graphique monolinéaire et validée pour la gestualité coverbale Etude d’un outil de fabrication de comptes-rendus d’exposés en LSF Étude de la génération d’énoncés en LSF par des agents virtuels informatiques.
Projet-4
IRIS - 25 juin 2003 Recherches sur la LSF 28
Analyse d’imageAnalyse d’imagede personnages signants :de personnages signants :Études menées à l’IRIT-TCIÉtudes menées à l’IRIT-TCI
DescriptionDescription Détection , Extraction de primitivesDétection , Extraction de primitives SegmentationSegmentation CaractérisationCaractérisation
Reconstruction 3DReconstruction 3D ReconnaissanceReconnaissance InterprétationInterprétation
Analyse d’image-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 29
CVG : pourquoi ? CVG : pourquoi ?
ProblématiqueProblématique Thème émergent en analyse d’imagesThème émergent en analyse d’images Cadre d’étude pertinentCadre d’étude pertinent
Scientifique : 3D, mouvement, compréhension, sensScientifique : 3D, mouvement, compréhension, sens Applications : Applications :
Communication Homme-Machine (interaction, commande, Communication Homme-Machine (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) observation de l’utilisateur, couplage analyse-synthèse)
LSF, LSF, Linguistique : étude des gestes co-verbauxLinguistique : étude des gestes co-verbaux
EnseignementEnseignement DESS SI : Systèmes Intelligents (vision et interaction)DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image NumériqueDESS IIN : Ingénierie de l’Image Numérique
IRR : Intelligence artificielle, Reconnaissance des IRR : Intelligence artificielle, Reconnaissance des formes , Robotique formes , Robotique
Analyse d’image-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 30
CVG : pourquoi ?CVG : pourquoi ?
FinalitéFinalité : Communication, Langue des Signes : Communication, Langue des Signes OpportunitésOpportunités
Équipe TCI Équipe TCI (synergie, masse critique)(synergie, masse critique) Vision , mouvementVision , mouvement CompréhensionCompréhension
IRIT IRIT (coopérations)(coopérations) Image (analyse et synthèse)Image (analyse et synthèse) CHM, analyse de la vidéo, indexationCHM, analyse de la vidéo, indexation TALN (spatial), DialogueTALN (spatial), Dialogue
ToulouseToulouse LSF : fortes compétences (IRIS, Interpretis, UTM, LSF : fortes compétences (IRIS, Interpretis, UTM,
WebSourd,…)WebSourd,…) LAAS (geste)LAAS (geste)
Analyse d’image-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 31
CVG et analyse d’imageCVG et analyse d’image
AnalyseAnalyse Détection : silhouette, visage, mouvementDétection : silhouette, visage, mouvement SegmentationSegmentation
Composants du visage, du corpsComposants du visage, du corps MouvementMouvement
ReconnaissanceReconnaissance Expressions (visage)Expressions (visage) GestesGestes
InterprétationInterprétation Mimiques facialesMimiques faciales Gestes co-verbauxGestes co-verbaux Signes (de la LSF)Signes (de la LSF)
Analyse d’image-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 32
Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images
Données: séquences vidéo
Détection des zones d’intérêtsEntités statiques Locuteur MainsTête
Extraction de l’information mouvement
Entités dynamiquesTrajectoireMotifs temporels
Caractérisation et organisation
de l’information extraite
TrajectoiresContactBalancementPointage …
Vitesse; AccélérationDurée; Direction
Forme, Orientations globales et locales, nombre de régions
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 33
Analyse d’image dans les Analyse d’image dans les projetsprojets
Système d’analyse de la LSF Système d’analyse de la LSF Boris LenseigneBoris Lenseigne Projet LS-COLINProjet LS-COLIN Action STIC : Communication en LSAction STIC : Communication en LS
Analyse des gestes co-verbauxAnalyse des gestes co-verbaux Frédérick GianniFrédérick Gianni Action STIC : interaction gestuelleAction STIC : interaction gestuelle
Analyse des expressions du visageAnalyse des expressions du visage Hugo MercierHugo Mercier Projet avec WebSourdProjet avec WebSourd
Saisie des formes graphiques de la LSFSaisie des formes graphiques de la LSF Guylhem Aznar, Sébastien BenoistGuylhem Aznar, Sébastien Benoist ACI : LSF - formes graphiquesACI : LSF - formes graphiques
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 34
Extraction du locuteurExtraction du locuteur
- Comparaison avec une image de référence du fond
- Filtrage et traitement morphologique
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 35
Extraction des entités mains et Extraction des entités mains et visagevisage
1. Extraction des zones de peau
2. Identification des différentes régions par critères de taille et de forme
Mains, Visage
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 36
Analyse des mimiques facialesAnalyse des mimiques faciales
Détection du visageDétection du visage Suivi du visage Suivi du visage méthode méthode mean mean
shiftshift Modélisation du visageModélisation du visage Etude des variations des Etude des variations des
composantscomposants
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 37
Représentation du mouvement Représentation du mouvement par motifs temporelspar motifs temporels
tMHI : Intensité pixel = fonction de l’historique du mouvement
Détection des gestes symétriques par analyse de l’image tMHI
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 38
Détection des contours mobilesDétection des contours mobiles
Frontières des objets en mouvement
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 39
Suivi des éléments mobilesSuivi des éléments mobiles
QuickTime™ et undécompresseur sont requis pour visionner cette image.
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 40
Estimation 3D de la postureEstimation 3D de la posture
Point 3D = droite de projection sphère
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 41
Estimation 3D de la postureEstimation 3D de la posture
Filtrage des solutions–Modèle géométrique du bras
•position 3D valeurs des articulations•butées
–Mouvement•hypothèse de continuité•modèles différentiels (vitesse et accélération)
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 42
Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 43
Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 44
VisualisationVisualisationde l’espacede l’espacede signationde signation
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 45
Visualisation de l’espace de Visualisation de l’espace de signationsignation
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 46
Visualisation de l’espace de signationVisualisation de l’espace de signation
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 47
Système d’analyse de locuteur Système d’analyse de locuteur signantsignant
Cahier des charges (1)Cahier des charges (1) Le système doit fournirLe système doit fournir
des outils de TI permettant de segmenter des des outils de TI permettant de segmenter des composants d’un signecomposants d’un signe
des outils de mesuredes outils de mesure des outils de reconnaissance (régiondes outils de reconnaissance (régioncomposant d ’un composant d ’un
signe)signe) des outils de structuration des composantsdes outils de structuration des composants
pour chaque image isolément
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 48
Cahier des charges (2)Cahier des charges (2)
Le système doit fournirLe système doit fournir des outils de TI permettant la segmentation temporelle des outils de TI permettant la segmentation temporelle
de la séquencede la séquence des outils de mesure de la dynamiquedes outils de mesure de la dynamique des outils de reconnaissance de trajectoiresdes outils de reconnaissance de trajectoires des outils de structuration des mouvementsdes outils de structuration des mouvements
pour la séquence d ’images.
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 49
Cahier des charges (3)Cahier des charges (3)
Les composants sont identifiables par :Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + leurs caractéristiques (main = tâche de couleur peau +
taille + forme)taille + forme) le contexte (objet qui touche la tête = main)le contexte (objet qui touche la tête = main)
La méthode de reconnaissance n’est pas uniqueLa méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du tempsLe choix de la méthode évolue au cours du temps
Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante
Remarque sur la reconnaissance et la structurationRemarque sur la reconnaissance et la structuration
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 50
Cahier des charges (4)Cahier des charges (4)
Contrainte : Contrainte : ne pas limiter l ’espace des problèmes ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au Le linguiste : doit pouvoir exprimer ce qu’il cherche, au
moment de l ’analysemoment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans Requêtes : exprimées en termes d ’indices visuels dans
le contexte courantle contexte courant
Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS
Linguiste
Système
vidéo
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 51
SystèmeSystème
Système intermédiaire
Interface linguiste
pilote
pilote
Interprète en termes du
TI
Séquence d’images de durée t (=objet) Configuration à un moment
donné (interp= temps d ’interprétation)
Observe et interprète
Analyse d’image IRIT-TCI
IRIS - 25 juin 2003 Recherches sur la LSF 52
ContactsContacts
[email protected]@irit.frIRIT-TCI IRIT-TCI UPS UPS 118 route de Narbonne 31062 Toulouse 118 route de Narbonne 31062 Toulouse cedex 4cedex 4tel : 05-61-55-63-09tel : 05-61-55-63-09http://www.irit.fr/ACTIVITES/EQ_TCI/
RéférencesRéférences LS-COLIN : LS-COLIN :
http://www.irit.fr/LS-COLINhttp://www.irit.fr/LS-COLIN Rapport final : contact Patrice DalleRapport final : contact Patrice Dalle
AS-IG : AS-IG : http://www.irit.fr/AS-IGhttp://www.irit.fr/AS-IG