animando humanos virtuais em tempo-real usando visão computacional e redes neurais
Post on 12-Jan-2016
20 Views
Preview:
DESCRIPTION
TRANSCRIPT
30 May 2007
1
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
Animando Humanos Virtuais
em Tempo-Real usando Visão Computacional e Redes Neurais
Nelson F. Souza Jr.
Thiago Kehl
Fernando S. Osório
Cláudio R. Jung
Soraia R. Musse
Apresentado por:Apresentado por:
Prof. Dr. Fernando S. Prof. Dr. Fernando S. OSÓRIOOSÓRIO - - PPG Computação Aplicada / UnisinosPPG Computação Aplicada / Unisinos
UNISINOS - UNISINOS - PUC/RSPUC/RSRBV - Rede Brasileira de Visualização / FINEPRBV - Rede Brasileira de Visualização / FINEP
HP Brasil HP Brasil
30 May 2007
2
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
1. Motivação / Histórico
2. Objetivos
> Interface Homem-Máquina
> Visão Geral do Projeto
3. Visão Computacional> Reconhecimento de Posturas> Extração de Atributos> Aprendizado e Classificação Neural (ANN)> Resultados: Rede Neural
4. Simulação com Humanos Virtuais
> Modelos de Comportamento (ações)
5. Arquitetura do Sistema
6. Conclusões e Perspectivas
Agenda
30 May 2007
3
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
1. Motivação / Histórico
SVR 2000
30 May 2007
4
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
2. Objetivos
IHC - Interface Homem-Máquina
• Interface usando dispositivos diferentes... ConvencionaisConvencionais => Teclado, Mouse, Joystick Novos dispositivosNovos dispositivos => Interação Gestual - Uso de data-gloves - Uso de sensores de movimento (encoders, acelerômetros) - Uso de câmeras • Diferencial: - Custo - Facilidade de uso / Simplicidade da Interação
30 May 2007
5
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
2. Objetivos
Visão Computacional Pré-processar imagens de posturas de mãos
coletadas através de uma Webcam
Construir um classificador capaz de identificar tais posturas
Simulação com Humanos Virtuais Servir como entrada para sistemas de simulação de
comportamento de humanos virtuais em ambientes povoados
Definir para cada classe de posturauma ação selecionada dentro de uma série de comportamentos estruturados
30 May 2007
6
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
2. Objetivos
Visão Computacional Pré-processar imagens de posturas de mãos
coletadas através de uma Webcam
Construir um classificador capaz de identificar tais posturas
Simulação com Humanos Virtuais Servir como entrada para sistemas de simulação de
comportamento de humanos virtuais em ambientes povoados
Definir para cada classe de posturauma ação selecionada dentro de uma série de comportamentos estruturados
30 May 2007
7
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
Visão Computacional
Simulação com Humanos Virtuais
2. Objetivos - Visão Geral do Projeto
WebCam: Processamento de Imagens
Rede Neural:Treino / Uso na classificação
Ações: Grupos de Humanos Virtuais
30 May 2007
8
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
2. Objetivos - Visão Geral do Projeto
MatlabAquisição,
procesamento e medidas
TreinamentoRNA
[SNNS/C++]
ClassificadorRNA[C++]
Aplicaçãode multidõesde humanos
virtuais [C++]
= Sockets e MemóriaCompartilhada
Integração: Aquisição das Imagens, Classificação, Ações
30 May 2007
9
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)
30 May 2007
10
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)
PosturasGestos
30 May 2007
11
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)
Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)
30 May 2007
12
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Exemplo de extração de atributos:(a) Intensidade do canal azul. (b) Resultado da binarização. (c) Resultado do fechamento morfológico. (d) Imagem binária final restrita ou bounding box.
Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)
30 May 2007
13
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box
Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)
30 May 2007
14
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box
Histograma Horizontal
Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)
30 May 2007
15
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box
Histograma Vertical
Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)
30 May 2007
16
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação Neural (ANN)
3.4 Resultados: Rede Neural
Entradas adotadas: Atributos das imagensAtributos das imagens 10 projeções verticais 10 projeções horizontais Dimensões da largura e altura do bounding box
Base de treinamento e teste/validação do classificador: 22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas) 600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%) 70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino
Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output) Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)
Softwares:JavaNNSSNNSAnalyzeSNNS2C
30 May 2007
17
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação
3.4 Resultados: Rede Neural
Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%
30 May 2007
18
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
3. Visão Computacional
3.1 Reconhecimento de Posturas
3.2 Extração de Atributos
3.3 Aprendizado e Classificação
3.4 Resultados: Rede Neural
Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%
30 May 2007
19
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
4. Simulação com Humanos Virtuais
Simulação de grupos - "Crowds"
Aplicação de simulação militar:- Formação: Linha, Quadrado, Divisão de grupo, Junção- Agrupamento: Denso, Esparso
Comando das tropas através de gestos- Reconhecimento de posturas- Associação da postura às ações
30 May 2007
20
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
5. Arquitetura do Sistema
– Exportação da rede com o melhor resultado Utilização do SNNS2C para exportar a rede que apresentou o melhor resultado dentre todos os
testes
– Integração das aplicações via sockets e
memória compartilhada Aquisição da Imagem Pré-Processamento: extração de atributos Classificação com a rede (snns2c) Classe identificada gera código da ação Geração das ações => Animação do Humanos Virtuais
30 May 2007
21
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
6. Conclusões e Perspectivas
Tópicos abordados:- Interface Humano-Computador- Aprendizado e Reconhecimento de Posturas- Aplicação em Tempo Real- Visão Computacional- Simulação de Humanos Virtuais
Trabalhos Futuros:- Reconhecimento de GESTOS (dinâmica do movimento)- Explorar mais o uso de interfaces gestuais
Trabalhos relacionados...A tool for teaching musical metrics based on computer vision - CGI2007Rodrigo Schramm e Claudio Jung
30 May 2007
22
Animando Humanos Virtuaisem Tempo-Real usando
Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.
Proc. Imagens / Visualização 3D
top related