sistema de visão tempo-real
DESCRIPTION
Sistema de Visão Tempo-Real. Mauro Rodrigues - 28256 Sistema de Tempo-Real 07/08. Universidade de Aveiro. Resumo da Apresentação. Objectivo Enquadramento Aspectos Gerais Ambiente de Desenvolvimento Arquitectura do Sistema de Visão Modularização Escalonamento Tarefas Não-Visão Futuro. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/1.jpg)
Sistema de Visão Tempo-Real
Mauro Rodrigues - 28256
Sistema de Tempo-Real 07/08Universidade
de Aveiro
![Page 2: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/2.jpg)
17-12-2007 2
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Resumo da Apresentação
Objectivo Enquadramento Aspectos Gerais Ambiente de Desenvolvimento Arquitectura do Sistema de Visão Modularização Escalonamento Tarefas Não-Visão Futuro
![Page 3: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/3.jpg)
17-12-2007 3
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Objectivo
Criação de um sistema de Tempo-Real para um Robô Humanóide.
![Page 4: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/4.jpg)
17-12-2007 4
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Enquadramento
Trabalho desenvolvido no âmbito da disciplina Sistemas de Tempo-Real.
Dissertação intitulada “Desenvolvimento da Unidade Central de Processamento e Sistema de Visão para um Robô Humanóide”.
![Page 5: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/5.jpg)
17-12-2007 5
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Enquadramento
A plataforma é um Robô Humanóide desenvolvido na Universidade de Aveiro.
A ambição é a participação na Robocup, categoria Penalty Kick.
![Page 6: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/6.jpg)
17-12-2007 6
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
A plataforma humanóide é constituída por 22 graus de liberdade: • 2 em cada pé (2x2); • 1 em cada joelho (1x2); • 3 em cada anca (3x2); • 2 no tronco (2x1); • 3 em cada braço (3x2); • 2 no suporte da câmara (cabeça) (2x1).
Atinge os 60 cm de altura e uma massa total de 6 Kg.
![Page 7: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/7.jpg)
17-12-2007 7
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
Arquitectura distribuída de controlo constituída por três tipo de unidades, formando uma rede de controladores.
Interligação por bus CAN em configuração Master/Multi-Salve.
![Page 8: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/8.jpg)
17-12-2007 8
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
Unidade Master (mestre): interface entre a Unidade Central de Processamento e as unidades Slave; comunicação CPU/Master: RS-232 @ 115200 bps; comunicação Master/Slave: CAN (fullCAN 2.0A) @ 833.3
Kbps.
Unidades Slave (escravo): geração do PWM de controlo dos servomotores e a aquisição dos sinais dos diversos sensores da plataforma.
![Page 9: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/9.jpg)
17-12-2007 9
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
Unidade Central de Processamento: responsável pela gestão global dos procedimentos: Cálculo das configurações que as juntas devem
adoptar com base em directivas de alto nível, Processamento do sinal vídeo, Interacção com computador externo para
monitorização, debug ou tele-operação.
![Page 10: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/10.jpg)
17-12-2007 10
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
CPU standard PC104 plus AMD Geode LX-800 @
500MHz 512Mb RAM SSD 1Gb
![Page 11: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/11.jpg)
17-12-2007 11
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Aspectos Gerais
Captura de Sinal Vídeo Câmara UniBrain Fire-i @ 30fps (640x480) Placa PCMCIA FireWire Módulo Dual PCMCIA p/ PC104
![Page 12: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/12.jpg)
17-12-2007 12
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Ambiente de Desenvolvimento
Sistema Operativo GNU/Linux Debian 40r0 i386 Net Install
Versão mínima, ≈200Mb.
IDE KDevelop
![Page 13: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/13.jpg)
17-12-2007 13
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Ambiente de Desenvolvimento
Linguagem C/C++
Bibliotecas OpenCV PMan
![Page 14: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/14.jpg)
17-12-2007 14
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Arquitectura do Sistema de Visão
Image Acquisition
Image Processing
Object Tracking
Control
Shared Memory
Shared Memory
RTDB
Sleep
![Page 15: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/15.jpg)
17-12-2007 15
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Modularização
Image Acquisition Tick do sistema; Activa os processos seguintes quando uma nova
imagem está disponível.
Image Acquisition
Shared Memory
![Page 16: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/16.jpg)
17-12-2007 16
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Modularização
Image Processing
Conversão para HSV
Divisão em Componentes H, S e V
Detecção de Cor / Criação da máscara
Shared Memory
Shared Memory
![Page 17: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/17.jpg)
17-12-2007 17
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Modularização
Object Tracking
Aplicação da máscara
Confirmação da presença da bola / Detecção de círculos
Aferição da localização da bola na imagem
Shared Memory
RTDB
Cálculo do centro de massa da bola
![Page 18: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/18.jpg)
17-12-2007 18
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
ModularizaçãoAquisição
Máscara
Componentes H, S e V
Busca do Objecto
![Page 19: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/19.jpg)
17-12-2007 19
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Modularização
Control
Verificação das coordenadas da bola
Determinação dos parâmetros do movimento (Cinemática Inversa)
Actuação no Humanóide
RTDB
Sleep
![Page 20: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/20.jpg)
17-12-2007 20
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Escalonamento
Precedências A tarefa de aquisição de imagem é a base do
processo. Tarefas seguintes são dependentes desta e são
executadas pela ordem já referida. Este é um caso simples em que não existem
tarefas concorrenciais.
![Page 21: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/21.jpg)
17-12-2007 21
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Escalonamento
Precedências
Image Acquisition
Image Processing
Object Tracking
Control
![Page 22: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/22.jpg)
17-12-2007 22
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Escalonamento
Processo Período Lista de Precedências Descrição
Image Acquisition 1 - Interface com a câmara. Tick do sistema.
Image Processing 1 Image Acquisition Classificação de cor.
Object Tracking 1 Image Processing Busca do objecto (bola).
Control 1 Object Tracking Execução do controlo no Humanóide
![Page 23: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/23.jpg)
17-12-2007 23
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Tarefas Não-Visão
Temos como tarefa não-visão, a Locomoção.
O Humanóide possui ainda uma tarefa de elevada prioridade: Manter o equilíbrio!
![Page 24: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/24.jpg)
17-12-2007 24
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Tarefas Não-Visão
Manter o equilíbrio é fundamental: Não se pode deslocar em desequilíbrio. Não interessa procurar a bola se estiver em
queda.
Como é que isto afecta o Processo de Visão?
![Page 25: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/25.jpg)
17-12-2007 25
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Tarefas Não-Visão
Mantém-se a arquitectura já referida com a introdução de apenas um estado de decisão.
A cada tick do sistema, é verificado o estado geral do robô.
É feito o processamento de imagem se estiver tudo bem.
Em caso de, por ex., desequilíbrio é dada prioridade à restauração do mesmo.
![Page 26: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/26.jpg)
17-12-2007 26
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Tarefas Não-Visão
Image Acquisition
Image Processing
Object Tracking
Control
Shared Memory
Shared Memory
RTDB
Sleep
Equilíbrio ?
Sim
Não
Balance Restore
![Page 27: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/27.jpg)
17-12-2007 27
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Futuro
Participação numa competição como a Robocup implica além da identificação da bola: Identificação do espaço, terreno de jogo. Identificação de elemento individuais, balizas,
postes, etc.
![Page 28: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/28.jpg)
17-12-2007 28
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Futuro
![Page 29: Sistema de Visão Tempo-Real](https://reader035.vdocuments.pub/reader035/viewer/2022081515/5681463f550346895db349a9/html5/thumbnails/29.jpg)
17-12-2007 29
Sistema de Visão Tempo-Real
Mauro Rodrigues
28256
Futuro
Introdução de processos concorrenciais Processamento de imagem
Procura da bola; Procura da baliza; Procura dos postes; Etc.
Busca dos objectos e Actuação Enquadramento com a bola; Enquadramento com a baliza; Etc.