algoritmos de visão computacional em engenharia …¡rio 1. apresentação 2. visão computacional...
TRANSCRIPT
Algoritmos de Visão Computacional em Engenharia e Medicina
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
Sumário
1. Apresentação
2. Visão Computacional em Engenharia e Medicina
i. Introdução
ii. Segmentação
iii. Análise e Simulação • Seguimento • Emparelhamento • Alinhamento • Simulação
iv. Visão 3D
3. Equipa
4. Publicações & Eventos
2 Algoritmos de Visão Computacional em Engenharia e Medicina 2013@João Manuel R. S. Tavares
Apresentação • Prof. Associado no Dep. de Eng. Mecânica (DEMec) da
FEUP • Investigador Sénior e Coordenador de Projecto no Lab. de
Óptica e Mecânica Experimental (LOME) do INEGI • Doutorado e Mestre em Eng. Electrotécnica e de
Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)
• Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de
Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 4
Introdução • O sistema sensorial de visão tem elevada importância
para grande parte dos seres vivos – Podendo disponibilizar informações de índole básica, como
verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento
– Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise de movimento), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (Visão 3D)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 6
Introdução • Os investigadores da área do Processamento e Análise
de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 7
Imagens originais
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Modelo computacional 3D voxalizado e poligonizado
Introdução • Algoritmos de Visão Computacional são de elevado
interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: – Ciências naturais, Desporto – Engenharia, Indústria – Medicina, Biologia
• Exemplos de tarefas comuns envolvendo algoritmos de Visão Computacional: – Segmentação, Reconhecimento (2D-4D) – Seguimento e análise de movimento, incluindo
emparelhamento, alinhamento e simulação (2D-4D) – Visão 3D
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 8
Introdução: Processamento e Análise de Imagem – Operações e Objectivos
Algoritmos de Visão Computacional em Engenharia e Medicina 9
Melhoramento de imagem
Segmentação de imagem / extração de características
seguimento
emparelhamento
simulação
Imagem / imagens
Análise de movimento alinhamento
Processamento de Imagem
Análise de Imagem / Visão Computacional
2013@João Manuel R. S. Tavares
Visão 3D
Visão por Computador
Introdução • (Pré-)Processamento de Imagem: suavização de ruído
por difusão anisotrópica
10 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Segmentação • Pretende-se identificar de forma automática, ou semi-
automática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem
• As técnicas mais comuns são baseadas em binarização por limiar, crescimento de regiões, redes neuronais, emparelhamento de protótipos, modelações geométricas, estatísticas e físicas
• É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira “grande” tarefa considerada
• Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc.
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 12
• Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR
Imagens originais Após segmentação
Bastos & Tavares (2004) LNCS 3179:39-50
Segmentação
camada de contacto + vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada transparente
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 13
Segmentação • Análise do dano em materiais compósitos: binarização e
análise de regiões
Imagem original Após segmentação
Região do dano Medidas obtidas
Marques et al. (2009) Composites Science and Technology 69(14):2376-2382 Albuquerque et al. (2010) Journal of Composite Materials 44(9):1139-1159
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 14
Region Growing, x=215; y=254
Segmentação • Segmentação de estruturas do ouvido: método de
crescimento de regiões
Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME 2011
Ferreira et al. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.723700
X: 254 Y: 214Index: 116.7RGB: 0.459, 0.459, 0.459
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 15
Segmentação • Medição de dureza a partir de imagens de indentação:
método de Johannsen and Bille, crescimento de regiões
Dureza Vickers Dureza Brinell
Filho et al. (2010) Journal of Testing and Evaluation 38(1):88-94
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 16
Segmentação • Controlo de um servomecanismo por
linguagem gestual: histogramas de orientação
Tavares et al. (2005) International Journal of Advanced Robotic Systems 2(1):39-44
Modo de Execução
Modo de Aprendizagem
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 17
Segmentação • Segmentação do lumen da carotida em imagens B-mode:
detetor de orlas, operadores morfologicos, seguimento de orlas
Segmentação obtida em imagens de Doppler - B-mode (3 exemplos)
Pereira & Tavares (2011) RecPad 2011, 40-41
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 18
Segmentação • Deteção de calcificações em mamografias:
transformada de Hough
Chagas et al. (2007) VipIMAGE 2007, 363-368
Imagem original Após segmentação
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 19
Segmentação • Análise de microestruturas em materiais: rede neuronal
Imagens originais Após segmentação
Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4):273-283 Albuquerque et al. (2009) NDT & E International 42(7):644-651
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 20
Segmentação • Análise das fases secundárias em ligas de níquel em
imagens de microscopia electrónica de varrimento: rede neuronal
Imagem original Imagem segmentada
Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 21
Segmentação • Análise da porosidade de materiais sintéticos a partir de
imagens de microscopia óptica: rede neuronal
Imagem original e pixels de treino Imagem segmentada
Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 22
Segmentação • Reconhecimento de objetos em imagens:
emparelhamento de imagem protótipo
Carvalho & Tavares (2005) CMNI 2005
×fft fft
ift
( )3ift D CC( )2ift D CC
max CC
Imagem original Imagem protótipo
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 23
Segmentação • Segmentação de caraterísticas: protótipos deformáveis
geométricos
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Exemplo de um protótipo deformável
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 24
Segmentação • Segmentação de caraterísticas faciais:
protótipos deformáveis geométricos
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Imagem original e imagens de campos de energia (força)
Segmentação da íris usando um protótipo deformável (circulo)
Segmentação do olho usando um
protótipo deformável 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 25
Segmentação • Segmentação de regiões de pele em imagens: modelos
estatísticos
Amostras de pele usadas para construir o modelo
Imagem original e segmentação obtida
Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9):245-266
Função de probabilidade usada
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 26
Segmentação • Segmentação do fundo da cena/objeto em sequências
de imagens: modelos estatísticos
Subtracção do fundo
Detecção do objecto em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008
Imagens originais
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 27
Segmentação • Segmentação do fundo da cena/objeto em sequências
de imagens: modelos estatísticos
Subtracção do fundo
Detecção do objecto em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511
Imagens originais (www.nada.kth.se/cvap/actions)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 28
Segmentação • Segmentação de objetos em imagens: modelos de
distribuição pontual (i. e. modelos de forma)
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 29
Segmentação • Segmentação de objetos em imagens: modelos ativos
de forma
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 30
Segmentação • Segmentação de mãos e faces em imagens: modelos
ativos de forma
Segmentações obtidas (inicial, intermédias e final)
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 31
Segmentação • Análise do tracto vocal durante a fala partir de imagens
de ressonância magnética: modelos ativos de forma
Vasconcelos et al. (2011) Journal of Voice 25(6):732-742
Segmentação intermédia II
Imagem original +
modelo médio
Segmentação final
Segmentação intermédia I
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 32
Segmentação • Segmentação de objectos em imagens: modelos ativos
de aparência
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 33
Segmentação • Segmentação de faces em imagens: modelos ativos de
aparência
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Imagem original e segmentações obtidas (inicial, intermédia e final)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 34
Segmentação • Análise do tracto vocal durante a fala partir de imagens de
ressonância magnética: modelos ativos de aparência
Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2012) Journal of Engineering in Medicine 226(3):185-196
Segmentações intermédias
Segmentação inicial
Segmentação final
Segmentações intermédias
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 35
Segmentação • Segmentação de objetos em imagens: contornos ativos
(i.e. snakes – modelos paramétricos)
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 36
Segmentação • Segmentação de objetos em imagens: contornos ativos
(i.e. snakes)
Imagem original e contorno inicial
Contorno final
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 37
Segmentação • Segmentação de objetos em imagens: contorno
deformável, FEM, equação de Lagrange
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 38
Segmentação • Segmentação de objetos em imagens: contorno
deformável, FEM, equação de Lagrange
Imagens originais e contornos iniciais Contornos finais
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
borracha k = 200N/m 14s
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 39
Segmentação • Segmentação de objetos em imagens: métodos de level
set – modelos geométricos
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 40
Segmentação • Segmentação de objetos em imagens médicas: método
de level set
Imagem original Segmentação inicial Segmentação final
Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 41
Segmentação • Segmentação de bifurcação da carótida em imagens de
Doppler: métodos de contornos ativos e de level set
Segmentação usando um modelo de contornos ativos (Yessi)
Silva et al. (2011) VipIMAGE 2011, 117-122 Santos et al. (2013) Expert Systems with Applications 40(16):6570-6579
Segmentação usando um modelo de level set (Chan-Vese)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 42
Segmentação • Segmentação de objetos em imagens: métodos de level
set, conhecimento prévio
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 43
Segmentação • Segmentação do pavimento pélvico feminino a partir
de imagens de ressonância magnética: método de level set, conhecimento prévio
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Segmentação do pavimento pélvico
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 44
Segmentação
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 45
Ma et al. (2013) Computers in Biology and Medicine 43(4):248-258 Ma et al. (2012) The Int. Journal for Numerical Methods in Biomedical Engineering 28(6-7):714-726
Segmentação de órgãos (bexiga, vagina, ânus) da cavidade pélvica (3 exemplos)
• Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio
Segmentação • Segmentação da bexiga a partir de imagens de
ressonância magnética: modelos de level set, conhecimento prévio
Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297
Segmentação das paredes internas e externas da bexiga (3 exemplos)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 46
Segmentação • Nova plataforma para segmentação de imagens
médicas (VC++, OpenCV, ITK)
Interface da plataforma
Ma et al. (2008) CMBBE 2008 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 47
Segmentação • Segmentação de órgãos da cavidade pélvica da mulher
a partir de imagens de ressonância magnética: nova plataforma
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Crescimento de regiões Watershed
Método de Malladi Contorno ativo geodésico Level-set framework
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 48
Algoritmos de Visão Computacional em Engenharia e
Medicina: Seguimento, Emparelhamento, Alinhamento
e Simulação
Seguimento • Pretende-se seguir o movimento e/ou a deformação de
estruturas em sequências de imagem (2D/3D) • Nesta área, destacam-se as técnicas baseadas em fluxo
óptico, emparelhamento de blocos e em métodos estocásticos
• Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação
• Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc.
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 50
Seguimento • Plataforma desenvolvida para
seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão
Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 51
Seguimento • Seguimento de marcas em análise da marcha: filtro de
Kalman, distância de Mahalanobis, otimização, modelo de gestão
Previsão Incerteza Medição Correspondência Resultado
Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75
(5 frames)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 52
Sousa et al. (2007) ISHF2007, 331-340 Sousa et al. (2007) ICCB2007, 291-296
Seguimento • Análise da marcha com deteção de
eventos: filtro de Kalman, distância de Mahalanobis, otimização
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 53
Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92
(547 frames)
Seguimento • Seguimento de ratos em sequências longas de imagem:
filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 54
Seguimento • Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF)
(22 frames)
+ previsão x medição x correcção
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 55
Seguimento • Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF) – cont.
Resultados do filtro de Kalman
Resultados do filtro Unscented Kalman
(22 frames)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 56
Seguimento • Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF)
(22 frames)
Erro de seguimento (previsão/estado real) 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 57
Emparelhamento • É uma das tarefas mais usuais em Visão Computacional, por
exemplo, para alinhar objetos, reconhecer objetos, obter informação 3D, analisar movimento, etc.
• Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier
• Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc.
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 58
Emparelhamento • Emparelhamento de contornos em imagens: modelação
física/geométrica, análise modal, otimização
Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis 339-368
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 59
• Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização
Emparelhamento
Imagens originais Contornos emparelhados
Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
camada de contacto + vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada transparente
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 60
Emparelhamento • Emparelhamento de contornos e superfícies em
pedobarografia dinâmica: FEM, análise modal, otimização
Imagem de pedobarografia
dinâmica
Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20
Emparelhamento de dois contornos
Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)
Emparelhamento entre iso-contornos (2 vistas)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 61
Alinhamento • É uma tarefa habitualmente necessária para comparar objetos
representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas
• O alinhamento é geralmente essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens
• Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida, ou pela minimização de uma medida de semelhança
• Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc.
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 62
Alinhamento • Alinhamento de contornos em imagens: modelação
geométrica/física, otimização, programação dinâmica
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 63
Alinhamento • Alinhamento de contornos em imagens: modelação
geométrica, otimização, programação dinâmica
Imagens originais e contornos extraídos
Contornos emparelhados antes
do alinhamento
Contornos após alinhamento
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 64
Alinhamento • Alinhamento de imagens de pedobarografia: modelação
geométrica, otimização, programação dinâmica
Imagens originais e contornos extraídos
Contornos emparelhados e imagens antes e após alinhamento
Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 65
Alinhamento • Alinhamento de imagens de pedobarografia:
transformada de Fourier
Imagens originais Imagens antes e após alinhamento
Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
66 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de pedobarografia: método
híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de semelhança (MSE/MI/XOR)
Imagens originais, antes e após alinhamento
Oliveira & Tavares (2011) Medical & Biological Engineering & Computing 49(3):313-323
67 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de pedobarografia para
identificação (esq. / direito), extração de medidas e índices
Imagens originais, após normalização, contornos e áreas identificadas
Oliveira et al. (2012) Computer Methods in Biomechanics and Biomedical Engineering 15(11):1181-1188
68 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de uma mesma modalidade:
alinhamento de contornos – cont.
Imagens a alinhar
Contornos (Corpus Callosum) antes e após
emparelhamento
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
69 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de uma mesma modalidade:
alinhamento de contornos
70
Imagens Alinhadas
Imagem originais
Soma
Soma Diferença
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
70 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de uma mesma modalidade:
maximização direta da correlação cruzada (transformada de Fourier)
71
Imagens Alinhadas
Imagem originais (RM - proton density)
Soma
Soma Diferença
Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
71 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de imagens de uma mesma modalidade:
otimização pelo Método de Powell (otimização) de medida de semelhança (MSE)
72
Imagens Alinhadas
Imagem originais (RX)
Soma
Soma Diferença
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323
72 2013@João Manuel R. S. Tavares
ROI para cálculo da MSE
Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento intermodal (CT/RM): otimização pelo
Método de Powell (otimização) de medida de semelhança (MI)
73
Imagens Alinhadas
Imagem originais
CT RM CT+RM
CT+RM Diferença CT+RM
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323
73 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Imagem modelo Imagem a alinhar
Imagem alinhada
Pré-alinhamento usando transformação rígida
Novo pré-alinhamento usando transformação afim
Alinhamento curvo “grosseiro” usando B-splines
Alinhamento “fino” usando B-splines
74 2013@João Manuel R. S. Tavares
Alinhamento • Otimização iterativa e alinhamento 3D curvo usando B-
splines
74 Algoritmos de Visão Computacional em Engenharia e Medicina
O alinhamento baseado em B-splines tem cariz local
• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.
Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)
(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)
75 2013@João Manuel R. S. Tavares
Alinhamento
75 Algoritmos de Visão Computacional em Engenharia e Medicina
F F
F F F
F F F
M M M
M M M
M
M
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)
76 2013@João Manuel R. S. Tavares
Alinhamento • Alinhamento de imagens 3D: otimização iterativa,
alinhamento 3D – cont.
76 Algoritmos de Visão Computacional em Engenharia e Medicina
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)
77 2013@João Manuel R. S. Tavares
Alinhamento • Alinhamento de imagens 3D: otimização iterativa,
alinhamento 3D
77 Algoritmos de Visão Computacional em Engenharia e Medicina
78 2013@João Manuel R. S. Tavares
• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.
Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas)
Alinhamento
78 Algoritmos de Visão Computacional em Engenharia e Medicina
79 2013@João Manuel R. S. Tavares
• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim)
Alinhamento
79 Algoritmos de Visão Computacional em Engenharia e Medicina
80 2013@João Manuel R. S. Tavares
• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)
Alinhamento
80
Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855
Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento
Alinhamento
Transformação geométrica
Alinhamento
Transformação geométrica
… … …
Transformação geométrica
81 2013@João Manuel R. S. Tavares
• Alinhamento de imagens: usando multi-resolução Alinhamento
81 Algoritmos de Visão Computacional em Engenharia e Medicina
Xadrez das imagens pré-alinhamento (CT/RM, cérebro, mesmo paciente)
82 2013@João Manuel R. S. Tavares
• Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D – cont.
Alinhamento
82 Algoritmos de Visão Computacional em Engenharia e Medicina
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)
83 2013@João Manuel R. S. Tavares
• Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D
Alinhamento
83 Algoritmos de Visão Computacional em Engenharia e Medicina
Aplicação no estudo de imagens DaTSCAN SPECT
84 2013@João Manuel R. S. Tavares
Alinhamento
84 Algoritmos de Visão Computacional em Engenharia e Medicina
Imagens DaTSCAN SPECT são usadas para auxiliar o diagnostico da doença de Parkinson e para a distinguir de outras doenças degenerativas. A solução desenvolvida é capaz de:
– Segmentar as áreas relevantes e realizar análises dimensionais – Quantificar os potenciais de ligação da ganglia basal – Computação automática de dados estatísticos relativamente a uma
população de referência
Normal Alzheimer Parkinsonismo idiopático
Tremor essencial
85 2013@João Manuel R. S. Tavares
Alinhamento
85 Algoritmos de Visão Computacional em Engenharia e Medicina
Slice médio de uma população usado como referência
Slice correspondente de um paciente
Diferença de intensidades
Mapeamento dos Z-scores no slice (a vermelho valores mais elevados)
(Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação)
Oliveira et al. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (in press)
Aplicação no estudo de imagens DaTSCAN SPECT
86 2013@João Manuel R. S. Tavares
Alinhamento
86 Algoritmos de Visão Computacional em Engenharia e Medicina
Oliveira et al. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (in press)
Aplicação no estudo de imagens DaTSCAN SPECT
Ganglia basal “média” de uma
população normal
Ganglia basal de um paciente com parkinsonismo
idiopático
Ganglia basal de um paciente com parkinsonismo
vascular
Reconstrução 3D da ganglia basal e quantificação
87 2013@João Manuel R. S. Tavares
Alinhamento
87 Algoritmos de Visão Computacional em Engenharia e Medicina
Oliveira & Tavares (2013) The International Journal for Numerical Methods in Biomedical Engineering (submitted)
Aplicação na segmentação e reconstrução 3D dos ossículos do ouvido médio em imagens de TC
Estrutura reconstruida a partir das segmentações obtidas
Slices com a estrutura a segmentar e a reconstruir
Alinhamento • Alinhamento de sequências de imagem 2D: alinhamento
espacial e temporal
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 Oliveira & Tavares. (2013) Medical & Biological Engineering & Computing 51(3):267-276
88 2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de sequências de imagem 2D de
pedobarografia dinâmica: alinhamento espacial e temporal
89
Sequências originais antes do alinhamento
Sequências pré-processadas
Sequências de imagem originais
Sequências após alinhamento
camada de contacto + vidro
câmara espelho
89 2013@João Manuel R. S. Tavares
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850
Algoritmos de Visão Computacional em Engenharia e Medicina
Alinhamento • Alinhamento de sequências de imagem 2D de
pedobarografia dinâmica: alinhamento espacial e temporal
90
Sequências originais antes do alinhamento
Sequências pré-processadas
Sequências de imagem originais
Sequências após alinhamento
90 2013@João Manuel R. S. Tavares
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850
Algoritmos de Visão Computacional em Engenharia e Medicina
Simulação • É uma tarefa muito usada em Computação Gráfica (morphing) mas
também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre dois objetos distintos ou entre dois instantes de um mesmo objeto, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc.
• Geralmente é conseguida através da consideração de transformações geométricas
• No entanto, quando se deve considerar o comportamento físico dos objetos envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) – Dificuldades comuns são relativas à estimativas das forças envolvidas
e das propriedades adoptadas para os materiais – Fase de emparelhamento dos objetos torna-se crucial
2013@João Manuel R. S. Tavares 91 Algoritmos de Visão Computacional em Engenharia e Medicina
Simulação
Algoritmos de Visão Computacional em Engenharia e Medicina 92
• Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange
2013@João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange
Emparelhamento obtido
Deformações simuladas
Simulação
Algoritmos de Visão Computacional em Engenharia e Medicina 93
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Imagens originais
2013@João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 94
Emparelhamentos obtidos
Deformações simuladas
Emparelhamentos obtidos
Deformações simuladas
Imagens originais
Simulação
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Visão 3D • Pretende-se obter a forma 3D de objetos ou a
informação 3D de cenas a partir de imagens 2D • Nesta área, destacam-se: 1) formas exteriores: técnicas
ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, marching cubes e segmentação 3D
• Usualmente, envolve tarefas de calibração, segmentação, alinhamento, triangulação e interpolação
• Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc.
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 96
Visão 3D • Reconstrução 3D de objetos a partir de slices:
segmentação 2D, Delaunay, marching cubes
Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362
2013@João Manuel R. S. Tavares 97 Algoritmos de Visão Computacional em Engenharia e Medicina
Visão 3D • Reconstrução 3D de órgãos a partir de imagens
médicas: segmentação 2D, Delaunay, marching cubes
Segmentação realizada num slice e reconstrução 3D obtida
Órgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005
2013@João Manuel R. S. Tavares 98 Algoritmos de Visão Computacional em Engenharia e Medicina
Visão 3D • Reconstrução 3D de órgãos da cavidade pélvica
feminina partir de imagens de ressonância magnética: segmentação 2D, loft, suavização
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 99
Segmentação 2D realizada num slice
Pavimento pélvico reconstruído 3D
Órgãos da cavidade pélvica reconstruídos 3D
Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362
slices
Visão 3D • Reconstrução 3D de órgãos da cavidade pélvica
feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 100
Ma et al. (2012) Medical Engineering & Physics DOI: 10.1016/j.medengphy.2013.05.002
Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina)
Bexiga reconstruida usando informação axial e sagital (2 vistas)
Visão 3D • Reconstrução 3D de órgãos a partir de imagens de
diferentes modalidades: alinhamento, marching cubes, fusão
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 101
Oliveira & Tavares. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855
slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão
TC/SPECT
Visão 3D • Reconstrução 3D de cenas a partir de sequências de
imagem: visão estéreo densa
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 102
Azevedo et al. (2006) VISAPP 2006, 383-388
Visão 3D • Reconstrução 3D de uma cena a partir de par de
imagens: visão estéreo densa
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 103
Mapa de disparidade obtido
Par de imagens original
Azevedo et al. (2006) VISAPP 2006, 383-388
Visão 3D • Reconstrução 3D de objetos a partir de sequências de
imagem: escavação espacial
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 104
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136
Visão 3D • Reconstrução 3D de objetos a partir de sequências de
imagem: escavação espacial
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 105
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado
Visão 3D
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 106
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
• Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial
Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado
• Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas)
Visão 3D
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 107
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933
Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida
• Reconstrução 3D a partir de radiografias 2D: calibração – cont.
Visão 3D
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 108
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933
Método desenvolvido
Calibração de um sistema de Raio-X
• Reconstrução 3D a partir de radiografias 2D: calibração
Visão 3D
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 109
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933
Estimativa da distância entre a fonte de Raio-X e a mesa
Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida
Sumário
• A área da Visão Computacional é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina e em Engenharia
• Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados
• Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver
• Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios
• Para tal, Colaborações são Necessárias e Bem-vindas 111 Algoritmos de Visão Computacional em Engenharia e Medicina 2013@João Manuel R. S. Tavares
Equipa (Visão Computacional)
113 Algoritmos de Visão Computacional em Engenharia e Medicina 2013@João Manuel R. S. Tavares
• Estudantes de Pós-Doutoramento (4) – Concluído: A. Carvalho, E. Sousa – Em curso: Z. Ma, S. Oliveira
• Estudantes de Doutoramento (14) – Concluído: D. Moura, T. Azevedo, S. Rua, Z. Ma, F. Oliveira – Em curso: R. Pinho, P. Gonçalves, M. Vasconcelos, I. Reis, J. Nunes, A.
Araújo, R. Oliveira, A. Ferreira, D. Jodas • Estudantes de Mestrado (25)
– Concluídos: E. Barroso, A. Jesus, C. Cruz, P. Alves, F. Jacob, D. Sousa, F. Oliveira, T. Azevedo, M. Vasconcelos, R. Pinho, L. Bastos, C. Coelho, J. Pereira, C. Tabuas, D. Cidre, L. Ferro, G. Queirós, D. Faria, N. Sousa, R. Teixeira, P. Gomes, L. Ribeiro
– Em curso: R. Alves, S. Figueiredo, A. Silva • Estudantes de Graduação (2)
– Concluídos: R. Ferreira, S. Pimenta
Agradecimentos
• Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: – PTDC/BBB-BMD/3088/2012 – PTDC/SAU-BEB/102547/2008 – PTDC/SAU-BEB/104992/2008 – PTDC/EEA-CRO/103320/2008 – UTAustin/CA/0047/2008 – UTAustin/MAT/0009/2008 – PDTC/EME-PME/81229/2006 – PDTC/SAU-BEB/71459/2006 – POSC/EEA-SRI/55386/2004
114 Algoritmos de Visão Computacional em Engenharia e Medicina 2013@João Manuel R. S. Tavares
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 116
Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 117
Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: 2212-9391 Publisher: SPRINGER
http://www.springer.com/series/8910
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 118
Eventos:
Webpage (www.fe.up.pt/~tavares)
2013@João Manuel R. S. Tavares Algoritmos de Visão Computacional em Engenharia e Medicina 119
Algoritmos de Visão Computacional em Engenharia e Medicina
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares