03 - segmentacion de imagenes en secuencias de...
TRANSCRIPT
![Page 1: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/1.jpg)
Segmentación de Imágenes en Secuencias de Video AUTORES:
LIC. ALEXEI LABRADA TSORAEVA DRA. MARTA LOURDES BAGUER DÍAZ-ROMAÑACH LIC. JORGE DEL RISCO MARTÍNEZ
![Page 2: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/2.jpg)
Introducción Clasificación: (Ngan & Li, 2011) ◦ Modo basado en datos ◦ Modo espacial ◦ Modo basado en interacción ◦ Modo basado en caracterís@cas ◦ Modo basado en inferencia ◦ Modo incremental
Algoritmos de segmentación de video espaciales, incrementales, no supervisados y con inferencia ascendente (EINA).
Obje@vo: ◦ Sistema de segmentación de video EINA.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 2
![Page 3: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/3.jpg)
Contenido Conceptos fundamentales.
Algoritmos implementados.
Validación y Experimentación.
Conclusiones.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 3
![Page 4: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/4.jpg)
Conceptos Fundamentales DEFINICIÓN DE SEGMENTACIÓN DE VIDEO EXTRACCIÓN DE CARACTERÍSTICAS MÉTODO DE INFERENCIA
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 4
![Page 5: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/5.jpg)
Segmentación de Imágenes en Secuencias de Video Definición: ◦ “La segmentación de imágenes en secuencias de video es la separación de una secuencia de imágenes en regiones compactas no superpuestas, donde cada región está formada por píxeles unidos de acuerdo a una medida de similitud o disimilitud” (Ramírez & Chacón, 2013)
Formalmente: ◦ Dado:
◦ Secuencia de video 𝑉=(𝑆,Ω) ◦ 𝑆= {𝑆↓𝑘 }↓𝑘∈ℕ secuencia de imágenes de resolución constante. ◦ Ω=𝑋×𝑌 espacio de las posiciones de los píxeles de las imágenes.
◦ Secuencia de subconjuntos de Ω: 𝑃= {𝑃↓𝑘 }↓𝑘∈ℕ ◦ Es@mar:
◦ 𝐹( 𝑆↓𝑘 )={█■█■𝐹↓1 &𝑘=1 @… con 𝐹↓𝑖 :𝑃↓𝑖 →𝐿, 𝑖=1,2,… y 𝐿= {𝑙↓𝑖 }↓𝑖∈ℕ es un espacio de marcadores.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 5
![Page 6: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/6.jpg)
Extracción de Características “La extracción de caracterís@cas es el proceso de extraer información relevante de una imagen” (Maggio & Cavallaro, 2011)
Caracterís@cas u@lizadas: ◦ Color ◦ Movimiento
Es@mación de movimiento (flujo óp@co) ◦ Flujo óp@co denso ◦ Flujo óp@co esparcido
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 6
![Page 7: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/7.jpg)
Método de Inferencia Obje@vo: ◦ Agrupar los píxeles en regiones u@lizando las caracterís@cas extraídas.
Homogeneidad: ◦ Basada en color ◦ Basada en movimiento
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 7
![Page 8: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/8.jpg)
Algoritmos Implementados ALGORITMO BASADO EN EMPAREJAMIENTO DE REGIONES ALGORITMO BASADO EN FLUJO ÓPTICO DENSO ALGORITMO BASADO EN FLUJO ÓPTICO ESPARCIDO
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 8
![Page 9: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/9.jpg)
Algoritmo Basado en Emparejamiento de Regiones Homogeneidad basada en color
Etapas: ◦ Segmentación espacial
◦ Método Mean-‐Shi)
◦ Emparejamiento de regiones ◦ Planteamiento y resolución de un LSAP
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 9
![Page 10: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/10.jpg)
Algoritmo Basado en Emparejamiento de Regiones
Comparación entre las imágenes originales (abajo) de los cuadros 18-‐21 del video M07_058 y las segmentaciones (arriba) obtenidas para los mismos.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 10
![Page 11: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/11.jpg)
Algoritmo Basado en Flujo Óptico Denso Homogeneidad basada en movimiento: ◦ Flujo óp@co denso (Farnebäck).
Método de inferencia: ◦ Procedimiento Mean-‐Shi) ◦ Creación de regiones
◦ Similitud de movimiento ◦ Regiones previas
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 11
![Page 12: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/12.jpg)
Algoritmo Basado en Flujo Óptico Denso Comparación entre las imágenes originales (abajo) de los cuadros 18-‐21 del video M07_058 y las segmentaciones (arriba) obtenidas para los mismos.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 12
![Page 13: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/13.jpg)
Algoritmo Basado en Flujo Óptico Esparcido Homogeneidad basada en movimiento: ◦ Flujo óp@co esparcido (KLT).
Método de inferencia: ◦ Procedimiento Mean-‐Shi).
◦ Solo los píxeles seguidos. ◦ Creación de regiones:
◦ Similitud de movimiento. ◦ Regiones previas.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 13
![Page 14: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/14.jpg)
Algoritmo Basado en Flujo Óptico Esparcido Comparación entre las imágenes originales (abajo) de los cuadros 18-‐21 del video M07_058 y las segmentaciones (arriba) obtenidas para los mismos.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 14
![Page 15: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/15.jpg)
Validación y Experimentación MÉTODO DE EVALUACIÓN RESULTADOS DE LA EXPERIMENTACIÓN
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 15
![Page 16: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/16.jpg)
Método de Evaluación Basado en el métrica PST
Medidas de error: ◦ De PST:
◦ Error de región agregada ◦ Error de fondo agregado ◦ Error de agujero de borde ◦ Error de agujero interior ◦ Fluctuación
◦ Creadas: ◦ Penalización de sobre-‐segmentación ◦ Error de consistencia temporal
Percepción del error.
Región agregada Fondo agregado
Agujero de borde Agujero interior
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 16
![Page 17: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/17.jpg)
Resultados de la Experimentación Base de pruebas de segmentación de video Wallflower.
Es@mación de los parámetros óp@mos de los algoritmos. ◦ Metodología de Taguchi.
Comparación de las segmentaciones de los algoritmos u@lizando los parámetros óp@mos.
Demostración de la conveniencia de OpenCL.
Errores
Densidades
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 17
![Page 18: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/18.jpg)
Conclusiones Sistema de segmentación de video EINA ◦ Tres algoritmos implementados, u@lizando Mean-‐Shi) como método de inferencia.
◦ Un algoritmo realiza extracción de color y dos es@mación de movimiento. ◦ Dos algoritmos proveen segmentaciones densas y uno esparcida. ◦ Dos algoritmos ob@enen resultados rela@vamente buenos.
Demostradas ventajas de la implementación en OpenCL.
SEGMENTACIÓN DE IMÁGENES EN SECUENCIAS DE VIDEO 18
![Page 19: 03 - Segmentacion de imagenes en secuencias de videolya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/lunes/Alexei.pdf · Segmentación de Imágenes en Secuencias de Video AUTORE S:](https://reader034.vdocuments.pub/reader034/viewer/2022051607/602ed6acfc090957d8658214/html5/thumbnails/19.jpg)
Segmentación de Imágenes en Secuencias de Video AUTORES:
LIC. ALEXEI LABRADA TSORAEVA DRA. MARTA LOURDES BAGUER DÍAZ-ROMAÑACH LIC. JORGE DEL RISCO MARTÍNEZ