sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos...
DESCRIPTION
This is a brief presentation of the project shown here http://www.slideshare.net/jorgetarlea/sistema-de-posicionamiento-de-objetos-mediante-visin-estreo-embarcable-en-vehculos-inteligentes-5347562TRANSCRIPT
![Page 1: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/1.jpg)
Autor: Jorge Tarlea Jiménez
Sistema de posicionamiento de objetos mediante visión estéreo embarcable en
vehículos inteligentes
Director: Roberto J. López Sastre
![Page 2: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/2.jpg)
Proyecto fin de carrera - Jorge Tarlea 2
Índice
● Objetivo
● Trabajo realizado
● Calibración de las cámaras● Método empleado
● Concepto de disparidad● Montaje realizado
● Rectificación de imágenes
● Búsqueda de correspondencias
● Resultados● Calibración● Rectificación● Estimación de distancias● Tiempos de ejecución
● Ejemplos● Conclusiones● Futuras líneas de
trabajo
![Page 3: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/3.jpg)
Proyecto fin de carrera - Jorge Tarlea 3
Objetivo
Estimación de las distancias a las que se encuentran objetos de
interés dentro del campo de visión de un sistema de adquisición
de imágenes.
![Page 4: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/4.jpg)
Proyecto fin de carrera - Jorge Tarlea 4
Trabajo realizado
● Implementación software:
A)Calibración de las cámaras
B)Estimación de distancias
● Sistema de adquisición de imágenes estéreo
![Page 5: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/5.jpg)
Proyecto fin de carrera - Jorge Tarlea 5
Trabajo realizado
● Sistema de adquisición de imágenes estéreo
![Page 6: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/6.jpg)
Proyecto fin de carrera - Jorge Tarlea 6
Trabajo realizado
● Implementación software:
A)Calibración de las cámaras
B)Estimación de distancias
![Page 7: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/7.jpg)
Proyecto fin de carrera - Jorge Tarlea 7
Calibración de las cámaras
K =
0@fx s cx0 fy cy0 0 1
1A
● Obtención de parámetros:
● Intrínsecos● Extrínsecos
m w [K 0][R t]M
![Page 8: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/8.jpg)
Proyecto fin de carrera - Jorge Tarlea 8
Calibración de las cámaras: Distorsión
RADIALCon distorsiónTANGENCIAL
☺
![Page 9: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/9.jpg)
Proyecto fin de carrera - Jorge Tarlea 9
Calibración de las cámaras
● Método de Zhang mejorado:● Autodetección de puntos → Homografía →
Intrínsecos, extrínsecos y distorsión
![Page 10: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/10.jpg)
Proyecto fin de carrera - Jorge Tarlea 10
Calibración de las cámaras
● Método de Zhang mejorado:● Autodetección de puntos → Homografía →
Intrínsecos, extrínsecos y distorsión
![Page 11: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/11.jpg)
Proyecto fin de carrera - Jorge Tarlea 11
Concepto de disparidad
d = xL ¡ xR
![Page 12: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/12.jpg)
Proyecto fin de carrera - Jorge Tarlea 12
Montaje realizado
● Ejes ópticos paralelos● Cámaras coplanares
![Page 13: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/13.jpg)
Proyecto fin de carrera - Jorge Tarlea 13
Rectificación de imágenes● Filas de píxeles alineadas en las dos imágenes
→ Obtención de disparidades● Montaje realizado no ideal → Necesario
rectificar las imágenes obtenidas● Método de Bouguet → Menos distorsión que
otros (Ej.: Hartley)
![Page 14: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/14.jpg)
Proyecto fin de carrera - Jorge Tarlea 14
Rectificación de imágenes● Filas de píxeles alineadas en las dos imágenes
→ Obtención de disparidades● Montaje realizado no ideal → Necesario
rectificar las imágenes obtenidas● Método de Bouguet → Menos distorsión que
otros (Ej.: Hartley)
![Page 15: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/15.jpg)
Proyecto fin de carrera - Jorge Tarlea 15
Búsqueda de correspondencias
Z =fT
dMétodo de KonoligeMétodo de Konolige Método de Birchfield
![Page 16: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/16.jpg)
Proyecto fin de carrera - Jorge Tarlea 16
Resultados: Calibración
● Calibración precisa con:● Tablero de 6 x 8 esquinas interiores.● Más de 7 pares de imágenes.
● Problemas al no detectarse todas las esquinas:● Distancia (excesiva) del mismo en la foto.● Imagen borrosa (objeto de calibración en
movimiento).
![Page 17: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/17.jpg)
Proyecto fin de carrera - Jorge Tarlea 17
Resultados: Rectificación
![Page 18: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/18.jpg)
Proyecto fin de carrera - Jorge Tarlea 18
Resultados: Rectificación
![Page 19: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/19.jpg)
Proyecto fin de carrera - Jorge Tarlea 19
Resultados: Estimación de distancias
● Dos métodos para obtener la disparidad de la región de una imagen:
Media:
Histograma:200Valor más repetido →
40£ 200 + 16£ 10056
= 172:42
![Page 20: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/20.jpg)
Proyecto fin de carrera - Jorge Tarlea 20
Resultados: Estimación de distancias
¡La media es más estable!¡La media es más estable!
![Page 21: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/21.jpg)
Proyecto fin de carrera - Jorge Tarlea 21
Resultados: Tiempos
![Page 22: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/22.jpg)
Proyecto fin de carrera - Jorge Tarlea 22
Ejemplo 1: Coche
![Page 23: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/23.jpg)
Proyecto fin de carrera - Jorge Tarlea 23
Ejemplo 2: Personas
![Page 24: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/24.jpg)
Proyecto fin de carrera - Jorge Tarlea 24
Conclusiones
1. Error contenido hasta cierta distancia → Disposición de los elementos cercanos.
2. Alternativa válida al uso de sensores → Entendimiento de la escena.
Problema: El tiempo real no se logra debido a:
- Los requirimientos de cálculo del detector de objetos.
- La precisión (del algoritmo de Birchfield) necesaria para obtener unas estimaciones precisas.
![Page 25: Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes](https://reader033.vdocuments.pub/reader033/viewer/2022052904/5580131cd8b42a190e8b49f2/html5/thumbnails/25.jpg)
Proyecto fin de carrera - Jorge Tarlea 25
Futuras líneas de trabajo
1) Refinamiento de los mapas de disparidad obtenidos → Menos “agujeros”.
2) Cámaras de más calidad y sincronizadas por trigger.
3) Tratamiento previo de las imágenes (Ej.: Detección de bordes) → Mapas de disparidad en menos tiempo.
4) Cálculos mediante GPU's (Ej.: Entorno CUDA). Reducción de tiempos en:• La detección → Posibilidad de detectores más potentes.• Generación de mapas de disparidad.