adecuaciÓn de tÉcnicas de descripciÓn visual …
TRANSCRIPT
![Page 1: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/1.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO
INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Abel Pacheco Ortega
Director de tesis: DR. JESUS SAVAGE CARMONADR. WALTERIO W. MAYOL CUEVAS
![Page 2: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/2.jpg)
Visión
• Visión humanaEs una tarea de procesamiento de información, que describe con las imágenes lo que está presente en el mundo real y dónde se encuentra
• Visión por computadoraDisciplina cuyo objetivo es realizar decisiones a partir de características delmundo real extraídas a través de imágenes digitales del mismo.
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
extracción de información
almacenamientotoma de
decisiones
![Page 3: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/3.jpg)
Nuevas tecnologías
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Imágenes RGB
![Page 4: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/4.jpg)
Nuevas tecnologías
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Imágenes RGB-D
Estéreo ToF Luz estructurada
![Page 5: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/5.jpg)
Objetivo
Generar una aplicación que realice laextracción de características visuales robustas,con una buena relación tiempo de ejecución-resultados, dicha metodología será utilizadapara proponer un sistema que realice elmapeo y localización visual del entorno en elcual se desplaza la cámara.
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 6: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/6.jpg)
METODOLOGÍA DE EXTRACCIÓN DE CARACTERÍSTICAS
Imagen con información
3D
Detección de puntos de
interés
Normalización por cambio de
perspectivaDescripción
Descriptores asociados a la
imagen
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 7: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/7.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
Existen un conjunto de n pixeles contiguos en el perímetro de un circulo
de radio 3 alrededor del mismo que tengan una intensidad superior a Ip+to inferior a Ip-t
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Ip valor de intensidad del punto pt es un umbral determinadon valores entre 9 y 12
![Page 8: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/8.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 9: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/9.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
¿Tamaño de vecindario?
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 10: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/10.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
Objeto de dimensiones conocidas como entrada, colocado a diferentes profundidades desde
la cámara
Función escala-profundidad
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
f=0.001716(depth)+0.2735f (mm/pixel) representa la dimensión del objeto a una profundidad depth (mm)
00.001716* 0, 2735
0.001716* 0, 2735i
depthescala
depth
+=
+ profundidad referencia0depth
profundidad a la que se buscael factor de escala
idepth
![Page 11: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/11.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
La profundidad y tamaño de vecindario referencia escogida es 1700 mm y 25 pixeles
respectivamente.
el tamaño de vecindario a cualquier distancia puede ser calculado con
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
0.001716*1700 0, 2735
0.001716* 0, 2735i
escaladepth
+=
+
. *25tam vecindario escala=
![Page 12: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/12.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
0.001716*1700 0,2735
0.001716* 0, 2735i
escaladepth
+=
+. *25tam vecindario escala=
{ }3 | ( ) 1
0 ( )( )
1
( )2 1
FAST D i FAST i
i
i
i
i
P p P gneig p
si diag pgneig p
otros
rdiag p
w
τ
+ = =
≥=
=+
ò
r es el número de pixeles en las diagonales del vecindario donde la diferencia de profundidades con el punto de interés (pixel central del vecindario) no es mayor que un umbral ρ determinado
![Page 13: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/13.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
0.001716*1700 0,2735
0.001716* 0, 2735i
escaladepth
+=
+. *25tam vecindario escala=
{ }3 | ( ) 1
0 ( )( )
1
( )2 1
FAST D i FAST i
i
i
i
i
P p P gneig p
si diag pgneig p
otros
rdiag p
w
τ
+ = =
≥=
=+
ò
ρ
es un umbral por medio del cual se determina cual es el porcentaje máximo de puntos en las diagonales que serán tolerados para determinar que un punto de interés sea eliminado del conjunto final.
τ
![Page 14: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/14.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
0.001716*1700 0,2735
0.001716* 0, 2735i
escaladepth
+=
+. *25tam vecindario escala=
{ }3 | ( ) 1
0 ( )( )
1
( )2 1
FAST D i FAST i
i
i
i
i
P p P gneig p
si diag pgneig p
otros
rdiag p
w
τ
+ = =
≥=
=+
ò
200mmρ =
5%τ =
9n =
40t =
![Page 15: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/15.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 16: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/16.jpg)
Metodología de extracción de característicasFAST+3D
• Features from Accelerated Segmented Test (FAST)
• Filtrado por vecindario inestable
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 17: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/17.jpg)
Metodología de extracción de característicasCambios de perspectiva
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Plano en el espacio
0 0 0 0
0
( ) •
x
y
z
x y z
Ax By Cz D
A n
B n
C n
D n x n y n z n r
+ + + =
=
=
=
= − + + = −
Random Sample Consensus (RANSAC) para eliminar dichos elementos atípicos
Análisis de Componentes Principales
![Page 18: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/18.jpg)
(RANSAC)
PLANTEAMIENTO
• En análisis de datos en términos de modelos predefinidos
Estimación de parámetros. Computo de los parámetros libres del modelo seleccionado.
Clasico:•Optimizan el ajuste de una descripción funcional (modelo) a todo los datos dados.
•No tienen mecanismos internos para detectar y rechazar errores graves .
•Se basan en el supuesto de que la máxima desviación de cualquier dato del modelo asumido es una función directa del tamaño del conjunto de datos (habrá siempre suficiente cantidad de datos para suavizar los efectos de desviaciones graves)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
RANSAC:• Usa un conjunto inicial de datos tan pequeño como sea posible y lo hace cada vez más grande utilizando los datos que son consistentes con el mismo.
•Responde de manera correcta incluso si se tienen un número significante de datos se presentan como graves.
Metodología de extracción de característicasCambios de perspectiva
![Page 19: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/19.jpg)
(Análisis de Componentes Principales)
PLANTEAMIENTO
• Metodología utilizada para reducir la dimensionalidad de un problema
• Se basa en el echo de: “Mayor información significa mayor variabilidad de datos o varianza”
Metodología
• Obtener la matriz de covarianza( Σ ) del conjunto de puntos.
• Obtener los eigenvectores y eigenvalores de la matriz de covarianza
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Metodología de extracción de característicasCambios de perspectiva
600700
800900
10001100
-1000
0
1000
2000
3000496
498
500
502
504
XY
Z
EL EIGENVECTOR ASOCIADO AL MENOR EIGENVALOR ES LA NORMAL DEL PLANO ASOCIADO
![Page 20: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/20.jpg)
Metodología de extracción de característicasCambios de perspectiva
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 21: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/21.jpg)
Metodología de extracción de característicasDescripción de vecindarios normalizados
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Los vecindarios normalizados son redimensionados a 25x25 pixeles
• El descriptor generado por SIFT esta basado en un análisis de gradientes y orientación de laregiones alrededor de los puntos de interés.
( ) ( )( ) ( ) ( )( )2 2
( , ) 1, 1, . 1 , 1m x y L x y L x y L x y L x y= + − − + + − −( ) ( )( ) ( )
1. 1 , 1
( , ) tan1, 1,
L x y L x yx y
L x y L x yθ −
+ − −=
+ − −
![Page 22: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/22.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Los vecindarios normalizados son redimensionados a 25x25 pixeles
• El descriptor generado por SIFT esta basado en un análisis de gradientes y orientación de laregiones alrededor de los puntos de interés.
( ) ( )( ) ( ) ( )( )2 2
( , ) 1, 1, . 1 , 1m x y L x y L x y L x y L x y= + − − + + − −( ) ( )( ) ( )
1. 1 , 1
( , ) tan1, 1,
L x y L x yx y
L x y L x yθ −
+ − −=
+ − −
Metodología de extracción de característicasDescripción de vecindarios normalizados
![Page 23: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/23.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Los vecindarios normalizados son redimensionados a 25x25 pixeles
• El descriptor generado por SIFT esta basado en un análisis de gradientes y orientación de laregiones alrededor de los puntos de interés.
( ) ( )( ) ( ) ( )( )2 2
( , ) 1, 1, . 1 , 1m x y L x y L x y L x y L x y= + − − + + − −( ) ( )( ) ( )
1. 1 , 1
( , ) tan1, 1,
L x y L x yx y
L x y L x yθ −
+ − −=
+ − −
Metodología de extracción de característicasDescripción de vecindarios normalizados
![Page 24: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/24.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Los vecindarios normalizados son redimensionados a 25x25 pixeles
• El descriptor generado por SIFT esta basado en un análisis de gradientes y orientación de laregiones alrededor de los puntos de interés.
( ) ( )( ) ( ) ( )( )2 2
( , ) 1, 1, . 1 , 1m x y L x y L x y L x y L x y= + − − + + − −( ) ( )( ) ( )
1. 1 , 1
( , ) tan1, 1,
L x y L x yx y
L x y L x yθ −
+ − −=
+ − −
Dimensión de los descriptor4x4x8 = 128
Metodología de extracción de característicasDescripción de vecindarios normalizados
![Page 25: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/25.jpg)
METODOLOGÍA DE LOCALIZACIÓN VISUAL
Imagen de Escena con
información 3D
Detección de puntos de interés
Descripción con detección FAST+3D y
descripción SIFT
Almacenaje
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
Caracterización
Empatado y localización
Imagen de Escena con información
3D
Detección de puntos de
interés
Descripción con detección
FAST+3D y descripción
SIFT
Empatado con los
descriptores almacenados
Depuración de empatado
Estimación de posición relativa
![Page 26: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/26.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Metodología de localización visualCaracterización
(almacenaje)
• Arboles kd
Dividen y organizan espacios
multidimensionales con hiperplanos
• Organización para búsquedas Best Bin FirstLa división y almacenaje de el espacio se hace con hiperplanos que dividen de la manera mas eficiente.
ABEL PACHECO ORTEGA
• Información extra
Además del descriptor se almacenan la
posición en la imagen y en el espacio
![Page 27: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/27.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Metodología de localización visualEmpatado y localización
(empatado con descriptores almacenados)
• Búsquedas Best Bin FirstCon distancia euclidiana
ABEL PACHECO ORTEGA
![Page 28: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/28.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Metodología de localización visualEmpatado y localización
(empatado con descriptores almacenados)
• Búsquedas Best Bin First
ABEL PACHECO ORTEGA
![Page 29: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/29.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Metodología de localización visualEmpatado y localización
(depuración)
• RANSAC
El modelo utilizado es el de la
transformación de homografía
ABEL PACHECO ORTEGA
![Page 30: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/30.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA
Metodología de localización visualEmpatado y localización
(estimación de posición relativa)
• Orientación Absoluta (fotogrametría)
Encontrar la relaciones de translación T y rotación R entre dos sistemas coordenados diferentes
donde λ es un factor de escala
T es la relación de centroides
R es una matriz obtenida a partir sumas de productos y una análisis de eigenvectores aplicado a la misma
ABEL PACHECO ORTEGA
2, 1,( )i ip R p Tλ= +
![Page 31: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/31.jpg)
APLICACIÓN EN ROBÓTICA
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Navegación• Odometría
![Page 32: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/32.jpg)
APLICACIÓN EN ROBÓTICA
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Navegación• Odometría
• Mapas topológicos
![Page 33: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/33.jpg)
APLICACIÓN EN ROBÓTICA
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Navegación• Odometría
• Mapas topológicos
• Comunicación entre modulos
• oft_readMap
• oft_createNode
• oft_setNode
• oft_saveMap
• oft_getNode
![Page 34: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/34.jpg)
PRUEBAS
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
•Kinect de Microsoft como Cámara RGB-D•Imágenes con 640x480 pixeles
•Computadora portátil•Procesador doble núcleo a 2 GHz•2GB de memoria
![Page 35: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/35.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
PruebasPosición real vs estimada
• Tiempo de ejecución 574 ms
• Error promedio • Horizontal = 3.75 mm• Vertical = 0.39 mm
•Peor posición estimada•(67,-33) [cm] è error =17 mm
![Page 36: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/36.jpg)
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
PruebasAngulo real vs estimado
• Error promedio: 1.76 [grados]
•Peor ángulo estimado:•4[grados] è error: 4 [grados]
![Page 37: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/37.jpg)
PruebasAngulo continuo
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Máximo ángulo estimado: 72 [grados]
![Page 38: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/38.jpg)
PruebasAmbiente en condiciones no controladas
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 39: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/39.jpg)
PruebasAmbiente en condiciones no controladas
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Ejemplos
![Page 40: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/40.jpg)
PruebasAmbiente en condiciones no controladas
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
![Page 41: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/41.jpg)
CONCLUSIONES
ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL UTILIZANDO INFORMACIÓN 3D Y SU APLICACIÓN EN ROBÓTICA ABEL PACHECO ORTEGA
• Generada una metodología de detección y descripción visual a partir de información 3D
• Aumento en robustez de descripción
• Adecuación de Orientación Absoluta para localización visual
• El desempeño es adecuado, realizándose 2 o 3 veces por segundo
![Page 42: ADECUACIÓN DE TÉCNICAS DE DESCRIPCIÓN VISUAL …](https://reader035.vdocuments.pub/reader035/viewer/2022062800/62b8505f9c7a3a06a17b4ff3/html5/thumbnails/42.jpg)
TRABAJO FUTURO
• Repetibilidad en detección (Harris, Shi-Tomasi)
• Construcción de descriptores (GLOH)
• Disminuir dimensión de descriptores generados(PCA-SIFT)
• Paralelizar