ERRORES EN LA ESTIMACIÓN DE LA MATRIZ DE PROYECCIÓN

Carlos Ricolfe Viala Antonio José Sánchez Salmerón

Raúl Simarro Fernández {cricolfe, asanchez, rausifer}@isa.upv.es

Departamento de Ingeniería de Sistemas y Automática Universidad Politécnica de Valencia

Resumen Debido al ruido que se introduce en las medidas, con los métodos lineales de estimación de la matriz de proyección, se obtiene una aproximación más o menos exacta que depende del nivel de ruido en las medidas de las coordenadas de los puntos de interés. Algunos métodos son más sensibles que otros al nivel de ruido. Además con estos métodos de estimación lineal, las restricciones que debe satisfacer la matriz de proyección, no se garantizan debido al carácter no lineal de las mismas. Por lo tanto, una forma para obtener los elementos de la matriz de proyección de forma eficiente es realizar una búsqueda no lineal. Esta consiste en plantear un índice de coste el cual se puede minimizar por diferentes métodos. Este artículo describe alguno de estos índices los cuales se optimizan según diferentes técnicas. Palabras Clave: Calibración de cámaras, índices de coste, restricciones, estimación de errores. 1 INTRODUCCION En el proceso de calibración de una cámara se comenten errores debido al ruido que se introduce en las medias de las coordenadas de los puntos de interés tanto en la imagen como en el escenario. Con el objetivo de estimar este error de alguna forma es posible plantear un índice que mida de alguna forma este error. Este índice es válido para decidir que método de calibración es mas valido bajo ciertas condiciones. También se puede utilizar este índice para obtener su óptimo en función de los parámetros de la cámara por técnicas no lineales. A continuación se detallan algunos de estos índices. Se presentan dos técnicas de optimización no lineal y finalmente se simula el funcionamiento de diferentes métodos de calibración presentados en [5].

2 DISTANCIA ALGEBRAICA En el proceso de calibración de una cámara se pretende minimizar la norma de la expresión mA ⋅ .

El vector mA ⋅=ε es el vector residuo y es la norma de este vector lo que se pretende minimizar. Las componentes de este vector surgen de las parejas de puntos utilizadas para componer la matriz A. Cada pareja contribuye a ε con un error parcial iε . Este

vector iε es el error algebraico asociado a la pareja

de puntos ip y iq junto con la matriz de proyección M. La norma de este vector es un escalar llamado distancia algebraica. La suma de todos los módulos del error algebraico asociado a cada pareja de puntos constituye la distancia algebraica total.

( ) 2222lg , εε =⋅==⋅∑ ∑ mApMqd

i iiiia

La distancia algebraica no tiene ningún significado geométrico. Por este motivo, la reducción de esta distancia puede llevar a situaciones absurdas aunque algebraicamente la distancia sea pequeña. Si se normaliza la información de partida, los resultados obtenidos con la optimización de esta distancia son buenos. Además, la minimización de esta distancia es poco costosa desde el punto de vista computacional. 3 DISTANCIA GEOMETRICA Esta es la distancia euclidea entre dos conjuntos de puntos. Estos dos conjuntos de puntos son el conjunto de puntos de la imagen y el conjunto resultado de los puntos del espacio 3D transformados con la matriz de proyección. Es decir, en este caso existen un conjunto de puntos en la imagen, resultado de la transformación de los puntos del escenario con una matriz de proyección estimada y también está el conjunto de puntos de la imagen iniciales utilizados para estimar la matriz de proyección.

Si se tiene ruido en las medidas de las coordenadas de la imagen, para cada punto de la imagen iq sin

ruido, se tiene un correspondiente punto 'iq cuyas coordenadas están contaminadas con ruido. Con la conjunto de puntos del espacio 3D p con coordenadas sin ruido y el conjunto de la imagen q' con ruido se estima una matriz de proyección 'pqM . Con esta matriz de proyección estimada se obtiene un nuevo conjunto de puntos en la imagen q̂ a partir de los

puntos del mundo 3D p según pMq pq 'ˆ = . Existe

un punto iq̂ en el nuevo conjunto correspondiente al

punto inicial utilizado para la estimación 'iq . La

distancia geométrica de estos dos puntos iq̂ y 'iq es la distancia euclidea existe entre ellos. Para el conjunto de puntos la distancia geométrica será la suma de las distancias euclideas de todos los puntos.

( )∑ ⋅=i

ipqieucligeo pMqdd 2','

En el caso de tener errores en las medidas de las coordenadas de los puntos 3D las cuales se denotan con 'ip la matriz de proyección se estima en este caso con los puntos de la imagen sin ruido q y el conjunto de puntos del mundo 3D con ruido p' obteniéndose qpM ' . Con esta matriz de proyección estimada se obtiene un nuevo conjunto de puntos en la imagen q( , los cuales son el resultado de transformar las coordenadas con ruido de los puntos del espacio 'ip con la matriz de proyección

estimada '' pMq qp=( . En este caso la distancia geométrica es la distancia euclidea que existe entre los puntos iq( y iq . La distancia geométrica total será la suma de todas.

( )∑ ⋅=i

iqpieucligeo pMqdd 2' ',

En el caso de tener ruido tanto en los puntos de la imagen como en los del espacio 3D, se estima una matriz de proyección a partir de los coordenadas contaminadas p' y q' obteniéndose una matriz ''qpM . Con esta matriz de proyección estimada y el conjunto de puntos con ruido del espacio 3D p' se obtiene un nuevo conjunto de puntos en la imagen

'~'' pMq qp= . La distancia geométrica en este caso

es la distancia euclidea entre los puntos iq~ y 'iq .

( )∑ ⋅=i

iqpieucligeo pMqdd 2'' ','

4 ERROR DE REPROYECCIÓN El error de reproyección es la distancia euclidea que existe entre los puntos con ruido de la imagen utilizados para la estimación y un conjunto de puntos que satisface plenamente dicha matriz de proyección estimada. Cuando se estima una matriz de proyección con las coordenadas de los puntos con ruido p' y q' se obtiene una matriz ''qpM la cual no satisface los

conjuntos de los puntos, es decir '' '' pMq qp≠ . Lo que se pretende para el calculo del error de reproyección es encontrar dos conjuntos de puntos, uno en el espacio 3D ip y otro en la imagen iq que satisface plenamente la transformación estimada con las coordenadas de los puntos con ruido, es decir

pMq qp ''= . Entonces, el error de reproyección es la suma de todas las distancia euclideas entre los puntos iq y 'iq .

( )∑ ⋅=i

iqpieuclirep pMqdd 2'','

Para la obtención de los puntos ip y iq que satisfacen plenamente la matriz de proyección se realiza por métodos iterativos, según explica Sampson [6]. La minimización de este error implica tanto obtener una matriz de proyección ''qpM como

los conjuntos de puntos que la satisfacen iq y 'iq . 5 COMPARACIÓN DEL ERROR

AGEBRAICO Y GEOMÉTRICO Si se tiene ruido en las coordenadas de la imagen llamadas ( )',','' iiii svuq = y con ellas se estima

una matriz de proyección 'pqM con la cual se obtienen un conjunto de puntos en la imagen

( )iiii svuq ˆ,ˆ,ˆˆ = resultado de pMq pq 'ˆ = , se va a estudiar la relación que existe entre el error algebraico y el error geométrico. Por un lado, se tiene que el error algebraico en este caso vale

iT

T

T

Tii

Tii

Tii

Tii

mmm

pupspvpsAm ε=

−−

=3

2

1

'0'''0

desarrollando la expresión se tiene el vector iε de residuos vale

−+−

=

−+−=

iiii

iiii

TTii

TTii

TTii

TTii

i

suussvvs

mpumpsmpvmps

ˆ'·ˆ'·ˆ'·ˆ'·

''''

31

32

ε

Por lo tanto el error algebraico será el módulo de este vector

( ) ( ) ( )( )21

22lg ˆ'·ˆ'·ˆ'·ˆ'·ˆ,' iiiiiiiiiia suussvvsqqd −++−=

Por otro lado si se calcula el error geométrico entre los puntos ( )',','' iiii svuq = y ( )iiii svuq ˆ,ˆ,ˆˆ = se tiene que

( )

( )ii

iia

ii

iiii

ii

iiii

i

i

i

i

i

i

i

iiigeo

ssqqd

sssvsv

sssusu

sv

sv

su

su

qqd

ˆ'·ˆ,'

ˆ'·'·ˆˆ'·

ˆ'·'·ˆˆ'·

ˆˆ

''

ˆˆ

''ˆ,'

lg

21

22

21

22

=

−+

−=

−+

−=

Por lo tanto, la distancia algebraica y la geométrica no son iguales. Sólo serán iguales en el caso de que

1ˆ' == ii ss , es decir, cuando se expresan las coordenadas de los puntos de la forma ( )1,, iii vuq = y la matriz de proyección tiene la tercera fila formada por el vector [ ]10003 =m , cosa que sólo se puede conseguir en configuraciones muy concretas de los puntos elegidos para la estimación de la matriz. 6 TÉCNICAS DE OPTIMIZACIÓN Hasta el momento las técnicas utilizadas para la obtención de los parámetros de la cámara trataban de minimizar el error algebraico. Dado que este error no tiene ningún significado físico, se plantea la optimización de funciones que minimicen el error geométrico. Estas funciones resultan normalmente no lineales. Para la solución del problema se utilizan técnicas de optimización iterativas tales como el método de Newton o el método de Levenberg-Marquardt. La idea general del método de Newton consiste en buscar ceros en una función unidimensional. En el caso de funciones multidimensionales en las cuales se buscan soluciones basadas en ajuste por mínimos cuadrados, la aplicación de esta técnica es relativamente inmediata. El método de Levenberg-Marquardt es una variación del método de Newton con el cual la evolución hacia el optimo es más rápida en el caso de que espacio de búsqueda tenga varias dimensiones.

La descripción y formas de implementación de estos métodos se puede encontrar en [2]. 7 RESULTADOS OBTENIDOS Con el objetivo de concluir que método de calibración de los presentados consigue mejores resultados, se han realizado diferentes simulaciones. El escenario de calibración es el que se muestra en la figura 1. Los puntos en el espacio están situados en dos planos y la cámara esta orientada hacia la línea que corta los dos planos. La distancia de la cámara a esa línea es de 1 m.

Fig. 1. Situación de la cámara y los puntos en el escenario de calibración

En primer lugar se ha estudiado el error geométrico y algebraico que se consigue con los diferentes métodos de estimación de la matriz de proyección. Los resultados obtenidos se muestran en la figura 2. En esta figura se han utilizado 50 puntos para calibrar colocados en dos planos y la cámara enfrente de ellos. La calibración se ha realizado variando el nivel de contaminación en las medidas de las coordenadas desde 0 hasta 3 píxeles en la imagen y 3 mm en el espacio 3D. Se observa que el error geométrico que se obtiene aumenta a medida que aumenta la amplitud del ruido en las coordenadas y es muy parecido independientemente del método de estimación que se utiliza. Por otro lado, el error algebraico también aumenta con el nivel de ruido en las coordenadas pero sin embargo, la amplitud del mismo es diferente según el método que se utiliza para la estimación. Esto se debe a que cada método resuelve la ecuación de una forma algebraica diferente que hace que el error resultante varíe. Por otro lado se plantea la evolución del error en función del número de puntos utilizados en la calibración. Sobre la misma configuración espacial de antes se han utilizado un conjunto de puntos para la calibración que varia desde 6 hasta 100. El nivel de ruido en las mediadas de las coordenadas ha sido siempre 1 píxel en la imagen y 1 mm en el espacio 3D. Los resultados se muestran en la figura 3. En este caso, aumentado el número de puntos utilizados en la calibración, tanto el error geométrico como el algebraico aumenta. Esto es debido a que cuando se tiene menor número de puntos el algoritmo ajusta más el resultado a los puntos utilizados para la estimación. En el caso de tener los 6 puntos mínimos

necesarios para tener un sistema determinado el algoritmo ajusta casi perfectamente el resultado a estos 6 puntos. A medida que el número de puntos aumenta, el algoritmo se queda en una solución mas intermedia que satisface a todos los puntos por igual a cambio de alejarse más de todos ellos. En consecuencia el error geométrico y algebraico aumenta. Se observa también que el error geométrico y algebraico tiene menor pendiente a partir de 40-50 puntos. Este puede ser un número de puntos crítico necesario a la hora de estimar los elementos de la matriz de proyección con garantías.

Fig. 2. Errores algebraicos y geométricos en función del método de estimación de la matriz de proyección

y del nivel de ruido en las coordenadas (línea continua representa solución homogénea con

restricción |m|=1, línea a trazos representa solución no homogénea y línea con puntos y trazos es la

solución homogénea con restricción |m3|=1)

Fig. 3 Errores algebraicos y geométricos en función del método de estimación de la matriz de proyección

y numero de puntos utilizados para calibrar (línea continua representa solución homogénea con

restricción |m|=1, línea a trazos representa solución no homogénea y línea con puntos y trazos es la

solución homogénea con restricción |m3|=1)

8 CONCLUSIONES Desde el punto de vista de los resultados obtenidos en el apartado anterior, la estimación de los parámetros del modelo de la cámara es similar tanto si se obtiene la solución no homogénea como la homogénea sujeta a la restricción ||m||=1. Los valores de los errores algebraicos que se obtienen con estos métodos son casi idénticos. Sin embargo se observa que la solución homogénea con restricción ||m3||=1 se aleja más de los valores reales de los parámetros y además es más sensible al ruido y se mide el error geométrico. Atendiendo al número de puntos utilizados para realizar la calibración se observa la estimación de los parámetros de la cámara es mejor si se utilizan un mayor número de puntos. Sin embargo, con un número de puntos mayor de 40 – 50 la mejora en los resultados obtenidos es menos significativa. Si se tiene en cuenta que con un mayor número de puntos utilizados para la calibración provoca un aumento del tiempo de computo, este podría ser un valor crítico de puntos necesarios para realizar la calibración. De nuevo la técnica de calibración juega un papel importante. Con la solución homogénea de dicha ecuación con restricción ||m3||=1 se obtienen errores geométricos mayores. Con estos resultados se puede concluir que son necesarios más o menos 50 puntos para realizar la calibración y si esta se realiza por métodos lineales, se obtiene una solución más estable si se calcula la solución no homogénea o la homogénea sujeta a la restricción ||m||=1. Referencias

[1] Faugeras O. (1993) Three dimensional computer vision: A geometric viewpoint. The MIT press, Cambridge.

[2] Hartley R., Zisserman A. (2000) Multiple view geometry in computer vision. Cambridge

[3] Trucco E., Verri A. (1998) Introductory techniques for 3-D computer vision. Prentice Hall

[4] Zhang Z. (1999) A flexible new technique for camera calibration. 7th International Conference on Computer Vision.

[5] Ricolfe C. Sánchez A.J. (2003) XXIV Jornadas de Automática

[6] Sampson P.D. (1982) Fitting conic sections to ‘very scattered’ data: An iterative refinement of the Bookstein algorithm. Computer Vision, graphics and image processing.