7/30/2019 2DA22AD6d01

1/6

ROSE 2 0 0 7 - IEEE I n t e r n a t i o n a l W o r k s h o p o nR o b o t i c a n d S e n s o r s E n v i r o n m e n t sO t t a w a - C a n a d a , 1 2 - 1 3 O c t o b e r 2 0 0 7

F l e x i b l e M u l t i - C a m e r a Network C a l i b r a t i o nf o r Human G e s t u r e M o n i t o r i n gS i l v a i n B e r i a u l t ' , P i e r r e P a y e u r l , G i l l e s C o m e a u 2

' S c h o o l o f I n f o r m a t i o n T e c h n o l o g y a n d E n g i n e e r i n g2 D e p a r t m e n t o f M u s i cU n i v e r s i t y o f O t t a w aO t t a w a , O n t a r i o , C a n a d a , KI N 6 N 5[ s b e r i O 8 1 , p p a y e u r ] @ s i t e . u o t t a w a . c ag c o m e a u g u o t t a w a . c aA b s t r a c t - T h i s p a p e r p r e s e n t s t h e d e s i g n a n d i m p l e m e n t a t i o n o f a a l l c a m e r a s t o s e e t h e f u l l c a l i b r a t i o n r i g , w h i c h i m p o s e sf l e x i b l e a n d e a s y - t o - u s e m u l t i - c a m e r a a c q u i s i t i o n s e t u p f o r m a j o r c o n s t r a i n t s o n c a m e r a p o s i t i o n i n g . M o r e o v e r , d u r i n gm a r k e r l e s s h u m a n g e s t u r e m o n i t o r i n g i n u n c o n s t r a i n e d c a l i b r a t i o n , t h e w o r k i n g v o l u m e m u s t b e c om pl e t e l y e m p t y a se n v i r o n m e n t s . A r o b u s t 2 - s t a g e f r a m e w o r k i s p r o p o s e d t o a c h i e v e t h e c a l i b r a t i o n r i g w i l l o c c u p y m o s t o f t h e f l o o r . i o r d e r t of u l l c a l i b r a t i o n o f a v a r i a b l e n u m b e r o f s y n c h r o n i z e d c a m e r a ss e p a r a t e d b y l o n g b a s e l i n e s . I n t h e f i r s t s t a g e , t h e i n t r i n s i c o v e c o m . t ea l b r t o p a r i o n t r a i n t r a n d e r [ 3 ] s g s t t o ep a r a m e t e r s a r e c o m p u t e d f o r e a c h c a m e r a i n d e p e n d e n t l y . I n t h e u s e c a l b r a t i l o n b a r s m o u n t e d o n t r l p o d s . T h e b a r s a r es e c o n d s t a g e , t h e c a m e r a s a r e r e g i s t e r e d b a s e d o n t h e i r r e l a t i v e t r a n s l a t e d v e r t i c a l l y a n d h o r i z o n t a l l y i n t h e w o r k i n g v o l u m ep o s i t i o n i n g b y w a v i n g a r e d l i g h t e m i t t i n g d e v i c e t o p ro du c e a s e t o f t o o b t a i n f u l l c o v e r a g e . T h i s a p p r o a c h i s h o w e v e r v e r yf e a t u r e p o i n t s . M a t c h e s a r e r e g r o u p e d b y c a m e r a p a i r s u c h t h a t c u m b e r s o m e a s i t r e q u i r e s n u m e r o u s m a n i p u l a t i o n s . I t a l s op a i r - w i s e s t e r e o r e l a t i o n s c a n b e f o u n d f o r a s m a n y p a i r s a s i m p o s e s a n e m p t y w o r k i n g v o l u m e . D r o u i n e t a l . [ 2 ] s u g g e s tp o s s i b l e b e f o r e b e i n g s c a l e d t o c r e a t e a c o n s i s t e n t w e i g h t e d c a m e r a a p a i r - w i s e c a m e r a c a l i b r a t i o n u s i n g m u l t i p l e v i e w s o f a 2Dg r a p h w h i c h i s u s e d t o l i n k a l l c a m e r a s . E x p e r i m e n t a l r e s u l t s c a l i b r a t i o n r i g . T h is a p pr oa c h a l s o e l i m i n a t e s t h e c o p l a n a r i t yd e m o n s t r a t e t h e a c c u r a c y o f t h e c a l i b r a t i o n t h a t i s a c h i e v e d a n d t h e l i m i t a t i o n b u t l a c k s f l e x i b i l i t y f o r c a s e s w h e r e cameras a r es u i t a b i l i t y o f t h e p r o p o s e d a p p r o a c h f or a l mo s t a n y m u l t i - c a m e r a o r t h o g o n a l o r a re s e p a r a t e d b y l a r g e b a s e l i n e s .c o n f i g u r a t i o n s . An a p p l i c a t i o n i s p r e s e n t e d f o r v o l u m e t r i c B e c a u s e o f i m p o r t a n t p r o b l e m s w i t h c l a s s i c a l c a l i b r a t i o n ,r e c o n s t r u c t i o n o f h u m a n b e i n g s t o v a l i d a t e t h e i m p l e m e n t a t i o n . necahef r e c n t i n v e s t i g a t e d c a l i b r a t h ene w a p p r o a c h e s w e r e r e c e n t l y i n v e s t i g a t e d [ 4 , 5 , 6 ] . T h eK e y w o r d s - C a m e r a C a l i b r a t i o n , M u l t i - C a m e r a N e t w o r k s , B u n d l e s t r a t e g y i n a l l o f t h e s e a p p r o a c h e s i s t o f i r s t f i n d a c o a r s eA d j u s t m e n t , M o t i o n C a p t u r e , 3 D R e c o n s t r u c t i o n . e s t i m a t e o f t h e c a m e r a s r e g i s t r a t i o n w h i c h i s t h e n r e f i n e dt h r o u g h a n i t e r a t i v e m e t h o d . T o o b t a i n t h e i n i t i a l e s t i m a t e , a l l

I . INTRODUCTION o f t h e s e m e t h o d s u s e a s i n g l e v i s i b l e f e a t u r e p o i n t a s t h ec a l i b r a t i o n t a r g e t . T h e l a t t e r i s b e i n g w a v e d i n t h e w o r k s p a c eW i t h r i s i n g i n t e r e s t i n m u l t i - c a m e r a a p p l i c a t i o n s f o r 3D t o c r e a t e a v i r t u a l 3D c a l i b r a t i o n o b j e c t . P a i r - w i s ec o m p u t e r v i s i o n , t h e p u r p o s e o f r e g i s t e r i n g , w i t h h i g h r e l a t i o n s h i p s b e t w e e n c a m e r a s a r e e s t i m a t e d a n d t h e np r e c i s i o n , m u l t i p l e v i e w p o i n t s b e c o m e s m o r e a n d m o r e r e l a t i o n s l i n k i n g a l l c a m e r a s t o a r e f e r e n c e c a m e r a a r e f o u n d .c r i t i c a l . T h i s p r o c e s s i s c o m m o n l y r e f e r r e d t o a s m u l t i - C h e n e t a l . [ 4 ] a p p l y a n e x t e n d e d K a l m a n f i l t e r i t e r a t i v e l y t oc a m e r a c a l i b r a t i o n a n d i s a m a j o r i s s u e f o r many 3D p e r f o r m t h e f i n a l o p t i m i z a t i o n . H o w e v e r , m o r e a c c u r a t ec o m p u t e r v i s i o n a l g o r i t h m s , s u c h a s s h a p e - f r o m - s i l h o u e t t e r e s u l t s a r e o b t a i n e d b y I h r k e e t a l . [ 5 ] a n d b y S v o b o d a e t a l .v o l u m e t r i c r e c o n s t r u c t i o n , w h i c h i s o f t e n u s e d i n a p p l i c a t i o n s [ 6 ] who u s e a b u n d l e a d j u s t m e n t [ 7 ] a s t h e f i n a l o p t i m i z a t i o nd e d i c a t e d t o 3D h u m a n m o t i o n c a p t u r e . S u c h a p p l i c a t i o n s s t e p .t y p i c a l l y r e q u i r e a c o m p l e x m u l t i - c a m e r a s e t u p c o m p o s e d o f T h i s p a p e r p r e s e n t s a f u l l m u l t i - c a m e r a c a l i b r a t i o na t l e a s t 5 t o 1 0 c a m e r a s . F u r t h e r m o r e , t h e c a m e r a s m u s t b e p r o c e d u r e , w h i c h i s a l s o b a s e d o n a c o a r s e t o f i n e p a r a m e t e rd i s t r i b u t e d i n t h e w o r k i n g v o l u m e t o s u r r o u n d t h e h u m a n e s t i m a t i o n u s i n g b u n d l e a d j u s t m e n t o p t i m i z a t i o n . T h es u b j e c t s u c h t h a t m o t i o n h a p p e n i n g f r o n t w a r d , b a c k w a r d a n d f r a m e w o r k a i m s a t p r o v i d i n g a s c a l a b l e a n d e a s y - t o u s es i d e w a r d c a n b e c a p t u r e d . A s a r e s u l t , c a m e r a s a r e s e p a r a t e d p r o c e d u r e t h a t c a n b e p e r f o r m e d b y n o n - e x p e r t s , a n d t h a tb y l a r g e b a s e l i n e s a n d p o i n t i n v e r y d i f f e r e n t o r i e n t a t i o n s . i m p o s e s m i n i m a l c o n s t r a i n t o n t h e c a m e r a p o s i t i o n i n g .W i t h s u c h c o m p l e x c a m e r a p o s i t i o n i n g , a c c u r a t e a n d e a s y A c c u r a t e f i n a l c a l i b r a t i o n m u s t a l s o b e a c h i e v e d e v e n w h e nc a m e r a r e g i s t r a t i o n b e c o m e s a c h a l l e n g i n g t a s k . C o m p l e x c a m e r a s s u f f e r f r o m h i g h l e n s d i s t o r t i o n . T h e f o l l o w i n gc a l i b r a t i o n r i g s a r e o f t e n p r o p o s e d [ 1 , 2 , 3 ] b u t s e v e r a l s e c t i o n s d i s c u s s t h e s e a s p e c t s . I n s e c t i o n I I , a n o v e r v i e w o fi m p o r t a n t d r a w b a c k s c a n b e r a i s e d . C a i l l e t t e [ 1 ] p r o p o s e d t o t h e c o m p l e t e c a m e r a c a l i b r a t i o n s c h e m e i s p r o v i d e d . S e c t i o nu s e a s i n g l e 2D c a l i b r a t i o n r i g t o p e r f o r m t h e c a l i b r a t i o n o f a I I I d e t a i l s t h e e s t i m a t i o n o f t h e e x t r i n s i c c a m e r a p a r a m e t e r s .m u l t i - c a m e r a s y s t e m f o r h u m a n g e s t u r e m o n i t o r i n g . W h i l e I n s e c t i o n I V , t h e p e r f o r m a n c e o f t h e c a l i b r a t i o n p r o c e d u r e i st h i s c a l i b r a t i o n a p p r o a c h i s s i m p l e , i t i s p r o n e t o i n a c c u r a c i e s a n a l y z e d a n d a n e x a m p l e o f 3D r e c o n s t r u c t i o n i n h u m a nb e c a u s e a l l c a l i b r a t i o n p o i n t s a r e c o - p l a n a r . I t a l s o r e q u i r e s m o t i o n c a p t u r e i s p r e s e n t e d .

1 - 4 2 4 4 - 1 5 2 7 - 6 / 0 7 / $ 2 5 . O O 2 0 0 7 I E E E

7/30/2019 2DA22AD6d01

2/6

I I . CAMERA CALIBRATION SCHIEME o u t p u t v e r y a c c u r a t e c a l i b r a t i o n p r o v i d e d a g o o d i n i t i a le s t i m a t e o f e a c h c a m e r a ' s p o s i t i o n a n d o r i e n t a t i o n . H o w e v e r ,A s f o r t h e m a j o r i t y o f e x i s t i n g m u l t i - c a m e r a c a l i b r a t i o n f i n d i n g a n i n i t i a l e s t i m a t e w h i c h i s r e l i a b l e i s m a n d a t o r y t om e t h o d s , t h e p ro po se d a p pr oa c h i s e x e c u t e d i n t w o s t a g e s . e n s u r e p ro pe r b u n d l e a d ju st m e n t c o n v e r g e n c e . T h e r e f o r e , t h eI n i t i a l l y , t h e i n t r i n s i c p a r a m e t e r s a n d l e n s d i s t o r t i o n a r e c o r e o f t h e p r o p o s e d p r o c e d u r e i s t o f i n d s u c h a n i n i t i a le s t i m a t e d f o r e a c h c a m e r a s e p a r a t e l y . T h i s o p e r a t i o n i s e s t i m a t e r o b u s t l y w h i l e r e s p e c t i n g t h e r e q u i r e m e n t s i m p o s e dp e r f o r m e d o n l y o nc e f o r e a c h c a m e r a a n d d o e s n o t t y p i c a l l y b y t h e a p p l i c a t i o n o f m a r k e r l e s s human m o t i o n c a p t u r e i nn e e d t o b e r e p e a t e d f r e q u e n t l y a s s u m i n g t h e u s e o f f i x e d u n c o n s t r a i n e d e n v i r o n m e n t s . T h e s e c o n s t r a i n t s s u m m a r i z e a s :f o c a l l e n g t h l e n s e s . I n t h e s e c o n d s t a g e , a l l c a m e r a s a r e i ) e a s e - o f - u s e : t h e p r o p o s e d m e t h o d s h o u l d b e f u l l yp o s i t i o n e d i n t h e i r f i n a l c o n f i g u r a t i o n a r o u n d t h e w o r k i n g a u t o m a t e d a n d s h o u l d r e q u i r e m i n i m a l h u m a n m a n i p u l a t i o n ,e n v i r o n m e n t a n d a r e r e g i s t e r e d t o g e t h e r . T h i s i s r e f e r r e d t o a s e s p e c i a l l y r e g a r d i n g m a n u a l m e a s u r e m e n t s i n t h e w o r k i n ge x t r i n s i c c a m e r a c a l i b r a t i o n . T h e s e p a r a m e t e r s r e m a i n v o l u m e ; i i ) s t r a i g h t f o r w a r d : t h e p ro c e d ur e s ho ul d b e e a s y t oc o n s t a n t u n t i l a c h a n g e i n t h e p o s i t i o n o r o r i e n t a t i o n o f o n e o r r e p e a t s i n c e e x t r i n s i c p a r a m e t e r s n e e d t o b e r e c o m p u t e d e a c hm o r e c a m e r a s o c c u r . t i m e t h e r e i s a c h a n g e i n t h e c a m e r a p o s i t i o n i n g ; i i i )s c a l a b i l i t y : t h e m e t h o d m u s t b e s c a l a b l e i n t e r m s o f t h eA . I n t r i n s i c C a m e r a C a l i b r a t i o n n u m b e r o f c a m e r a s i n t h e n e t w o r k a s w e l l a s t h e d i m e n s i o n so f t h e w o r k i n g v o l u m e ; a n d i v ) f r e e c a m e r a p o s i t i o n i n g : n oT h e p r o b l e m o f f i n d i n g t h e i n t r i n s i c c a m e r a p a r a m e t e r s a n d r e s t r i c t i o n s ho ul d b e i m p o se d o n t h e c a m e r a p o s i t i o n i n g a p a r tt h e d i s t o r t i o n c o e f f i c i e n t s h a s b e e n w i d e l y c o v e r e d i n t h e f r o m t h e r e q u i r e m e n t o f a s u f f i c i e n t o v e r l a p t o a c h i e v el i t e r a t u r e [ 8 , 9 , 1 0 ] . F o r o u r a p p l i c a t i o n , we u s e d a n 8 x 1 0 m a t c hi n g b e t w e e n v i e w p o i n t s , a s r e q u i r e d f o r 3Dc h e c k e r b o a r d c a l i b r a t i o n r i g w i t h 2c m x 2c m c e l l d i m e n s i o n s , r e c o n s t r u c t i o n o f t h e s u b j e c t u n d e r o b s e r v a t i o n .a s s h o w n i n F i g . 1 . T h i s t y p e o f p a t t e r n w a s s e l e c t e d b e c a u s ei t i s w e l l i n t e g r a t e d w i t h t h e c l a s s i c a l c a l i b r a t i o n s c h e m e s o f I I I . EXTRINSIC CALIBRATION FRAMEWORKT s a i [ 9 ] a n d Z h a n g [ 1 0 ] a n d t h e r e a r e i m p l e m e n t a t i o n sa v a i l a b l e i n c o m p u t e r v i s i o n l i b r a r i e s s u c h a s OpenCV [ 1 1 ] . T h e p r o p o s e d f r a m e w o r k c o u n t s o n s e v e n m a j o r s t e p s t oT o f a c i l i t a t e t h e i n t r i n s i c c a l i b r a t i o n , we d e v e l o p e d a n a c h i e v e c o m p l e t e a n d a c c u r a t e e s t i m a t i o n o f t h e e x t r i n s i ca p p l i c a t i o n w h i c h c a p t u r e s f r a m e s o f t h e c h e c k e r b o a r d f r o m p a r a m e t e r s . F i r s t , m a t c h i n g f e a t u r e p o i n t s a r e c o l l e c t e d a c r o s ss t r e a m i n g v i d e o . O u r e x p e r i m e n t a t i o n r e v e a l e d t h a t 2 0 v i e w s t h e e n t i r e c a m e r a n e t w o r k . U s i n g t h o s e m a t c h e s , a p a i r - w i s ea r e s u f f i c i e n t t o o b t a i n a g o o d e s t i m a t e o f t h e i n t r i n s i c f u n d a m e n t a l m a t r i x i s c o m p u t e d f o r a s many p a i r s o f c a m e r a sp a r a m e t e r s a n d o f t h e d i s t o r t i o n c o e f f i c i e n t s . P r o p e r a s p o s s i b l e . E a c h f u n d a m e n t a l m a t r i x i s t h e n d e c o m p o s e d t od i s t o r t i o n c o r r e c t i o n i s n e c e s s a r y t o p r e v e n t d e s t r u c t i v e e f f e c t e x t r a c t a s t e r e o r o t a t i o n m a t r i x a n d a u n i t t r a n s l a t i o n v e c t o r .i n t h e c a m e r a r e g i s t r a t i o n a n d 3D r e c o n s t r u c t i o n , e s p e c i a l l y T r a n s l a t i o n m a g n i t u d e i s t h e n f o u n d f o r e a c h p a i r o f c a m e r a sw h e n d e a l i n g w i t h w i d e a n g l e l e n s e s , s u c h a s d e m o n s t r a t e d i n t o d e f i n e a c o n s i s t e n t c a m e r a n e t w o r k . T h e n e x t s t e p c o n s i s t sF i g 1 . T h e r e f o r e b o t h r a d i a l a n d t a n g e n t i a l d i s t o r t i o n s a r e o f u n i f y i n g t h e c a m e r a s e x t r i n s i c p a r a m e t e r s f r o m a w e i g h t e dm o d e l e d . g r a p h o f c a m e r a s . T h e f o r m e r a r e t he n o p ti m i z e d u s i n g ab u n d l e a d j u s t m e n t p r o c e d u r e . F i n a l l y , t h e c a m e r a n e t w o r k i sr e s c a l e d t o a b s o l u t e d i m e n s i o n s .

A . A c q u i r i n g M a t c h e sF r o m a c l a s s i c a l p o i n t o f v i e w , a m a t c h i s d e f i m e d a s aB . E x t i n i c a m r a a l b r a i o t c o r r e s p o n d e n c e b e t w e e n a m e a s u r e d p o i n t i n t h e 3D w o r k i n gm v o l u m e a n d t h e p i x e l c o o r d i n a t e s o f t h a t p o i n t p r o j e c t e d ona n i m a g e p l a n e . H o w e v e r , p e r f o r m i n g a c c u r a t e 3D( a ) ( b ) m e a s u r e m e n t s m a n u a l l y o r c o n s t r u c t i n g c o m p l e x c a l i b r a t i o nF i g . I o D i s t o r t i o n c o m p e n s a t i o n o f a w i d e a n g l e l e n s . r i g s i s c u m b e r s o m e . T h e c o n c e p t o f a v i r t u a l c a l i b r a t i o n

aT e s a c h e c k e r b o a r d p a t t e r n i n t h e d i s t o r t e di m a g e l a n e . o b j e c t o f f e r s numerous b e n e f i t s [ 4 , 5 , 6 ] . S e v e r a l c a l i b r a t i o nb ) h e ame che k e r o ad p t t e n i t h unisortd i a g e p l a e . p o i n t s c a n b e a c q u i r e d b y w a v i n g a s m a l l v i s i b l e m a r k e r , o v e rB . E x t r i n s i c C a m e r a C a l i b r a t i o n t h e f u l l w o r k i n g v o l u m e . H e r e a l i g h t e m i t t i n g d e v i c e ( L E D )m o u n t e d a t t h e e x t r e m i t y o f a s t i c k i s w a v e d r a n d o m l y i nT h e e s t i m a t i o n o f e x t r i n s i c p a r a m e t e r s i s n o t a s s p a c e t o g e n e r a t e a c l e a r b l o b w h e n t h e r o o m l i g h t i n g i ss t r a i g h t f o r w a r d g i v e n t h e l a r g e b a s e l i n e s a n d w i d e a n g u l a r t u r n e d o f f . S i n c e t h e 3D p o s i t i o n o f t h e t a r g e t i s n o t k n o w n i ns e v e r a l i s s u e s r e g a r d i n g t h e e x t r i n s i c c a l i b r a t i o n o f a m u l t i - c a m e r a s a r e b e i ng r e c or de d i n s t e a d . T h e r e f o r e , a c c o r d i n g t oc a m e r a s y s t e m . O u r p ro po se d a p pr oa c h t a k e s a dv a n t a ge o f t h i s ne w d e f i n i t i o n , a m a t c h o c c u r s w h e n a p o i n t i s s e e nt h e b u n d l e a d j u s t m e n t t e c h n i q u e [ 7 ] w h i c h i s w e l l k n o w n t o s i m u l t a n e o u s l y b y t w o o r m o r e c a m e r a s . F o l l o w i n g t h i s

7/30/2019 2DA22AD6d01

3/6

p r o c e d u r e , w i t h f u l l c o v e r a g e o f t h e w o r k i n g v o l u m e , o v e r a T o d e t e r m i n e w h i c h s o l u t i o n i s c o r r e c t , we t r i a n g u l a t e [ 1 5 ]t h ou sa n d o f m a t c h e s c a n b e o b t a i n e d i n l e s s t h a n 3 m i nu t e s o f o n e m a t c h a n d we v e r i f y w h i c h s o l u t i o n p r o v i d e s av i d e o r e c o r d i n g . T h e p r o c e d u r e h o w e v e r r e q u i r e s c a m e r a s t o t r i a n g u l a t e d 3D p o i n t w h i c h i s i n f r o n t o f b ot h c a m e r a sb e s y n c h r o n i z e d , a s w i l l b e d e s c r i b e d i n s e c t i o n I V . A n o t h e r ( p o s i t i v e z - a x i s ) . I h r k e e t a l . [ 5 ] r e p o r t e d t h a t t w o s o l u t i o n sr e q u i r e m e n t i s t h a t t h e l i g h t i n g l e v e l m u s t b e c o n t r o l l e d may r e m a i n v a l i d i f t w o c a m e r a s a r e c l o s e t o a 1 8 0 0 r o t a t i o n .d u r i n g t h e c a l i b r a t i o n p r o c e d u r e . An a l t e r n a t i v e c a l i b r a t i o n T h e s o l u t i o n w h i c h y i e l d s t o t h e s m a l l e s t t r i a n g u l a t i o n e r r o rt a r g e t t o r e s o l v e t h i s i s s u e i s p r o p o s e d b y I h r k e e t a l . [ 5 ] f o r i s t h e r e f o r e r e t a i n e d . When u s i n g m i d - p o i n t t r i a n g u l a t i o no u t d o o r a p p l i c a t i o n s . [ 1 5 ] , t h e t r i a n g u l a t i o n e r r o r i s t h e h a l f - d i s t a n c e o f t h es e g m e n t o f i n t e r s e c t i o n b e t w e e n t h e t w o 3D r a y s .B . P a i r - w i s e F u n d a m e n t a l M a t r i x C o m p u t a t i o n D . S ol v in g P a i r - w i s e S c a l e F a c t o r sO n c e a s u f f i c i e n t n u m b e r o f m a t c h e s a r e f o u n d , t h e y a r e r e -o r g a n i z e d b y p a i r o f c a m e r a s a n d t h e c o r r e s p o n d i n g I n t h e p r e v i o u s s t e p , s t e r e o r e l a t i o n f o r e a c h p a i r w a s f o u n df u n d a m e n t a l m a t r i x i s c o m p u t e d . T o e n s u r e a r e l i a b l e u p t o a p a i r - r e l a t e d s c a l e f a c t o r . D u r i n g t h e p r e s e n t p h a s e , t h ee s t i m a t e , t h e f u n d a m e n t a l m a t r i x i s e s t i m a t e d o n l y i f a t l e a s t m a g n i t u d e o f a l l t r a n s l a t i o n v e c t o r s i s e s t i m a t e d s u c h t h a t t h e3 0 m a t c h e s a r e f o u n d b e t w e e n a g i v e n p a i r o f c a m e r a s . A e n t i r e c a m e r a s t r u c t u r e b e c o m e s c o n s i s t e n t u p t o a u n i q u e ,RA NSAC i m p l e m e n t a t i o n [ 1 1 , 1 2 ] i s u s e d t o e l i m i n a t e g l o b a l , s c a l e f a c t o r . T o d o s o , t h e m e t h o d i n t r o d u c e d b y C h e no u t l i e r s w h i c h a r e a l s o r e m o v e d f r o m t h e g l o b a l d a t a b a s e o f e t a l . [ 4 ] , w h i c h a t t e m p t s t o s c a l e t h e l i n k s i n c r e m e n t a l l y , i sm a t c h e s f o r l a t e r s t e p s . U n l i k e S v o b o d a e t a l . [ 6 ] , m a t c h e s u s e d . T h e b a s i s o f t h i s t e c h n i q u e i s t o i n c r e m e n t a l l y s c a l ea r e r e c o r d e d i n t h e u n d i s t o r t e d i m a g e p l a n e , t h e r e f o r e a ne w l i n k s b a s e d o n a s c a l e d l i n k a s s h o w n b y t h e c a m e r as t r i c t e r o u t l i e r r e j e c t i o n t h r e s h o l d c a n b e u s e d i n t h e t r i p l e t o f F i g . 2 . T h e t r a n s l a t i o n T 1 2 i s f u l l y s c a l e d b u t T 1 3 a n dRA NSAC a n a l y s i s . T h u s , a n y m a t c h i s i d e n t i f i e d a s a n T 2 3 a r e y e t t o b e s c a l e d . T o s c a l e T 1 3 a n d T 2 3 , t h e c a m e r ao u t l i e r i f i t h a s a d i s t a n c e f r o m p o i n t t o e p i p o l a r l i n e a b o v e 2 p o s i t i o n s , P c a n 2 a n d P c a m 3 , a r e c o m p u t e d w i t h r e s p e c t t o t h ep i x e l s . I t p o t e n t i a l l y a l l o w s a b e t t e r e s t i m a t e o f t h e c a m e r a 1 r e f e r e n c e f r a m e . P c a m 2 i s o b t a i n e d d i r e c t l y s i n c e i t i sf u n d a m e n t a l m a t r i x s i n c e i n a c c u r a t e m a t c h e s a r e r e j e c t e d e q u a l t o T 1 2 . P c a m 3 i s o b t a i n e d b y c o m p u t i n g t h e v e c t o rf r o m t h e c o m p u t a t i o n . i n t e r s e c t i o n o f T 1 3 a n d T 2 3 . S i n c e T 2 3 i s e x p r e s s e d w i t hWhen c o m p u t i n g t h e f u n d a m e n t a l m a t r i x f r o m a s e t o f r e s p e c t t o t h e c a m e r a 2 r e f e r e n c e f r a m e , i t f i r s t n e e d s t o b ei m a g e m a t c h e s , d i f f i c u l t i e s may o c c u r f r o m t h e u s e o f t r a n s f o r m e d t o b e e x p r e s s e d w i t h r e s p e c t t o t h e c a m e r a 1d e g e n e r a t i v e c o n f i g u r a t i o n s [ 1 3 ] . H o w e v e r t h o s e s i t u a t i o n s f r a m e u s i n g : T I = R 1 2 T 2 3 . W i t h P c a m 3 k n o w n , t h e s c a l i n ga r e e a s y t o a v o i d o r a l m o s t u n l i k e l y t o o c c u r [ 6 ] . I n d e e d , i n a f a c t o r o f T 1 3 i s t h e E u c l i d i a n d i s t a n c e b e t w e e n P c a m 3 a n dh u m a n m o t i o n c a p t u r e s y s t e m , c a m e r a s n e e d t o b e s e p a r a t e d . . .'~ ~ ~ c a e a shrn ( 0 , 0 , 0 ) a n d t h e s c a l e f a c t o r o f T 2 3 i S t h e E u c l i d i a n d i s t a n c eb y l a r g e b a s e l i n e s , d i s c a r d i n g t h e p r o b l e m o f cameras s h a r m g 'b a s e l i n e s , d i s c r d i n g t h e p r o b l e m m o f b e t w e e n P c a m 3 a n d P c a n 2 . O n c e T 1 3 a n d T 2 3 a r e s c a l e d , t h e yt h e s a m e o p t i c a l c e n t e r . F u r t h e r m o r e , t h e f a c t t h a t t h e f u l lw o r k i n g v o l u m e i s c o v e r e d i n a r a n d o m manner w i t h t h e g c a n b e u s e d t o f i n d s c a l e f a c t o r s o f o t h e r l i k s . A s m o r e l i k sLED c a l i b r a t i o n s t i c k s i g n i f i c a n t l y r e d u c e s t h e r i s k t o f i n d a l l g t r s c a l t i o n a l i n k c a n . b e c e e d u s i n g i n t e r e a t er a n s f o r m a t i o n s , w h i c h c a n a l s o b e u s e d t o f i n d s c a l e f a c t o r sp o i n t s o v e r a c o - p l a n a r o r a r u l e d - q u a d r a t i c d i s t r i b u t i o n [ 1 3 ] o f u n p r o c e s s e d l i n k s . T h i s p r o c e d u r e i s r e p e a t e d u n t i l a l l

C . Fundamenta M a t r i x D e c o m p o s i l i n k s a r e s c a l e d o r u n t i l a p a t h l i n k i n g a l l c a m e r a s t o t h er e f e r e n c e c a m e r a i s f o u n d . O b v i o u s l y , t o s t a r t t h i s a l g o r i t h m ,o n e l i n k n e e d s t o b e s c a l e d t o a n a r b i t r a r y v a l u e ( i e . a s c a l eE a c h f u n d m e n t l m a r i x e e d s t o b decmposd i n o a f a c t o r o f 1 ) . H e n c e , t h e s t r u c t u r e i S f u l l y d e t e r m i n e d u p t o ar o t a t i o n m a t r i x a n d a u n i t t r a n s l a t i o n v e c t o r . T h i s i s d o n eu s i n g t h e m e t h o d p r o p o s e d b y H a r t l e y a n d Z i s s e r m a n [ 1 3 ] . g l o b a l s c a l e f a c t o rAn e s s e n t i a l m a t r i x , E 1 2 , i s f i r s t e x t r a c t e d f r o m t h e P c a m 3f u n d a m e n t a l m a t r i x , F 1 2 , u s i n g t h e i n t r i n s i c m a t r i c e s , K 1 , K 2 ,f o r b o t h c a m e r a s o f t h e p a i r s u c h t h a t E 1 2 = K 2 T F 1 2 KT . Ani m p o r t a n t c o n s t r a i n t a b o u t t h e e s s e n t i a l m a t r i x i s t h a t i t m u s t R 1 3 , T 1 3 R 2 3 , T 2 3h a v e t w o n o n - z e r o s i n g u l a r v a l u e s w h i c h a r e e q u a l . R 1 2 , T 1 2T h e r e f o r e , E 1 2 i s r e f i n e d b y c o m p u t i n g t h e a v e r a g e o f t h e f i r s tt w o s i n g u l a r v a l u e s a n d s e t t i n g t h e t h i r d s i n g u l a r v a l u e t o F i g . 2 . A c a m e r a t r i p l e t s h o w i n g h o w t w o l i n k s a r e i n t e r s e c t e dz e r o [ 1 4 ] . E 1 2 c a n t h e n b e d e c o m p o s e d i n t o a r o t a t i o n m a t r i x a n d s c a l e d f r o m a l i n k w i t h a k n o w n s c a l e f a c t o r .a n d a u n i t t r a n s l a t i o n v e c t o r . F o u r m a t h e m a t i c a l s o l u t i o n s a r ef o u n d : t w o p o s s i b l e r o t a t i o n m a t r i c e s w i t h a n o f f s e t o f 1 8 0 0 H o w e v e r , i n t h e o r i g i n a l a p p r o a c h o f C h e n e t a l . , l i n k s a r ea b o u t t h e b a s e l i n e a n d t w o p o s s i b l e t r a n s l a t i o n v e c t o r s s c a l e d i n a n a r b i t r a r y o r d e r w h i c h y i e l d s t o a l e s s a c c u r a t e( p o s i t i v e o r n e g a t i v e ) , i n i t i a l e s t i m a t e o f t h e c a m e r a s t r u c t u r e e s p e c i a l l y a s t h en u m b e r o f c a m e r a i n c r e a s e s o r w h e n a l i n k w i t h l a r g ei n a c c u r a c i e s i s u s e d i n t h e c o m p u t a t i o n o f o t h e r l i n k s . T o

7/30/2019 2DA22AD6d01

4/6

o v e r c o m e t h i s d r a w b a c k , we p r o p o s e t h e u s e o f a w e i g h t e d p o s s i b l e u s i n g t h i s s o l e l i n k , t e s t i n g a l l p o s s i b l e c a m e r a s a sc a m e r a g ra ph s u ch t h a t t h e c a m e r a s a r e s c a l e d i n a s p e c i f i c t h e t h i r d c a m e r a o f a t r i p l e t . T h e n a n e x t l i n k i s d e q u e u e do r d e r t o i m p r o v e t h e a c c u r a c y o f t h e i n i t i a l e s t i m a t e . u n t i l t h e q u e u e i s e m p t y . A ne w i t e r a t i o n b e g i n s u n t i l n o n e wW e i g h t e d g r a p h l i n k i n g w i l l b e d e t a i l e d i n t h e f o l l o w i n g l i n k c a n o r n e e d s t o b e s c a l e d . v ) U n s c a l e d l i n k s a r e a d d e ds e c t i o n s . i n c r e m e n t a l l y i n t h e c a m e r a g r a p h , s u c h t h a t p o o r q u a l i t yl i n k s a r e n o t p a r t o f t h e n e t w o r k i f t h e y a r e n o t r e q u i r e d b yE . G l o b a l U n i f i c a t i o n t h e g l o b a l u n i f i c a t i o n . T h e q u a l i t y o f a n u n s c a l e d l i n k i sc o m p u t e d a s a m ix t u r e o f t h e a v e r a g e a n d t h e m a x i m a lT h e p u r p o s e o f t h e g l o b a l u n i f i c a t i o n s t e p i s t o f i n d a r e p r o j e c t i o n e r r o r o f a l l m a t c h e s f o r t h i s p a i r . T h i s q u a l i t yr o t a t i o n m a t r i x a n d a t r a n s l a t i o n v e c t o r t h a t l i n k a l l c a m e r a s f a c t o r g e t s c o m p u t e d a f t e r t h e f u n d a m e n t a l m a t r i xi n t h e n e t w o r k t o t h e r e f e r e n c e c a m e r a . T h e s e r o t a t i o n a n d d e c o m p o s i t i o n s t e p . T h e s t e p s o f s o l v i n g p a i r - w i s e s c a l et r a n s l a t i o n p a r a m e t e r s c o r r e s p o n d t o t h e r e s p e c t i v e e x t r i n s i c f a c t o r s a n d g l o b a l u n i f i c a t i o n a r e p e r f o r m e d i t e r a t i v e l yc a m e r a p a r a m e t e r s . A w e i gh t e d g r a ph o f c a m e r a s i s b u i l t s t a r t i n g o n l y w i t h h i gh q u a l i t y l i n k s a n d i n t r o d u c i n g l o w e ru s i n g a l l s c a l e d l i n k s o b t a i n e d f r o m t h e p r e v i o u s s t e p . T h e n q u a l i t y l i n k s l a t e r i n t h e p r o c e s s o n l y i f t h e y a r e a b s o l u t e l yt h e s h o r t e s t p a t h [ 1 6 ] l i n k i n g e a c h c a m e ra t o t h e r e f e r e n c e n e e d e d t o s o l v e t h e g l o b a l u n i f i c a t i o n .c a m e r a i s c o m p u t e d . H . R e s c a l i n g N e t w o r k t o A b s o l u t e U n i t sF . B u n d l e A d j u s t m e n t O p t i m i z a t i o n R e c a l l i n g t h a t t h e f i r s t l i n k w a s s e t t o t h e a r b i t r a r y s c a l eUpon s u c c e s s f u l g l o b a l u n i f i c a t i o n , a c o a r s e e s t i m a t e o f t h e f a c t o r o f 1 . 0 , t h e e x t r i n s i c p a r a m e t e r s a r e e s t i m a t e d u p t o ae x t r i n s i c p a r a m e t e r s f o r a l l c a m e r a s i s o b t a i n e d . T o r e a c h a s i n g l e ( g l o b a l ) s c a l e f a c t o r . W h i l e , i n t e r m s o f a c c u r a c y , t h e r em o r e p r e c i s e c a l i b r a t i o n , t h e e x t r i n s i c p a r a m e t e r s a r e a r e a b s o l u t e l y n o b e n e f i t s t o u s e a n a b s o l u t e s c a l e f a c t o r f o ro p t i m i z e d u s i n g a s p a r s e b u n d l e a d j u s t m e n t i m p l e m e n t a t i o n t h e c a m e r a s t r u c t u r e , i t may s t i l l b e d e s i r e d , i n s o m e[ 1 7 , 1 8 ] . T h e s a m e d a t a b a s e o f 2D i m a g e m a t c h e s c o l l e c t e d a p p l i c a t i o n s , t o u s e a c a m e r a n e t w o r k w h i c h i s c a l i b r a t e di n t h e f i r s t s t e p i s r e u s e d a s a n i n p u t t o t h e b u n d l e a d j u s t m e n t . w i t h m e a n i n g f u l u n i t s s u c h a s m e t r i c u n i t s . I t w o u l d , i nV i r t u a l 3D p o i n t s a r e c o m p u t e d u s i n g d i r e c t l i n e a r p a r t i c u l a r , a l l o w 3D d a t a t o b e r e c o n s t r u c t e d i n u n i t s t h a t a r et r i a n g u l a t i o n [ 1 3 , 1 5 ] o n t h e s e m a t c h e s . T o h e l p i m p r o v e t h e m e a n i n g f u l t o a h u m a n o p e r a t o r . A f e w s t r a t e g i e s a r es p e e d o f c o n v e r g e n c e a s w e l l a s t h e a c c u r a c y o f t h e e x t r i n s i c p r o p o s e d t o d e t e r m i n e t h e a b s o l u t e s c a l e f a c t o r .p a r a m e t e r s , a n a n a l y t i c a l J a c o b i a n i s p r o v i d e d t o t h e b u n d l e An a p p r o x i m a t e s o l u t i o n c o n s i s t s o f m a nu a l l y m e a su ri n ga d j u s t m e n t r a t h e r t h a n a n u m e r i c a l a p p r o x i m a t i o n f r o m f i n i t e t h e b a s e l i n e b e t w e e n t h e r e f e r e n c e c a m e r a a n d a n y o t h e rd i f f e r e n t i a t i o n o f t h e p o i n t p r o j e c t i o n s [ 1 8 ] . c a m e r a i n t h e n e t w o r k . T h e a b s o l u t e s c a l e f a c t o r b e c o m e s t h er a t i o b e t w e e n t h e m e a s u r e d b a s e l i n e a n d t h e b a s e l i n eG . L i n k C o s t A s s i g n m e n t t o I m p r o v e I n i t i a l E s t i m a t e e x t r a c t e d f r o m t h e c a m e r a m o d e l . T h i s a p p r o a c h i s e a s y t o

i m p l e m e n t b u t i s n o t a c c u r a t e s i n c e t h e p o s i t i o n o f t h eI n o r d e r t o g u a r a n t y c o n v e r g e n c e a s w e l l a s i m p r o v i n g t h e c a m e r a ' s o p t i c a l c e n t e r i s n o t p r e c i s e l y k n o w n a n df i n a l o u t p u t o f t h e b u n d l e a d j u s t m e n t , i t i s i m p o r t a n t t o m a n i p u l a t i o n s a r e n e c e s s a r y .p r o v i d e a n i n i t i a l e s t i m a t e a s c l o s e a s p o s s i b l e t o t h e a c t u a l A n o t h e r a p p r o a c h b u i l d s u p o n t h e i d e n t i f i c a t i o n o f t w oe x t r i n s i c c a m e r a p a r a m e t e r s . S p e c i a l c a r e n e e d s t o b e g i v e n f e a t u r e s i n t h e w o r k i n g v o l u m e s e e n b y t w o o r m o r e c a m e r a s .i n t h e o r d e r i n w h i c h t h e c a m e r a l i n k s a r e b e i n g s c a l e d t o T h e a b s o l u t e s c a l e f a c t o r b e c o m e s t h e r a t i o b e t w e e n t h ep r e v e n t i n a c c u r a c i e s o f o n e l i n k t o b e c a r r i e d o v e r o t h e r l i n k s . a b s o l u t e ( m e t r i c ) d i s t a n c e a n d t h e d i s t a n c e c a l c u l a t e d f r o mT h i s p r o b l e m i s c o m m o n l y r e f e r r e d t o a s e r r o r a c c u m u l a t i o n . t r i a n g u l a t i o n o f t h e t w o f e a t u r e s . T h i s a p p r o a c h l e a d s t o aA s e t o f f i v e r u l e s i s p r o p o s e d t o i m p r o v e t h e o v e r a l l m o r e a c c u r a t e a b s o l u t e s c a l e f a c t o r b u t r e q u i r e s t h e c a p a b i l i t ya c c u r a c y o f s u c h i n i t i a l e s t i m a t e : i ) T h e s t a r t u p l i n k s h o u l d b e o f i d e n t i f y i n g a n d r e l i a b l y m a t c h i n g t h e f e a t u r e s i n m u l t i p l ea n y l i n k t h a t c o n n e c t s t o t h e r e f e r e n c e c a m e r a . T h e g r a p h w i l l c a m e r a v i e w s . H o w e v e r , t h i s i s s u e c a n b e a d d r e s s e d b y u s i n gb e o p t i m i z e d s u c h t h a t l o w e r w e i g h t e d l i n k s w i l l b e l o c a t e d a d u a l p o i n t c a l i b r a t i o n t a r g e t w i t h k n o w n s p a c i n g , a n d w h e r en e a r t h e r e f e r e n c e c a m e r a . i i ) A w e i g h t o f 1 i s a s s i g n e d t o t h e e a c h m a r k e r c a n b e d i s t i n g u i s h e d i n t h e i m a g e s u s i n g , f o rs t a r t u p l i n k . When l i n k s a r e s c a l e d b y t r i a n g u l a t i o n , t h e y w i l l e x a m p l e , t w o d i f f e r e n t c o l o r s . T h e l a t e r a p p r o a c h c a n a l s o b et a k e t h e w e i g h t o f t h e b a s e l i n k + 1 . i i i ) L i nk s f ou n d b y r e p e a t e d m u l t i p l e t i m e s t o o b t a i n m o r e s a m p l e s o f t h ei n t e r m e d i a t e t r a n s f o r m a t i o n s o f m u l t i p l e s c a l e d l i n k s w i l l b e a b s o l u t e s c a l e f a c t o r a c r o s s a l l v i e w s a n d u s e t h e a v e r a g e o fw e i g h t e d a s t h e sum o f w e i g h t s o f a l l i n t e r m e d i a t e l i n k s . i v ) t h o s e s a m p l e s a s t h e a c t u a l r e a l s c a l e f a c t o r .A q u e u e i s u s e d t o r e g u l a t e t h e o r d e r i n w h i c h t h e l i n k s a r ee v a l u a t e d . A t t h e b e g i n n i n g o f e a c h i t e r a t i o n , a l l l i n k s t h a t I V . EXPERIMENTAL RESULTSh a v e a f r e a d y b e e n s c a l e d , i n c l u d i n g l i n k s t h a t c a n b e s o l v e db y i n t e r m e d i a t e t r a n s f o r m a t i o n s , a r e a d d e d t o a n o r d e r e d An e x p e r i m e n t a l e v a l u a t i o n o f t h e p r o p o s e d c a l i b r a t i o nq u e u e w h e r e l o w e r w e i g h t s g e t d e q u e u e d f i r s t . When a l i n k i s f r a m e w o r k h a s b e e n c o n d u c t e d o n a c om pl e t e h ar dw a red e q u e u e d , a n a t t e m p t i s m a d e t o s c a l e a s many p a i r s a s i m p l e m e n t a t i o n t h a t ha s b e e n d e s i g n e d f o r m a r k e r l e s s m o t i o n

7/30/2019 2DA22AD6d01

5/6

c a p t u r e i n p i a n o p l a y i n g p e r f o r m a n c e e v a l u a t i o n . C a l i b r a t i o n a d j u s t m e n t , t h e a v e r a g e r e p r o j e c t i o n e r r o r i s m o r e s t a b l e a n dr e s u l t s t h a t w e r e o b t a i n e d a r e a na l y z e d h e re a n d a n e a r l y i s r e d u c e d t o 1 / 2 p i x e l . M o r e o v e r t h i s c a l i b r a t i o n p r o c e d u r ee x a m p l e o f a 3D r e c o n s t r u c t i o n o f a p i a n o p l a y e r a c h i e v e d c l e a r l y d o e s n o t s u f f e r f r o m d a t a o v e r f i t t i n g s i n c e t h e a v e r a g eu s i n g t h e o b t a i n e d c a l i b r a t i o n i s p r e s e n t e d t o d e m o n s t r a t e t h e r e p r o j e c t i o n e r r o r i s n o t d e g r a d e d w h e n u s i n g a ne w s e t o f 3Dv a l i d i t y o f t h e p r o p o s e d a p p r o a c h . p o i n t s . I n T a b l e 2 , d e t a i l e d r e s u l t s p e r c a m e r a a r e g i v e n a f t e rb u n d l e a d j u s t m e n t . C a m e r a s 2 , 3 , 4 , 6 a n d 7 a r e e q u i p p e dA . M u l t i - C a m e r a N e t w o r k w i t h h i g h l y d i s t o r t i n g l e n s e s . N e v e r t h e l e s s , a l l c a m e r a s h a v es i m i l a r e r r o r s t a t i s t i c s r e g a r d l e s s o f t h e l e v e l o f l e n sT h e s y s t e m u s e d t o m o n i t o r h u m a n g e s t u r e i s c o m p o s e d o f d i s t o r t i o n . T h e r e f o r e , t h e p r o p o s e d e x t r i n s i c c a l i b r a t i o n8 F l e a 2 T m F i r e w i r e 1 3 9 4 b c a m e r a s . T h e c a m e r a s a r e m o u n t e d m e t h o d i s b a r e l y a f f e c t e d b y l e n s d i s t o r t i o n p r o v i d e d t h a to n a s t r u c t u r e s u r r o u n d i n g a 2 . 5 m x 2 . 5 m x 2 . 5 m w o r k s p a c e a d e q u a t e c o m p e n s a t i o n i s o b t a i n e d a t t h e i n t r i n s i c c a l i b r a t i o nw h i c h a l l o w s c a m e r a s t o b e p o s i t i o n e d i n v a r i o u s s t a g e , a s p r o p o s e d .c o n f i g u r a t i o n s . V i d e o f r a m e s a r e a c q u i r e d u s i n g 3 P e n t i u mI V 3 . 4 0 GHz p r o c e s s o r s r u n n i n g W i n d o w s X P . F r a m e s a r e T a b l e 1 . C a l i b r a t i o n s t a t i s t i c s f o r a n e t w o r k o f 3 t o 8 c a m e r a s .c o m p r e s s e d a n d r e c o r d e d t o d i s k i n r e a l - t i m e u s i n g x v i d A v e r a g e p i x e l r e p r o j e c t i o n e r r o rNumber o f b e f o r e b u n d l e a f t e r b u n d l e w i t h ne w s e t o fv i d e o c o m p r e s s i o n . V i d e o f r a m e s a r e s y n c h r o n i z e d u s m g c a m e r a s a d j u s t m e n t a d j u s t m e n t 3 D p o i n t si m a g e t i m e s t a m p s a c r o s s m u l t i p l e PC u s i n g P o i n t G r e y M u l t i - 3 1 . 8 2 2 1 0 . 2 8 9 9 0 . 3 1 2 8S y n c T M s o f t w a r e . I n o u r c u r r e n t s e t u p , a t m o s t t h r e e c a m e r a s 4 3 . 9 7 9 3 0 . 3 5 3 7 0 . 3 5 4 7c a n b e c o n n e c t e d p e r c o m p u t e r s u c h t h a t a l l c a m e r a s c a n 5 1 . 6 7 3 0 0 . 3 6 6 0 0 . 3 3 5 5o p e r a t e a t a s p e e d o f 3 0 f p s , w i t h a m a x i m a l r e s o l u t i o n o f 3 . 7 1 3 4 0 . 3 8 9 5 0 . 3 9 3 46 4 0 x 4 8 0 . T o d e m o n s t r a t e t h e r o b u s t n e s s o f t h e p r o p o s e d 7 3 9 6 7 1 0 4 1 5 2 0 4 0 9 0c a l i b r a t i o n m e t h o d , l e n s e s f r o m d i f f e r e n t m a n u f a c t u r e r s a n d 8 3 . 9 3 6 7 0 . 4 1 7 4 0 . 4 1 2 6o f d i f f e r e n t f o c a l l e n g t h were c o m b i n e d . I n p a r t i c u l a r , f i v e T a b l e 2 . D e t a i l e d c a l i b r a t i o n s t a t i s t i c s f o r a n 8 - c a m e r a n e t w o r k .c a m e r a s h a v e h i g h l y d i s t o r t i n g w i d e a n g l e l e n s e s ( f = 3 . 5 m m ) . P i x e l r e p r o j e c t i o n e r r o rT h e t h r e e o t h e r c a m e r a s h a v e l e n s e s w i t h a f o c a l l e n g t h o f 6 C a m e r a i d a v e r a g e s t d d e v i a t i o nmm. 0 0 . 3 8 1 7 0 . 2 1 8 9T h e i n t r i n s i c c a l i b r a t i o n p a r t i s p e r f o r m e d u n d e r s t a n d a r d 1 0 . 2 8 6 7 0 . 1 7 0 7.. . . . .~ ~ ~ ~ ~ ~ ~ ~ 2 . . . . . . . . . . . . . . . . 0 . 4 7 0 9. 2 6 7 7l i g h t i n g c o n d i t i o n s . D u r i n g t h e e x t r i n s i c c a m e r a c a l i b r a t i o n , 3 0 . 5 2 8 7 0 . 3 1 8 0t h e l i g h t s i n t h e a c q u i s i t i o n r o o m a r e t u r n e d o f f t o i m p r o v e 4 0 . 4 9 0 3 0 . 2 8 0 4v i s i b i l i t y o f t h e LED c a l i b r a t i o n s t i c k . T h e l e v e l o f e x p o s u r e 5 0 . 4 6 8 1 0 . 2 5 4 0o f t h e c a m e r a i s a l s o r e d u c e d a s m u c h a s p o s s i b l e i n o r d e r t o 6 0 . 3 4 7 4 0 . 1 9 9 1p r e v e n t m o t i o n b l u r . I t a l s o h e l p s t o c o m p e n s a t e i f t h e r o o m 7 0 . 4 2 8 4 0 . 2 1 6 4i s n o t c o m p l e t e l y d a r k . A l l C a m e r a s 0 . 4 1 2 6 0 . 2 3 7 4B . Q u a n t i t a t i v e A n a l y s i s C . Q u a l i t a t i v e A n a l y s i s

T h e p r o p o s e d c a l i b r a t i o n m e t h o d m e e t s t h e p r e d e f i n e dT h e a v e r a g e r e p r o j e c t i o n e r r o r i s u s e d a s a r e f e r e n c e t o p pe v a l u a t e t h e a c c u r a c y o f t h e c a l i b r a t i o n . A ne w s e t o f v i r t u a l r e q u i r e m e n t s f r o m s e c t i o n I I . T h i s m e t h o d i s e a s y - t o - u s e a s i t3D p o i n t s i s c a l c u l a t e d b y p e r f o r m i n g l i n e a r t r i a n g u l a t i o n o f r e q u i r e s v e r y f e w human m a n i p u l a t i o n s . I n d e e d , w a v i n g anew i m a g e m a t c h e s .V i r t u a l .p o i n t s are reprLED c a l i b r a t i o n s t i c k r a n d o m l y i n t h e w o r k i n g v o l u m e i sne w i m a g e m a t c h e s . V i r t u a l 3D p o i n t s a r e r e p r o j e c t e d o ne v e r y i m a g e p l a n e . E u c l i d i a n d i s t a n c e s b e t w e e n r e p r o j e c t e d s i m p l e r a n d f a s t e r t h a n h a v i n g t o p e r f o r m p r e c i s e,, . ,, , ., ~ ~ ~ ~ ~ m e a s u r e m e n t s i n 3D s p a c e . E x c e l l e n t c o v e ra g e o f t h ep o i n t s a n d t h e o r i g i n a l l y m e a s u r e d p i x e l p o s i t i o n s a r ec o m p u t e d a n d a v e r a g e d . T h e s e l e c t i o n o f a ne w d a t a b a s e o f w o r k i n g v o l u m e i s e a s i l y a c h i e v e d w i t h no c o p l a n a r i t y, , . . ~ ~ ~ ~ ~ ~ ~ c o n c e r n s , a s s h o w n i n F i . 3 , w h e r e b l a c k d o t s c o r r e s p o n d t op o i n t s e n s u r e s t h a t t h e e x t r i n s i c p a r a m e t e r s w e r e n o t g ,o v e r f i t t e d w i t h r e s p e c t t o t h e o r i g i n a l d a t a b a s e o f m a t c h e s c a l i b r a t i o n p o i n t s . T h e c o m p a c t n e s s o f t h e c a l i b r a t i o n t a r g e tu s e d f o r c a l i b r a t i o n p a r a m e t e r s e s t i m a t i o n [ 4 ] . a l l o w s t h e c a l i b r a t i o n t o b e p e r f o r m e d i n a n o n - e m p t yT a b l e 1 s h o w s t h e r e s u l t s o f m u l t i p l e c a l i b r a t i o n w o r k i n g v o l u m e ( F i g . 4 a ) . T h e c a l i b r a t i o n r e s u l t s a l s o r e m a i ne x p e r i m e n t s u s i n g n e t w o r k s c o m p o s e d o f 3 t o 8 c a m e r a s . T h e v e r y a c c u r a t e w i t h t h e i n c r e a s e i n t h e n u m b e r o f c a m e r a s ,f i r s t t w o c o l u m n s p r e s e n t a c o m p a r i s o n o f t h e a v e r a g e w h i c h m a k e s t h e p r o p o s e d m e t h o d s c a l a b l e . T h i s c a l i b r a t i o nr e p r o j e c t i o n e r r o r b e f o r e a n d a f t e r t h e b u n d l e a d j u s t m e n t p r o c e d u r e may b e a p p l i e d t o s m a l l o r l a r g e w o r k i n g v o l u m e s

stage. Inthelstcolumn,ane s e t o f v i r t u a l D p o i n t s were w i t h v e r y f e w m o d i f i c a t i o n s t o t h e c a l i b r a t i o n t a r g e t . F i n a l l y ,s t a g e . I n t h e l a s t c o l u m n , a ne w s e t O f v i r t u a l 3 D p o i n t s w e r eu s e d t o v e r i f y c a s e s o d a t a o v e r f i t t i n g . F r o m t h e s e r e , t h e p r o c e d u r e i m p o s e s v e r y m i n i m a l c o n s t r a i n t s t o t h eu s e d t o v e r i f y c a s e s O f d a t a o v e r f i t t i n g . F r o m t h e s e r e s u l t s , . _ . _ _* 1 1 * * 1 r 1 ^ ~ ~ ~ c a m e r a p o s i t i o n i n g , a s l o n g a s e n o u g h c a m e r a o v e r l a p i swe c a n n o t i c e t h a t t h e a v e r a g e r e p r o j e c t i o n e r r o r , b e f o r e t h e . . 'b u n d l e ~ ~ ~dutet i s une 4iesfr a l l c n f i g r a t o n p r o v i d e d . F i g . 3 s h o w s a c o m p l e x c a l i b r a t e d c a m e r ac o t i n n 3 t o 8 ] c m r s H o e r , t h s r e u t , e d t c o n f i g u r a t i o n w h e r e s o m e c a m e r a p a i r s h a v e v e r y l a r g eflcut c o s d eal b e t w e e n . exeimns A f t r t h b u n d l b a s e l i n e s a n d o t h e r s h a v e much s m a l l e r o n e s ( i e . t h e t w ov e r t i c a l t o p - v i e w c a m e r a s ) .

7/30/2019 2DA22AD6d01

6/6

AC K NO WLED G M E N T ST h i s w o r k w a s p a r t i a l l y s u p p o r t e d b y t h e N a t ur a l S c i e n c e sa n d E n g i n e e r i n g R e se a rc h C ou nc i l o f C a na d a.

REFERENCES[ 1 ] F . C a i l l e t t e , R e a l - T i m e M a r k e r l e s s 3 - D Human B o d y T r a c k i n g , P h . D*fiWe jt-2 a .4 9 X 6 - i T h e s i s , U n i v e r s i t y o f M a n c h e s t e r , 2 0 0 6 .X~ r~fr i * . f f i > -[2] S . D r o u i n , R . P o u l i n , P . H e b e r t a n d M . P a r i z e a u , " M o n i t o r i n gF l e x i b l e C a l i b r a t i o n o f a W i d e A r e a S y s t e m o f S y n c h r o n i z e dC a m e r a s " , I n P r o c . o f t h e 1 6 t h I n t e r n a t i o n a l C o n f e r e n c e o n V i s i o nI n t e r f a c e , p p . 4 9 - 5 6 , H a l i f a x , J u ne 2 00 3 .[ 3 ] p . R a n d e r , A M u l t i - C a m e r a M e t h o d f o r 3D D i g i t i z a t i o n o f D y n a m i c ,R e a l - W o r l d E v e n t s , PhD T h e s i s , R o b o t i c s I n s t i t u t e , C a r n e g i e M e l l o nU n i v e r s i t y , May 1 9 9 8 .F i g . 3 . A m o d e l o f t h e f u l l c a l i b r a t i o n s h o w i n g t h e p o s i t i o n a n d o r i e n t a t i o n o f [ 4 ] X . C h e n , J . D a v i s , P . S l u s a l l e k , " W i d e A r e a C a m e r a C a l i b r a t i o na l l c a m e r a s , w i t h t h e r e f e r e n c e c a m e r a i n r e d , a n d a l l 3D c a l i b r a t i o n p o i n t s . U s i n g V i r t u a l C a l i b r a t i o n O b j e c t s " , I n P r o c . o f t h e IEEE C o n f e r e n c eo n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , v o l . 2 , p p . 5 2 0 - 5 2 7 ,D . A p p l i c a t i o n s 2 0 0 0 .[ 5 ] I . I h r k e , L . A h r e n b e r g , M . M a g n o r , " E x t e r n a l c a m e r a c a l i b r a t i o n f o rs y n c h r o n i z e d m u l t i - v i d e o s y s t e m s " , I n P ro c . o f t h e I n t e r n a t i o n a lTo d e m o n s t r a t e ho w t h e p r o p o s e d c a l i b r a t i o n s c h e m e c a n C o n f e r e n c e i n C e n t r a l E u r o p e o n C o m p u t e r G r a p h i c s , V i s u a l i z a t i o n

b e u s e d i n r e a l 3D c o m p u t e r v i s i o n a p p l i c a t i o n s , F i g . 4 s h o w s a n d C o m p u t e r V i s i o n ( W S C G ' 0 4 ) , P l z e n , p p . 5 3 7 - 5 4 4 , F e b r u a r ya n e x a m p l e o f a 7 - v i e w s h a p e - f r o m - s i l h o u e t t e r e c o n s t r u c t i o n . 2 0 0 4 .A M i x t u r e o f G a u s s i a n i m p l e m e n t a t i o n [ 1 9 ] w as u s e d t o [ 6 ] T . S v o b o d a , D . M a r t i n e c , T . P a j d l a , "A c o n v e n i e n t M u l t i - C a m e r aS e l f - C a l i b r a t i o n f o r V i r t u a l E n v i r o n m e n t s " , I n P r e s e n c e :s e g m e n t t h e h u m a n s i l h o u e t t e f r o m t h e b a c k g r o u n d i n e v e r y T e l e o p e r a t o r s a n d V i r t u a l E n v i r o n m e n t s , v o l . 1 4 , n o . 4 , A u g u s t 2 0 0 5 .v i e w . F i g . 4 a s h o w s a n u n d i s t o r t e d f r a m e f r o m o n e o f t h e 7 [ 7 ] B . T r i g g s , P . M c L a u c h l a n , R . H a r t l e y , A . F i t z g i b b o n , " B u n d l ev i e w s . F i g . 4 b i l l u s t r a t e s two v i e w s o f t h e r e c o n s t r u c t e d A d j u s t m e n t : A M o d e r n S y n t h e s i s " , V i s i o n A l g o r i t h m s : T h e o r y a n ds u b j e c t u s i n g a 6 4 3 v o x e l s m o d e l . T h e a c c u r a c y o f t h e camera P r a c t i c e , L N C S , v o l . 1 8 8 3 , p p . 2 9 8 - 3 7 2 , S p r i n g e r - V e r l a g , 2 0 0 0 .subject using a 64. voxels model. The accuracy,ofthe camera [ 8 ] J . H e i k k i l a , " G e o m e t r i c camera c a l i b r a t i o n u s i n g c i r c u l a r c o n t r o lc a l i b r a t i o n a n d t h e c o m p l e m e n t a r i t y b e t w e e n v i e w s a l l o w t h e p o i n t s " , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e ,s u c c e s s f u l r e c o n s t r u c t i o n o f t h e h u m a n b o d y i n s u c h a v o l . 2 2 , n o . 1 0 , p p . 1 0 6 6 - 1 0 7 7 , O c t o b e r 2 0 0 0 .c o m p l e x p o s i t i o n w h e r e many c a s e s o f s e l f - o c c l u s i o n o c c u r . [ 9 ] R . Y . T s a i , " A V e r s a t i l e C a m e r a C a l i b r a t i o n T e c h n i q u e f o r H i g h -A c c u r a c y 3D M a c h i n e V i s i o n M e t r ol o g y U si n g O f f - t h e - S h e l f TVC a m e r a s a n d L e n s e s " , IEEE J o u r n a l o f R o b o t i c s a n d A u t o m a t i o n , v o l .3 , n o . 4 , p p . 3 2 3 - 3 4 4 , A u g u s t 1 9 8 7 .[ 1 0 ] Z . Z h a n g , "A F l e x i b l e N e w T e c h n i q u e f o r C a m e r a C a l i b r a t i o n " , IEEET r a n s . on P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 2 , n o . 1 ,p p . 1 3 3 0 - 1 3 3 4 , N o v e m b e r 2 0 0 0 .[ 1 1 ] O p e n C o m p u t e r V i s i o n L i b r a r y , r e l e a s e 1 . 0 , N o v e m b e r 2 0 0 6 ,h t t p : 1 1 s o u r c e f o r g e . n e t l p r o j e c t s l o p e n c v l i b r a r y .[ 1 2 ] M . F i s c h l e r , R . B o l l e s , " R a n d o m s a m p l e c o n s e n s u s : A p a r a d i g m f o rm o d e l f i t t i n g w i t h a p p l i c a t i o n s t o i m a g e a n a l y s i s a n d a u t o m a t e d( a ) ~ ~ ~ ~ ~ ~ ~ ( b ) c a r t o g r a p h y " , C o m u n i c a t i o n s o f t h e A C M V 4 v o l . 2 4 , n o . 6 , J u n e 1 9 8 1 .F i g . 4 . E x a m p l e o f a 7 - v i e w s h a p e - f r o m - s i l h o u e t t e 3D r e c o n s t r u c t i o n . [ 1 3 ] R . H a r t l e y a n d A . Z i s s e r m a n , M u l t i p l e V i e w G e o m e t r y i n C o m p u t e r( a ) A f r a m e o f v i d e o f r o m a l a t e r a l c a m e r a v i e w . V i s i o n , C a m b r i d g e U n i v e r s i t y P r e s s , C a m b r i d g e , UK, 2 0 0 0 .( b ) T h e r e c o n s t r u c t e d 3D m o d e l a t a 6 4 3 v o x e l r e s o l u t i o n . [ 1 4 ] 0 . F a ug era s, Q - T . L uo n g, T he G e o m e t r y o f M u l t i p l e I m a g e s , T h eM I T P r e s s , 2 0 0 1 .V . CONCLUSION [ 1 5 ] R . I . H a r t l e y , P . S t u r m , " T r i a n g u l a t i o n " , C o m p u t e r V i s i o n a n d I m a g eU n d e r s t a n d i n g , v o l . 6 8 , n o . 2 , p p . 1 4 6 - 1 5 7 , N o v e m b e r 1 9 9 7 .[ 1 6 ] S . S k i e n a , M . R e v i l l a , P r o g r a m m i n g C h a l l e n g e s : T h e P r o g r a m m i n gA f l e x i b l e p r o c e d u r e t o a c h i e v e f u l l c a l i b r a t i o n o f a m u l t i - C o n s t e s t T r a i n i n g M a n u a l , S p r i n g e r - V e r l a g , N e w Y o r k 2 0 0 3 .c a m e r a n e t w o r k h a s b e e n p r e s e n t e d . E x p e r i m e n t a l r e s u l t s [ 1 7 ] M . L o u r a k i s , A . A r g y r o s , " A G e n e r i c S p a r s e B u n d l e A d j u s t m e n td e m o n s t r a t e d t h a t t h e u s e o f a w e i g h t e d g r a p h a n a l y s i s i s C / C + + P a c k a g e B a s e d o n t h e L e v e n b e r g M a r q u a r d t A l g o r i t h m " ,v e r s i o n 1 . 3 , h t t p : / / w w w . i c s . f o r t h . g r / ~ l o u r a k i s / s b a , 2 0 0 6 .v e r y r o b u s t a n d p r o v i d e s a c c u r a t e c a l i b r a t i o n e s t i m a t e s b e f o r e veso 1.,h1:/w.isot.r-orkssa 06[ 1 8 ] M . L o u r a k i s , A . A r g y r o s , " T h e D e s i g n a n d I m p l e m e n t a t i o n o f aa n d a f t e r t h e b u n d l e a d j u s t m e n t . O v e r a l l , a r e p r o j e c t i o n G e n e r i c S p a r s e B u n d l e A d j u s t m e n t S o f t w a r e P a c k a g e B as e d o n t h ea c c u r a c y o f u p t o 1 / 2 p i x e l i s a c h i e v e d f o r n e t w o r k s c o n t a i n i n g L e v e n b e r g - M a r q u a r d t A l g o r i t h m " , I n s t i t u t e o f C o m p u t e r S c i e n c e ,a s m u c h a s 8 c a m e r a s . T h i s a p p r o a c h a l s o m e e t s a l l p r e - F o r t h , T e c h n i c a l R e p o r t 3 4 0 , A u g u s t 2 0 0 4 .o f s c a l a b i l i t y a n d e a s e - o f - u s e [ 1 9 ] M . C o t , P . P a y e u r , G . C o m e a u , " C o m p a r a t i v e S t u d y o f A d a p t i v ee s t a b l i s h e d requirements I m a g e S e g m e n t a t i o n T e c h n i q u e s f o r G e s t u r e A n a l y s i s i nr e q u i r e d b y n o n - e x p e r t u s e r s . F u t u r e w o r k w i l l i n c l u d e U n c o n s t r a i n e d E n v i r o n m e n t s " , I n P r o c . o f t h e I E E E I n t e r n a t i o n a lg a t h e r i n g i m a g e m a t c h e s u s i n g s e l f - c a l i b r a t i o n , b y u s i n g W o r k s h o p o n I m a g i n g S y s t e m s a n d T e c h n i q u e s , p p . 2 8 - 3 3 , M i n o r i ,s c e n e f e a t u r e s i n s t e a d o f a r t i f i c i a l l y c r e a t e d ( t a r g e t - b a s e d ) I t a l y , 2 0 0 6 .f e a t u r e s .