sujets spÉciaux en informatique i pif-6003. perception 3d de lenvironnement dune caméra u...
Post on 04-Apr-2015
104 Views
Preview:
TRANSCRIPT
SUJETS SPÉCIAUX EN INFORMATIQUE I
PIF-6003
Perception 3D de l’environnement d’une caméra
Projection 2D/3D suite … Vision stéréo Orientation à partir de l’image d’une ellipse
Projection 2D/3D suite ….
1100
0
987
654
321
0
0
Z
Y
X
trrr
trrr
trrr
v
u
s
sv
su
z
y
x
Pixel 2DImage
Paramètresintrinsèquesde la caméra
Paramètresextrinsèques
Points 3D(mm)
Projection 2D/3D suite ….
1
100
0
1
34333231
24232221
14131211
987
654
321
0
0
34333231
24232221
14131211
Z
Y
X
mmmm
mmmm
mmmm
s
sv
su
trrr
trrr
trrr
v
u
mmmm
mmmm
mmmm
M
Z
Y
X
M
s
sv
su
z
y
x
• L’étalonnage consiste donc à trouver la matrice M
Projection 2D/3D suite ….
0
0
1
2434333231232221
1434333231131211
34333231
24232221
14131211
34333231
24232221
14131211
mvmvZmvYmvXmZmYmXm
mumuZmuYmuXmZmYmXm
mZmYmXms
mZmYmXmsv
mZmYmXmsu
Z
Y
X
mmmm
mmmm
mmmm
s
sv
su
Équations d’étalonnage
Projection 2D/3D suite ….
2D
3D
Projection 2D/3D suite …. (patron de calibration)
2D
3D
Positionnement du patron de calibration qui peut être un damier placé dans le plan du monde X,Y, 0
Projection 2D/3D suite …. (patron de calibration)
Projection 2D/3D suite ….
u, v coordonnées image
Projection 2D/3D suite ….
Équations de deux plans Plan 1: a1 x + b1 y + c1 z + d1
Plan 2: a2 x + b2 y + c2 z + d2
Projection 2D/3D suite ….
Intersections:• Plans u et vdonne une droite• Plans u, v et z=0 donne un point
Projection 2D/3D suite ….
Projection 2D/3D suite ….
• Équation donnant l’intersection des plans u, v et z=0
Projection 2D/3D
• Pour un point u,v donné dans une image, vous trouvezsa position 3D sur le plancher Xw, Yw, Zw (mm)
Projection 2D/3D
r
3P1 P3
P2
Projection 2D/3D (centre de la sphère)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Le point P1 est déterminé par l’équation (voir
l’équation donnant Pw) donnant la coordonnée de la projection du point p1 dans l’image
– Calculer le vecteur V reliant les points P1 et P2
– Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer le vecteur V reliant les points P1 et P2
V = (Vx, Vy, Vz) = (b1c2-c1b2, c1a2-a1c2, a1b2-b1a2)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de la droite
z
y
x
uVzz
uVyy
uVxx
1
1
1
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de la sphère centrée à P3
223
23
23 )()()( rzzyyxx
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la
solution de:
2
13131321
21
21
23
23
313131
222
2
)(2
)()()(2
0
rzzyyxxzyxyxc
zzVyyVxxVb
VVVa
cbuau
zyx
zyx
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la
solution … Si b2-4ac = 0 1intersection (tangente) u = -b/2a Si b2-4ac > 0 2 intersections (sol’n => z >0)
Projection 2D/3D
Comment trouver la normale (orientation) de la pupilles ?– Calculer le plan approximant les points 3D de la
pupille zCByAx
Normale
Vision stéréo
La profondeur d’un objet peut être déduite à l’aide de sa projection dans deux images
Les paramètres des caméras requis pour déduire la profondeur d’un objet sont:– La distance latérale (T) entre les deux caméras (base
line)
– La distance focale (f) des caméras
– Le centre de chaque image (cl et cr)
Vision stéréo
• P point dont on veut trouver la position 3D• pl et pr projection de P dans les image gauche et droite• cl et cr centre des images gauche et droite• T la largeur entre les deux caméras• Z la profondeur du point P
Vision stéréo
lr
rl
xxdd
TfZ
Z
T
fZ
xxT
Disparité latérale
Profondeur du point P
Vision stéréo
Comment trouver la correspondance en les projections pl et pr
Image L Image R
Vision stéréo
Une approche possible pour la mise en correspondance des projection pl et pr est la corrélation
Approche SSD: Sum ofSquare Difference
La disparité de pl est le vecteur: qui maximise c(d) sur la région R(pl)
Orientation à partir de l’image d’une ellipse
La projection d’un cercle est une ellipse L’image d’une ellipse forme un cône avec comme
extrémité le centre de projection Nous pouvons trouver l’orientation du plan
contenant le cercle (base du cône) en effectuant des rotations de la caméra tel que l’intersection du cône avec le plan image devienne un cercle
Orientation à partir de l’image d’une ellipse
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Déterminer l’équation du cône à partir de l’équation de l’ellipse projetée dans le plan image
Équation de l’ellipse
Équation du cône
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Une première rotation consiste à passer du système de coordonnées OXYZ au système de coordonnées OX’Y’Z’
– Consiste à diagonaliser la matrice C
– Si 1, 2, 3 (1< 2,<3 ) sont les valeurs propres de C avec e1, e2, e3 les vecteurs propres
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Une seconde rotation consiste à imposer l’égalité des coefficients a et b de l’équation du cône résultant en une rotation autour de l’axe Y’ de l’angle:
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– La rotation globale est donc R = R1 R2
– La normale du plan contenant le cercle (orientation du cercle)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle (algorithme)
– Calculer les valeurs propres 1, 2, 3 (1< 2,<3 ) de C et les vecteurs propres e1, e2, e3
– Calculer les deux valeurs de
– Calculer la matrice de rotation R
– Calculer la normale du plan contenant le cercle (orientation du cercle)
Résumé
Perception 3D de l’environnement d’une caméra– Projection 2D/3D
– Vision stéréo
– Orientation à partir de l’image d’une ellipse
top related