![Page 1: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/1.jpg)
SUJETS SPÉCIAUX EN INFORMATIQUE I
PIF-6003
![Page 2: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/2.jpg)
Perception 3D de l’environnement d’une caméra
Projection 2D/3D suite … Vision stéréo Orientation à partir de l’image d’une ellipse
![Page 3: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/3.jpg)
Projection 2D/3D suite ….
1100
0
987
654
321
0
0
Z
Y
X
trrr
trrr
trrr
v
u
s
sv
su
z
y
x
Pixel 2DImage
Paramètresintrinsèquesde la caméra
Paramètresextrinsèques
Points 3D(mm)
![Page 4: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/4.jpg)
Projection 2D/3D suite ….
1
100
0
1
34333231
24232221
14131211
987
654
321
0
0
34333231
24232221
14131211
Z
Y
X
mmmm
mmmm
mmmm
s
sv
su
trrr
trrr
trrr
v
u
mmmm
mmmm
mmmm
M
Z
Y
X
M
s
sv
su
z
y
x
• L’étalonnage consiste donc à trouver la matrice M
![Page 5: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/5.jpg)
Projection 2D/3D suite ….
0
0
1
2434333231232221
1434333231131211
34333231
24232221
14131211
34333231
24232221
14131211
mvmvZmvYmvXmZmYmXm
mumuZmuYmuXmZmYmXm
mZmYmXms
mZmYmXmsv
mZmYmXmsu
Z
Y
X
mmmm
mmmm
mmmm
s
sv
su
Équations d’étalonnage
![Page 6: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/6.jpg)
Projection 2D/3D suite ….
2D
3D
![Page 7: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/7.jpg)
Projection 2D/3D suite …. (patron de calibration)
2D
3D
Positionnement du patron de calibration qui peut être un damier placé dans le plan du monde X,Y, 0
![Page 8: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/8.jpg)
Projection 2D/3D suite …. (patron de calibration)
![Page 9: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/9.jpg)
Projection 2D/3D suite ….
u, v coordonnées image
![Page 10: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/10.jpg)
Projection 2D/3D suite ….
Équations de deux plans Plan 1: a1 x + b1 y + c1 z + d1
Plan 2: a2 x + b2 y + c2 z + d2
![Page 11: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/11.jpg)
Projection 2D/3D suite ….
Intersections:• Plans u et vdonne une droite• Plans u, v et z=0 donne un point
![Page 12: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/12.jpg)
Projection 2D/3D suite ….
![Page 13: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/13.jpg)
Projection 2D/3D suite ….
• Équation donnant l’intersection des plans u, v et z=0
![Page 14: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/14.jpg)
Projection 2D/3D
• Pour un point u,v donné dans une image, vous trouvezsa position 3D sur le plancher Xw, Yw, Zw (mm)
![Page 15: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/15.jpg)
Projection 2D/3D
r
3P1 P3
P2
![Page 16: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/16.jpg)
Projection 2D/3D (centre de la sphère)
![Page 17: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/17.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Le point P1 est déterminé par l’équation (voir
l’équation donnant Pw) donnant la coordonnée de la projection du point p1 dans l’image
– Calculer le vecteur V reliant les points P1 et P2
– Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3
![Page 18: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/18.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer le vecteur V reliant les points P1 et P2
V = (Vx, Vy, Vz) = (b1c2-c1b2, c1a2-a1c2, a1b2-b1a2)
![Page 19: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/19.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de la droite
z
y
x
uVzz
uVyy
uVxx
1
1
1
![Page 20: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/20.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de la sphère centrée à P3
223
23
23 )()()( rzzyyxx
![Page 21: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/21.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la
solution de:
2
13131321
21
21
23
23
313131
222
2
)(2
)()()(2
0
rzzyyxxzyxyxc
zzVyyVxxVb
VVVa
cbuau
zyx
zyx
![Page 22: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/22.jpg)
Projection 2D/3D
Comment trouver la position 3D des pixels de la pupilles ?– Calculer l’intersection entre la droite passant par P1
et P2 et la sphère de rayon r centrée à la position P3 » Équation de l’intersection correspond à la valeur de u qui est la
solution … Si b2-4ac = 0 1intersection (tangente) u = -b/2a Si b2-4ac > 0 2 intersections (sol’n => z >0)
![Page 23: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/23.jpg)
Projection 2D/3D
Comment trouver la normale (orientation) de la pupilles ?– Calculer le plan approximant les points 3D de la
pupille zCByAx
Normale
![Page 24: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/24.jpg)
Vision stéréo
La profondeur d’un objet peut être déduite à l’aide de sa projection dans deux images
Les paramètres des caméras requis pour déduire la profondeur d’un objet sont:– La distance latérale (T) entre les deux caméras (base
line)
– La distance focale (f) des caméras
– Le centre de chaque image (cl et cr)
![Page 25: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/25.jpg)
Vision stéréo
• P point dont on veut trouver la position 3D• pl et pr projection de P dans les image gauche et droite• cl et cr centre des images gauche et droite• T la largeur entre les deux caméras• Z la profondeur du point P
![Page 26: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/26.jpg)
Vision stéréo
lr
rl
xxdd
TfZ
Z
T
fZ
xxT
Disparité latérale
Profondeur du point P
![Page 27: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/27.jpg)
Vision stéréo
Comment trouver la correspondance en les projections pl et pr
Image L Image R
![Page 28: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/28.jpg)
Vision stéréo
Une approche possible pour la mise en correspondance des projection pl et pr est la corrélation
Approche SSD: Sum ofSquare Difference
La disparité de pl est le vecteur: qui maximise c(d) sur la région R(pl)
![Page 29: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/29.jpg)
Orientation à partir de l’image d’une ellipse
La projection d’un cercle est une ellipse L’image d’une ellipse forme un cône avec comme
extrémité le centre de projection Nous pouvons trouver l’orientation du plan
contenant le cercle (base du cône) en effectuant des rotations de la caméra tel que l’intersection du cône avec le plan image devienne un cercle
![Page 30: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/30.jpg)
Orientation à partir de l’image d’une ellipse
![Page 31: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/31.jpg)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Déterminer l’équation du cône à partir de l’équation de l’ellipse projetée dans le plan image
Équation de l’ellipse
Équation du cône
![Page 32: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/32.jpg)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Une première rotation consiste à passer du système de coordonnées OXYZ au système de coordonnées OX’Y’Z’
– Consiste à diagonaliser la matrice C
– Si 1, 2, 3 (1< 2,<3 ) sont les valeurs propres de C avec e1, e2, e3 les vecteurs propres
![Page 33: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/33.jpg)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– Une seconde rotation consiste à imposer l’égalité des coefficients a et b de l’équation du cône résultant en une rotation autour de l’axe Y’ de l’angle:
![Page 34: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/34.jpg)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle
– La rotation globale est donc R = R1 R2
– La normale du plan contenant le cercle (orientation du cercle)
![Page 35: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/35.jpg)
Orientation à partir de l’image d’une ellipse
Comment calculer ces rotations et ainsi déduire l’orientation du cercle (algorithme)
– Calculer les valeurs propres 1, 2, 3 (1< 2,<3 ) de C et les vecteurs propres e1, e2, e3
– Calculer les deux valeurs de
– Calculer la matrice de rotation R
– Calculer la normale du plan contenant le cercle (orientation du cercle)
![Page 36: SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Perception 3D de lenvironnement dune caméra u Projection 2D/3D suite … u Vision stéréo u Orientation à partir](https://reader035.vdocuments.pub/reader035/viewer/2022062622/551d9db8497959293b8dca4e/html5/thumbnails/36.jpg)
Résumé
Perception 3D de l’environnement d’une caméra– Projection 2D/3D
– Vision stéréo
– Orientation à partir de l’image d’une ellipse