t eam 2 e pipolargeometrie t riangulierung o pen cv lisa blum - kathrin kunze - michael kreil
TRANSCRIPT
![Page 1: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/1.jpg)
TEAM 2
EPIPOLARGEOMETRIE
TRIANGULIERUNG
OPENCV
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 2: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/2.jpg)
EPIPOLARGEOMETRIE
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 3: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/3.jpg)
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 4: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/4.jpg)
Korrespondierende Punkte
- Gegeben:2D-Positionen der gefundenen Lichtquellen im Bild der ersten Kamera
- Ziel:Korrespondierende 2D-Punkte im Bild der zweiten Kamera finden
- Lösungsansatz:Epipolargeometrie
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 5: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/5.jpg)
• W: ein beliebiger Punkt in der Welt
• p, q: Abbildungen des Weltpunktes auf die Bildebenen
• : Brennpunkte der Kameras
• : Epipole
• : Epipolarlinien
• t: Translation
• R: Rotation
Epipolargeometrie
21,EE
21, ll
21,CC
Lisa Blum - Kathrin Kunze - Michael Kreil
21,BB
![Page 6: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/6.jpg)
Die Epipolarbedingung
- Bedingung:Der zu p korrespondierende Punkt q muss auf der Epipolarlinie im zweiten Bild liegen
- Nutzen:Der Suchbereich, in dem diekorrespondierende Lichtquellegesucht wird, ist aufeine Linie reduziert
2l
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 7: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/7.jpg)
Die Essential Matrix
- Epipolar-Bedingung:
- Essential Matrix
mit Kreuzproduktmatrix
- Die Essential Matrix E mappt einen Bildpunkt auf seine epipolare Linie im zweiten Bild: iT pEl ~
2
0
0
0
][
12
13
23
tt
tt
tt
t x
xtRE ][
0~~ iiT pEq
ip~
2l
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 8: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/8.jpg)
Die Fundamental Matrix- Bisher: Zusammenhänge in Bildkoordinaten- Gesucht: Zusammenhänge in Pixelkoordinaten
- Umwandlung von Bild- in Pixelkoordinaten: ,wobei K die intrinsischen Kameraparameter enthält
- Epipolarbedingung unter Verwendung von Pixelkoordinaten
- Fundamental Matrix
- Die Fundamental Matrix F mappt einen Punkt auf seine epipolare Linie im zweiten Bild:
ip pKp ~~
0~))((~ 11 pTpT pKEKq
11)( KEKF T
pT pFl ~2
pp~
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 9: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/9.jpg)
VIELEN DANK
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 10: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/10.jpg)
TRIANGULIERUNG
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 11: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/11.jpg)
8-Punkte-Algorithmus
- Gesucht: F- Gegeben: (min.) 8 korrespondierende Punktepaare
- (min.) 8 Gleichungen der Form
werden umgeschrieben in die Form
- Gleichung nur lösbar, wenn Rang(A)=8- Rauschen Rang(A)=9 Gleichung nicht lösbar
0~~
pT
pFqp
i
33
12
11
9 und mit 0
f
...
f
f
fIRAfA N
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 12: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/12.jpg)
8-Punkte-Algorithmus- f liegt im Nullraum von A- Vorgehen
- SVD(A) = - - Setze
- SVD(F)= - Setze
- Setze
-
TVU 09
09
TFFF VU
03
TFF VUF
000
00
00
2
1
~
2pT pFl
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 13: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/13.jpg)
8-Punkte-Algorithmus
- Problem: Numerische Instabilität des Algorithmus- resultierend aus großer Varianz der Einträge in A
- Verbesserte 8-Punkte-Algorithmus durch Normalisieren der korrespondierenden Punkte- Ursprung in Schwerpunkt der feature-Punkte
verschieben- feature-Punkte skalieren, so dass Wurzel(2) mittlere
Norm
max. Stabilität
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 14: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/14.jpg)
Triangulierung
- Gegeben: korrespondierende Punkte
- Gesucht: 3D-Punkt in der Welt
y
xi
y
xi
q
p
pp und
yy qp
bwFd z /
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 15: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/15.jpg)
Triangulierung
- 3D-Koordinate des Weltpunktes:
yz
y
xz
x
z
pF
ww
pF
ww
bd
Fw
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 16: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/16.jpg)
Triangulierung
- Problem: Projektion
Idee: Reprojektionsfehler minimieren
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 17: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/17.jpg)
VIELEN DANK
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 18: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/18.jpg)
OPENCV
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 19: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/19.jpg)
Was ist das?
- C++ Bibliothek
- Intel-Entwicklung
- Basiert auf IPL
(Intel Image Processing Library)
- Open Source
- Optimiert für Intelprozessoren
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 20: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/20.jpg)
Datenstrukturen
Bilder- 1, 2, 3, ... Kanäle- 8, 16, 32 Bit Integer- 32 und 64 Bit Float- B/W, Graustufen, RGB, RGBA, LUV,
XYZ, YCrCb, HSV, CMY, CMYK, YCC
Felder, Matrizen, Vektoren, Graphen
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 21: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/21.jpg)
Filter
- Kalmann- Sobel- Convolution- Dilatation, Erosion, Öffnen, Schließen- Distanz- Schwellwert (auch adaptiv)- Median- Max, Min
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 22: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/22.jpg)
weitere Funktionen
- Linien, Rechtecke, Kreise, Ellipsen(auch antialiased)
- Histogramm- Hough- und Gauß-Laplace-Transformation- Kamerakalibrierung und Linsenentzerrung- Approximation durch Geraden, Polygone,
Kurven, Ellipsen, konvexe Hüllen- Konturen, Objekt-, Bewegung-,
Gestikerkennung
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 23: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/23.jpg)
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 24: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/24.jpg)
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 25: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/25.jpg)
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 26: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/26.jpg)
http://www.intel.com/technology/computing/opencv/
![Page 27: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/27.jpg)
http://sourceforge.net/projects/opencvlibrary/
![Page 28: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/28.jpg)
VIELEN DANK
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 29: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/29.jpg)
Input
1 2 3
1 2 3
1 2 3
n
n
n
x x x x
y y y y
l l l l
0
0 0 1
x x
y y
K s H
K K H
3n Matrix mit n Koordinaten und Helligkeitswerten
Intrinsische Kameraparameter
HDR-Bild der 2. Kamera
x
y
FK
dxF
Kdy
Lisa Blum - Kathrin Kunze - Michael Kreil
![Page 30: T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil](https://reader034.vdocuments.pub/reader034/viewer/2022051615/55204d8449795902118d8be9/html5/thumbnails/30.jpg)
Output
1 2 3
1 2 3
1 2 3
1 2 3
n
n
n
n
x x x x
y y y y
z z z z
l l l l
4n Matrix mit n Koordinaten und Helligkeitswerten
Lisa Blum - Kathrin Kunze - Michael Kreil