Vortrag Relative OrientierungVortrag Relative Orientierung
VortragVortrag
Vertieferpraktikum PhotogrammetrieVertieferpraktikum Photogrammetrie
SS 2004SS 2004
ThemaThema
Robuste Schätzung von Geometrieparametern: Robuste Schätzung von Geometrieparametern: Relative Orientierung und 3D-Rekonstruktion Relative Orientierung und 3D-Rekonstruktion
von Dirk Beilschmidtvon Dirk Beilschmidt
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EinführungEinführung
Fundamentalmatrix / Essentielle MatrixFundamentalmatrix / Essentielle Matrix
Relative OrientierungRelative Orientierung
3D-Panoramen3D-Panoramen
ÜbersichtÜbersicht
ÜbersichtÜbersicht
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EinführungEinführung
Fundamentalmatrix / Essentielle MatrixFundamentalmatrix / Essentielle Matrix
Relative OrientierungRelative Orientierung
3D Panoramen3D Panoramen
EinführungEinführung
EinführungEinführung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Gegeben : Zwei Bilder mit homologen PunktpaarenGegeben : Zwei Bilder mit homologen Punktpaaren Gesucht : geometrischer Zusammenhänge der beiden Gesucht : geometrischer Zusammenhänge der beiden
BilderBilder
EinführungEinführung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EinführungEinführung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Ziel :Ziel :
EinführungEinführung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EinführungEinführung
Fundamentalmatrix / Essentielle MatrixFundamentalmatrix / Essentielle Matrix
Relative OrientierungRelative Orientierung
3D Panoramen3D Panoramen
FundamentalmatrixFundamentalmatrix
FundamentalmatrixFundamentalmatrix
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Es gilt :Es gilt : Koplanarbedingung durch Spatprodukt :Koplanarbedingung durch Spatprodukt :
Es folgt :Es folgt : BasisBasis RichtungsvektorenRichtungsvektoren
FundamentalmatrixFundamentalmatrix
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
' ' ' '' '' ''[ ] 0O P OO O P
'' '' ''
O Ob OO X X
0 ' ' ' ' 1 ' 1 '( ) ( )x O P R K x 0 '' '' '' '' 1 '' 1 ''( ) ( )x O P R K x
Einsetzung liefert :Einsetzung liefert :
mit der Fundamentalmatrix F und der mit der Fundamentalmatrix F und der schiefsymmetrischen Matrixschiefsymmetrischen Matrix
FundamentalmatrixFundamentalmatrix
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
0 ' 0 ''
0 ' 0 ''
0 ' 0 ''
' ' ' '' 1 '' 1 ''
' ''
[ ] 0
( ) 0
( ) S 0
( ) ( ) ( ) S ( ) ( ) 0
( ) F 0
Tb
T T Tb
T
x b x
x b x
x x
x K R R K x
x x
00
0
Z Y
b Z X
Y X
B BS B B
B B
Vereinfachung bei kalibrierten Kameras : Vereinfachung bei kalibrierten Kameras :
mit der essentieller Matrix E.mit der essentieller Matrix E.
FundamentalmatrixFundamentalmatrix
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
' ' '' 1 ''
' ''
( ) ( ) S ( ) 0
( ) E 0
T Tb
T
m R R m
m m
FundamentalmatrixFundamentalmatrix
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Direkte Lösung für FDirekte Lösung für F''
11 12 13' '' ' ' ''
21 22 23
31 32 33
11
21
31
12'' ' '' ' '' '' ' '' ' '' ' '
22
32
13
23
33
0 ( , ,1)1
( , , , , , , , ,1) 0 für
nTn n n n n
n n n n n n n n n n n n
F F F xx F x x y F F F y
F F F
FFFF
x x x y x y x y y y x y FFFFF
1,..,
0 Lösbar durch Singulärwertzerlegung
n N
A f
EinführungEinführung
Fundamentalmatrix / Essentielle MatrixFundamentalmatrix / Essentielle Matrix
Relative OrientierungRelative Orientierung
3D Panoramen3D Panoramen
Relative OrientierungRelative Orientierung
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Parameter :Parameter : Basis BBasis B RotationRotation
D.h. erste Kamera fest und RO gleich der D.h. erste Kamera fest und RO gleich der Raumlage der zweiten Kamera.Raumlage der zweiten Kamera.
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Allgemeine Parametrisierung des Allgemeine Parametrisierung des FolgebildanschlussesFolgebildanschlusses
''R R
' '' ' ''( ) S 0 ( ) E 0T T Tbm R m m m
1b
Gegeben :Gegeben : Gesucht :Gesucht : Lösung durch Hartley/Zisserman Algorithmus :Lösung durch Hartley/Zisserman Algorithmus :
Singulärwertzerlegung :Singulärwertzerlegung : Hilfsmatrizen :Hilfsmatrizen :
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Orientierungsparameter aus der Orientierungsparameter aus der essentiellen Matrix bestimmenessentiellen Matrix bestimmen
1 , wobei und det 1T TBE S R R R R
,BS R
TE=U V
0 1 0 0 1 01 0 0 , 1 0 0
0 0 0 0 0 1Z W
und oder T T T T T TBS UZU R UWV R UW V
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Geometrische Lösung für zwei Geometrische Lösung für zwei RaumstrahlenRaumstrahlen
Gegeben : zwei Raumstrahlen f und gGegeben : zwei Raumstrahlen f und gGesucht : Punkt mit kürzesten Abstand zuGesucht : Punkt mit kürzesten Abstand zu
beiden Strahlenbeiden Strahlen
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Geometrische Lösung für zwei Geometrische Lösung für zwei RaumstrahlenRaumstrahlen
Gegeben : zwei Raumstrahlen f und gGegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand Gesucht : Punkt mit kürzesten Abstand
zu beiden Strahlenzu beiden Strahlen Vorgehensweise :Vorgehensweise :
Orthogonalitätsbedingung :Orthogonalitätsbedingung :
' ''' ' '' ''
O
' ' '' ''
Sei , X , , , dann ist
und die Punktrichtungsform der beiden Raumstrahlen.
T TO
p X q r R m s R m
f O P p r g O P q s
( ) 0 ( ) 0( ) 0 ( ) 0f g r f g sp r q s r p r q s s
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Problem : Vier mögliche Lösungen für EProblem : Vier mögliche Lösungen für E Lösung : Nimm die Möglichkeit, bei der so viele Lösung : Nimm die Möglichkeit, bei der so viele
Punkte wie möglich vor der Kamera liegen, d.h. Punkte wie möglich vor der Kamera liegen, d.h. z>0 ist.z>0 ist.
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
QuellcodeausschnittQuellcodeausschnitt
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
ProblemeProbleme
SIFT-Matchings enthalten noch viele falsch SIFT-Matchings enthalten noch viele falsch zugeordnete Punktpaarezugeordnete Punktpaare
Schon wenige Fehlzuordnungen führen zu Schon wenige Fehlzuordnungen führen zu großen Abweichungen der relativen großen Abweichungen der relativen OrientierungOrientierung
→ → RANSAC Verfahren für eine robuste SchätzungRANSAC Verfahren für eine robuste Schätzung
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
RANSAC Verfahren für die relative RANSAC Verfahren für die relative OrientierungOrientierung
Wähle zufällige Mindestanzahl an Punkten für Wähle zufällige Mindestanzahl an Punkten für die Berechnung der rel. Orientierungdie Berechnung der rel. Orientierung
Prüfe die Qualität des Ergebnisses anhand der Prüfe die Qualität des Ergebnisses anhand der anderen Punkteanderen Punkte
höre nach einer bestimmten Anzahl an höre nach einer bestimmten Anzahl an Iterationen auf und wähle das bis dahin beste Iterationen auf und wähle das bis dahin beste ErgebnisErgebnis
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Da Fehlerrate unbekannt :Da Fehlerrate unbekannt :→ → ca. 500 Iterationen führen bei PCA-SIFT ca. 500 Iterationen führen bei PCA-SIFT Matching zu stabilen ErgebnissenMatching zu stabilen Ergebnissen
Nicht alle Punkte aus dem SIFT Matching für Nicht alle Punkte aus dem SIFT Matching für Berechnung von E nehmen Berechnung von E nehmen
Auswahlkriterium :Auswahlkriterium : ClosestToNextClosest Verhältnis beachtenClosestToNextClosest Verhältnis beachten
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Vorgehensweise :Vorgehensweise :1.1. Bei Auswahl der Minimalpunkte für E, nehme nur Bei Auswahl der Minimalpunkte für E, nehme nur
zufällige Punkte mit CtNC<0,5zufällige Punkte mit CtNC<0,52.2. Bei Überprüfung der E-Matrix nutze Punkte mit Bei Überprüfung der E-Matrix nutze Punkte mit
CtNC<0,95CtNC<0,95
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Wie gut ist die berechnete Orientierung?Wie gut ist die berechnete Orientierung?→ → Idee : Projiziere die 3D Punktwolke zurück ins Bild und Idee : Projiziere die 3D Punktwolke zurück ins Bild und
überprüfe Abweichungenüberprüfe Abweichungen
1.1. Berechne normierten geometrischen Abstand von Berechne normierten geometrischen Abstand von projizierten und tatsächlichen Punktprojizierten und tatsächlichen Punkt
→ → Verwerfe alle Punkte mit mehr als bestimmter Verwerfe alle Punkte mit mehr als bestimmter AbweichungAbweichung
2.2. Merke dir richtig zugeordnete Punkte für bestes Merke dir richtig zugeordnete Punkte für bestes ErgebnisErgebnis
3.3. Nach allen Iterationen berechne E Matrix erneut mit Nach allen Iterationen berechne E Matrix erneut mit allen richtig zugeordneten Punktenallen richtig zugeordneten Punkten
Qualitätsprüfung der ROQualitätsprüfung der RO
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Essentielle Matrix E, Rotation der zweiten Essentielle Matrix E, Rotation der zweiten Kamera, die Basis und von Fehlern gereinigte Kamera, die Basis und von Fehlern gereinigte homologe Punktpaarehomologe Punktpaare
3D Model :3D Model :
ErgebnisErgebnis
Relative OrientierungRelative Orientierung
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EinführungEinführung
FundamentalmatrixFundamentalmatrix
Relative OrientierungRelative Orientierung
3D Panoramen3D Panoramen
3D Panoramen3D Panoramen
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Bisheriger Stand :Bisheriger Stand :
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Situation : neues Bild soll an 3D Modell angehängt Situation : neues Bild soll an 3D Modell angehängt werdenwerden
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Direct Linear Transformation (DLT)Direct Linear Transformation (DLT)
Gegeben : Gegeben : 3D Objektpunkte3D Objektpunkte Korrespondierende 2D BildpunkteKorrespondierende 2D Bildpunkte
Gesucht : Gesucht : Kalibrierungsmatrix KKalibrierungsmatrix K Rotationsmatrix RRotationsmatrix R äußere und innere Orientierungäußere und innere Orientierung Projektionszentrum XProjektionszentrum X00
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Algorithmus : Algorithmus : 1.1. Es gilt :Es gilt :
2.2. Projektionsmatrix durch Eigenvektor zum kleinsten Projektionsmatrix durch Eigenvektor zum kleinsten Singulärwert berechnenSingulärwert berechnen
3.3. →→→ → QR-Zerlegung von BInv liefert R und K, wobeiQR-Zerlegung von BInv liefert R und K, wobei
Ergebnis durch RANSAC verbesserbarErgebnis durch RANSAC verbesserbar
11 12 13 14 21 22 23 24
31 32 33 34 31 32 33 34
1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
1 0 0 0 00 0 0 0 1
1 0 0 0 00 0 0 0 1
i i i i i ii i
i i i i i i
N N N N N N N N N N
N N N N
p X p Y p Z p p X p Y p Z px yp X p Y p Z p p X p Y p Z p
X Y Z x X x Y x Z xX Y Z y X y Y y Z y
X Y Z x X x Y x Z xX Y Z y X
0
0N N N N N N
p
y X y X y
A p
0 0( | ) ( | ) mit P K R I X B Z B K R Z K R X 1
0X B Z
33
1K KK
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Gegeben :Gegeben : Bild, das im 3D-Model schon vorhanden istBild, das im 3D-Model schon vorhanden ist Bild, das neu ins 3D-Model eingefügt werden sollBild, das neu ins 3D-Model eingefügt werden soll Matching homologer Punkte zwischen den BildernMatching homologer Punkte zwischen den Bildern
Algorithmus :Algorithmus :1.1. Berechne Matching von 3D-Model und erstem BildBerechne Matching von 3D-Model und erstem Bild2.2. Berechne Matching von 3D-Model und zweitem BildBerechne Matching von 3D-Model und zweitem Bild3.3. Bestimme Orientierungen der beiden Kameras durch DLTsBestimme Orientierungen der beiden Kameras durch DLTs4.4. Schneide durch RVS Matchings ins 3D Modell und nimm neue Schneide durch RVS Matchings ins 3D Modell und nimm neue
Punkte mit kleinem Fehler ins 3D Modell aufPunkte mit kleinem Fehler ins 3D Modell auf
3D-Panoramenkonstruktion3D-Panoramenkonstruktion
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
Kameraposition angeben bzw. im Bild Kameraposition angeben bzw. im Bild markierenmarkieren
Relative Orientierung durch Ausgleichung Relative Orientierung durch Ausgleichung verbessern (Kovarianzmatrizen u. ä.)verbessern (Kovarianzmatrizen u. ä.)→ → Besonders Ungenauigkeiten des Besonders Ungenauigkeiten des Vorwärtsschnitts benötigen AusgleichungVorwärtsschnitts benötigen Ausgleichung
PerformanceverbesserungenPerformanceverbesserungen
ErweiterungsmöglichkeitenErweiterungsmöglichkeiten
3D Panoramen3D Panoramen
©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt
EndeEnde