![Page 1: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/1.jpg)
HS – Computer VisionStatische StereoanalyseStatische Stereoanalyse
Daniel StapfDaniel Stapf
09. Januar 200109. Januar 2001
![Page 2: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/2.jpg)
09. Januar 2001 2
Inhalt:
1.1. Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems
2.2. Annahmen und EinschränkungenAnnahmen und Einschränkungen
3.3. Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse
4.4. Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse
5.5. Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras
6.6. ZusammenfassungZusammenfassung
![Page 3: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/3.jpg)
09. Januar 2001 3
Statische Stereoanalyse:• Betrachtung eines Objekts aus zwei Positionen
→ Rückschluß auf Lage des Objekts im 3D-Raum
Voraussetzung:
• keine Objekt- und Kamerabewegung• oder zeitgleiche Aufnahme der beiden Bilder
Verarbeitungsschritte:
• Bildaufnahme• Kameramodellierung• Merkmalsextraktion• Korrespondenzanalyse• Tiefenwertbestimmung
![Page 4: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/4.jpg)
09. Januar 2001 4
GeometrieWiederholung aus Vortrag 1:
p = (x,y) = f*X f*Y Z Z
, , da X x Z f
=
![Page 5: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/5.jpg)
09. Januar 2001 5
GeometrieStandardstereogeometrie:
P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert:
→ plinks = prechts = f*X f*Y Z Z
, f*(X-b) f*Y Z Z
,
![Page 6: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/6.jpg)
09. Januar 2001 6
GeometrieStandardstereogeometrie:Disparität (d):
Euklidscher Abstand zwischen zwei korrespondierendenPunkten plinks(xl,yl) und prechts(xr,yr)
→ d = xlinks – xrechts
d = (xlinks - xrechts)2 + (ylinks - yrechts)2
f*X f*(X-b)xlinks xrechts
→ Z = =
f*(X-b)da xlinks = und xrechts =
f*XZ Z
(*)
![Page 7: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/7.jpg)
09. Januar 2001 7
GeometrieStandardstereogeometrie:
b* xlinksxlinks - xrechts
→ X =
b* fxlinks - xrechts
→ Z =
b* yxlinks - xrechts
→ Y =
→ Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen.
→ Korrespondenzproblem
(Auflösen nach X)
(Einsetzen in (*))
Z* yf
(Y = )
![Page 8: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/8.jpg)
09. Januar 2001 8
Geometrie1. Stereobildaufnahmesystem:
![Page 9: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/9.jpg)
09. Januar 2001 9
GeometrieKoordinatensystem XLYLZL:Rotationsmatrix: cos(θ)cos(θ) 00 sin(θ)sin(θ)
00 11 00-sin(θ)-sin(θ) 00 cos(θ)cos(θ)
Translation: X-½bX-½bYYZZ
cos(θ)cos(θ) 00 sin(θ)sin(θ)00 11 00
-sin(θ)-sin(θ) 00 cos(θ)cos(θ)
X-½bX-½bYYZZ
XXLL
YYLL
ZZLL
=
![Page 10: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/10.jpg)
09. Januar 2001 10
GeometrieAnalog Koordinatensystem XRYRZR:
cos(θ)cos(θ) 00 -sin(θ)-sin(θ)00 11 00
sin(θ)sin(θ) 00 cos(θ)cos(θ)
X+½bX+½bYYZZ
XXRR
YYRR
ZZRR
=
Abbildungen (xLyL) und (xRyR):
xR = = f f * XR
ZR
cos(θθ)*(X + ½b) - sin(θθ)*Zsin(θθ)*(X + ½b) + cos(θθ)*Z
yR = = f f * YR
ZR
Ysin(θθ)*(X + ½b) + cos(θθ)*Z
xL und yL analog
![Page 11: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/11.jpg)
09. Januar 2001 11
GeometrieUmformen der 4 Gleichungen ergibt:
[-xLsin(θθ) – f cos(θ)]* θ)]* XX + + [xLcos(θθ) – f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xLLsin(θ) + ½b f]sin(θ) + ½b f]
[xRsin(θθ) – f cos(θ)]* θ)]* XX + + [xRcos(θθ) + f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xRRsin(θ) - ½b f]sin(θ) - ½b f]
[-[-yL sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yL cos(θθ)]* Z Z = [½b y= [½b yLLsin(θ)]sin(θ)]
[[yR sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yR cos(θθ)]* Z Z = - [½b y= - [½b yRRsin(θ)]sin(θ)]
In Koeffizientenschreibweise:In Koeffizientenschreibweise:
aa11 XX + a + a33 ZZ = a= a00
bb11 XX + b + b33 ZZ = b= b00
cc11 XX + c + c22 YY + c + c33 ZZ = c= c00
dd11 XX + d + d22 YY + d + d33 ZZ = d = d00
Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen
![Page 12: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/12.jpg)
09. Januar 2001 12
GeometrieEpipolare Geometrie:
![Page 13: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/13.jpg)
09. Januar 2001 13
Annahmen und EinschränkungenProblem:
Mehrdeutigkeiten bei der Korrespondenzsuche
Lösung:
Reduzierung der Mehrdeutigkeiten durch
• Geometrische Einschränkungen (resultieren aus der Bildentstehung)
• Einschränkungen durch Objekteigenschaften
→ keine Einschränkung an die Komplexität der Objektgeometrie
![Page 14: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/14.jpg)
09. Januar 2001 14
Annahmen und EinschränkungenGeometrische Einschränkungen:
1. Epipolareinschränkung:
• Punkt im linken Bild, kann nur mit Punkt im rechten
Bild korrespondieren, wenn jener auf Epipolarlinie
liegt
→ Suchraum ist Eindimensional
Problem: Erschütterungsproblematik,
Spezialfall: Standardstereogeometrie (künstliche Objekte)
→ Sicherheitsintervall
Positionierungsgenauigkeit
![Page 15: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/15.jpg)
09. Januar 2001 15
Annahmen und EinschränkungenGeometrische Einschränkungen:
2. Eindeutigkeit der Zuordnung:
• Jedes Pixels eines Bildes korrespondiert nur mit genau
einem Pixel des anderem Bildes
Ausnahme möglich:
• wenn zwei Punkte auf Sichtstrahl der einen Kamera
liegen, jedoch Punkte auf anderem Kamerabild
getrennt sichtbar
![Page 16: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/16.jpg)
09. Januar 2001 16
Annahmen und EinschränkungenGeometrische Einschränkungen:
3. Verträglichkeit von Intensitätswerten:
• Zwei Punkte (xL,yL) und (xR,yR) können nur dann korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| klein ist
In der Praxis:
• Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren
Problemfälle:
• Glanzlichter• Diskretisierungsfehler
![Page 17: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/17.jpg)
09. Januar 2001 17
Annahmen und EinschränkungenGeometrische Einschränkungen:
4. Geometrische Ähnlichkeit der Merkmale:
• Winkelkriterium:
Liniensegment SL korrespondiert mit SR nur, wenn
|WL – WR| klein ist
• Längenkriterium:
Liniensegment SL korrespondiert mit SR nur, wenn
|LL – LR| klein ist
![Page 18: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/18.jpg)
09. Januar 2001 18
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
1. Kontinuität der Disparitäten:
• Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw.
rechten gefilterten Bild korrespondieren, können
(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn
| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|
klein ist
[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]
• Spezialfall Standardstereogeometrie:
||xL1 – xR1| - |xL2 – xR2||
![Page 19: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/19.jpg)
09. Januar 2001 19
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
2. Kontinuität entlang der Kanten:
• Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken
bzw. rechten gefilterten Bild korrespondieren, können
(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn
| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|
klein ist
[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]
• Spezialfall Standardstereogeometrie:
||xL1 – xR1| - |xL2 – xR2||
![Page 20: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/20.jpg)
09. Januar 2001 20
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
3. Verträglichkeitsannahme von Merkmalen:
• Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben
Beispiel Kanten:
![Page 21: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/21.jpg)
09. Januar 2001 21
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
• Orientierungskanten• Reflexionskanten• Beleuchtungskanten
![Page 22: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/22.jpg)
09. Januar 2001 22
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
4. Disparitätslimit
Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens
• für korrespondierende Punkte existiert ein maximaler
Disparitätswert dmax:
→ (xL – xR)2 + (yL – yR)2 < dmax
→ Mindestabstand der Objekte gefordert
• Spezialfall Standardstereogeometrie:
|xL – xR| < dmax
![Page 23: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/23.jpg)
09. Januar 2001 23
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
5. Disparitätsgradientenlimit:
• Definition des Disparitätsgradienten (Mayhew/Frisby):
Seien aR, aL und bR, bL korrespondierende Punkte
Disparitätsgradient =Differenz der Disparitäten
zyklopische Separation
Differenz der Disparitäten = |ΔxL – ΔxR|
![Page 24: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/24.jpg)
09. Januar 2001 24
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
Zyklopische Separation :
¼(ΔxL – ΔxR)2 + Δy2
Definition:Abstand der Mittelpunkte zwischen den beiden Punktpaaren
→
![Page 25: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/25.jpg)
09. Januar 2001 25
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
5. Disparitätsgradientenlimit (Fortsetzung):
Formel für Disparitätsgradienten (Γd ):
Γd =|ΔxL – ΔxR|
¼(ΔxL – ΔxR)2 + Δy2
Zwei benachbarte Punktpaare korrespondieren nur dann,wenn der Disparitätsgradient nicht einen Maxwert über-schreitet:
→ Γd < Γmax
![Page 26: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/26.jpg)
09. Januar 2001 26
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
6. Reihenfolge der abgebildeten Punkte:
Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet
![Page 27: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/27.jpg)
09. Januar 2001 27
KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse:
• Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert
→ Problem: nicht ausreichend für eindeutige Zuweisung
Beispiel: 640x480 Bildpunkte bei 256 Graustufen
→ 307200 Pixel insgesamt
→ min. 1200 Pixel mit gleichen Intensitätswert
Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8)
![Page 28: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/28.jpg)
09. Januar 2001 28
KorrespondenzanalyseBlock-Matching-Verfahren:
• Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m
• Annahme, alle Pixel in einem Block haben gleichen Disparitätswert
Verarbeitungsschritte:
• Unterteilung eines Bildes in feste Anzahl von Blöcken
• Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit)
![Page 29: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/29.jpg)
09. Januar 2001 29
KorrespondenzanalyseBlock-Matching-Verfahren:
Ähnlichkeitsmaß zweier Blöcke (mittlere quadratischeAbweichung MSE)
→ Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion
Im Fall mehrerer Minima der MSE-Funktion:
→ Heranziehen der Kontinuitätsannahme für Disparitäten
Ergebnis:
→ Disparitätenmatrix
MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|21
nm i=0 j=0
n-1 m-1
![Page 30: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/30.jpg)
09. Januar 2001 30
KorrespondenzanalyseBlock-Matching-Verfahren:
Problem dieses Verfahrens:
• homogene Regionen• regelmäßige Texturen
Beste Qualität bei n = m = 8 Bildpunkten
Verfeinerung des Verfahrens nach T. Reuter:
1. Anwendung des Medianoperator auf Disparitätenmatrix
2. Pixelselektion
3. Anwendung des Medianop. auf Disparitätswerte der Pixel
![Page 31: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/31.jpg)
09. Januar 2001 31
KorrespondenzanalysePixel-Selektion:
1. Medianop. auf Blockdisparitäten einer 3x3 Umgebung
2. Berechnung der Disparität für jedes Pixel (x‘,y‘) unter Verwendung der Disparitätswerte der 9 Blöcke:
DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9
→ Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k)
3. Medianop. Auf Disparitätswerte der Pixelselektion
Bemerkung:
Pixelselektion auf jeden Pixel → dichte Disparitätenkarte
![Page 32: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/32.jpg)
09. Januar 2001 32
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
RGB-Raum:
D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2
D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2|
D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2
D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 }
r = g = b =R G B
R + B + G R + B + G R + B + G
![Page 33: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/33.jpg)
09. Januar 2001 33
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
HSI-Raum:
F1 = (H1,S1,I1) und F2 = (H2,S2,I2)
D5(F1,F2) = (d I )2 + (d C )2
d I = |I1 – I2| und d C = S12 + S2
2 – 2S1S2 cos(θθ)
θ =θ =|H1 – H2| falls |H1 – H2| ≤ π
2π - |H1 – H2| falls |H1 – H2| > π
![Page 34: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/34.jpg)
09. Januar 2001 34
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
Analog zu „normalen“ Block-Matching:
MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j))1
nm i=0 j=0
n-1 m-1
DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9
Bemerkungen:
• Qualität der Lösung ist abhängig von Anzahl der Farben• Bei unbunten Farben, keine Verbesserung• Einblenden von Mustern
![Page 35: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/35.jpg)
09. Januar 2001 35
KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse:
• bsp. Anhand Orientierung/Länge von Kanten
Vorteile gegenüber intensitätsbasierte Analyse:
1. geringerer Mehrdeutigkeiten, da weniger Kandidaten
2. Stereozuordnung ist weniger sensitiv
3. genauere Berechnung der Disparitäten möglich
![Page 36: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/36.jpg)
09. Januar 2001 36
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:(Verfahren nach Y. Shirai und Y. Nishimoto 1985)
• LoG-Operator für Merkmalsextraktion mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i,j) definiert
• Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist
→ Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d):
ML = MR = 1, wenn eL(i,j) eR(i+d,j) korrespondieren
0, sonst
![Page 37: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/37.jpg)
09. Januar 2001 37
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Beschränkung der Anzahl möglicher Zuordnungen durch
Häufigkeitstabelle der möglichen Disparitäten (GDH):
GDHR (d) =Σ MR (i,j;d)Σ |eR(i,j)|
(GDHL (d) analog)
→ Annahme, richtige Zuordnungen treten gehäuft auf
Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt:
Iα = { d | GDHR (d) > a*H }
![Page 38: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/38.jpg)
09. Januar 2001 38
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Bestimmung lokaler Disparitätskandidaten anhand LDH‘s:
• LDH = Häufigkeitstabelle aller in Disparitäten innerhalb
eines Fensters W = Nσ x Nσ:
Nσ = 2 πσ
LDHR (i,j;d) =Σ MR (i,j;d)Σ |eR(i,j)|
(LDHL (d) analog)
Bestimmung des besten Kanals:
• Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal
→ Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx)
![Page 39: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/39.jpg)
09. Januar 2001 39
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
→ QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen
→ Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und dL ≈ dR
→ wahrscheinliche Disparität: d* = ½(dL + dR)
Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt:
• für alle möglichen Disparitäten d1..dn für ein ZC wird dk ausgewählt, für das gilt:
|dk - d*| < |d e – d *| 1 e n, e k und |dk - d*| < dc
![Page 40: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/40.jpg)
09. Januar 2001 40
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
→ jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert
→ nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet
→ Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden
![Page 41: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/41.jpg)
09. Januar 2001 41
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
Verwendung von Farbinformationen:
• analog zu Grauwertbildern• Hinzunahme eines weiteren Kriteriums:
Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr:
Drg (x,y) = r(x,y) – g(x,y) (andere analog)
→ Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich
(GAUSS* Drg)δδx
![Page 42: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/42.jpg)
09. Januar 2001 42
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
1. Rechtwinklige komplanare Anordnung
Vorteil:• einfache Bestimmung der Epipolarlinien
Nachteil:• Ausrichtung• Erschütterungsproblematik
![Page 43: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/43.jpg)
09. Januar 2001 43
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
2. kollineare Anordnung:
Vorteil:• einfache Epipolarlinien
Nachteil:• Ausrichtung• Erschütterungsproblematik• Mehrdeutigkeiten
![Page 44: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/44.jpg)
09. Januar 2001 44
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
3. „freie“ Anordnung
Vorteil:• Korrespondenzproblem kann mit Geometrie gelöst werden
Nachteil:• Bestimmung der Epipolarlinien
![Page 45: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/45.jpg)
09. Januar 2001 45
Stereoanalyse
Triokulare Stereoanalyse:
Zwei verschiedene Zuordnungsstrategien:
• Pixel wird nur zugeordnet, wenn in allen Bildern eine
Korrespondenz bestimmt wurde
• Pixel wird zugeordnet, wenn in mindestens zwei
Bildern eine Korrespondenz bestimmt wurde
![Page 46: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/46.jpg)
09. Januar 2001 46
Stereoanalyse
Triokulare Stereoanalyse:
Beispiel anhand eines geometrischen Verfahrens:
![Page 47: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/47.jpg)
09. Januar 2001 47
Zusammenfassung
• Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems
• Annahmen und EinschränkungenAnnahmen und Einschränkungen
• Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse
• Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse
• Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras
![Page 48: HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001](https://reader034.vdocuments.pub/reader034/viewer/2022051413/55204d6249795902118b68f8/html5/thumbnails/48.jpg)
09. Januar 2001 48
Vielen Dank für dieAufmerksamkeit –
F r a g e n ?