Download - Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen
Generierung vonOmni-Bildern
Teil 1 – EntzerrungTeil 2 – Weißabgleich
Teil 3 – Aneinanderfügen
von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager
1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung
◦ Welche? Wodurch? Was tun? 3. Weißabgleich
◦ Wozu? Womit? Wie? Wann? 4. Aneinanderfügen
◦ 4.1 Ausrichten◦ 4.2 Überblenden
5. Beispielserie 6. Quellen
Agenda
1. Ergebnisse Entzerrung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung
3/35
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Fisheye-Algorithmus entzerrt horizontal und vertikal Ergebnis:
perspektivische Information geht verloren
4/35
2. Probleme nach Entzerrung – Was tun?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Neuer Entzerrungsalgorithmus [1] nur horizontale Verzerrung korrigieren:
Perspektive bleibt erhalten Vertikale Verzerrungen leider auch
5/35
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Probleme, entzerrte Bilder aneinanderzufügen
Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°)
Durch Verzerrungen Probleme mit Kanten an Bildrändern
6/35
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Probleme mit Kanten und Krümmungen an Bildrändern
Phänomen in aufgenommenen Bildern
7/35
2. Probleme nach Entzerrung –Wodurch?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch
◦ Ungenauigkeit Position/Ausrichtung der Linse◦ Ungenauigkeit Position/Ausrichtung CCD Chip◦ Ausrichtung des Roboter (unebener Untergrund)
Angewandte Formeln können daher keine perfekten Ergebnisse liefern
8/35
2. Probleme nach Entzerrung – Was tun?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren über polynomiale Gleichungssysteme möglich, aber sehr aufwendig
Ausrichtung der Bilder vor Aneinanderfügen notwendig
Einzelbilder ineinander Überblenden, um Überlappungen zu beheben
9/35
Durch unterschiedliche Beleuchtungssituationen
unterschiedliche Farbtemperatur der Bilder
3. Weißabgleich – Wozu?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild
10/35
Abgleich der Farbtemperaturen notwendig:◦ besserer visueller Eindruck◦ kräftigere Kontraste bessere Detektion von
Kanten o.Ä.◦ einheitlicher Bildeindruck nach Aneinanderfügen
3. Weißabgleich – Wozu?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Gleiche Farbtemperaturen in beiden Teilbildern
11/35
Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden in allen Bildern
3. Weißabgleich – Womit?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Cyan markierte Fläche für Referenzweiß
12/35
Ermitteln der Maximalwerte je Farbkanal im Referenzbereich liefert Rmax, Gmax, Bmax
Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro
Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax
3. Weißabgleich – Wie?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 13/35
Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A:
Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen
und Korrektur anwenden
3. Weißabgleich – Wie?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 14/35
Vor der Entzerrung sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist
Durch Entzerrung möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird
3. Weißabgleich – Wann?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Referenzfläche links im verzerrten und rechts im entzerrten Bild
15/35
Durch Überbelichtung viele Bildbereiche bereits weiß Korrektur bringt nichts
Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild Überblenden der Teilbilder nötig
3. Weißabgleich – Probleme?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Überbelichtung irreversibel
16/35
Ziele:
◦ Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören
◦ Überblenden der Pixel mit Minimum an
sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting)
4. Aneinanderfügen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 17/35
Nur einige Bilder sind zusammenzufügen
◦ Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden
Wenn größeres Sichtfeld (>90 Grad)
◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren
◦ auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen
4. Wie soll Ergebnisbild aussehen?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 18/35
4.1 Ausrichten
Ziel:
◦ Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 19/35
Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch:◦ Ausrechnen◦ Abmessen◦ Definieren
Bereich im Programm statisch festlegen
4.1 Ausrichten – Trivialer Ansatz
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 20/35
Pixelbasierte Methoden◦ Bilder relativ zueinander verschieben◦ Größtmögliche Übereinstimmung der Pixel suchen◦ Direkter Vergleich von Pixeln oder Pixelblöcken
◦ Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement
4.1 Ausrichten – Intelligente Algorithmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 21/35
Durch Verschieben Platzierung der Bilder ermitteln
Jede Pixelkombination miteinander vergleichen
Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit
4.1 Ausrichten – Error Metrics
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 22/35
Beispiele:
◦ Robust Error Metrics
◦ Spatially Varying Weights
◦ Bias and Gain
◦ Korrelation
4.1 Ausrichten – Error Metrics
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 23/35
Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis
hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung:
Initialwert für nächstdarunterliegendes Level
4.1 Ausrichten – Hierarchical Motion Estimation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 24/35
Vorteil:◦ Viel schneller
Nachteil◦ Ineffektiv◦ Signifikante Bilddetails können verloren gehen
4.1 Ausrichten – Hierarchical Motion Estimation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 25/35
4.1 Ausrichten – Intelligente Algorithmen Eigenschaftenbasierte Methoden
◦ Beiden Bildern markante Eigenschaften entnehmen
◦ Vergleichen◦ Übereinstimmungen ermitteln◦ -> geometrische Transformation der Bilder
abschätzbar
◦ Methoden Keypoint Detectors Feature Matching Geometric Registration
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 26/35
4.1 Ausrichten – Intelligente Algorithmen
Keypoint Detectors
Feature Matching
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 27/35
Aufgabe◦ Belichtungsunterschiede und
Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren
◦ Übergang soll nahezu unsichtbar werden
4.2 Überblenden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 28/35
Laplace-Pyramiden-Überblendung
◦ sich anpassende Breite anhand Frequenz (verschiedene Level)
◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild
◦ Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild
4.2 Überblenden - Lösungsansätze
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 29/35
4.2 Überblenden – Vergleich Lösungsansätze
Mittelwert Region of Difference
Pyramiden-ÜberblendungGewichtung (Feathering)
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 30/35
Entzerrte Einzelbilder5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 31/35
Weißabgleich Einzelbilder5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 32/35
Ausrichten und Aneinanderfügen5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 33/35
Blenden5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Guter Übergang Problem durch Aliasing
34/35
Weißabgleich:http://de.wikipedia.org/wiki/Wei%C3%9Fabgleichhttp://de.wikibooks.org/wiki/Digitale_bildgebende_Verfahren:_Digitale_Bilder#Wei.C3.9Fabgleich
Aneinanderfügenhttp://research.microsoft.com/pubs/70092/tr-2004-92.pdf
Quellen verfügbar unter:[1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf
6. Quellen
35/35Generierung von Omni-Bildern – Weißabgleich &
Aneinanderfügen