volumetrische rekonstruktion und interaktives rendern von bäumen anhand von fotografien
DESCRIPTION
Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien. Alex Reche, Ignacio Martin und George Drettakis. Einführung. Ziel: Erfassen von real existierenden Bäumen anhand von Fotografien. Erstellen eines Modells mit niedriger Polygonzahl. Einführung. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/1.jpg)
Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien
Alex Reche, Ignacio Martin und George Drettakis
![Page 2: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/2.jpg)
Einführung
Ziel:• Erfassen von real existierenden
Bäumen anhand von Fotografien.• Erstellen eines Modells mit
niedriger Polygonzahl.
![Page 3: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/3.jpg)
Einführung
Zentrale Beobachtung:• Pixel ist Projektion einer best.
Anzahl von Blättern und Ästen auf den Hintergrund.
• Transparenz-Effekt: Pixel eine Mischung aus Vordergrundfarbe (Blätter/Äste) und Hintergrundfarbe (Himmel).
![Page 4: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/4.jpg)
Inhalt
1) Aufnahme der Fotografien
![Page 5: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/5.jpg)
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle
![Page 6: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/6.jpg)
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters
![Page 7: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/7.jpg)
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters4) Texturgenerierung durch Billboards
![Page 8: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/8.jpg)
Inhalt
11 Fotografien11 Transparenzkanäle der Fotografien11 Zellkomplex mit Alphawerten für jede
Zelle11 M xM -Textur pro Foto für jede Zelle
![Page 9: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/9.jpg)
Bildaufnahme
• 20-30 Fotos/Baum• Alle Richtungen• Gleiche Entfernung• Uniformer
Hintergrund• Kalibrierung
anhand von Marken im Bild
![Page 10: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/10.jpg)
Berechnung der Alphakanäle
Algorithmus von Ruzon und Tomasi• Anwender definiert Bereiche
• Vorder-, Hintergrund, transparent, ignorieren
• Algorithmus berechnet Transparenzwerte
![Page 11: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/11.jpg)
Berechnung der Alphakanäle
• Transformation in den Lab-Farbraum
• Clusterbildung in der ab-Ebene (F/B)
• Lineare Interpolation der transparenten Werte:
![Page 12: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/12.jpg)
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box
![Page 13: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/13.jpg)
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box• Bestimmung der Alphawerte der Zellen
Rekonstruktion des Bildaufnahmevorgages
![Page 14: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/14.jpg)
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box• Bestimmung der Alphawerte der Zellen
Rekonstruktion des Bildaufnahmevorgages
• Hier keine Betrachtung der Farbwerte!
![Page 15: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/15.jpg)
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
![Page 16: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/16.jpg)
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
• Bei mehreren Zellen:
![Page 17: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/17.jpg)
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
• Bei mehreren Zellen:
• Verwendung eines absortion only Modells• Nur Absorption, keine Emission, Schatten...• Nur Transparenzen, keine farbigen Zellen
![Page 18: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/18.jpg)
• Ermittlung aller Zellen, die für Pixel relevant waren.
• Initialisierung der Pixelopazitätenkleinste Opazität der sichtbaren Pixel
• Optimierung der Opazitäten, so dass die Gleichungen für alle Pixel erfüllt sind.
Rekonstruktion der Gitterzellen
![Page 19: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/19.jpg)
Rekonstruktion der Gitterzellen
• Formel:
![Page 20: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/20.jpg)
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
![Page 21: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/21.jpg)
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
• Induktion:
![Page 22: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/22.jpg)
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
• Induktion:
• Darstellung mit Transparenzen und Logarithmieren:
![Page 23: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/23.jpg)
Rekonstruktion der Gitterzellen
• Ebenengleichung:
![Page 24: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/24.jpg)
Rekonstruktion der Gitterzellen
• Ebenengleichung:
• Formel ist n-dimensionale Ebene!
![Page 25: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/25.jpg)
• Pro Pixel: Projektion ist „Optimierungvorschlag“ für betroffene Zellen
• Wichtung mit der Bedeutung der Zelle• Entfernung zum Bild, Strecke des Schnittes mit dem
Strahl
• Aktualisierung der Transparenzen mit Mittel der Optimierungsvorschläge
Rekonstruktion der Gitterzellen
![Page 26: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/26.jpg)
Rekonstruktion der Gitterzellen
• transparency cutoff threshold• Ignorieren der Pixel ab bestimmter
Transparenz• Wert wischen 0.9 und 0.96• Starker Einfluss auf Geschwindigkeit
des Verfahrens
![Page 27: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/27.jpg)
Rekonstruktion der Gitterzellen
Resultat:Gitternetz mit
Transparenzwert für jede Zelle
![Page 28: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/28.jpg)
Texturgenerierung
Überblick:• Anhängen von blickpunktabhängigen
Billboards an jede Zelle• Interpolation zwischen den n dichtesten
Kameras
![Page 29: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/29.jpg)
Texturgenerierung
Erste Idee: Projizieren des Billboards in die Fotografie
Problem: Blurring-Effekt
![Page 30: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/30.jpg)
Texturgenerierung
• Optimales VerfahrenMöglich, wenn alle Informationen vorhanden wären
![Page 31: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/31.jpg)
Texturgenerierung
1) Für jedes Bild: Ordnen der Zellen von vorne nach hinten
2) Projektion der Zelle in das Bild Region R3) Resamplen der Textur T des Billboards4) Bewerten der Pixel von T5) Auswahl der Wahrscheinlichsten Pixel6) Löschen der Pixel im Bild7) Rekonstruktion der gelöschten Pixel im
Bild
![Page 32: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/32.jpg)
Texturgenerierung
![Page 33: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/33.jpg)
• Zelltransparenz:
gewichtet:
Texturgenerierung
![Page 34: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/34.jpg)
• Zelltransparenz:
gewichtet:
• Aktuelle Transparenz der Pixel:
Aktualisierung, wenn Pixel verwendet:
Texturgenerierung
![Page 35: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/35.jpg)
• Bedeutung:
• Zusätzlich Alter für jedes PixelInkrement, wenn Pixel für Billboard
verwendet
Texturgenerierung
![Page 36: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/36.jpg)
Texturgenerierung
• Sortieren der Pixel von T nach Alter und Bedeutung
• Auswahl der ersten Pixel
• Billboard erhält Farbwerte der ausgewählten Pixel und Alphawert der Zelle
![Page 37: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/37.jpg)
Texturgenerierung
![Page 38: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/38.jpg)
Ergebnisse
18 Fotografien110.000 Zellen58 MB Texturen (4x4)15+15 Minuten
22 Fotografien51.000 Zellen150 MB Texturen (8x8)15+30 Minuten
Pinie
Eiche
![Page 39: Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813c1e550346895da593b5/html5/thumbnails/39.jpg)
Ausblick und Probleme
• Aufnahme vor neutralem Hintergrund• Anderer Algorithmus?
• Keine Berücksichtigung der Beleuchtung bei der Bildaufnahme• Beleuchtung vor der Texturierung
entfernen?
• Nicht zufriedenstellend, wenn Baum aus der Nähe betrachtet wird
• Hohes Datenaufkommen der Texturen