![Page 1: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/1.jpg)
1
Prof. Dr. Detlef Krömker
�����������
� ������ �������
2Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
��������
1. Grundsätzliches2. Compositing �����Pixel-Tiefeninformation (z-Wert)3. Compositing ����Pixel-Tiefeninformation (z-Wert)
Prinzip
Erzeugung von „range images“
4. Anpassung der BeleuchtungssituationPrinzipienSchatten
5. Zusammenfassung
![Page 2: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/2.jpg)
2
3Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�������������
Wir unterscheiden:� Optische Mischung: „see-through devices“� Elektronische Mischung: „Video see-through devices“
mit immersiven HMDs aber auch Palmtops, Handys, etc.
Oder auch:� Ersetzen des Vordergrunds� Ersetzen des Hintergrunds
4Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
����� ���� ������ !�"
![Page 3: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/3.jpg)
3
5Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
#��������������� !�"
6Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
��� $������������#�����%���
durch Softwarelösbar
inhärent��������
������� ��
Semi-Sichtbardurch Software
lösbar
inhärent ���������������
��
inhärentunmöglich��������������������������������
������ �����������������!�������
�����
���!������ ��������������������
�����
������!�"
������#$%#���
![Page 4: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/4.jpg)
4
7Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� �����&���� ��'����'�� �����(��)��*
� 2 ½ D Ansatz mit Composite-Layers� Ein Layer kann Input-Video sein
� Ansatz:��������� ���� � ����������� � �������
������ ����� ������� ������ oder��������� ���� � ���������������
������ ����� �������������(video ���Reale Objekte“�
� Funktioniert, wenn die die Szenen aus Sicht des Betrachters tiefenmäßig wohl getrennt sind
8Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+�� � �������
Die „vorne“ liegende Szene nennt man auch „sprite“.
Eigentlich eine binäre Entscheidung „all or nothing“ durch eine binäre Maske (matte, key)
Scene 1 = Blue-Screen oder Green-Screen Aufnahme � key im Prinzip einfach zu ermitteln, aber es gibt das Matting-Problem!
Diese kann leicht auf z.B. 8 Bit erweitert werden � semi-transparente Überlagerung; z.B. auch zur Lösung des AliasingProblems.
�� �� � ����� ������ ���� �� �� ����!
"#��#���� �� ���$����#�� �� �� ����
"#��#���� �� ���%� ���#����� ��
![Page 5: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/5.jpg)
5
9Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� ��������,�-�����%�
10Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+���������� �� �.���
Unterstellt, dass die Pixelfragmente unkorrelliert und gleichverteilt sind.
Bei korrelierten Verteilungen ergeben sich Fehler!
� ggf. A-Buffer benutzen
assoziativ kommutativ nicht
:Beachte
)()(
/)1((
)1(
����������
�����������
%)%%)))%)
%))%)
������������������������
����RYHURYHU
RYHU
��
���
������
�αααα
αααα
![Page 6: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/6.jpg)
6
11Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
"�������� &����
12Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
![Page 7: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/7.jpg)
7
13Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
14Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
![Page 8: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/8.jpg)
8
15Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
16Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
![Page 9: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/9.jpg)
9
17Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
18Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
![Page 10: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/10.jpg)
10
19Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
20Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
![Page 11: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/11.jpg)
11
21Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+���������� �� �.����������� ������ ��-
Beachte: In obiger Gleichung treten immer die Terme ���� auf: Zur Beschleunigung sogenannte premultiplied RGBs speichern:
(��� ) = ( �� �� �� �
���
������
�%))%)
%))%)
�����������
)1(
)1(
ααααα
RYHU
RYHU����
22Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� ����&���� ��'����'�� �����(��)��*
�� ���������
Nach Duff: wie zuvor, Farbwerte sind premultiplied(��� �). Wir definieren zwei Funktionen
und
���
������
��%))&
%))&
�����������
)1(
)1(
ααααα
����RYHU
��
��
�
����
���),min(
%)&
)
%))
&
�� �����
�� ������
�� αα
���
]
![Page 12: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/12.jpg)
12
23Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (/*
Zur besseren Abschätzung der Überlagerungssituation, berechnen oder interpolieren wir die z-Werte an den Pixelecken.
Dann können wir 16 Fälle unterscheiden.
Ziel: Berechnung eines Faktors (Verdeckungsanteil des Vordergrunds F) mit s,t sei Anteil der Eckpunkte, gegeben durch Interpolation der zugehörigen z-Werte:
Anteile : die Fläche F ist im Vordergrund(1-ß): die Fläche B ist im Vordergrund
24Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (0*
�&���'(����'� a: = 1; p: = 0
)���'�(Fälle: b,c,e,h,i,l,n,o)
F ist CornerSurface: = ½ * s * t
B ist CornerSurface: = 1.0 - ½ * s * t
%����' (Fälle: d,g,j,m)= (s + t)/2
= 1.0 –((s + t)/2)
*+� �������� (f und k) wie %����
![Page 13: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/13.jpg)
13
25Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (1*
��
���
��������
��������
�
),min())1()(1())1((
))1()(1())1((
%)&
)%%%))&
)%%%))&
���������������
��
αβαβαααβαααβα
��&RPS
26Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
2���������+���3����� � ����4
Range images = Tiefenbilder nennt man auch:����� ������������� �������&' �������#�� � �������Messung entweder
passiv, z.B. aus einem Stereobildpaar gewonnen oderaktiv, durch spezielle Sensoren: Haupt-Ausführungen:
������������: strukturietes Licht, z.B. Streifenmuster, Punktmuster
��������� Auswertung des Echos als Funktion der Laufzeit
���� �������������: ähnlich wie triangulation, Ausgewertet werden die Moiree-Muster
������ ����������������. Active focusing/defocusing sensors usetwo or more images of the same scene, which are acquired under varyingfocus settings. Once the best focused image is determined, a modellinking focus values and distance yields the distance.
![Page 14: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/14.jpg)
14
27Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
$�������������-����������������
28Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
&���������
![Page 15: · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS 2004 ˘ 1. Grundsätzliches 2. Compositing Pixel-Tiefeninformation (z-Wert)](https://reader030.vdocuments.pub/reader030/viewer/2022040710/5e0fe2b75395930c0a10d197/html5/thumbnails/15.jpg)
15
29Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
������
30Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
5��� ��'������