synteza widoków w systemach telewizji 3d
TRANSCRIPT
![Page 1: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/1.jpg)
1
Synteza Widoków Wirtualnych w
systemach Telewizji 3D
Seminarium Doktoranckie, czerwiec 2010
Krzysztof Wegner
Katedra Telekomunikacji Multimedialnej i Mikroelektroniki
Politechnika Poznańska
![Page 2: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/2.jpg)
Tradycyjna Telewizja – pojedyńcza kamera Jedno miejsce obserwacji
Telewizja 3D – system wielu kamer Wiele miejsc obserwacji
2
Telewizja 3D
![Page 3: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/3.jpg)
System wielo kamerowy System kamer – Politechnika Poznańska
3
![Page 4: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/4.jpg)
4
Sekwencje wielowidokowe
Sekwencja składa się z wielu widoków zarejestrowanych z wielu miejsc w przestrzeni
![Page 5: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/5.jpg)
5
Sekwencje wielowidokowe Standardowe wielowidokowe sekwencje testowe ISO/IEC MPEG 3DV – zbiór 14 sekwencji testowych 4 sekwencje nakręcone na Poliechnice Pozańskiej
Widok 3Widok 1 Widok 5
![Page 6: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/6.jpg)
Poznań Street
6
![Page 7: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/7.jpg)
Telewizja swobodnego punktu widzenia
Widz może wybrać z którego miejsca chce oglądać scenę.
Nie tylko z miejsca z którego fizycznie rejestrowaliśmy scenę
7
![Page 8: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/8.jpg)
Mapy głębi Informacja o strukturze przestrzennej sceny
Im jaśniejszy kolor tym bliższy obiekt
8
![Page 9: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/9.jpg)
Poznań Street
9
![Page 10: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/10.jpg)
Poznań Street
10
![Page 11: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/11.jpg)
Synteza widoku wirtualnego
Ma na celu stworzenie obrazu z wirtualnej kamery Na podstawie obrazów referencyjnych Renderowanie
11
![Page 12: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/12.jpg)
Synteza widoku wirtualnego
1. Rekonstrukcja modelu w przestrzeni 3D obrazy referencyjne mapy głebi
12
![Page 13: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/13.jpg)
Synteza widoku wirtualnego
2. Model w przestrzeni 3D poprawki modelu
13
![Page 14: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/14.jpg)
Synteza widoku wirtualnego
3. Renderowanie nowego widoku rzutowanie modelu do nowego widoku
14
![Page 15: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/15.jpg)
Synteza widoku wirtualnego
Problemy Nie dokładności w mapie głębi Różnice w oświetleniu Półprzeźroczystości Nawigowanie Czas syntezy
15
![Page 16: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/16.jpg)
Czas Renderowanie – złożone obliczeniowo
Obliczenie pozycji w przestrzeni Każdy punkt opisany 7 liczbami
3 współrzędne 4 składowe koloru
Obliczenie położenia wymaga rozwiązania równania z macierzami 4x4
16
11
Z
Y
X
RAy
x
d
![Page 17: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/17.jpg)
Czas - rozwiązanie Renderowanie
17
Renderowanie – Homografia
![Page 18: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/18.jpg)
Czas - rozwiązanie Renderowanie – Homografia
Przesuwanie punktów Obliczenie położenia wymaga rozwiązania
równania z macierzami 3x3 (256 szczególnych przypadków)
18
11
Y
X
Hy
x
d
![Page 19: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/19.jpg)
Czas - rozwiązanie Renderowanie – Homografia
Implementacja na karcie graficznej GPGPU Ogromne zrównoleglenie – specjalny
algorytm
19
![Page 20: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/20.jpg)
Schemat zaproponowanego rozwiązania
20
![Page 21: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/21.jpg)
Poznań Street - Rotacja
21
![Page 22: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/22.jpg)
Poznań Street - Zoom
22
![Page 23: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/23.jpg)
WynikiGPU – ATI Radeon Procek - Core
i7VSRS - Ref
Czas przetwarzania
25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s
23
Wyniki jakości subiektywnej – praca w toku
![Page 24: Synteza Widoków w systemach Telewizji 3D](https://reader030.vdocuments.pub/reader030/viewer/2022032620/55cad41cbb61eb48258b469b/html5/thumbnails/24.jpg)
Dziękuje za uwagę Pytania?
24