*Architektura kodera HEVC-3D Kodowanie wielowidokowych sekwencji wizyjnych z wykorzystaniem informacji o przesanianiuSeminarium Katedralne, stycze 2012Krzysztof Wegner

Katedra Telekomunikacji Multimedialnej i MikroelektronikiPolitechnika Poznaska

*

CelPrzesanie do odbiornika wielowidokowej sekwencji wizyjnej w sposb umoliwiajcy syntez wielu widokwNa wejciu kodera 3 widoki tekstury3 mapy gbiParametry systemu kamerowegoNa wyjciu dekoderawiele widokw wirtualnych

*

Wybrane warunki konkursuIlo danychIlo nieskompresowane danych nie powinna przekracza 4x wielko pojedynczego nieskompresowanego widokuWielko strumienia danych (Widoki + informacje dodatkowe)Nie wicej jak 2x wielko strumienia pojedynczego widoku najlepsz dostpn technik odniesieniaJakoGwnym celem standardu bdzie rekonstrukcja widoku widzianego z arbitralnego miejsca w przestrzeni. ZoonoWymagania na nisk zoono na syntez widoku

*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*

Analiza procesu syntezy*Nie wszystkie prbki w lewym i prawym obrazie s wykorzystywane do syntezy obrazu wirtualnego

Nie trzeba ich przesya

MVCMPEG 4 cz 10 aneks H MVCRozszerzenie standardu AVC na przypadek wielowidokowyDodanie predykcji midzy widokowejNa listach obrazw odniesienia dodano obrazy z ssiednich (ju zakodowanych) widokwOkoo 25% redukcji strumienia wzgldem AVC kodujcego widoki niezalenie.

*

HEVCNowy standard kodowania obrazu ruchomegoPrace standaryzacyjne w tokuIdea kodowania bez zmianWiele nowych narzdzi kodowaniaOkoo 50% redukcji strumienia wzgldem AVC

*

HEVC-3D MVCJako koder bazowy wybrano HEVC 3.0Ktry zmodyfikowano na wzr kodera MVC

*

Implementacja wielowidokowoci*MVC na podstawie kodera AVCKodowanie kolejnych widokwZaletyNiewielki wzrost zuycia pamici wzgldem kodera bazowegoWadyDostp tylko do rekonstrukcji innych widokw

Implementacja wielowidokowoci*HEVC-3D na podstawie kodera HEVCKodowanie kolejnych ramek wszystkich widokw narazZaletyDostp do wszystkich pl wszystkich kodowanych widokw moliwe zrnicowane predykcjePojedynczy odczyt danych z dyskuWadyZnaczny wzrost zuycia pamici wzgldem kodera bazowego

HEVC-3D MVCWyniki porwnywalne z zyskiem osignitym przy rozszerzeniu MVC (wzgldem AVC)

Sony prezentowao podobne wyniki ju przed konkursem

*

Redukcja strumienia przy kodowaniu HEVC-3D (MVC) w porwnaniu do HEVC kodujcego widoki niezalenie

RA-HEPrzypadek 2 widokowyRA-HEPrzypadek 3 widokowyY BD-rateU BD-rateV BD-rateY BD-rateU BD-rateV BD-ratePoznan_Hall2-19.0%-16.7%-16.8%-23.4%-19.1%-21.0%Poznan_Street-24.2%-23.7%-23.5%-33.2%-33.6%-31.3%Undo_Dancer-30.5%-33.3%-32.8%-41.3%-44.0%-43.0%GT_Fly-33.5%-34.5%-34.5%-44.0%-44.9%-45.0%Kendo-15.9%-9.1%-12.0%-24.4%-19.4%-21.9%Balloons-19.2%-15.3%-17.7%-27.1%-24.0%-25.9%Lovebird1-18.6%-17.6%-17.7%-28.2%-25.6%-26.1%Newspaper-20.4%-18.5%-18.3%-22.1%-19.4%-20.3%Overall-22.7%-21.1%-21.7%-30.5%-28.8%-29.3%

Architektura kodera HEVC 3D

*

Koder HEVC-3DNarzdziaJednorodna reprezentacja gbiKodowanie warstwy szumowejPredykcja z kompensacj rozbienociDziedziczenie wektorw ruchuPrzesyanie tylko obszarw odsonitychKwantowanie zalene od gbiNieliniowa reprezentacja gbiKodowanie parametrw kamer

*

Kodowanie przesoni

*Obraz do zakodowaniaMapa odsoni (przesoni)Odsonite fragmenty obrazuPrzesyane fragmenty obrazu

Kodowanie przesoniKodowanie tylko odsonite fragmentyNie kodowane jednoci CU nie s w ogle wygnalizowaneDekoder wie ktre fragmenty obrazu przesanoPodzia jednostki CU nie sygnalizowany jeli mona przewidzie go w dekoderze

*

Wygadzanie krawdziRnice w owietleniu sceny w rnych widokachGadkie przejcie pomidzy czci kodowan a syntezowan

*

WynikiWyniki obiektywnePsnr widoku bazowegoredni PSNR kodowanych widokwWyniki subiektywneObecna subiektywna jakoci widokw porednich

*

Wyniki obiektywneSekwencja Poznan_Street

*

Wyniki obiektywneSekwencja GT_Fly

*

Wyniki obiektywneSekwencja Poznan_Street

*

Wyniki obiektywneSekwencja GT_Fly

*

Wyniki obiektywneWyniki kodowania koderem HEVC-3D

*

Sequence2-view case3-view casePSNR [dB]Bitrate [%]PSNR [dB]Bitrate [%]Poznan_Hall21,8-45,32,5-59,3Poznan_Street2,7-54,63,9-69,6Undo_Dancer1,9-51,02,7-62,6GT_Fly2,2-55,53,1-67,0Kendo4,2-58,86,2-73,3Balloons5,2-64,66,7-74,3Lovebird14,2-66,75,8-76,4Newspaper5,1-66,56,3-76,1Average3,4-57,94,7-69,8

Wyniki subiektywneSekwencja GT_FLY

*

Struktura strumieniaPodzia strumienia pomidzy dane widoku bazwego i pobocznych

*

Struktura strumieniaPodzia strumienia pomidzy dane obrazu i map gbi

*

Podzia strumienia pomidzy dane obrazu i map gbi (Udzia w strumieniu widoku bazowego i bocznych)

*

Czas kodowania

*

PodsumowanieWiele narzdzi zostao wczonych do powstajcego oprogramowania odniesienia

*

Filtr wygadzajcy krawdzie

*

Mapy gbiInformacja o strukturze przestrzennej scenyIm janiejszy kolor tym bliszy obiekt

*

*Wyznaczenie mapy gbiDo wyznaczenie mapy gbi wykorzystuje si rozbieno stereoskopow

*Wyznaczenie mapy gbiRozbieno wyszukuje si za pomoc pasowania blokw (lub innej bardziej zaawansowanej techniki)

d

*Wyznaczenie mapy gbiRozbieno wyszukuje si za pomoc pasowania blokw (lub innej bardziej zaawansowanej techniki)

ddd

*Problem zasanianiaNie wszystkie punkty s widoczne w ssiednim obrazie

d????

*RozwizanieDo wyznaczenie mapy gbi wykorzystuje si nie dwa a trzy obrazy

d????

d

*Problem wyboru kierunkuJak wyznaczy ktr rozbieno wybra??Standardowo wybiera si t warto ktra lepiej pasuje (min sel) np. DERS

d????

d

*Problem wyboru kierunkuJednak w niektrych przypadkach niewaciwa rozbieno jest wybierana

d2

d1

Problem wyboru kierunkuRozmywanie krawdzi w macie gbi

*

PomysWybr kierunku na podstawie przewidywanej widocznoci punktu w ssiednich widokach

*

Wybr kierunkuZ aktualnie wyliczonej mapy gbi (moe niedoskonaej) zsyntezuj mapy gbi widokw ssiednich.

*

Wybr kierunkuSprawd czy punkt jest widoczny w ssiednim widoku (Z-Test)Jeli jest widoczna tylko w jednym widoku wybierz ten widokJeli w obu urednij koszty pasowania.

*

Wyniki*

DERSDERS - OCC

Wyniki*

Wyniki*

PodsumowanieZaproponowano now metod wyboru obrazu odniesienia bazujc na wykrywaniu widocznoci punktuZaproponowana metoda poprawia otrzymywanie mapy gbi rednio o 2dbZaproponowana metoda nie ingeruje w sposb wyznaczania map gbi a jedynie w sposb wyboru obrazu odniesienia

*

Dzikuje za uwagPytania?

*

Telewizja swobodnego punktu widzeniaWidz moe wybra z ktrego miejsca chce oglda scen.Nie tylko z miejsca z ktrego fizycznie rejestrowalimy scen

*

Synteza widoku wirtualnegoMa na celu stworzenie obrazu z wirtualnej kameryNa podstawie obrazw referencyjnych Renderowanie

*

Synteza widoku wirtualnego1. Rekonstrukcja modelu w przestrzeni 3Dobrazy referencyjnemapy gebi

*

Synteza widoku wirtualnego2. Model w przestrzeni 3Dpoprawki modelu

*

Synteza widoku wirtualnego3. Renderowanie nowego widokurzutowanie modelu do nowego widoku

*

Synteza widoku wirtualnegoProblemyNie dokadnoci w mapie gbiRnice w owietleniuPprzeroczystociNawigowanieCzas syntezy

*

CzasRenderowanie zoone obliczeniowoObliczenie pozycji w przestrzeniKady punkt opisany 7 liczbami3 wsprzdne4 skadowe koloruObliczenie pooenia wymaga rozwizania rwnania z macierzami 4x4

*

Czas - rozwizanieRenderowanie

*Renderowanie Homografia

Czas - rozwizanieRenderowanie HomografiaPrzesuwanie punktwObliczenie pooenia wymaga rozwizania rwnania z macierzami 3x3 (256 szczeglnych przypadkw)

*

Czas - rozwizanieRenderowanie HomografiaImplementacja na karcie graficznej GPGPUOgromne zrwnoleglenie specjalny algorytm

*

Schemat zaproponowanego rozwizania

*

Pozna Street - Rotacja*

Pozna Street - Zoom*

Wyniki*Wyniki jakoci subiektywnej praca w toku

GPU ATI RadeonProcek - Core i7VSRS - RefCzas przetwarzania25 fps 40 ms0.5 fps 2s0.25 fps 4 s

*