Настоящее и будущее 3d Дмитрий Ватолин

Настоящее и будущее 3DДмитрий Ватолин

2011

Outline•Введение в 3D•Форматы 3D кино•Современные 3D мониторы•Карты глубин

2011

Параллакс в стереоПараллакс — расстояние между картинкамидля разных глаз на экране

положительный:объект далеко

отрицательный:объект рядом

ightillusion.com

2011

Зоны комфортного восприятия стерео• Серый: невидимая зона• Красный: опасная зона

– Большая нагрузка на глаза• Оранжевый: быстрая зона

– Объект виден толькоодному глазу — нагрузка

• Зеленый: зона отдыха глаз– Рядом с плоскостью экрана– Комфортная для восприятия

www.3dtv.fr

http://www.3dtv.fr/

2011


2011

Dolby 3D• Развитие идеи анаглифного стерео,

более сложное разделениеизображений по длине волны света

• Применение интерференционныхполосно-пропускающих (спектральных) фильтров

• Получение изображения смешиваниемцветов из полос пропускания

– Left eye: Red 629nm, Green 532nm, Blue 446nm– Right eye: Red 615nm, Green 518nm, Blue 432nm

http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD-Dolby-3D-XpanD-MasterImage.html

http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD-Dolby-3D-XpanD-MasterImage.html

2011

Dolby 3DПринцип работы

http://litvinovs.net/reflection/3d/

http://litvinovs.net/reflection/3d/

2011

Затворные форматы 3D кино• Поочередное перекрывание каждого глаза• В каждый момент времени

вывод на экран только одного ракурса

• Основные форматы:– NVIDIA 3D Vision– XpanD 3D

2011

NVIDIA 3D VisionОборудование

• Мощная видеокарта• Качественный дисплей• Специализированный набор IR-синхронизатор

и активные очкиhttp://www.nvidia.com

http://www.nvidia.com/

2011http://www.nvidia.com

http://www.nvidia.com/

2011

RealD 3DВерсии формата• RealD – стандартная с максимальной

шириной экрана – 13.7 м• RealD XL (в России – SuperD) –

для больших экранов до 24 м• RealD XLS – решение проблемы

уменьшения яркости изображения,экран – до 15 м

• RealD LP – переносная версиядля конференций и выставок, экран до 5 м

2011

RealD 3DСхема работы

http://www.edcf.net/edcf_docs/real-d.pdf

http://www.edcf.net/edcf_docs/real-d.pdf

2011

IMAX• Не является только

форматом 3D• Специфицирует все

элементы кинопоказа• Формат фильмов

и кинотеатров с большимразмером экранаи эффектом погружения

2011

IMAXВерсии• IMAX GT – «Большой кинотеатр»,

без 3D• IMAX GT 3D – Два «GT» проектора• IMAX SR – мультиплексовый

вариант с меньшим экраном,поддержкой 3D

• IMAX MPX – технологияоборудования существующихмультиплексов под формат IMAX

• IMAX Dome – куполообразныйэкран

http://www.ieee.ca/millennium/imax/imax_technical.html

http://www.ieee.ca/millennium/imax/imax_technical.html

2011

Форматы 3D киноЗаключениеDolby 3D NVIDIA 3D Vision RealD 3D IMAX

Спектральный Затворный поляризационный поляризационный

1 проектор Дисплей с высокой частотой развертки

1 проектор 2 мощных проектора

Обычный экран Экран с покрытием Большой экран

Пассивные очкиНизкая стоимость

Активные дорогостоящие очки



Самый дешевый вариант

Нацелен на персональное использование

Очень распространен,возможность

оснащения старых залов

Считается лучшим форматом, эффект

погружения

2011


2011

АвтостереоскопическиеЛентикулярные линзы

При взгляде с разныхуглов увеличиваютсяразные участкиизображения

Neil A. Dodgson, "Multi‐view autostereoscopic 3D display"

2011

Автостереоскопические • Проблема – необходимо «попасть» в правильную зону• Решение – увеличение количества видов

Neil A. Dodgson, "Multi‐view autostereoscopic 3D display"

2011

Мультивидовые дисплеи

http://trigonal.ru/article_3d_displ/3d_displ.htm

http://trigonal.ru/article_3d_displ/3d_displ.htm

2011

МультивидовыеПроекторные системы

Wojciech et al., “3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes”, MERL MA 2004

2011

МультивидовыеПроекторные системы (Видео)

http://www.youtube.com/


2011

TransCAIPСъемка

• 64 камеры• Разрешениекамеры – 320x240

Taguchi et al. “TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display”, ACM SIGGRAPH 2008

2011

TransCAIPОтображение

• 60 видов• Разрешение экрана –256x192 пикселя

• Вертикальныйи горизонтальныйпараллакс

• Параметры параллакса настраиваемыTaguchi et al. “TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography

Display”, ACM SIGGRAPH 2008

2011

TransCAIP (Видео)



2011

TransCAIP (Видео)Управление параллаксом



2011

Волюметрические (Видео)Вращающаяся проекторная плоскость



2011

Волюметрические (Видео)

Проекция на вращающуюся плоскость, находящуюся под углом 45°к проекторуи нормальному углу обзора



2011

Голография (Видео)

Пример современной голографической печати высокого качества



2011


2011

Карты глубинСпособы получения

Ручная разметка кадровИсходный рисунок - http://retouchpro.com

http://retouchpro.com/

2011


Автоматические способы с использованием depth cues(метод Depth from defocus)

CS MSU Graphics & Media Lab (Video Group)

2011



Автоматические способы с использованием depth cues(метод Depth from geometry)

2011

Билатеральная фильтрация глубины

D(x, y) – глубина точки (x, y)I(x, y) – цвет точки (x, y)Ω – область ядра сверткиσs – параметр пространственного усреднения

σc – параметр цветового усреднения

2011

for (each pixel in image)

{ sum = koef = 0;

for (each neighbour_pixel in kernel window)

{ cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial)

* gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color);

sum += neighbour_pixel.value * cur_koef;

koef += cur_koef;

}

new_pixel.value = sum / koef;

}

Билатеральная фильтрация глубины

2011фильтрация карты глубины на основе исходного кадра

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

Билатеральная фильтрация глубиныРезультат

2011

• Сглаживаниеглубины ровныхпо цвету областей

• Подчеркиваниеразницы на цветовыхграницах

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

Билатеральная фильтрация глубиныРезультат

2011

Пространственная фильтрацияРезультаты


Original

2011



Rough Depth

2011



Filtered Depth

2011



Original

2011



Rough Depth

2011



Filtered Depth

2011



Original

2011


2011



Original

2011



Rough Depth

2011



Filtered Depth

2011



Original

2011

Временная фильтрацияСхема работы

Сглаживаниеизмененияглубины во времени– Нормализация,

устранение «мерцания»

– Удаление «артефактов»

2011

Временная фильтрацияSpatio-Temporal Filtering• Пиксель определяется тремя координатами –

(x, y, t) положение в пространстве и времени• Рассматриваем окрестность по всем трем

координатам, с учетом компенсации движения

2011

Временная фильтрацияSpatio-Temporal Filtering for (each pixel in cur_frame)

{ sum = koef = 0;

for (each neighbour_pixel in kernel window)

{ for (each neighbour_frame in temporal window)

{ cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial)

* gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color)

* gaus_weight(cur_frame.count, neighbour_frame.count, sigma_temporal);

sum += neighbour_pixel.value * cur_koef;

koef += cur_koef;

}

}

new_pixel.value = sum / koef;

}

2011

Временная фильтрацияРезультаты


2011

Временная фильтрацияСравнение


2011



Original

2011



Spatial

2011



Spatio-temporal

2011



Original

2011

Дополнительная информация• Подробные лекции по теме можнонайти по адресу http://courses.graphicon.ru/main/mdc/lectures

• Подробное задание по теме можнонайти по адресуhttp://courses.graphicon.ru/main/mdc/assigns

http://courses.graphicon.ru/main/mdc/lectures

http://courses.graphicon.ru/main/mdc/lectures

http://courses.graphicon.ru/main/mdc/assigns

http://courses.graphicon.ru/main/mdc/assigns

Настоящее и будущее 3d Дмитрий Ватолин

Documents