Модели с неявной и дискретной геометрией

Модели с неявной и дискретной геометрией

Алексей Игнатенко

Лекция 6

16 ноября 2006

16 ноября 2006 Основы синтеза изображений 2

На прошлой лекции

Пленоптик-функция задает излучение во всех возможных направлениях

Задача моделирования – эффективно представить пленоптик-функцию

Спектр методов: от набора изображений до полной геометрии

Методы на основе интерполяции изображений: Панорамы Мозаики Световые поля Склейки «Море изображений»


На лекции

Представления с неявной геометрией

Представления с дискретной геометрией


Спектр моделей

Световые поля, Люмиграф

Изобр. с глубиной

Многосл. изобр. с глубиной

Камеро-зависимая геометрия, камеро-зависимая текстура

Камеро-зависимая геометрия, фиксир. текстура

Фиксир. геометрия, камеро-зависимая текстура

Только изображения

Изображения + частичная геометрия Полная геометрия

Изображения Геометрия


На прошлой лекции: модели использующие только изображения











Сегодня: изображения + доп. информация











Проблемы подходов на основе интерполяции изображений Высокие требования к количеству

исходных фотографий (изображений) Сложность получения Большой объем данных

Статичность Нет анимации Нельзя менять положение источников света


Как можно уменьшить необходимое количество фотографий? Для чего нужно много фотографий?

Для плавной интерполяции Параллакс Блики

Можно взять меньше фотографий, но добиться того же эффекта за счет: Более «умной» интерполяции Использования дополнительных данных о

содержании изображений


Представления с неявной геометрией Небольшое число исходных

изображений

Использование дополнительной информацию о соответствиях (matches) пикселей на различных изображениях

Неявная геометрия 3D положения точек не

восстанавливаются целевое изображение

реконструируется с помощью манипуляции с соответствиями на изображениях

Подход позволяет увеличить дистанцию между изображениями


Интерполяция вида(view interpolation) 1994г Один из первых подходов

на основе «умной» интерполяции

Основан на реконструкции плотного оптического потока между соседними изображениями

Далее - интерполяция


Интерполяция вида: алгоритм синтеза 1. Реконструируется оптический поток

Методы машинного зрения 2. Для заданного положения наблюдателя

репроецируются оба исходных изображения 3. Для заливания дырок используется

интерполяция


Интерполяция вида: алгоритм синтеза 2

Одно изображение

Два изображения

Два изображения (исходные камеры ближе)

Два изображения с интерполяцией


Интерполяция вида: результаты

Синтез

Интерполяция

Найдите десять отличий


Интерполяция вида: свойства

Небольшое число фотографий Нет предположений о геометрии,

материалах Высокая скорость экранизации Необходимо вычисление плотного

стерео (диспаритета для каждой точки) Как следствие, изображения

расположены достаточно часто Расстояние не более одного метра


Видовой морфинг(view morphing) Метод похож на интерполяцию вида Но не требуется реконструкции плотного стерео Ограничение: движение только между центрами

проекций изображений


Видовой морфинг: алгоритм синтеза

1. Регистрация двух изображений 2. Ректификация изображений

Эпиполярные линии горизонтальны 3. Стандартный морфинг вдоль строк (на

основе особенностей) Левое и правое – в центр

4. Де-ректификация изображений 5. Смешивание изображений


Видовой морфинг: морфинг параллельных видов

Морфинг вдоль горизонтальных линий


Видовой морфинг: морфинг произвольных видов

ректификация


Видовой морфинг: примеры


Видовой морфинг: примеры 2


Видовой морфинг: сравнение с обычным


Видовой морфинг: свойства

Небольшое число фотографий Нет предположений о геометрии,

материалах Не требуется оптический поток Ограниченная область применения


Пленоптик-моделирование(plenoptic modeling) Идея метода

Восстановление оптического потока между двумя цилиндрическими панорамами и интерполяция между ними


Пленоптик-моделирование: алгоритм получения и синтеза Создание панорамных изображений из

набора фотографий Регистрация

Полуавтоматическая Вычисление плотного стерео Реконструкция панорамного изображения

для заданного положения наблюдателя


Пленоптик-моделирование: пример


Пленоптик-моделирование: свойства

Небольшое число фотографий Нет предположений о геометрии, материалах Высокая скорость экранизации Необходимо вычисление плотного стерео

(диспаритета для каждой точки) Как следствие, панорамы расположены

достаточно часто Расстояние не более одного метра

Наилучшие результаты при движении по линии, соединяющии центры проекций панорам


Модели с дискретной геометрией

Модели содержат явную 3D информацию в дискретной форме

Обычно: глубина каждого пикселя изображения вдоль направления взгляда.

Такие представления не содержат информации о том, как достраивать значения до поверхности В отличие от граничных

полигональных представлений, например

Полигональные представления не попадают в этот класс


Модели с дискретной геометрией: карты глубины Каждой точке сопоставлено расстояние до

объекта Известна калибровка камеры

Часто результат работы лазерных сканеров


Деформация карт глубины

Возможно построить целевое изображение без реконструкции трехмерных точек!

Исходное изображение Целевое изображение

Точка поверхности объекта


Деформация карт глубины: алгоритмы синтеза Прямая деформация

Обходим точки исходного, получаем координаты в целевом

Обратная деформация Обходим точки в целевом, получаем

координаты в исходном


Алгоритмы синтеза: прямая деформация

Быстро! Проблемы дискретизация и реконструкции

Сплаттинг

Исходное Целевое


Алгоритмы синтеза: обратная деформация

Исходное Целевое

Проблема реконструкции заменяется на проблему сэмплирования

Медленно, фактически трассировка лучей


Деформация карт глубины: свойства

Небольшое число изображений с глубиной В несколько раз (или даже в несколько десяткой раз!)

меньше, чем просто изображения для интерполяции

Возможна аппаратная поддержка Сейчас уже есть реализации на шейдерах

Сложность получение карт глубины Опять может потребоваться CV

Обычно только ламбертовы поверхности Хотя есть методы, позволяющие использовать модели

освещения


Многослойные карты глубины(Layered Depth Images) Одно «изображение»

позволяет хранить полную информацию об объекте

Трехмерная структура данных

собой прямоугольная матрица

каждый элемент – список точек

Каждая точка содержит глубину и атрибуты в простейшем случае –

цвет


Многослойные карты глубины: методы синтеза Модифицированный алгоритм

деформации


Деревья многослойных карт глубины (LDI Trees) Вместо одного LDI формируется восьмеричное дерево В каждом узле которого находится свой LDI и ссылки на

другие узлы В них находится LDI меньшего размера (в единицах сцены),

но того же разрешения.

Каждый LDI в дереве содержит информацию только о той части сцены, которая содержится в его ограничивающем параллелепипеде. Ограничивающие параллелепипеды узлов следующего

уровня дерева получаются дроблением ограничивающего параллелепипеда текущего уровня на восемь равных частей.


Итоги

Методы на основе изображений с неявной геометрией позволяют понизить требования к количеству исходных изображений Но требуются сложные алгоритмы машинного зрения для

поиска соответствий Сужение области применения

Методы на основе дискретной геометрии Обычно используется для работы с данными трехмерных

сканеров или результатов работы алгоритмов машинного зрения

Нужно еще меньше фотографий Сложности с получением (карты глубины) Ограничения на модель тонирования

Модели с неявной и дискретной геометрией

Documents