Структурный граф цветовых сгустков: структуры контрастов и их применение

Кий К.И.Институт Прикладной Математики им. Келдыша РАН,

IKI 15-17 марта 2011

• Постановка задачи и связь с предыдущими исследованиями

• Решаются задача определения новых типов характерных точек и мест изображений и задача разработки алгоритмов их нахождения.

• Определяются возможные применения разработанных методов.

• Кратко обсуждаются знакомые автору другие работы в данной области.

• Mishra A. K., Aloimonos Y. Active segmentation // International Journal of Humanoid Robotics 6 (3), 361–386 (2009).

• Kadir T., Brady M. Saliency, scale and image description // International Journal of Computer Vision, 45 (2), 83--105, 2001.

• K. Mikolajczyk, T. Tuytelaars, C. Schmid et al. (2005) A Comparison of Affine Region Detectors // International Journal of Computer Vision, Vol. 65, No. 1, 2005. P.43-72.

• Hongwen Kang, Alexei A. Efros, Martial Hebert, Takeo Kanade. "Image Composition for Object Pop-out", IEEE Workshop on 3D Representation for Recognition (3dRR-09), in association with IEEE International Conference on Computer Vision (ICCV) 2009.

• J. Correa and A. Soto, "Active visual perception for mobile robot localization". Journal of Intelligent and Robotic Systems, vol. 58, No. 3-4, 2010, pp. 339-354.

• P. Espinace, T. Kollar, A. Soto, and N. Roy, "Indoor Scene Recognition through Object Detection". Proc. of IEEE International Conference on Robotics and Automation (ICRA), 2010.

• Forsyth D. A., Ponce J. Computer Vision: a Modern Approach //NY.: Prentice Hall, 2003.

• Yu. B. Blokhinov, Automation of Mutual Orientation of Digital Images Based on Computer Vision Algorithms, Journal of Computer and Systems Sciences International, 49 (6), 981--991 (2010).

Задача cегментации на структурном графе цветовых сгустков

• В предыдущих работах автора каждому цветному изображению поставлен в соответствие структурный граф цветовых сгустков.

• Изображение разбито на полосы равной ширины, параллельные вертикальной или горизонтальной оси системы координат, связанной с изображением.

• Каждой полосе соответствует своя часть графа цветовых сгустков. Пусть полосы параллельны горизонтальной оси. Вершины структурного графа, соответствующие полосе, есть интервалы горизонтальной оси [cn,dn]. Каждому интервалу поставлены в соответствие числа Cardn, и тройки

• (Hmin, Hmean, Hmax), (Smin, Smean, Smax) и (Imin, Imean, Imax).

Пример множества вершин графа цветовых сгустков

Вершины графа цветовых сгустков уличной сцены

• Построение структуры цветовых контрастов на графе цветовых сгустков

Решаются следующие задачи:• 1. Нахождение контрастных соседних

цветовых сгустков.• 2. Объединение похожих соседних цветовых

сгустков в один.• При решении делается попытка разработать

формальный аппарат для учета свойств человеческого зрения.

• Основные конструкции• Каждый цветовой сгусток задается набором чисел

- интервал на оси, который параллелен стороне полос разбиения изображения

- интервалы значений

- средние значения , соответствующие сгустку • Интервалы симметризованы относительно

средних значений:

• Пусть - два числовых интервала,• - длина интервала.• Интервалы очень значительно пересекаются:• ;• Интервалы значительно пересекаются:• .

• Пусть - два числовых интервала,

- длина интервала

Интервалы очень значительно пересекаются:

Интервалы значительно пересекаются:

Пусть ,

Значения S квантованы от 0 до 15; значения I разделены на 8 зон от 0 до 7; значения H разделены на 6 зон от 0 до 5. Для каждого квантового значения и каждой зоны установлены пороги:

.

• Вводятся переменные hue_close, saturation_close, intensity_close.

• Строится система продукций, которая на основе введенных переменных присваивает hue_close, saturation_close, intensity_close значения из множества (3, 2, 1, 0, -1, -2, -3) для сгустков с близкими или пересекающимися интервалами

и .

• Далее строится различающая функция• Discr(hue_close, saturation_close,identity_close),

принимающая значения (4, 3,2, 1, 0, -1, -2, -3, -4).

• Положительные значения означают, что интервалы с некоторой степенью уверенности можно объединить, отрицательные значения определяют некоторую степень контраста.

• Нулевое значение означает, что вывод не сделан.

• Далее приводятся примеры работы алгоритмов построения виртуальных граничных точек.

Снимок с конференции

Примеры структур контрастов

• Структура с найденным ориентиром

• Более детальное изучение ориентира

• Пара изображений, снятая из близких точек

• Выводы• Разработан новый метод выделения характерных мест на

изображении, основанный на методе геометризованных гистограмм, удобный для решения задач понимания изображений в реальном времени.

• Основу представления данных составляет структура контрастов, поставленная в соответствие любому цветному изображению.

• Предложенная техника может быть полезной при решении навигационных задач при движении робота и анализе движения объектов на изображении.

• Разрабатывается система поиска ориентиров на изображениях, основанная на развитой технике и поиска объектов на изображении по содержательному вербальному описанию.

Программная реализация

• Система реализована в С++ (Visual Studio 2008) вместе со средствами сопряжения с вводом изображений из телекамер с использованием DirectX SDK.

• Скорость обработки для цветных изображений 640х480 8-10 fps, для изображений 320х240, в четыре раза быстрее.

• Система имеет средства для работы через сеть, включая работу через Internet.

Спасибо за внимание!