Задача выделения объекта на изображении:...

Задача выделения объекта на изображении:

хаотично-фазовая синхронизация и асинхронность в

осцилляторных нейронных сетях

Мартынов Семён

Санкт-Петербургский государственный политехнический университет

[email protected]

16 декабря 2014 г.

Мартынов Семён (СПб ПУ) Интеллектуальные системы 16 декабря 2014 г. 1 / 36

Содержание

1 Базовые понятия

2 Синхронизация и зрительное внимание

3 Хаотично-фазовая синхронизацияАттрактор Рёсслера

4 Осцилляторные сети и распознавание

5 Результаты симуляции

6 Заключение

7 Ссылки

8 Вопросы


Базовые понятия

Нейронная сеть (1)

Сложная совокупность нейронов, функционально объединенных внервной системе и обеспечивающих взаимосвязанное поведение всехсистем организма.

Нейронная сеть (2)

Упрощенная (математическая/программная/аппаратная) модельбиологической нейронной сетей.

Осцилляторная нейронная сеть

Класс нейронных сетей, в котором рассматриваются колебательныеаспекты их функционирования. Функциональной единицейосцилляторных нейронных сетей, как правило, является осциллятор,т. е. объект с колебательными свойствами.


Синхронизация и зрительное внимание

Какие объекты находятся на рисунке 1?

Рис. 1 : Площадь Тяньаньмэнь



Что позволяет их выделить объекты на рисунке 2?

Рис. 2 : Площадь Тяньаньмэнь с выделенными объектами



Идея динамического связывания (dynamical binding):

Колебательная нейронная активность и синхронизация взрительной коре мозга кошки и обезьяны.

Использования явлений синхронизации и резонанса в другихструктурами мозга (обонятельной корой, гиппокампом,таламокортикальной системой, новой корой).

В отличие от медленной адаптации нейронных сетей под действиемалгоритмов обучения, динамическое связывание способно обеспечитьнемедленную реакцию сети, необходимую при выполнении задачобработки информации в режиме реального времени!



Существуют два базовых подхода к построению компьютерной моделиформирования внимания:

- на основе места (location-based model) - активируется одним(сигнальным) нейроном, акцент на одну точку;

- на основе объекта (object-based model) - базовым юнитом,конкурирующим за внимание является целый объект (либо егочасть).

Биологические системы обучились вычленять из окружающей средымаксимально релевантную информацию (WTA), и подавлятьвторостепенную. Объект, захвативший внимание, постепенно теряетактуальность, уступая остальным объектам.



Благодаря связи между синхронизацией и зрительнымвниманием, были предложены модели распознавания объектов сполной синхронизация между осцилляторами, используемымидля представления объектов.

На практике, феномен полной синхронизации встречался крайнередко.

Следовательно, прочие формы синхронизации должны бытьрассмотрены!



Виды синхронизаций:

Полная (complete synchronization) - полная сходимость (вовремени) соответствующих переменных всех нейронов в сети.

Фазовая (phase synchronization) - разность фаз между элементамисети со временем должна либо вообще не меняться, либонаходиться в определённых конечных границах, при этомигнорируя отношение амплитуд.

Запаздывающая (lag synchronization) - происходит в сильносвязных колебательных системах, когда они выровняются по фазеи амплитуде, но остаются сдвинуты во времени.

Опережающая (anticipating synchronization) - происходит всонаправленных системах коллективного поведения, где однасистема движется с определением относительно остальных.

Обобщенная (generalized synchronization) - подобна фазовой,только отношение между фазами должны описыватьсяопределённой функцией.


Хаотично-фазовая синхронизация

Подход фазовой синхронизации позволяет исследоватьсинхронизацию сетей с осцилляторами, параметры которых могутотличаться.

Рассмотрим хаотично-фазовую синхронизацию на основесдвоенного хаотического аттрактора Рёсслера, которая позволяетсоздать механизм поиска и подсветки объекта, на который будетобращено внимание.

В процессе работы, группа нейронов (представляющих приметныйобъект на снимке) фиксируется по своей фазе, т.е. каждый нейронпроизводит уникальную хаотическую траекторию, но вместе ониоказываются фазной-связанными. В это же время, другие группынейронов, представляющие другие объекты на снимке, двигаютсяв своих фазах, никак не связанных с рассматриваемой нами.



Аттрактор - компактное подмножество фазового пространствадинамической системы, все траектории из некоторой окрестностикоторого стремятся к нему при времени, стремящемся кбесконечности.

Аттрактор Рёсслера — хаотический аттрактор, которым обладаетсистема дифференциальных уравнений Рёсслера:

dxdt = −y − zdydt = x + ay

dzdt = b + z(x − c)

;

где a, b, c — положительные постоянные. При значенияхпараметров a = b = 0, 2 и 2, 6 ≤ c ≤ 4, 2 уравнения Рёсслераобладают устойчивым предельным циклом. При этих значенияхпараметров период и форма предельного цикла совершаютпоследовательность удвоения периода.



Сразу же за точкой c = 4,2 возникает явление хаотическогоаттрактора. Чётко определённые линии предельных цикловрасплываются и заполняют фазовое пространство бесконечнымсчетным множеством траекторий, обладающим свойствами фрактала.

Рис. 3 : Сдвоенный хаотический аттрактора Рёсслера

Рекомендую видео: http://www.youtube.com/watch?v=ef3M0n8MK-0


http://www.youtube.com/watch?v=ef3M0n8MK-0


Два осциллятора будем называть синхронными по фазе, еслиразность их фаз остаётся ограниченной, а амплитуда может некоррелировать.

Другими словами, |φ1 − φ2| < M при t →∞Фаза осциллятора φ определяется следующим образом:

φ = Υ(arctan(y/x)),

где x и y являются переменными осциллятора, а функция Υгарантирует рост числа φ.



Два связных осциллятора Рёсслера также могут бытьсинхронными по фазе, если обеспечивается достаточная сила

связности!

Массив из N (попарно) связных осцилляторов Рёсслерапредставлен следующим уравнением:

xi = −ωiyi − zi + k(2xi − xi−1 − xi+i ),yi = ωixi − ayi ,

zi = b + zi (xi − c),

где используются три константы a = 0, 15, b = 0, 2 и c = 10, азначение ωi для каждого осциллятора выбирается случайнымобразом в интервале [0, 981, 02]. Параметр k отвечает за силу

связности.



Возьмём 50 связных Рёсслеровских систем, и проследим по рисунку 4переход от хаотического к синхронному состоянию.

Рис. 4 : Отклонение от фазы в секундах (s) синхронной (k = 0,05), почтисинхронной (k = 0,03) и не синхронной (k = 0,01) систем.



Если опустить дополнительные математические подробности(основанные на экспоненте Ляпунова), то:

при силе связи равной нулю, синхронизации (в том числе фазовойсинхронизации) не наблюдается.

при увеличении силы связи, фазы синхронизируются, ноамплитуды двух осцилляторов остаются некоррелированными.

при дальнейшем росте силы связи, достигается полнаясинхронизация (с небольшой разницей между траекториями двухосцилляторов).


Осцилляторные сети и распознавание

Рассмотрим модель двухмерной сети Рёсслеровскихосцилляторов, построенной по следующим формулам

xi ,j = −ωi ,jyi ,j − zi ,j + k+i ,j∆+xi ,j + k−i ,j∆

−xi ,j ,yi ,j = ωi ,jxi ,j − ayi ,j ,

zi ,j = b + zi ,j(xi ,j − c),

где:

(i , j) это решётка 1 ≤ i ≤ N, 1 ≤ j ≤ M,

k+i ,j ∈ [0, k+max ] и k−i ,j ∈ [0, k−max ] положительная и отрицательнаясила связывания (уст. в соответ. с пиксельными константами),

ωi ,j также определяется пиксельными константами,

k+max и k−max выбираются в зависимости от изображения,

∆+xi ,j и ∆−xi ,j положительные и отрицательные условиясвязывания.



Положительные и отрицательные условия связыванияопределяются следующим образом:

∆±xi ,j = γi−1,j−1;i ,j(xi−1,j−1 − xi ,j) + γi−1,j ;i ,j(xi−1,j − xi ,j)

+γi−1,j+1;i ,j(xi−1,j+1 − xi ,j) + γi ,j−1;i ,j(xi ,j−1 − xi ,j)

+γi ,j+1;i ,j(xi ,j+1 − xi ,j) + γi+1,j−1;i ,j(xi+1,j−1 − xi ,j)

+γi+1,j ;i ,j(xi+1,j − xi ,j) + γi+1,j+1;i ,j(xi+1,j+1 − xi ,j),

где

γi ,j ;p,q =

{1, если осциллятор (i , j) связан с (p, q)0, иначе



Положительные связи ∆+ между парами:

с одинаковыми цветами будут сохранены;

с различными цветами будут удалены.

Отрицательные связи ∆− между парами:

всегда существуют, т.е. каждый осциллятор всегда имеет связь с8-ю соседями (кроме крайних).



Каждый осциллятор представляет пиксель исходной картинки.

Влияние каждого пикселя на соответствующий осцилляторопределяется через относительный пиксельный контраст Ri ,j .

Для вычисления относительного контраста, требуется вычислитьабсолютный Ci ,j .



Абсолютный пиксельный контраст:

Ci ,j =

∑dwd |F d

i,j−Fdavg |∑

dwd , где

(i , j) - пиксельные индексы,

F di ,j - свойство d для пикселя (i , j) на интервале [0, 1],

wd - вес свойства d ,

F davg - среднее значение свойства d , полученное по формуле

F davg = 1

NM

i=N∑i=1

j=M∑j=1

F di ,j



Свойство d:

F I - интенсивность,

FR - красный,

FG - зеленый,

FB - голубой.

Вес:

w I = 3,

wR = 1,

wG = 1,

wB = 1.



Относительный пиксельный контраст:

Ri ,j = exp(− (1−Ci,j )2

2σ2 )

Полученная относительная константа используется длямоделирования параметров осциллятора, т.е. осцилляторы,соответствующие наиболее примечательному (контрастному)объекту будут синхронизированы к положительной связи k+i ,j ,

а наименее примечательному - к отрицательной связи k−i ,j !

Значение σ выбирается пользователем.



Считается, что человек не может удержать внимание на объекте втечение длительного времени, то есть фокус должен быть смещен надругие объекты. Этот механизм переключения внимания может бытьреализован в нашей модели следующим образом:

Ri ,j = exp(− (t/tend−Ci,j )2

2σ2 ), где

tend - общее время симуляции.

Избавившись от константы в числителе, мы позволили системевыбирать различные объекты (с различной степеньюконтрастности).


Результаты симуляции

Для экспериментов были использованы объекты с явновыделенной контрастной частью.

При проведении экспериментов, были выставлены следующиезначения:

k+max = 0, 05 и k−max = 0, 02 (константы),

σ = 0, 5 и ∆w = 0, 02 (переменные).



Следующий эксперимент проводили с использованием реальногоизображение с рисунка 5.

Рис. 5 : Исходный рисунокМартынов Семён (СПб ПУ) Интеллектуальные системы 16 декабря 2014 г. 26 / 36


Рисунок 6 показывает выбор 300 случайных осцилляторов (пикселей)из изображении так, что первые 150 строк соответствуют "лисам"адругих 150 линий соответствуют "цветку".

Рис. 6 : Выбор 300 случайных пикселей



Рисунки 7 и 8 показывают, что фазовая синхронизация происходитсреди осцилляторов, представляющих объект "цветок в то время какне фазовая синхронизация среди других осцилляторов не наблюдается.

Рис. 7 : фазовая синхронизация происходит среди осцилляторов



Рисунки 7 и 8 показывают, что фазовая синхронизация происходитсреди осцилляторов, представляющих объект "цветок в то время какне фазовая синхронизация среди других осцилляторов не наблюдается.

Рис. 8 : Фазовая синхронизация среди других осцилляторов не наблюдается



Теперь проведём эксперимент с использованием механизмапереключения, чтобы изменить фокус внимания с одного объекта надругой. На рисунке 9 мы видим искусственное изображение с двумяспиралями. Свободные параметры устанавливаются следующимобразом: σ = 0, 3 и ∆w = 0, 2.

Рис. 9 : Исходный рисунок второго эксперимента



Рисунок 10 показывает поведение 150 случайно выбранныхосцилляторов (пикселей) от каждого объекта, где каждая строкасоответствует осциллятора. Из ряда с 1 по 150, мы можем видеть, чтоосцилляторы, соответствующие желтому объекта являются первойгруппой, которая по фазе синхронизирована. Через некоторое времяона теряет синхронизацию и возникает фазовая синхронизация второйгруппы (линии 151 300).

Рис. 10 : Возникает фазовая синхронизация второй группы



Рисунок 11 показывает стандартные отклонения фазы роста двухгрупп осцилляторов.

Рис. 11 : Стандартные отклонения фазы роста двух групп осцилляторов


Заключение

Колебательные сети были использованы для решения задач:

сегментации изображений,

слуховой сегрегации сигнала,

функций привязки,

выбора объекта.

Этот вид моделей требует двух механизмов:

синхронизация каждого объекта с группой

десинхронизация, чтобы отличить один объект от другого


Заключение

Сеть осцилляторов имеет явное достоинство - легкость синхронизациигруппу осцилляторов. Но есть и недостатки, связанные с разделениемразных объектов, у которых случайно совпали траекториисинхронизации.

Возможны следующие возможные направления ее дальнейшейразработки:

испытание новых видов сетевого связывания;

разработка методов сегментации движущихся изображений;

распространение метода на задачи сегментации цветныхизображений;

развитие подходов к моделированию активного зрения.


Ссылки

F.A. Breve, L. Zhao, M.G. Quiles, and E.E.N. Macau, "Chaotic phasesynchronization and desynchronization in an oscillator network forobject selection";presented at Neural Networks, 2009, pp.728-737.

Антон Конушин, Компьютерное зрение.http://courses.graphicon.ru/main/vision.

Кузьмина М.Г., Маныкин Э.А., Сурина И.И. Осцилляторная сеть суправляемой синхронизацией и динамический метод сегментацииизображений // Научная сессия МИФИ-2004. Ч.1Нейроинформатика-2004. 6 Всероссийская научно-техническаяконференция. Теория нейронных сетей 1. Нейробиология.Применение нейронных сетей 1, стр. 29-37

Иванченко И.В., Шалфеев В.Д. Информационная динамикасложных осцилляторных систем. Учеб. метод. пособие. — Н.Новгород: Изд-во ННГУ, 2006. — 113 с.


Вопросы?


Задача выделения объекта на изображении:...

Science