Карпунина Маргарита Евгеньевна, аспирант

Сравнительный анализ использования Табу−машины и нейронных сетей Хопфилда для решения задач дискретной оптимиза- ции из области распределенных баз данных

Карпунина Маргарита Евгеньевна, аспирант

Научный руководитель: Бабкин Эдуард Александрович, к.т.н., доцент, зав. кафедрой «Информационные системы и

технологии»

Нижегородский филиал Государственного Университета − Высшей Школы Экономики, кафедра «Информационные системы и

технологии»

ОБЗОР

Роль распределенных баз данных в современной информационной среде

Известные подходы к синтезу структуры распределенной базы данных

Комбинация нейросетей Хопфилда и генетических алгоритмов

Табу-машина и алгоритм табу-поиска

Программная реализация

Полученные результаты, оценки, прогнозы

Планы дальнейшей работы

2

РОЛЬ РАСПРЕДЕЛЕННЫХ БАЗ ДАННЫХ В СОВРЕМЕННОЙ ИНФОРМАЦИОННОЙ СРЕДЕ

Разработка распределенных систем обуславливает необходимость изучения архитектурных и функциональных принципов обработки распределенных данных.

РБД облегчает распарал-леливание обработки запросов пользователей.

РБД повышает надежность хранения данных и отказо-устойчивость системы.

3

СИНТЕЗ ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД

Синтез оптимальной логической структуры РБД дает оптимальное разбиение множества групп данных по типам логических записей с последующим размещением типов записей по узлам вычислительной сети.

Рассмотрим задачу синтеза оптимальной логической структуры РБД с одним критерием оптимизации (минимизации) − на общее время, необходимое для последовательной обработки множества запросов пользователей РБД.

4

ПОСТАНОВКА ЗАДАЧИ

5

Всемхарактеристикамзадачи, включая

исходную структуру РБД,множество запросов,множество пользователей РБД,множество узлов и топологию вычислительной сети (ВС),усредненные исходныевременные характеристики,

было дано математическое описание.

ПОСТАНОВКА ЗАДАЧИ

Математическая постановка задачи синтеза оптимальной логической структуры РДБ включает задание

целевой функции задачиограничений задачи:

1) на число групп в составе логической записи2) на однократность включения групп в записи3) на длину формируемой логической записи4) на общее число типов синтезируемых логических за

писей, размещенных на каждом из серверов5) на объем доступной внешней памяти серверов ВС д

ля хранения ЛБД6) на требуемый уровень информационной безопаснос

ти системы7) на суммарное время обслуживания оперативных за

просов на серверах

6

СИНТЕЗ ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД: ИЗВЕСТНЫЕ ПОДХОДЫ

Анализ комбинаторных особенностей

Точные и приближенные методы ( схема ветвей и границ ) :трудоемкость, сложность имплементации,неэффективность с точки зрения времени работы

алгоритма при незначительном изменении параметров задачи.

Математическая постановка задачи : многокритериальность, нелинейная задача целочисленного программирования,NP-полная задача.

Эвристические методы проектирования оптимальных

логических структур РБДИскусственные нейронные сети (ИНС).

7

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА

IN 1

IN 2

IN m

w 11

w 12

w 1m

w nm

w n2

w n1

OUT1

OUT2

OUTm

Layer 0Layer 1

Структура нейронной сети Хопфилда

показывает, что группа данных x будет включена в i-ую логическую запись.

8

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА

Результат 1-го этапа решения задачи: матрица распределения групп данных по типам логических записей, где

Результат 2-го этапа решения задачи: матрица безызбыточного размещения типов логических записей по узлам ВС, где

Вектора весовых коэффициентов: ,

Математическая постановка решаемой нами задачи была разработана в терминах нейронных сетей.

9

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА: ФУНКЦИЯ ЭНЕРГИИ НЕЙРОСЕТИ, ПОСТРОЕННОЙ ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ

Выведено уравнение динамики однослойной с обратными связями сети Хопфилда для решения задачи синтеза типов логических записей с учетом ограничений 1, 2 и 6.

10

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА: ФУНКЦИЯ ЭНЕРГИИ НЕЙРОСЕТИ, ПОСТРОЕННОЙ ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ

Выведено уравнение динамики однослойной с обратными связями сети Хопфилда для решения задачи безызбыточного размещения синтезированных типов логических записей по узлам вычислительной сети с учетом ограничений 3, 4, 5 и 7.

где − нормированная сумма, т.е. .

11

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ НЕЙРОСЕТЕВОГО АЛГОРИТМА

Робастность нейронной сети Хопфилда

К сожалению, систематического способа определения значений элементов векторов и не существует. Известно только, что должно выполняться ограничение

.

12

ПУТИ РАЗРЕШЕНИЯ НЕДОСТАТКОВ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ

1.Движение в сторону использования генетических алгоритмов для подстройки весовых коэффициентов термов функций энергии сетей.

2.Использование метода анализа устойчивых состояний (Stable State Analysis (SSA) Technique)¹

Структурная схема генетического алгоритма

Скрещивание

МутацияОтбор

Результат

Создание начальной популяции

¹ Feng G., Douligeris С.Using Hopfield Networks to Solve Traveling Salesman Problems Based on Stable State Analysis Technique // Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks, 2000. P. 6521.

13

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ КАК ОБОЛОЧКА ДЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА

Структурная схема реализованного НС-ГА-алгоритма

Генетический алгоритм Генетический алгоритм

Исход-ные

данные НС-ГА-алго-ритма

Выходные данныеНС-ГА-

алгоритма:оптимальна

я логич.структура

РБД,графики

Нейросетевой алгоритм

НС2: безызбыточное Размещение типов записей по узлам ВС,

0T R нейронов

ЭТАП 2

Нейросетевой алгоритм

НС1: разбивка на типы логических записей,

2n нейронов

ЭТАП 1

Функция приспособленности 1 Функция приспособленности 2

Программная реализация

14

НЕЙРОСЕТЕВОЙ АЛГОРИТМ: НЕКОТОРЫЕ ТЕСТОВЫЕ РЕЗУЛЬТАТЫ ДЛЯ ПОЛНОЙ ЗАДАЧИ СИНТЕЗА ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД

Качество решений, полученных с помощью нейросетевого алгоритма, сравнивалось с качеством решений, полученных с помощью метода ветвей и границ, построенного для решаемой задачи в труде В. В. Кульбы¹.

Процент отклонения качества решения

Средний процент отклонения, полученный в результате тестирования на задачах различной размерности составил

¹ В.В. Кульба, С.С. Ковалевский, С.А. Косяченко, В.О. Сиротюк “Теоретические основы проектирования оптимальных структур распределенных баз данных”. Серия “Информатизация России на пороге XXI века”. — М.: СИНТЕГ, 1999, 660 с.

15

ПРЕДПОСЫЛКИ ИССЛЕДОВАНИЯ ТАБУ-МАШИНЫ КАК АЛЬТЕРНАТИВНОГО НЕЙРОСЕТЕВОГО АЛГОРИТМА

Тенденция сетей Хопфилда стабилизироваться в локальном, а не глобальном минимуме функции энергии

Осуществляемый генетическим алгоритмом подбор коэффициентов A, B, C, D, E, F, влияющих на сходимость сети Хопфилда, способен значительно увеличить время работы НС-ГА-алгоритма

16

ТАБУ-МАШИНА

< l, C, β > − набор парамет-ров Табу-машины¹, где

l 0 − табу-размер, C 0 − максимальное число вызовов обработки

удаленных состояний,β > 0 − предопределенный коэффициент такой, что

βn > l.

Механизм смены состояний в Табу-машине регулируется

табу-поиском.

Алгоритм смены состояний

17

¹ Mingne Sun, Hamid R. Nemati “Tabu Machine: A New Neural Network Solution Approach for Combinatorial Optimization Problems”. Journal Of Heuristics, 9: 5 − 27, 2003.

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ: ОСОБЕННОСТИ

Функция энергии

Улучшение качества решения: степень учета семантической смежности групп данных определяется по формуле

,

где — заданная матрица семантической смежности групп данных. Если , то семантическая связность групп данных полностью учтена.

Увеличение производительности алгоритма

18

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ

Степень близости полученных решений к решению, полностью

учитывающему семантическую смежность

групп данных

Зависимость времени решения задачи от ее размерности.

19

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ОСОБЕННОСТИ

Функция энергии

Улучшение качества решения: значение целевой функции задачи. Качество полученного решения будем оценивать значением целевой функции задачи. Чем ближе оно к нулю, тем более оптимальным является решение.

Увеличение производительности алгоритма

Исследование области параметров < l, C, β > Табу-машины: описание экспериментов

20

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ

21

Конфигурации задачи: количество групп данных n = 10; 20; 40 Набор параметров < l, C, β >:


22


23


24


25


26


27

НС-ГА-АЛГОРИТМ И АЛГОРИТМ ТАБУ-ПОИСКА: ВЫВОДЫ

С увеличением размерности задачи решения, полученные с помощью Табу-машины, качественно превосходят решения, полученные в результате применения сетей Хопфилда.

К преимуществам использования Табу-машины можно отнести независимость решения от коэффициентов энергетической функции A, B, C, D, E, F сети.

Чем больше значение параметра С, тем больше качественно лучших решений удается получить при различных значениях l.

Наилучшим значением параметра l является величина, равная количеству типов логических записей, синтезированных на первом этапе решения задачи.

28

ЗАКЛЮЧЕНИЕ

Мы рассмотрели возможности применения аппарата искусственных нейронных сетей для решения задач дискретной оптимизации.

В ходе обсуждения были продемонстрированы возможности сетей Хопфилда для решения задач такого рода. А исследования Табу-машины как альтернативного способа решения выявили возможность не только качественного улучшения решения задачи, но и возможность увеличения производительности алгоритма.

Были даны рекомендации по смягчению недостатков нейросетевых алгоритмов, такие, как использование SSA-технологии и симбиоз нейронных сетей и генетических алгоритмов.

29

ПЛАНЫ ДАЛЬНЕЙШЕЙ РАБОТЫ

Интегрировать Табу-машины для первого и второго этапов решения задачи синтеза в единый алгоритм табу-поиска.

Выполнить распараллеливание алгоритма табу-поиска с целью повышения его эффективности.

Расширение множества тестовых конфигураций задачи с целью получения решений задачи синтеза оптимальной логической структуры РБД для канонических структур с большим числом групп данных.

30

СПАСИБО ЗА ВНИМАНИЕ

ЦЕЛЕВАЯ ФУНКЦИЯ ЗАДАЧИ

12345

ОГРАНИЧЕНИЕ НА ЧИСЛО ГРУПП В СОСТАВЕ ЛОГИЧЕСКОЙ ЗАПИСИ

где − максимальное число групп в записи

Постановка задачи Первый этап решения

12345

ОГРАНИЧЕНИЕ НА ОДНОКРАТНОСТЬ ВКЛЮЧЕНИЯ ГРУПП В ЛОГИЧЕСКИЕ ЗАПИСИ

где − мощность множества логических записей, − мощность множества групп данных, , если -ая группа данных включена в -ую логическую запись, и , иначе.


12345

ОГРАНИЧЕНИЕ НА ДЛИНУ ФОРМИРУЕМОЙ ЛОГИЧЕСКОЙ ЗАПИСИ

где − максимально допустимая длина -ой записи определяемая характеристиками сервера

Постановка задачи Второй этап решения

12345

ОГРАНИЧЕНИЕ НА ОБЩЕЕ ЧИСЛО ТИПОВ СИНТЕЗИРУЕМЫХ ЛОГИЧЕСКИХ ЗАПИСЕЙ, РАЗМЕЩЕННЫХ НА КАЖДОМ ИЗ СЕРВЕРОВ

где − максимальное число типов логических записей, поддерживаемое локальной СУБД узла-сервера


12345

ОГРАНИЧЕНИЕ НА ОБЪЕМ ДОСТУПНОЙ ВНЕШНЕЙ ПАМЯТИ СЕРВЕРОВ ВС ДЛЯ ХРАНЕНИЯ ЛБД


12345

ОГРАНИЧЕНИЕ НА ТРЕБУЕМЫЙ УРОВЕНЬ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ СИСТЕМЫ

для заданных

и


12345

ОГРАНИЧЕНИЕ НА СУММАРНОЕ ВРЕМЯ ОБСЛУЖИВАНИЯ ОПЕРАТИВНЫХ ЗАПРОСОВ НА СЕРВЕРАХ

для заданных , где − допустимое время обслуживания -го оперативного запроса


12345


Особь в нашем случае — это точка в -мерном пространстве. Количество генов каждой особи равно . Хромосома — последовательное объединение всех генов .

Для построения генотипа разработана следующая символьная модель: каждый ген представляется строкой из 32-х бит, такое представление получается с помощью двух операций:

1.перевод значения гена в десятичной системе счисления в двоичную (при дополнении старших разрядов нулями, если это необходимо) ,

2.перевод гена в двоичной системе счисления в код Грея .

С точки зрения генетического алгоритма нейросетевой алгоритм используется как своеобразный “черный ящик”, осуществляющий отображение особи в соответствующую ей матрицу или (в зависимости от номера этапа решения задачи), по которой определяется фенотип особи .


Для ГА-оболочки первого этапа была взята следующая функция приспособленности


Для ГА-оболочки второго этапа была взята следующая функция приспособленности

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ НС-ГА-АЛГОРИТМА

ОО библиотека классов нейронных сетей Хопфилда на С++

ОО модель генетических алгоритмов.

Результатами решения задачи являются:

1.вектор и матрица разбиения групп данных по типам логических записей (этап 1);

2.вектор и матрица размещения типов логических записей по узлам ВС (этап 2).

Особенности реализации ГА Результаты работы ГА

ОСОБЕННОСТИ РЕАЛИЗАЦИИ ГЕНЕТИЧЕСКОГО АЛГОРИТМА

Код Грея для представления символической модели генотипа

Формирование начальной популяции по фенотипуСпособ выбора пары − панмиксия.Генетические операции − простой кроссинговер и

точечная мутацияОбщий способ формирования репродукционной группы,

т.е. в новую популяцию включаются и дети, и родителиСтрогий естественный отбор.

Критерии останова алгоритма:На протяжении нескольких поколений рекордсмен по

приспособленности не меняетсяПриспособленность хотя бы одной особи текущей

популяции равна 1.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ И ИХ АНАЛИЗПриспособленность особей начальной популяции

Приспособленность особей первой популяции

Приспособленность особей второй популяции

ТАБУ-МАШИНА: СТРУКТУРА И КОНЦЕПЦИИ ФУНКЦИОНИРОВАНИЯ

Табу-машина определяется как множество бинарных нейронов, соединенных двунаправленными связями.

Состояние Табу-машины определяется состояниями ее нейронов и обозначается , где n − число нейронов в Табу-машине.

Сила связи между нейронами называется весом. Если нейроны i и j связаны друг с другом, то вес, приписываемый этой связи, обозначается через , причем .

Устойчивость состояния Табу-машины зависит от ее энергии. Чем меньше энергия, тем более устойчиво состояние.

ПРИЛОЖЕНИЕ: ДОПОЛНИТЕЛЬНЫЕ МАТЕРИАЛЫ

ПРИЛОЖЕНИЕ: ДОПОЛНИТЕЛЬНЫЕ МАТЕРИАЛЫ

Для формализации задачи синтеза были определены следующие переменные:

, если -ая группа данных включается в -ую логическую запись;

, иначе.

если -ая логическая запись размещена на сервере -го узла ВС; , иначе.

, если ; , если .

Переменная определяет типы логических записей, используемые -ым запросом на сервере -го узла ВС.

, если ; , если .

Переменная определяет множество узлов-серверов ЛБД, к которым обращается -ый запрос. - количество типов логических записей, синтезированных в процессе решения задачи.

ОБЛАСТЬ ЗНАНИЙ

Computer Science

Computational Intelligence

Artificial Intellegence

Soft Computingfuzzy systems, neural networks, genetic algorithms

Карпунина Маргарита Евгеньевна, аспирант

Documents