![Page 1: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/1.jpg)
Нейронные сети
Полежаев Илья
StatSoft®
Russia
![Page 2: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/2.jpg)
![Page 3: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/3.jpg)
![Page 4: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/4.jpg)
Физическая аналогия
![Page 5: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/5.jpg)
Как он работает?
![Page 6: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/6.jpg)
Современная биология:•Клетка - элементарный процессор, способный к простейшей обработке информации
•Нейрон - элемент клеточной структуры мозга
•Нейрон осуществляет прием и передачу информации в виде импульсов нервной активности
•Природа импульсов - электрохимическая
![Page 7: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/7.jpg)
![Page 8: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/8.jpg)
Интересные данные Тело клетки имеет размер 3 - 100 микрон Гигантский аксон кальмара имеет толщину
1 миллиметр и длину несколько метров Потенциал, превышающий 50 мВ изменяет
проводимость мембраны аксона Общее число нейронов в ЦНС человека
порядка 100.000.000.000 Каждая клетка связана в среднем с 10.000
других нейронов Совокупность в объеме 1 мм*3 -
независимая локальная сеть
![Page 9: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/9.jpg)
![Page 10: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/10.jpg)
Нервная ткань: Лишена регенерации Её нейроны способны формировать
новые отростки и синаптические контакты
Развитие нейронных ответвлений сопровождается конкуренцией за синаптические участки
Специфическая изменчивость нейронных сетей лежит в основе их способности к обучению
![Page 11: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/11.jpg)
Формальный нейрон
![Page 12: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/12.jpg)
Нелинейное преобразование
Маккалок - Питтс
Линейная
Сигмоидальная
![Page 13: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/13.jpg)
Перцептрон Розенблата
S- сенсорные, А - ассоциативные, R - рефлекторные
Розенблат: нейронная сеть рассмотренной архитектуры будет способна к воспроизведению любой
логической функции. (неверное предположение)
![Page 14: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/14.jpg)
Обучение сети Обучить нейронную сеть это значит,
сообщить ей, чего от нее добиваются. Показав ребенку изображение буквы и
получив неверный ответ, ему сообщается тот, который хотят получить.
Ребенок запоминает этот пример с верным ответом и в его памяти происходят изменения в нужном направлении.
![Page 15: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/15.jpg)
Обучение перцептрона Начальные значения весов
всех нейронов полагаются случайными.
Сети предъявляется входной образ xв результате формируется выходной образ.
![Page 16: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/16.jpg)
Обучение перцептрона
Вычисляется вектор ошибки, делаемой сетью на выходе.
Идея: изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе.
![Page 17: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/17.jpg)
Обучение перцептрона Вектор весов модифицируется по следующей
формуле:
- темп обучения.
![Page 18: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/18.jpg)
Параметры Обучение проводится для всех
обучающих векторов. Один цикл предъявления всей
выборки называется эпохой. Обучение завершается по истечении
нескольких эпох, когда вектор весов перестанет значимо меняться.
![Page 19: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/19.jpg)
Возможности примененияТеорема о полноте:
Любая непрерывная функция может быть приближена функциями, вычисляемыми нейронными сетями.
Нейронные сети являются универсальными структурами, позволяющими реализовать
любой алгоритм!
![Page 20: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/20.jpg)
Этапы построения сети Выбор архитектуры сети
– Число входов– Функции активации– Как соединить нейроны– Что взять за вход, что за выход
Подбор весов (обучение сети) Построить вручную Воспользоваться пакетом
нейросетевого моделирования
![Page 21: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/21.jpg)
STATISTICANeural Networks
Программный пакет для создания и обучения нейронных сетей и
работы с нейросетевыми моделями
StatSoft®
Russia
![Page 22: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/22.jpg)
Исключительная простота в работе Советник по конструированию сети Мастер решения задач
Богатые средства визуализации
STATISTICA Neural Networks
![Page 23: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/23.jpg)
STATISTICA Neural Networks:работа с данными
Структура таблиц исходных данных:– числовые и номинальные переменные;– входные и выходные переменные;– подмножества наблюдений.
Импорт файлов различных форматов, использование буфера обмена.
Подготовка данных: встроенные алгоритмы пре- и пост-процессирования.
![Page 24: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/24.jpg)
STATISTICA Neural Networks:построение сетей
Создание и сохранение наборов сетей. Выбор типа сети:
– многослойные персептроны (MLP);– радиальные базисные функции (RBF);– вероятностные и обобщенно-регрессионные сети
(PNN и GRNN);– сети Кохонена.
Задание функции ошибок, функций активации и PSP-функций различных слоев.
Доступ к весам всех нейронов сети.
![Page 25: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/25.jpg)
STATISTICA Neural Networks:обучение сетей
Большой выбор алгоритмов обучения:– обратное распространение ошибки;– спуск по сопряженным градиентам;– квази-ньютоновский и Левенберга-Маркара;– метод псевдообратных матриц.
Использование кросс-проверки. Задание условий остановки. Контроль за процессом обучения с
помощью графика среднеквадратичной ошибки и гистограммы ошибок наблюдений.
![Page 26: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/26.jpg)
STATISTICA Neural Networks:работа с сетью
Оценки качества обучения и работы сети:– статистики регрессии;– статистики классификации;– построение поверхностей отклика.
Прогон всего набора данных и отдельных наблюдений.
Построение прогноза временного ряда.
![Page 27: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/27.jpg)
STATISTICA Neural Network:дополнительные функции
Генетический алгоритм отборавходных данных
Нелинейное понижение размерности Регуляризация весов по Вигенду Анализ чувствительности Введение матрицы потерь Операционные характеристики
![Page 28: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/28.jpg)
STATISTICA Neural Networks:создание приложений
Взаимодействие с системой STATISTICA: передача данных и графиков.
Встроенный интерфейс прикладного программирования (API) для создания приложений в среде Visual Basic и C++.
Новая функция - генератор программного кода на языке Си.
![Page 29: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/29.jpg)
Прогнозирование результатов выборов
президента США
![Page 30: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/30.jpg)
Условия моделирования
Предвыборные компании кандидатов отработаны добросовестно
Все участники сделали все возможное Выбор практически предопределяется
лишь объективными признаками? Прогноз составлялся в 1992 году по
данным выборов начиная с 1864
![Page 31: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/31.jpg)
Входные данные Правящая партия у власти более 1 срока? Правящая партия получила больше 50% на
прошлых выборах? В год выборов была активна третья партия? Была серьезная конкуренция при
выдвижении кандидата от правящей партии?
![Page 32: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/32.jpg)
Входные данные Кандидат от правящей партии был
президентом в год выборов? Был ли год выборов временем спада или
депрессии? Был ли рост среднего национального
валового продукта на душу населения более 2,1%?
Произвел ли правящий президент существенные изменения в политике?
![Page 33: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/33.jpg)
Входные данные Во время правления были
существенные социальные волнения? Администрация правящей партии
виновна в серьезной ошибке или скандале?
Кандидат правящей партии - национальный герой?
Кандидат оппозиционной партии - национальный герой?
![Page 34: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/34.jpg)
![Page 35: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/35.jpg)
Создание сети
![Page 36: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/36.jpg)
Обучение
![Page 37: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/37.jpg)
Активизируем случай 1992 года
![Page 38: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/38.jpg)
Прогноз
Результат = 2 - прогнозируется победа
кандидата из оппозиции
![Page 39: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/39.jpg)
Анализ чувствительности
Нажатие этой кнопки автоматически исключает незначимые переменные
из анализа
![Page 40: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/40.jpg)
На основе экспертных данных выявить факторы, наиболее
влияющие на прибыль предприятия
![Page 41: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/41.jpg)
Представлены факторы
Затраты на материалы Объем зарплаты Производительность труда Курс доллара США
![Page 42: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/42.jpg)
![Page 43: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/43.jpg)
Обучение
Регрессия построена
![Page 44: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/44.jpg)
Анализ чувствительности
Объем зарплаты и производительность труда сильно влияют
на прибыль предприятия
![Page 45: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/45.jpg)
![Page 46: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/46.jpg)
Анализ и прогнозированиеобъема продаж сетей
автозаправочныхстанций в США
![Page 47: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/47.jpg)
График временного ряда
![Page 48: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/48.jpg)
Выходная переменная автоматически подается
на вход сети
![Page 49: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/49.jpg)
Intelligent problem solver
![Page 50: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/50.jpg)
Intelligent problem solver
![Page 51: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/51.jpg)
Процесс поиска сети
![Page 52: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/52.jpg)
![Page 53: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/53.jpg)
Обсуждение результатовГлубинапрогноза
Отправнаяточка
![Page 54: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/54.jpg)
Необходимо переобучитьсеть
![Page 55: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/55.jpg)
![Page 56: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/56.jpg)
Результаты
Возможнопереобучение!
![Page 57: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/57.jpg)
Качество результатов сравнимо
с классическими методами.
![Page 58: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/58.jpg)
Качество прогнозаДля повышения качества прогноза
рекомендуется добавить к исходной переменной ряд, определяемый как
Dy(t)=y(t)-y(t-1)
Точность прогноза увеличилась на порядок!
![Page 59: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/59.jpg)
Модель распределенной нейронной памяти
Каждый нейрон может находиться в двух состояниях:– S1 = +1 - возбужденное
– S2 = - 1 - покой
Нейроны связаны между собой синаптическими связями, которые бывают возбуждающие и тормозящие.
![Page 60: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/60.jpg)
Модель распределенной нейронной памяти
ТормозящийS1 = +1 S2 = - 1
ВозбуждающийS1 = +1 S2 = + 1
Связь можно описывать коэффециентом: 1ijJ
![Page 61: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/61.jpg)
- потенциальная энергия связи 211212 SSJE
Любая система предоставленная самой себе стремится к минимуму своей потенциальной
энергии.
minEij
ij
![Page 62: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/62.jpg)
jiij,ii,jiN1
ij JJ0J,jiJ
Модель Хопфилда коэффициентов межнейронных связей, когда в сети запомнено
p образов.
Образ
Каждому образу соответствует локальный энергетический минимум!
![Page 63: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/63.jpg)
Бимодальный образ
Качественный вид потенциальной функции Хопфилда
![Page 64: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/64.jpg)
Модель Хакена
Образы описываются параметрами порядка: d1 и d2
Переменные, описывающие степень насыщения внимания: k1 и k2
![Page 65: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/65.jpg)
Уравнения насыщения
)dk1(gk)dk1(gk
)AdBdk(dd)BdAdk(dd
2
2
22
22
111
222
21222
21111
При некотором соотношении между константамиА, B, g имеет место осцилляция внимания!
![Page 66: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/66.jpg)
Период колебаний При зрительном восприятии:
T = 10c При смысловой неоднозначности:
«Продается собака. Неприхотлива в еде. Любит детей.»
T = 0.1cРазница объясняется существенной
разницей нервного вещества, вовлеченного в эти процессы.
![Page 67: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/67.jpg)
Мы обсудили Проблему неоднозначности в
искусстве Биологические нейронные сети Математические модели нейронных
сетей Возможности пакета SNN Задачу: прогноз результатов выборов
президента США
![Page 68: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/68.jpg)
Мы обсудили Задачу: выявление показателей,
влияющих на валовую прибыль предприятия (регрессионная модель)
Задачу: прогнозирование временного ряда
Способ оценки периода колебаний зрительных образов в сознании
![Page 69: Neironnye seti v pakete statistica neural networks](https://reader038.vdocuments.pub/reader038/viewer/2022102605/57906d311a28ab68748ee848/html5/thumbnails/69.jpg)