Мониторинг xxi век (Алиса Смирнова, Дима Никоненко, Женя...

103
Мониторинг XXI век Алиса Смирнова, Дима Никоненко, Женя Бурнаев Группа нагрузочного тестирования Highload++, Москва, 25-26 октября 2010 года

Upload: ontico

Post on 14-Apr-2017

893 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

МониторингXXI векАлиса Смирнова,Дима Никоненко,Женя БурнаевГруппа нагрузочного тестированияHighload++, Москва, 25-26 октября 2010 года

Page 2: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Поговорим про мониторинги

Page 3: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

План1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга4. Подробно рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования

Page 4: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга4. Рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования

Page 5: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Пороговый мониторинг

Page 6: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 7: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 8: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Звенит, когда уже все сломалось

Page 9: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 10: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Хороший мониторинг

Page 11: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Звенит, когда еще не сломалось...

Page 12: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 13: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...но скоро сломается

Page 14: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 15: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Можно успеть принять меры

Page 16: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Пороговый мониторинг

Page 17: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Срабатывает при каждом пересечении

Page 18: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 19: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 20: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Хороший мониторинг

Page 21: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Срабатывает один раз и по делу

Page 22: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Нет ложных тревог!

Page 23: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 24: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Как найти хороший мониторинг?

Page 25: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший

2. Оглянемся вокруг3. Математические методы для мониторинга4. Рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования8. Общий подход к построению хорошего мониторинга

Page 26: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В медицине - мониторинг эпидемий

Page 27: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 28: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В навигации - мониторинг неисправностей датчиков

Page 29: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В технике - мониторинг износа деталей

Page 30: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В экономике - мониторинг трендов

Page 31: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 32: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

А еще...

Page 33: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...мониторинг сейсмоактивности

Page 34: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Давным-давно...

Page 35: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 36: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 37: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Но сейчас...

Page 38: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Глобальная система...

Page 39: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...из тысяч сейсмографов

Page 40: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Сейсмоактивность — это случайный процесс

Page 41: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 42: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 43: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 44: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 45: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 46: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Нужен тонкий инструмент

Page 47: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Чтобы было просто

Page 48: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Данные

Системамониторинга

Сигнал тревоги

Page 49: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

И надежно

Page 50: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Точность

Page 51: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Быстрота

Page 52: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В сейсмологии такая система уже есть

Page 53: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

В ее основе — умная математика полувековой выдержки

Page 54: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг

3. Математические методы для мониторинга4. Рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования

Page 55: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

А подробнееСуществуют общие математические методы:

— Контрольные карты (Shewhart W.A., 1931);

— Метод кумулятивных сумм (Page E.S., 1954);

— Метод экспоненциально взвешенного скользящего среднего (Roberts S.W., 1959);

— Фильтр Калмана (Kalman R.E., 1960);

— Байесовские методы (Girshick M.A., Rubin H., 1952; Ширяев А.Н., 1961);

— Процедура Ширяева-Робертса (Ширяев А.Н., 1961; Roberts S.W., 1966);

— Метод на основе обобщенного отношения правдоподобия (Willsky A.S., 1976).

Page 56: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Из чего они возникли?

Page 57: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Пуассоновский процесс

Page 58: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

А решается она так:Много формул.

Page 59: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга

4. Рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования

Page 60: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Пороговый мониторинг

Page 61: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Хороший мониторинг

Page 62: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

И стало вот так

Page 63: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Как применить для мониторинга любого Интернет-сервиса?

Page 64: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга4. Рассмотрим повседневную задачу

5. Проведем аналогии6. Общий подход к построению хорошего мониторинга7. Примеры использования

Page 65: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 66: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 67: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 68: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

— Асимптотически оптимальные методы (на основе обобщенного отношения правдоподобия) выявления разладки в случае нескольких каналов наблюдений (Никифоров 2000, 2003; Тартаковский, Розовский 2006, 2008).

— Оптимальные методы обнаружения разладки для случая платы за получение новых наблюдений (Ширяев, 2010)

— Методы обнаружения разладки для процессов со скачками (Пешкир, Ширяев, 2000).

— Методы обнаружения разладки для диффузионных процессов (Гапеев, Ширяев, 2009)

Современные методы

Page 69: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

От теории — к практике

Page 70: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга4. Рассмотрим повседневную задачу5. Проведем аналогии

6. Общий подход к построению хорошего мониторинга7. Примеры

Page 71: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Все сервисы разные

Page 72: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Постановка задачи

Page 73: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Что мониторить?

Page 74: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Что считать разладкой?

Page 75: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Какой должна быть

—Точность обнаружения

—Вероятность ложного срабатывания

Page 76: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Сбор данных

Page 77: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Предобработка...

Page 78: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...слияние данных из разных источников

Page 79: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...выделение циклов

Page 80: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 81: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...нормировка

Page 82: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 83: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Эксперименты

Page 84: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Подбор параметров

Page 85: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Настройка сигналов о разладке

Page 86: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Автоматизация

Page 87: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Оценка результата

Page 88: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Радость!

Page 89: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

1. Пороговый мониторинг vs Хороший2. Оглянемся вокруг3. Математические методы для мониторинга4. Рассмотрим повседневную задачу5. Проведем аналогии6. Общий подход к построению хорошего мониторинга

7. Примеры

Page 90: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Лунапарк

Page 91: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Автоматическое выявление разладок

Page 92: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Автоматическое выявление разладок

Page 93: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Обучение на 500 размеченных тестах

При анализе используется время ответа, HTTP- и сетевые коды ответов

Точность обнаружения разладки около 97% при вероятности ложного срабатывания <1%

Автоматическое выявление разладок

Page 94: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Мониторинг продакшн-кластера

Page 95: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 96: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Атаки на систему авторизации

Page 97: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Не только “да/нет”...

Page 98: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

...но и масштаб проблемы

Page 99: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)
Page 100: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Умный мониторинг

—Математически доказанная эффективность;

—Масштабируемость;— Гибкость настройки.

Page 101: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Вопросы?

Page 102: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)

Алиса Смирнова,Дима Никоненко,Женя БурнаевГруппа нагрузочного тестирования

119021, Россия, Москва,ул. Льва Толстого, д. 16

+7 (495) 739-00-00+7 (495) 739-70-70 — факс

[email protected]

[email protected]

Page 103: Мониторинг XXI век (Алиса Смирнова, Дима Никоненко, Женя Бурнаев)