Распределённый мониторинг с помощью Icinga

А оно вам надо ?● Ваш ресурс используют люди,

которые не знают вас● У вас используется

автоматическая загрузка данных● Ваш ресурс важен для вас

Тогда оно вам надо!

Правила проведения мониторинга● Начните мониторить — пока вы

выбираете чем мониторить, ваш сервис лежит!

● Продумайте систему доставки «красной лампочки»

● Разработайте регламент реакции на «красную лампочку»

● Мониторьте ваш мониторинг

Используемые компоненты

● Icinga — мониторинг, ядро системы● Mod Gearman — расширение для icinga/nagios для

выполнения распределённого мониторинга● Gearman — фреймворк для распределения задач● check_mk — многофункциональное расширение для

icinga/nagios● Pnp4nagios — система построения графиков

Сервер - обработчик

Общая схема работы

Icinga

Mod Gearman Broker

Обработчик Mod Gearman

check_mk

Gearmand

pnp4nagios

Результатзапуска

Счетчики

Запросы ирезультаты

Статистика(perfdata)

● Высокая скорость работы● Надёжность, проверенная временем● Модульность● Огромное количество расширений

Распределённый мониторинг, зачем ?

● Если вам не хватает производительности одного сервера● Если у вас несколько сегментов сети, изолированных друг от

друга● У вас несколько проектов и одна группа дежурных для всех

проектов

Мониторинг с централизованным управлением

Центральныйсервер

Все настройки здесь

Обработчик 1 Обработчик N• • •

Команда РезультатКоманда Результат

Централизованное управление, особенности

● Единые настройки для всех проектов● Производительность системы выше чем при одиночном

сервере

Мониторинг с децентрализованным управлением

Центральныйсервер

Пассивный сбор результатов

Обработчик 1Настройки здесь

Обработчик NНастройки здесь

• • •

Результат Результат

Децентрализованное управление, особенности

● Настройки выполняются индивидуально для каждого проекта

● Масштабируемость системы выше, чем при централизованном управлении

● Сервер gearmand в большинстве случаев не требует настройки и прекрасно работает с настройками по умолчанию!

● Не требует баз данных● Не создает нагрузки на диск

Mod Gearman● Шифрование сообщений — защита от влияния со стороны● Установление соединения от обработчика к серверу — не требуется открытие

входящих соединений на серверах - обработчиках● Возможность резервирования сервера задач (gearmand)● Возможность передачи статистики (perfdata) через gearmand● Возможность передачи событий для Event Handlers — обработчиков событий

смены статуса хостов или сервисов (например для восстановления работоспособности сервиса)

Схема работы Mod Gearman Icinga

Mod Gearman Broker

Основной серверGearmand

Резервный серверGearmand

Workers(Обработчики)

Очереди задач

Создание отдельных очередей для отдельных групп icinga:

hostgroups=ru, us, deservicegroups=ru, us, de

Исключение отдельных групп из gearman — локальные проверки

localhostgroups=local_checkslocalservicegroups=local_checks

Пример работы gearman_top

Queue Name | Worker Available | Jobs Waiting | Jobs Running-------------------------------------------------------------------------------- check_results | 2 | 0 | 0 eventhandler | 250 | 0 | 0 host | 250 | 0 | 0 hostgroup_ru | 150 | 0 | 38 hostgroup_us | 100 | 0 | 16 perfdata | 2 | 0 | 0 service | 250 | 0 | 0 servicegroup_ru | 150 | 0 | 0 servicegroup_us | 100 | 0 | 0--------------------------------------------------------------------------------

Дублирование результатов проверок● Всё ПО из состава Mod Gearman позволяет дублировать

результаты проверок на один или более серверов● Дублированные результаты могут быть использованы для

систем отчетности

check_mk

● Инвентаризация — автоматическое определение доступных счетчиков● Все параметры одного сервера получаются одним запуском check_mk

(скорость)● Очень удобная система настроек позволяет практически полностью

заменить стандартные конфиги icinga● Шаблоны pnp4nagios для большей части снимаемых параметров● Lifestatus + multisite● WATO — Web Administration Tool

Инвентаризация>check_mk -I localhost

cpu.loads 1 new checks

cpu.threads 1 new checks

df 7 new checks

diskstat 4 new checks

ipmi 1 new checks

kernel 3 new checks

kernel.util 1 new checks

lnx_if 1 new checks

md 2 new checks

mem.used 1 new checks

mounts 7 new checks

tcp_conn_stats 1 new checks

check_mk это просто# Хостов может быть сколько угодноwww_hosts = [ 'www1.icq.com|main', 'www2.icq.com',]

# Эти хосты живут в Россииru_hosts += www_hostsall_hosts += www_hosts

# Дополнительные проверкиlegacy_checks += [ ( ( "check_apachestatus!80!1000!400", "apache_status", True ), www_hosts ), ( ( "check_https_cert!443", "www_ssl_cert", True ), www_hosts ), ( ( "check_main", "www_main", False ), [ "main" ] ,www_hosts ),]

# Создаем группу www_hosts в icinga для удобстваhost_groups += [ ( "www_hosts", www_hosts ) ]

Схема работы check_mk и Gearman

Icinga

Mod Gearman Broker

Основной серверGearmand

Резервный серверGearmand

Серверы - обработчикиWorker

check_mk

Ответ на запуск check_mk(активная проверка)

Все счетчики(пассивная проверка)

● Умеет работать через gearman● В комплекте к check_mk темплейты для pnp4nagios● Умеет работать с rrdcached

Пример работы pnp4nagios

Анатолий ЖердевЗаместитель директора по эксплуатации

a.zherdev@corp.mail.ru