Чем может быть полезен стек elk
TRANSCRIPT
Чем может быть полезен стек ELK
Aleksandr Stankevic
Systems Wrangler@Automattic
2012 - NOW()
Проблема● >4000 серверов● сервер недоступен● сервер взломан● десятки терабайт логов в день
Решение● оставить как есть● удаленный syslog - медленный поиск, не достаточно функциональный● splunk - 600$ / GB ?!?!● ELK
Что такое ELK?Elasticsearch:
- Поисковый движок (Lucene)- Распределенная и масштабируемая система
Logstash:
- Обработка логов
Kibana:
- Визуализация и поиск логов
Logstash - inputinput {
file { path => … }
syslog { }
}
inputs: tcp, udp, syslog, file, eventlog, imap, irc, rss, redis, stdin, 0mq и т.д*
* https://www.elastic.co/guide/en/logstash/2.3/input-plugins.html
Logstash - filterfilter {
json { source => … }
grok { match => [ “message”, “/^%{IP:user_ip} (?<username>\w+)/”
]
}
Filters: cidr, geoip, date, grok, json, kv, ruby, xml, useragent, mutate и т.д*
* https://www.elastic.co/guide/en/logstash/2.3/filter-plugins.html
Logstash - outputoutput {
stdout {}
elasticsearch {}
}
Outputs: file, email, exec, graphite, jira, nagios, pagerduty, redis, zabbix и т.д*
* https://www.elastic.co/guide/en/logstash/2.3/output-plugins.html
Примерinput { courier { port => 1234 } file { path => ‘/tmp/php-memory.log’ } }
filter {
json => { source => “message” }
date => { match => [ “timestamp”, “UNIX”, “dd/MMM/YYYY:HH:mm:ss Z"
}
output {
elasticsearch { hosts => “localhost:9200”, index => “logs-%{+YYYY.MM.dd}
}
Kibana
Kibana
Визуализация
Kibana dashboard
ELK кластерElasticsearch:
8 archive nodes (HDD, 128GB RAM )
13 active (SSD, 64GB RAM )
87 TB
Logstash:
14 (16GB RAM ) + 1 per POP ( 6GB RAM, 4 vCPU )
Электронная почта● > 30 миллионов писем в день● 70-80 GB логов в день● несколько запросов в день● распределено по нескольким серверам● до 5 дней
Электронная почта
Электронная почта
Электронная почта
Электронная почта
PHP● 50-150 миллионов php сообщений в день● ~ 2400 серверов● бесконечный цикл :(
PHP
PHP
Netflows
Тепловая карта России
Города и провайдеры
nginx- ~2000 серверов- Более 2 миллиардов запросов в день- Не включая кэшированные запросы- Не включая лоад балансеры
nginx
Запросы из России
Отфильтрованные запросы из России
Понравилось?
https://automattic.com/work-with-us/
Вопросы?