![Page 1: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/1.jpg)
Graphite
Халиков Антон, NetAngels.RU
четверг, 23 мая 13 г.
![Page 2: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/2.jpg)
High LA caused by
• IO wait
• RPS
• CPU usage
• Network PPS
• Low memory
• Mail traffic
• CRON
• SWAP
• OOM
четверг, 23 мая 13 г.
![Page 3: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/3.jpg)
четверг, 23 мая 13 г.
![Page 4: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/4.jpg)
RRDTool: Round Robin Database
четверг, 23 мая 13 г.
![Page 5: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/5.jpg)
Round Robin Database
• Файл фиксированного размера• Фиксированные временные шаги• Автоматическая агрегация данных• Обнаружение аномального поведения
четверг, 23 мая 13 г.
![Page 6: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/6.jpg)
RRD: проблемы
Как найти чей это трафик?
четверг, 23 мая 13 г.
![Page 7: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/7.jpg)
RRD: пути решения
• Своя реализация rrd на mongodb
• RRDTool + SQLite
• Проблемы все равно остались
четверг, 23 мая 13 г.
![Page 8: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/8.jpg)
Graphite: плюсы
• Масса функций преобразования данных• Нет проблем с потерей точек
• Вставка данных задним числом
четверг, 23 мая 13 г.
![Page 9: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/9.jpg)
Анатомия Graphite
• whisper: собственная реализация rrd
• carbon: система сбора статистики
• graphite: django based web app (graphs)
четверг, 23 мая 13 г.
![Page 10: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/10.jpg)
Анатомия Carbon
• carbon-cache.py
• carbon-relay.py
• carbon-aggregator.py
• нет никакой авторизации
четверг, 23 мая 13 г.
![Page 11: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/11.jpg)
Graphite в NetAngels• nginx (http post + http auth)
• carbon-collector (berry based WSGI app)
• carbon-collector-processor (bash script)
• carbon-aggregator.py (aggregation/sharding)
• 4 * carbon-cache.py
четверг, 23 мая 13 г.
![Page 12: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/12.jpg)
Graphite в NetAngels• Всего около 260k whisper-файлов
• 250k файлов данных с серверов
• 120k файлов данных о сайтах
• 30k ресурсы клиентов shared хостинга
• 98k ресурсы серверов БД
четверг, 23 мая 13 г.
![Page 13: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/13.jpg)
NetAngels servicedash• dashboard альтернативный graphite
• https://github.com/NetAngels/servicedash
• yaml based config
• группировка серверов/сервисов по типам• summary pages
четверг, 23 мая 13 г.
![Page 14: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/14.jpg)
четверг, 23 мая 13 г.
![Page 15: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/15.jpg)
четверг, 23 мая 13 г.
![Page 16: DUMP-2013 Serverside - Система сборки и отображении статистики Graphite - Халиков Антон](https://reader033.vdocuments.pub/reader033/viewer/2022042614/55a0ddc51a28ab1e5a8b4836/html5/thumbnails/16.jpg)
Спасибо. Вопросы?
• http://www.netangels.ru
• Jabber: [email protected]
• fb.com/anton.khalikov
четверг, 23 мая 13 г.