fluentd + zabbix + grafana で監視システムを構築してみよう！ · 2018-02-23 ·...

Copyright © 2016 SRA OSS, Inc. Japan All rights reserved. 1

Fluentd + Zabbix + Grafana で監視システムを構築してみよう！

SRA OSS, Inc. 日本支社

マーケティング部

2016年11月18日

アジェンダ

• Fluentdについて

• Grafanaとは

• ユースケース

• 弊社サービスの紹介

• Zabbix応用/活用事例の紹介

2Copyright © 2016 SRA OSS, Inc. Japan All rights reserved.

Fluentd について


• ログを取得して転送してくれるミドルウェア

• ログの加工や構造化ができる

• 様々なデータベースにデータを保存できる

イメージ


アプリケーションのログWebサーバのログデータベースのログSysloghttp入力Unixドメインソケット入力コマンド実行結果

DB

ファイル

データ入力：Input データ出力：Output

コマンドフィルタ・バッファ・ルーティング

物理構成イメージ


データ入力

• Elasticsearch• MongoDB• Hadoop• AWS• MySQL• PostgreSQL• Zabbix

データ出力

データ転送

データ集約(aggregator)syslog

データ転送元とデータ集約のFluentd は同じプログラムで設定が異なるだけ

FluentdとZabbixを一緒に


• Fluentdで収集したデータから問題があればZabbixへ通知

• Zabbix機能で実現が難しいデータ収集をFluentdで収集

•複数行ログ

•加工が必要なログ

•外部システムとの連携(AWS CloudWatchなど）

ツールを使い分ける ?


せっかくデータを収集したが、参照が面倒。。。

そこで


Grafanaとは

複数の色々な DB からデータを取得してデータの可視化ができるOSSダッシュボード

ライセンス Apache License V2

基本的な特徴　データソース

グラフ描画に必要なデータは、複数の外部データベースからデータを取得することができる

　　→　データソースと呼ばれる

対応データソース

✓　　Graphite ✓ InfluxDB

✓ Elasticsearch ✓ OpenTSDB

✓ Amazon Cloud Watch ✓ Zabbix

✓ Bosun ✓ Prometheos

✓ Heroic ✓ KariosDB　など


• 線グラフ、棒グラフ、積み上げグラフ y左,　y右軸サポート、negative-Y軸、単位(センサー系も豊富)

• World map• Table(表)

• Singlestat +ゲージ表示 +SparkLine表示

• text html markdown• Pieチャート


基本的な特徴　描画機能

ユースケース


オンプレ

クラウド

Zabbix監視画面の統合

複数の Zabbixサーバの監視画面も統合可能

Zabbix/Fluentd/Grafana関連の弊社サービス紹介

●Zabbix構築/サポート●2012年から Zabbixパートナーとしてサポートを提供●今年、24時間 365日(日本語対応)のサポート提供開始

●Fluentd エンタープライズサポート●2015年から開発元(トレジャーデータ社) と協業でのサポート提供開始

●Grafana のプラグイン開発を複数件実施●現在、取り込んでもらうように、コミュニティに打診中●サポートも提供可能


Zabbix応用/活用事例1

●PC利用状況を表示する座席表を作成

● 要望：各社員が利用する PC の利用(負荷)状況が一目で　　　　わかる座席表をブラウザから表示したい

● Grafana を利用せずに PHP で画面開発

● 各PC の CPU/ユーザログイン情報などを Zabbix で収集

● PHP / Zabbix API で、各PC の利用状況を取得して座席表のレイアウトで表示

● DB や LDAP のデータも表示することが可能



↓クリックすると、ログイン

　ユーザ情報詳細を表示

Zabbix応用/活用事例2

●Zabbix監視モジュール設計

● 要望：監視対象サーバ上のログデータを元に、統計モデルを　　　作成し、そのモデルを元に閾値を自動計算して異常　　　判定を行いたい

● 監視データ登録デーモンプログラムの実装● ログファイルを監視し、監視データと統計モデルに

よる閾値判定結果を zabbix_sender を使ってZabbix サーバに送る


Copyright © 2016 SRA OSS, Inc. Japan All rights reserved.

Zabbix Server

Zabbix Server

Agentサーバ

監視データ登録デーモン

・監視データの取得・作成済み統計モデルによる判定処理・zabbix_sender経由でデータ送信

監視データ登録デーモン

・監視データの取得・作成済み統計モデルによる判定処理・zabbix_sender経由でデータ送信

zabbix_senderzabbix_sender

監視データ判定結果設定ファイル設定ファイル

zabbix_sender用データ

zabbix_sender用データ

弊社実装部分

16

設計の概要

統計モデル統計モデル

ログデータログデータ

fluentd + zabbix + grafana で 監視システムを構築してみよう！ · 2018-02-23 ·...

Documents

fluentd + zabbix + grafana で監視システムを構築してみよう！ · 2018-02-23 ·...