hadoop fûg g
TRANSCRIPT
HDFS(Hadoop Distributed File System)
HDFS(Hadoop Distributed File System)
Hadoop
OpenTSDBOpenTSDB
HBaseHBase
(1)
1.目的
2.課題と対策
利用者単位での課金を目的として、複数の組織に管理されているServerの利用状況を一元的かつ、視覚的に把握する。
調査対象のServerが増加することが見込まれているため、スケールアウトが可能な構成とする。ファイルシステムはHDFS(Hadoop Distributed File System)、データベースはKVS系のHBaseを導入する。
(2) 調査対象のServerが異なる組織で管理されているため、情報収集に複雑な仕組みを構築できない。また、利用状況の収集項目も追加変更が予測されるため、収集情報の簡素化、収集結果となる利用状況のグラフ表示の自動化を考慮しOpenTSDBを導入する。
3.全体イメージ
所定のポートに対してWebブラウザーにてアクセスすることで、利用状況を、横軸に時系列としてServer別、利用者別などの様々な切り口で折れ線グラフ表示が可能である。
情報は、所定のポートに対して、発生した時刻、収集項目とその値の3つを一組として送信するのみである。
調査対象Server群
Copyright (C) 2013 SHOWA-COMPUTER Co., Ltd. All Rights Reserved.
Hadoop 4.プロダクト構成
ZK2
ZK1
ZK3
NN1 NN2 JT1 JT2 HM1 HM2
:Quorum 構成
:HA 構成
OT
:調査対象Server
DN1
TT1
HR1
ZK:Zookeeper Server
OT:OpenTSDB
DN:Data Node
TT:Task Tracker
HR:HRegion Server
NN:Name Node
JT:Job Tracker
HM:HMaster
凡例
DN2
TT2
HR2
DN3
TT3
HR3
DN4
TT4
HR4
DN5
TT5
HR5
DN6
TT6
HR6
DN7
TT7
HR7
DN8
TT8
HR8
DN9
TT9
HR9
DN10
TT10
HR10
※ZK,NN,JT,HMを導入するマシンは一部共有
2013.4.1現在 DN,TT,HRのマシンは10台
HadoopのDistributionは、Cloudera社製のCDH4.2.0にて構築した。
HDFS HBaseMapReduce
Copyright (C) 2013 SHOWA-COMPUTER Co., Ltd. All Rights Reserved.