ambari運用ツラたん #ambarimeetup

Ambari運用ツラたん

http://www.yahoo.co.jp/

ヤフー株式会社

データ&サイエンスソリューション統括本部

データプラットフォーム本部開発2部グリッド山口寛

2016年04月28日

自己紹介

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

氏名

山口寛

業務

- 2015/9 広告レポート機能開発2015/10 - Hadoopクラスタの設計・構築・運用Ambari 歴 : 3ヶ月ぐらい

興味・趣味

DevOps (SD1月号にChatOpsで寄稿）ビール・ダーツ・ボルダリング


全体で約7000台のHadoop

そのうち約1600台をAmbariで運用！

（※800台/1クラスタ）

今回のお話


構築・運用時にハマったこと

構築編

Ambariでの構築



Master Node / Application

Data Node

Agentの自動インストールコンポーネントの追加

通常構築は簡単！

Ambari Server

Ambariでの構築

クラスタ

デプロイ


構築中にバージョンアップってしたことありますか？

Ambariでの構築


AmbariのUpdate手順（ドキュメントより）• Server

• yum clean all • yum info ambari-server• yum upgrade ambari-server

• Agent• yum upgrade ambari-agent

Ambariでの構築

http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.0.0/bk_upgrading_Ambari/content/_upgrade_to_ambari_2.1.html

こちらは公式ドキュメントより抜粋となります。CentOS版をみてみると、Ambariの更新にはServerとAgentの両方が必要なことがわかります。


Node数

Ambari agent数＝

Master Node / Application

Agents

Data Node

Ambariでの構築


AgentのUpdate手順（一部省略してます）• Server

• yum clean all • yum info ambari-server• yum upgrade ambari-server

• Agent each host• yum upgrade ambari-agent

Ambariでの構築

Agentの更新はすべてのhostで必要なものであり、台数が増えると更新作業も手間になる

Ambariでの構築

全サーバへ更新コマンドって！(ﾉω･`｡)


対応方法

• ツールの選択肢は沢山存在しています


etc

何がツラたん？

AmbariのVersion UPなど全台へ反映が必要！


Agent管理のためのツールが必要！！(´・ω・`)

バージョンアップどうやる？

数百台のhadoopクラスタを管理するためにAmbariを利用しているが、Ambariの更新や管理するためのツールは別途必要となってしまうただし、更新頻度は高いものではないので、現状はfabric

を活用し運用している

運用編

Ambari Serverの負荷って見てます？


Ambari-Serverの負荷：起動直後


Ambari-Serverの負荷：時間が経つと




繰り返されるFGC!



解放されないOld領域！

繰り返されるFGC!



そう！メモリーリークか？!

この状態に近づくと起きること

• WebUIが応答しない

＞ Ambariでクラスタの状況がわからない！Server

• HeartBeatが途切れだす

> Agentが止まりHostの運用ができない！Agent


暫定対応方法

Server

Agent


暫定対応方法

•Ambari-ServerをRestartServer

Agent


暫定対応方法


•Ambari-AgentをRestartAgent


暫定対応方法


•Ambari-AgentをRestartAgent


困ったらRestart!(｀・Д・´)ドヤッ

原因

• 実際は現在調査中

• Agentとの通信のたびにOld領域が増えている気がする

• Old領域が解放されてなさそう

• Agentが増えると増加しやすい

• jmapみるとalert周りが怪しい


原因

• 実際は現在調査中

• Agentとの通信のたびにOld領域が増えている気がする

• Old領域が解放されてなさそう

• Agentが増えると増加しやすい

• こちら報告ずみ次回はなんらかの形で解決話をはなしたいです



Server運用も当然必須(´・ω・`)

まとめ


Node増えるとAgentの運用管理がツラい(´・ω・`)

Serverも当然運用管理が必要でツラい(´・ω・`)

Node数が少なければ気にならないかもねb

後日確認したこと

発表時に紹介しました、メモリーリークの疑いはメモリーリークではなさそうです。検証中のサーバのためアラートを止めずに作業を行っていました。その結果、Ambariのalert検知が10秒毎に動きサーバAgentからServerへと通知されていました。この処理の負荷によりServerが応答してない状況でした。

Nodeの整理とアラート通知の整理した結果現在は発生しておりません。


ambari運用ツラたん #ambarimeetup

Technology