yahoo! japan の ambari 活用事例 #ambarimeetup

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

ヤフー株式会社

データ&サイエンスソリューション統括本部

データプラットフォーム本部開発2部グリッド深澤開

2016年04月28日

Yahoo! JAPAN の Ambari 活用事例


自己紹介

氏名

深澤開 (2013年度新卒)

業務

Hadoopクラスタの設計・構築・運用データセンター内ネットワークの構築

Ambari 歴

1年と1ヶ月くらい

趣味・興味

テニス・ボルダリング・ダーツ(最近はじめた)

Splatoon (妻の方が上手)


私の Ambari 歴

2015/03

• v1.7.0

2015/05

• v2.0.0

2015/07

• v2.1.0

2015/10

• v2.1.1

2015/11

• v2.1.2

2016/02

• v2.2.0.0


アジェンダ

• Ambari 概要(Yahoo! JAPAN の事例を添えて)

• 最近の出来事• Config 書き換わり問題• MoveNameNode で大苦戦


Ambari 概要

https://ambari.apache.org/

Hadoopの構築・管理・運用を簡単にする100%オープンソースのツール


クラスタ管理

Ambari 概要

ホスト管理

設定管理

監視・通知

View


クラスタ管理

Ambari 概要

ホスト管理

設定管理

監視・通知

View

• Ambari 自体のHAができていない

• 台数が多いため負荷が高い• カスタマイズ性が物足りない


クラスタ管理

Ambari 概要

ホスト管理

設定管理

監視・通知

View

• 開発者向けの機能のため使用は見送り


クラスタ管理

初期構築Agent を入れたサーバからコンポーネントをアサインしたいサーバをポチポチ選ぶだけ


クラスタ管理

初期構築Agent を入れたサーバからコンポーネントをアサインしたいサーバをポチポチ選ぶだけコンポーネントごとの

パッケージ管理/インストールをしなくていいので楽


クラスタ管理

初期構築Agent を入れたサーバからコンポーネントをアサインしたいサーバをポチポチ選ぶだけAgent の管理が必要

※詳しくは LT で


クラスタ管理

ダッシュボード


ホスト管理

プロセス Start/StopNode Decommission/Recommission が可能


ホスト管理

プロセス Start/StopNode Decommission/Recommission が可能

WebUI から複数Node選択して同時にオペレーションすることが可能


ホスト管理

プロセス Start/StopNode Decommission/Recommission が可能Nodeを選択するために

正規表現などが使えない処理したいノードリストを読み込めない


設定管理

各Service単位での設定管理各設定の推奨設定


設定管理

各Service単位での設定管理各設定の推奨設定

設定バージョンの比較することが可能複数のConfigの管理が可能


設定管理

各Service単位での設定管理各設定の推奨設定Ambari 上でのConfigの

事前レビューができないバージョンアップ時に設定が増えたりする


Yahoo! JAPAN での Ambari 活用

本番

Cluster13PB

(2011/06)

Cluster220PB

(2013/01)

Cluster458PB

(2015/12)

Cluster330PB

(2014/4)

このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用

Cluster590PB

(2016/06)※構築中


Yahoo! JAPAN での Ambari 活用

本番

Cluster13PB

(2011/06)

Cluster220PB

(2013/01)

Cluster458PB

(2015/12)

Cluster330PB

(2014/4)

このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用

Cluster590PB

(2016/06)※構築中

• 2クラスタでAmbari を用いて運用


最近起きた出来事

Config の書き換わり問題MoveNameNode で大苦戦



• Ambari の Upgrade した後やNode を追加したら Config の

Version が何故か上がってる




Version が何故か上がってるAmbari のバージョンが上がったことで設定できる項目が増えたため





単純にBug





プロセスを再起動設定をロールバック





ツールによってコンフィグが勝手に書き換わる可能性



Config の書き換わり問題MoveNameNode で大苦戦


MoveNameNode で大苦戦

• クラスタの構築の中でNameNodeの筐体を変える必要があった

• Ambari の MoveNameNodeというオペレーションを使用

• 過去にもやったことがあったので2台で3-4時間くらいで見積もってた



最初はそこそこ順調だった



こいつをサーバログインして実行

sudo su hdfs –l –c hdfs namenode -bootstrapStandby



なしてっ!?Σ(゜ω゜；



調べてみると確かに入ってない



これが嘘



これが嘘

ひとまずコマンドが実行できなくても先には進めるので試しに進めてみる



案の定ダメ



オペレーションウィザードをそっとじ



オペレーションウィザードをそっとじ

NameNode が3台になる



切り替え先のNameNodeがinstallしなおしてBootstrapコマンドを実行しなおす。



再現性あるか確かめたいからもう一回




やっぱりだめ




やっぱりだめ

NameNode が4台という素敵なクラスタに！




やっぱりだめ


1回目と同じ対応 + APIでNameNodeを削除




やっぱりだめ


1回目と同じ対応 + APIでNameNodeを削除

過去にできたオペレーションがBugによってできなくなる可能性


感想みたいなもの

WebUI で色々なオペレーションできるのは楽

ツールを使うからこそのデメリットもある

合言葉は「 I ♥ Ambari 」


Appendix

Ambariと大規模クラスタと私#yjdsw3http://www.slideshare.net/techblogyahoo/ambariyjdsw3


ご清聴ありがとうございました


yahoo! japan の ambari 活用事例 #ambarimeetup

Technology