mongo dbを半年運用してみた

MongoDBを半年運用してみた

Masakazu Matsushita@matsukaz

2011年7月28日木曜日

自己紹介•松下雅和／ @matsukaz

•（株）サイバーエージェント• Ameba Picoの中の人

• DevLOVE スタッフ


宣伝


Ameba Picoとは•「アメーバピグ」の海外版• 2010年3月

リリース


利用ユーザ(2011年7月時点)

•登録者数 390 万人、MAU 60 万人

• 10代、20代中心

•男女比 3:7

•インドネシア、フィリピン、米国で全体の半数以上を占める


カフェゲームもリリースされた！

どやっ！


アジェンダ

• MongoDBとは

• Ameba Picoのアーキテクチャ

• MongoDB事件簿


MongoDBとは


Document-oriented storage

> db.users.save( { name : "hoge", age : 20 } )> db.users.save( { name : "fuga" } )

> db.users.find(){ "_id" : ObjectId("4d6b7ef5934c0000000053a4"), "name" : "hoge", "age" : 20 }{ "_id" : ObjectId("4d6b7f06934c0000000053a5"), "name" : "fuga" }

•スキーマレス• BSON形式 (Binary JSON)


Full Index Support•ドキュメント内のどの属性にも

Indexを作成可能

• Unique Index、複合Indexにも対応


Replication• ReplicaSetにより高可用性を実現

mongodMember 1(PRIMARY)

mongodMember 3

(SECONDARY)

mongodMember 2

(SECONDARY)



mongodMember 1(DOWN)

mongodMember 3

(SECONDARY)




mongodMember 1

(RECOVERING)

mongodMember 3

(SECONDARY)




mongodMember 1

(SECONDARY)

mongodMember 3

(SECONDARY)



Auto-Sharding•指定したShard Keyで水平分割

Shard 1

users

name1 name2 name3

name4 name5 name6

name7 name8 name9

items

item1 item2 item3



Shard 1

users

name1 name2 name3

name4 name5 name6

name7 name8 name9

items

item1 item2 item3

Shard 2



Shard 1

users

name1 name2 name3

name4 name5 name6

name7 name8 name9

items

item1 item2 item3

Shard 2

users

name7 name8 name9

・データ量の偏りを見て自動マイグレーション・マイグレーションはChunk

(Shard Keyの特定Range)単位2011年7月28日木曜日


Shard 1

users

name1 name2 name3

name4 name5 name6

items

item1 item2 item3

Shard 2

users

name7 name8 name9

mongos mongocclientclient

mongosを介すことで、クラスタ構成は意識しない

Shard情報2011年7月28日木曜日

Ameba Picoのアーキテクチャ


EC2

2011年1月

Webサーバ Socketサーバ

Shard 1

mongod mongod mongod

Shard 2


Shard 3


mongos mongoc

mongoc

mongoc

ID/Point/認証

キャッシュ(memcached)

MySQL

m2.2xlarge (Mem 34.2GB / 13 EC2CU)

m1.large (Mem 7.5GB / 4 EC2CU)

m1.small (Mem 1.7GB / 1 EC2CU)

c1.xlarge (Mem 7GB / 20 EC2CU)

c1.medium (Mem 1.7GB / 5 EC2CU)S3 CloudFront Elastic MapReduce

管理サーババッチ

mongos

LB(HAProxy)

mongos

EBS


2011年3月 Shard 1


Shard 2


Shard 3


mongos

mongoc

mongoc

mongocmongos

mongos

Shard 4


mongos

S3 CloudFront Elastic MapReduceEBS

EC2


ID/Point/認証


MySQL





c1.medium (Mem 1.7GB / 5 EC2CU)


LB(HAProxy)


2011年5月 Shard 1


Shard 2


Shard 3


mongos

mongoc

mongoc

mongocmongos

mongos

Shard 4


Shard 6

Shard 5



mongos


EC2


ID/Point/認証


MySQL







LB(HAProxy)


Shard 6

2011年7月 Shard 1


Shard 2


Shard 3


Shard 4


Shard 5



mongoc

mongoc

mongoc


EC2


ID/Point/認証


MySQL







LB(HAProxy)

mongosmongos

mongos


MongoDB事件簿


2011年2月


週次メンテ明けでコネクションエラー多発


やがてデータ不整合が発生


徹夜で全てのmongodを

Repair


なんとか復旧・・・


なんてじゃじゃ馬だ・・・


2011年3月


負荷状況を考え新たにShardを追加


結果


自動マイグレーション発生


止まらない


いつまでも止まらない


ひたすら待つ

http://www.flickr.com/photos/andreasmarx/190619661/2011年7月28日木曜日

http://www.flickr.com/photos/andreasmarx/190619661/

http://www.flickr.com/photos/andreasmarx/190619661/

6時間かかってやっと終了


2011年5月


さらにShardを2台追加


反省を踏まえて自動マイグレーション

OFF


誤って最新バージョンのMongoDBが混在


起動しない・・・


なんとか前のバージョンにバージョンダウン


気をとりなおして


2台のShardの追加無事完了！


でも


それ以降マイグレーションは全て手動に・・・


2011年6月


前触れもなくmongosが死亡


プロセス監視と自動起動で逃げる


2011年7月


MongoDBのバージョンを

1.6.5 → 1.8.2 へ


バージョンアップ無事完了！


が、


chunkサイズが勝手に変わって延々とchunkが分割


ひたすら待つ・・・

http://www.flickr.com/photos/madhorse5/415958992/2011年7月28日木曜日

http://www.flickr.com/photos/madhorse5/415958992/

http://www.flickr.com/photos/madhorse5/415958992/

さらに、同月


初期の4つのShardも高性能サーバへ！


が、


同期のやり方に問題が・・・


結果


二度と起動しないカラダに・・・


バックアップから復旧


後日、ようやくサーバ入れ替え完了


さらにさらに、同月


同じShardの2台がEC2インスタンスごと

死亡・・・


30分後に復活したがRepairが必要な状態に


もはや何があっても驚かないぞ


と、思ったら今朝もmongodが1台死にました


やっぱり驚くわー2011年7月28日木曜日

まとめ


ご清聴ありがとうございました！


mongo dbを半年運用してみた

Technology