jaws-ug福岡 第4回勉強会 ebsの話と普通のディスク障害の話
TRANSCRIPT
自己紹介: 後藤 和貴
プロフィールアイレット株式会社cloudpack 事業部 エバンジェリスト
Twitter: @kaz_goto / Facebook: kaz.gotoJAWS-UG: 東京、大阪、福岡、宮崎、鹿児島、沖縄
好きなAWSサービス: EBS
職歴データベースベンダー(Oracle) → ウェブ制作会社(bA)
→ IT・サイエンス系ニュースサイト運営(WIRED VISION)
→ フリーのテクニカルディレクター → クラウド大好き(cloudpack)
2
@kaz_goto
フルマネージドホスティング
ファイアーウォール
ロードバランサー
バースト保障
バックアップ・リストア
サーバー/リソース監視
電話/メールによる24時間サポート
初期費用なし、月額5万円(SMALLプラン)からのスタート
3
4
続きはウェブで
本題
5
普通のディスク拡張作業
データ領域のEBSボリューム
20GB → 100GB へ拡張
やり方
1. ボリュームdetach
2. snapshot作成
3. snapshotを利用して100GBのEBS作成
4. ボリュームattach
5. ファイルシステムに新サイズを認識させる
6
7
1. ボリュームdetach
2. snapshot作成
3. 新ボリューム作成(新サイズ指定)
4. ボリュームattach
8 出典: http://blog.suz-lab.com/2011/07/ebs.html
9
EBSであればこんなに簡単に
ボリューム拡張ができます。
10
ところが...
mount時点で失敗# mount /homemount: wrong fs type, bad option, bad superblock on /dev/sdf1, missing codepage or other error
さらにサーバー再起動という痛恨のミス。起動してもサーバー接続できず。
System Log を覗くと...
11
*** ファイルシステム検査中にエラー*** シェルに移行します、システムは再起動します。*** シェルから抜ける時。Give root password for maintenance(or type Control-D to continue):
ディスク外して別サーバーでいじる
12
Instance停止ボリュームdetach
新規インスタンス起動Aのrootボリュームをattach & mount
/mnt/A/etc/fstab修正(起動時fsckしない)
ボリュームを元通りAにattachして再起動
その後も苦行続き
fsckしようとしたら
Bad magic number in super-block while trying to open /dev/sdf1
super block 再作成
mkfs.ext3 -n /dev/sdf1
fsck.ext3 -b 32768 -B 4096 /dev/sdf1
mke2fs -S /dev/sdf1参考: http://www.atmarkit.co.jp/flinux/rensai/linuxtips/728fixpartition.html
mount成功
fsckに1.5時間...
何とか復旧
うんざり
13
まとめ
EBSでもファイルシステム障害は発生する（当たり前）
そのための定期・計画的なメンテナンスは必要
起動できなくなることを避けるため、起動時データ領域fsck実行は避けた方がいいかも
しかしEC2/EBSだと
別サーバーをすぐに準備
ディスクを自由に付け替え可能
失敗してもsnapshotからいつでも簡単に元通り
こんなに自由にディスクボリュームを扱うことが可能ですよ！
14
お断り
• いつもこのような障害が発生するわけではありません。
• 不慮の事故への対応を事例として紹介しているだけで cloudpack のサービスとは一切関係ありません。
17
君も仲間にならないか
