jaws-ug福岡 第4回勉強会 ebsの話と普通のディスク障害の話

JAWS-UG 福岡 勉強会 第4回

EBSの話と普通のディスク障害の話

後藤 和貴　kaz@cloudpack.jp　

2011.9.13

自己紹介: 後藤 和貴

プロフィールアイレット株式会社cloudpack 事業部 エバンジェリスト

Twitter: @kaz_goto / Facebook: kaz.gotoJAWS-UG: 東京、大阪、福岡、宮崎、鹿児島、沖縄　

好きなAWSサービス: EBS

職歴データベースベンダー(Oracle) → ウェブ制作会社(bA)

→ IT・サイエンス系ニュースサイト運営(WIRED VISION)

→ フリーのテクニカルディレクター → クラウド大好き(cloudpack)

2

@kaz_goto

フルマネージドホスティング

ファイアーウォール

ロードバランサー

バースト保障

バックアップ・リストア

サーバー/リソース監視

電話/メールによる24時間サポート

初期費用なし、月額5万円(SMALLプラン)からのスタート

3

4

続きはウェブで

本題

5

普通のディスク拡張作業

データ領域のEBSボリューム

20GB → 100GB へ拡張

やり方

1. ボリュームdetach

2. snapshot作成

3. snapshotを利用して100GBのEBS作成

4. ボリュームattach

5. ファイルシステムに新サイズを認識させる

6

7

1. ボリュームdetach

2. snapshot作成

3. 新ボリューム作成(新サイズ指定)

4. ボリュームattach

8 出典: http://blog.suz-lab.com/2011/07/ebs.html

9

EBSであればこんなに簡単に

ボリューム拡張ができます。

10

ところが...

mount時点で失敗# mount /homemount: wrong fs type, bad option, bad superblock on /dev/sdf1, missing codepage or other error

さらにサーバー再起動という痛恨のミス。起動してもサーバー接続できず。

System Log を覗くと...

11

*** ファイルシステム検査中にエラー*** シェルに移行します、システムは再起動します。*** シェルから抜ける時。Give root password for maintenance(or type Control-D to continue):

ディスク外して別サーバーでいじる

12

Instance停止ボリュームdetach

新規インスタンス起動Aのrootボリュームをattach & mount

/mnt/A/etc/fstab修正(起動時fsckしない)

ボリュームを元通りAにattachして再起動

その後も苦行続き

fsckしようとしたら

Bad magic number in super-block while trying to open /dev/sdf1

super block 再作成

mkfs.ext3 -n /dev/sdf1

fsck.ext3 -b 32768 -B 4096 /dev/sdf1

mke2fs -S /dev/sdf1参考: http://www.atmarkit.co.jp/flinux/rensai/linuxtips/728fixpartition.html

mount成功

fsckに1.5時間...

何とか復旧

うんざり

13

まとめ

EBSでもファイルシステム障害は発生する（当たり前）

そのための定期・計画的なメンテナンスは必要

起動できなくなることを避けるため、起動時データ領域fsck実行は避けた方がいいかも

しかしEC2/EBSだと

別サーバーをすぐに準備

ディスクを自由に付け替え可能

失敗してもsnapshotからいつでも簡単に元通り

こんなに自由にディスクボリュームを扱うことが可能ですよ！

14

お断り

• いつもこのような障害が発生するわけではありません。

• 不慮の事故への対応を事例として紹介しているだけで cloudpack のサービスとは一切関係ありません。

17

君も仲間にならないか　

Thank You!

http://www.cloudpack.jp/suuport@cloudpack.jp

@cloudpack_jp