Download - インフラエンジニアなら知っておきたいストレージのはなし@OSC 2012 Nagoya
#jitakusan #oscnagoya
プロフィール
島崎 聡史(twitter: @smzksts)
- 自宅SAN友の会 主宰
- Citrix Systems Japan K.KでSEをしています
-デスクトップ仮想化 :XenDesktop
-サーバ仮想化 :XenServer
-クラウド構築・管理 :CloudStack
- 元メーカー系研修ベンダー講師:仮想化&ストレージ講師
- VMware Certified Instructor, Xen, KVM,
Solaris Containers, Eucalyptus, Fujitsu ETERNUS, etc...
Page 2
#jitakusan #oscnagoya
コミュニティ紹介
2010年4月23日 発足
- ML参加者 100名以上
自宅にSAN(Storage Area Network)の検証環境を
作りたい人のためのコミュニティ
コンセプト
-ストレージ技術を中心に、
自宅に無さそうなものを
自宅でやっちゃいましょう。
Page 3
#jitakusan #oscnagoya
本日のテーマ
ストレージの基礎
自宅SANの始めかた
Page 4
#jitakusan #oscnagoya
ストレージの基礎 (を仮想化と絡めて)
Page 5
#jitakusan #oscnagoya
ストレージとストレージシステム
「ストレージ」
-補助記憶装置あるいは媒体そのもの
(HDD、SSD、ディスクアレイなど)
「ストレージシステム」
-コンピュータに大容量・高性能・高信頼性・高運用性な補助記憶装置を提供する仕組み
-ディスクアレイ+接続装置+管理ツールなど
Page 6
#jitakusan #oscnagoya
サーバ仮想化とストレージシステム
共有ストレージ
Network
VMの
仮想HDD ISOイメージ
VMの
テンプレート
VMの
構成情報
VM VM
ハイパーバイザ
VM VM VM
ハイパーバイザ
VM VM VM
ハイパーバイザ
VM
Page 7
#jitakusan #oscnagoya
共有ストレージのメリット その1
ライブマイグレーション
Network
共有ストレージ
仮想HDD
VM VM
ハイパーバイザ
VM VM
ハイパーバイザ
- VMを稼働させたまま
別ホストへ移動
- メモリデータの移動
- ハイパーバイザ間で
LANを使用した通信
- 自動化により負荷分散にも応用
- 移動先のホストからも
同一の仮想HDDを
参照する必要がある
LAN
Page 8
#jitakusan #oscnagoya
共有ストレージのメリット その2
高可用性機能
Page 9
Network
共有ストレージ
仮想HDD
VM VM
ハイパーバイザ ハイパーバイザ
- ホストの障害に巻き込まれてダウンしたVMを別ホストで自動的に再起動
- ライブマイグレーションではない
- 移動先のホストからも
同一のVMの構成情報と
仮想HDDを
参照する必要がある VMの
構成情報
VM VM
LAN
死活監視
#jitakusan #oscnagoya
共有ストレージのメリット その3
サーバ仮想化管理ツールとの連携・統合 - 管理インターフェースの統合や、I/O負荷のオフロードなど
- 例:ホストに負荷をかけずにVMをクローン
ディスクアレイ
(連携なし)
ディスクアレイ
(連携に対応)
Page 10
#jitakusan #oscnagoya
サーバ仮想化にはストレージ
システムが欠かせない存在
↓
ストレージシステムの
基本を押さえよう!
Page 11
#jitakusan #oscnagoya
ストレージシステムの構成要素
ディスクアレイ
(共有ストレージ)
さまざまな接続方式
管理ツール
Page 12
#jitakusan #oscnagoya
ディスクアレイ(Disk Array)
ハードディスクなどの
記憶媒体を複数搭載して
RAIDを構成することで、
容量・性能・信頼性を高めた
外部記憶装置
Page 13
#jitakusan #oscnagoya
ディスクアレイの例
ディスクがたくさん
※画像はウィキメディアから
Page 14
#jitakusan #oscnagoya
RAIDグループとLUN
Page 15
HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD
RAID
グループ
RAID
グループ
RAID
グループ
LUN
LUN
LUN サーバからアクセス
#jitakusan #oscnagoya
ディスクアレイのポイント①
ディスクの集約度と拡張性
- 2Uあたり 3.5インチ×12本、2.5インチ×24本 など
※弾数は負荷を分散するためにはとても重要
-ディスクシェルフ(エンクロージャ)の増設
- Q:多数の仮想マシンを格納する場合、どちらが良い?
- 12本(RAID 1+0)で構成したRAIDグループ1つ
- 4本(RAID 1+0)で構成したRAIDグループ3つ
Page 16
#jitakusan #oscnagoya
解答例:性能を重視した場合
A:4本(RAID 1+0)で構成したRAIDグループ3つ
考え方のポイント
多数のVMによる負荷=多重負荷
=各VMが時分割でI/Oを行う
&HDD上での格納位置はバラバラ
=ランダムアクセス
RAIDのストライプ本数が増えてもサイズの小さいI/Oは高速化しない
Page 17
#jitakusan #oscnagoya
解答例:容量効率を重視した場合
12本(RAID 1+0)で構成したRAIDグループ1つ
1つのベースイメージから多数のVMを展開
(VMの差分コピー機能)
RAIDグループ(LUN)が別だと、
それぞれにベースイメージが必要
※ディスク容量単価の低下に比べて
性能に対する価格は下がりづらいため、
個人的には性能を重視した設計を勧めます。
Page 18
#jitakusan #oscnagoya
ディスクアレイのポイント②
冗長化と耐障害性
- マザーボード、CPU、RAIDコントローラなどは、一般的なサーバでは冗長化されない部分も冗長化
- 突然の電源断の際にもメモリ+バッテリや
フラッシュメモリ+コンデンサによりデータを保護
- 障害予兆検知により、RAIDグループを故障前にリビルド
- ハードウェアレベルでの破損ブロック検知と自動修復
Page 19
#jitakusan #oscnagoya
ディスクアレイのポイント③
管理ツールの充実
- リッチなGUI
- 日本語対応か否か
運用の柔軟性
- RAIDグループの構成変更(RAIDレベル、アレイ本数)
※負荷がかかるため安易な利用は勧めない
- LUNのサイズ変更
Page 20
#jitakusan #oscnagoya
ディスクアレイの接続方式
DAS(Direct Attached Storage)
- サーバと直付け
NAS(Network Attached Storage)
- ファイルサーバ
SAN(Storage Area Network)
- ストレージ用のネットワークによる接続
Page 21
#jitakusan #oscnagoya
接続方式による分類:SANとNAS
物理ディスク
RAID制御
論理ディスク(LUN)
物理ディスク
RAID制御
ファイルシステム
SAN →ディスクにアクセス
NAS →ファイルにアクセス
ストレージ用
ネットワークで接続
Page 22
#jitakusan #oscnagoya
要するに…
SAN接続タイプのストレージ
⇒外付けハードディスク
NASタイプのストレージ
⇒ファイルサーバ
Page 23
#jitakusan #oscnagoya
ストレージのさまざまな接続方式
分類 タイプ アクセス 接続経路 主な速度 用途など
SAN
Fibre
Channel
(FC)
ブロック
レベル
Fibre Channel 8Gbps,
4Gbps
高速なSAN
iSCSI Ethernet 1Gbps,
10Gbps
安価なSAN
FCoE 拡張されたEthernet
10Gbps SAN/LANの統合
NAS NFS ファイル
レベル
Ethernet 1Gbps,
10Gbps
UNIX系
ファイル共有
CIFS Windows
ファイル共有
Page 24
#jitakusan #oscnagoya
仮想化ソフトごとに使える接続方式は異なる
Fibre Channel iSCSI FCoE NFS CIFS
VMware
vSphere
• VMFS
• VMDK
• ISOイメージ
• Raw Device Mapping
• VMDK
• ISO
×
Hyper-V • NTFS
• VHD on NTFS
• パススルーディスク
× • ISO
Citrix
XenServer
• LVM
• 論理ボリュームを
VMに割り当て
• StorageLink
• LUNをVMに割り当て
• VHD
• ISO
• ISO
Page 25
#jitakusan #oscnagoya
共有ストレージの注意点
コスト
性能 - 多数のVMの負荷が集中
- ディスクアレイの性能
- 接続経路の性能
耐障害性 - ストレージの障害は多数のVMに影響
- ディスクアレイの障害
- 接続経路の障害
設計・構築・管理の容易性
Page 26
#jitakusan #oscnagoya
ここまでのまとめ
サーバ仮想化環境において
ストレージは非常に重要な位置づけ
サーバ仮想化ソフトと
ストレージタイプの組み合わせに注意
触ってみないとイメージしづらい…
家でやろう! Page 27
#jitakusan #oscnagoya
家でやろう ~Fibre Channel 編~
ディスクアレイは買うと高いので自分で作りましょう。
1. 使うソフトウェアを決める
2. ハードウェアをそろえる
3. 構築する
Page 28
#jitakusan #oscnagoya
1.使うソフトウェアを決める
今のところ2択(ほかにもあるらしい?)
- Linux + SCST(Generic SCSI Target Subsystem for Linux)
-モジュール組み込んでLinuxカーネルをビルドする気合い
-対応ハードウェアはこちらのほうが手に入りやすい
- Solaris/COMSTAR
- SoalrisなのでZFSが使える
-高機能
Page 29
#jitakusan #oscnagoya
2.ハードウェアをそろえる
必要なもの
- FC-HBA
- ストレージ用(ターゲット)
- サーバ用
- FCケーブル
- FCスイッチ(接続台数が多い場合)
ポイント
- 国内外のオークションサイトが安い
- SCST,COMSTARそれぞれ、ターゲットとして使えるFC-HBAに制限あり。→購入前にそれぞれのWeb等で確認
Page 30
#jitakusan #oscnagoya
3.構築する
自宅SAN友の会 Webサイトを参照
Page 31
http://sites.google.com/site/jitakusan/
#jitakusan #oscnagoya
費用の目安(FC機材はすべて中古)
品目 価格
ストレージ用マシン ¥0~30K
サーバ用マシン お好みで
FC-HBA 2Gbps(PCI-X) ¥2~3K/port
4Gbps(PCI-Ex)¥12~18K/port
8Gbps(PCI-Ex)¥40K/port
FCケーブル ¥2~3K
FCスイッチ(8ports) ¥8~15K
Page 32
#jitakusan #oscnagoya
費用例(最少構成)
品目 品名 単価 数量 小計
ストレージ用
マシン
HP ML110G6 13K 1 13K
サーバ用
マシン
同上 同上 同上 13K
HBA Qlogic
QLA2340
2K 2 4K
FCケーブル LC-LC
マルチモード
2K 1 2K
合計 ¥32,000
Page 33
#jitakusan #oscnagoya
費用例(自宅)
品目 品名 単価 数量 小計
ストレージ用
マシン
HP ML115G5
+ディスク増設
40K 1 40K
ディスク
アレイ
富士通ETERNUS
DX60
105K 1 105K
FCスイッチ 富士通
ETERNUS SN200
Model430
14K 1 13K
サーバ Dell T105 40K 2 80K
HBA いろいろ 30K 6 30K
FCケーブル LC-LC
マルチモード
2K 8 16K
その他 ?
合計 軽自動車未満
Page 34
#jitakusan #oscnagoya
具体例(自宅)
19インチラックは簡易タイプのものが便利。
家族には「パソコンラック」と説明しましょう。
上の写真はサンワサプライのRAC-SV18U
商用の2Uサイズのストレージ。下手に普通の棚に置くより、19インチラックのほうがスッキリ収納でき、家族のクレームが出にくいかも。
Page 35
#jitakusan #oscnagoya
まとめ
サーバ仮想化するならストレージはいいモノを。
勉強用と割り切れば、 型落ちの機材は安く手に入る
メタルラックは捨てて 19インチラックでスッキリ片付けよう! (自宅なら簡易タイプで十分)
Page 36
#jitakusan #oscnagoya
ご清聴ありがとうございました!
自宅SAN友の会 島崎 聡史(Twitter:@smzksts)
Page 37