osc 2011 hokkaido 自宅san友の会（後半）

OSC 2011 Hokkaido サーバ仮想化環境におけるストレージの基礎知識

自宅SAN友の会

島崎聡史（twitter:@smzksts）

#jitakusan #osc11do

島崎聡史（twitter: @smzksts）

-自宅SAN友の会主宰 http://sites.google.com/site/jitakusan/

メーカー系研修ベンダーの講師

-サーバ仮想化＆ストレージ研修担当

-VMware Certified Instructor （VCI）

-Xen, KVM, Solaris Containers

-プラベートクラウド（Eucalyptus）

-デスクトップ仮想化

→ンフラ系流行りモノ担当便利屋さん。

#jitakusan #osc11do

執筆など

#jitakusan #osc11do

共有ストレージ（デゖスクゕレ）

SAN

VMの仮想HDD

ISOメージ VMの

テンプレート VMの構成情報

VM VM

ハパーバザ

VM VM VM

ハパーバザ

VM VM VM

ハパーバザ

VM

#jitakusan #osc11do

サーバ仮想化環境にストレージがあると何が嬉しいの？

#jitakusan #osc11do

サーバ仮想化ソフトには、共有ストレージに依存した機能がたくさん

ラブマグレーション

-自動負荷分散

-電力消費削減機能

高可用性機能（HA）

デゖザスタリカバリ

その他いろいろ

#jitakusan #osc11do

仮想マシンをバックゕップする手段の選択肢が広がる

デゖスクゕレの機能

-スナップショット →テープなど、別媒体にバックゕップする際の一時領域を瞬時に作成

- Disk to Diskの高速コピー →ストレージ内部でコピー処理順序をやりくりし、サーバからは一瞬でバックゕップが済んだように見せる

#jitakusan #osc11do

サーバ仮想化環境管理ツールとの連携 - VMware vStorage API for Array Integration（VAAI）や

Citrix Storagelinkなど

-管理ンターフェースの統合や、I/O負荷のオフロードなど

- 例：VAAIでホストに負荷をかけずにVMをクローン

デゖスクゕレ（VAAI非対応）

デゖスクゕレ（VAAI対応）

#jitakusan #osc11do

• サーバ仮想化をフル活用するために共有ストレージは欠かせない

• 多数のVMをストレージに集約すると…

- VMへデゖスク負荷＝ストレージへの負荷

- ストレージが故障すると多くの業務に影響

⇒高性能・高信頼なストレージを正しく設計・構成する

• ストレージにも様々な種類があり、それぞれ特徴が異なる

⇒要件に合ったものを選ぶ

#jitakusan #osc11do

分類タイプアクセス接続経路主な速度用途など

SAN

Fibre Channel （FC）

ブロックレベル

Fibre Channel

8Gbps, 4Gbps

高速なSAN

iSCSI Ethernet 1Gbps, 10Gbps

安価なSAN

FCoE 拡張されたEthernet

10Gbps SAN/LANの統合

NAS NFS ファイルレベル

Ethernet 1Gbps, 10Gbps

UNIX系フゔル共有

CIFS Windows フゔル共有

#jitakusan #osc11do

物理デゖスク

RAID制御

論理デゖスク（LUN）

物理デゖスク

RAID制御

フゔルシステム

SAN →デゖスクにゕクセス

NAS →フゔルにゕクセス

ストレージ用ネットワークで接続

#jitakusan #osc11do

SAN接続タプのストレージ ⇒外付けハードデゖスク

NASタプのストレージ ⇒フゔルサーバ

#jitakusan #osc11do

Fibre Channel

iSCSI FCoE NFS CIFS

VMware vSphere

• VMFS • VMDK • ISOメージ

• Raw Device Mapping

• VMDK • ISO

×

Hyper-V • NTFS • VHD on NTFS

• パススルーデゖスク

× • ISO

Citrix XenServer

• LVM • 論理ボリュームを

VMに割り当て • ダレクトマップ

• VHD • ISO

• ISO

#jitakusan #osc11do

サーバ仮想化環境においてストレージは非常に重要な位置づけ

サーバ仮想化ソフトとストレージタプの組み合わせに注意

触ってみないとメージしづらい…

家でやろう！

自宅SANのススメ

#jitakusan #osc11do

NAS

-簡単・お手頃

-家庭用の市販製品もある（BuffaloのTeraStationとかNetgearのReadyNASとか）

SAN

そもそも家庭用途じゃ無い

→だがそれがいい

#jitakusan #osc11do

サーバ側ポートスイッチディスクアレイ

iSCSI 普通のNIC、 iSCSI HBA

Ethernetスッチ商用製品 or

自作 Fibre Channel

FC-HBA FCスッチ

FCoE 10Gbps FCoE ゕダプタ（CNA）

CEE（Converged Enhanced Ethernet）対応スッチ

iSCSIはほとんど投資なしで手軽に試せる Fibre Channelは中古機材が安価に調達可能 FCoEは現状まだ機材の調達が難しい

#jitakusan #osc11do

デゖスクゕレは買うと高いので自分で作りましょう。

1.使うソフトウェゕを決める

2.ハードウェゕをそろえる

3.構築する

#jitakusan #osc11do

たとえば

- Linux + SCST (Generic SCSI Target Subsystem for Linux)

- (Open)Solaris/COMSTAR

選択基準

- SCST

-モジュール組み込んでカーネルをビルドする気合い

-対応ハードウェゕはこちらのほうが手に入りやすい

- COMSTAR

-ZFSが使える

-Solaris愛

#jitakusan #osc11do

必要なもの

- FC-HBA

-ストレージ用（ターゲットドラバがあるもの）

-サーバ用

- FCケーブル

- FCスッチ（接続台数が多い場合）

ポント

-国内外のオークションサトが安い

- SCST,COMSTARそれぞれ、ターゲットとして使えるFC-HBAに制限あり。 →購入前にそれぞれのWeb等で確認

#jitakusan #osc11do

実際にやってみた

Openfiler 2.99でつくる Fibre Channel Storage

#jitakusan #osc11do

1. Fibre Channel HBAの搭載

2. Openfiler 2.99のンストール

3. SCSTの有効化

4. グループ作成とホスト登録

5. LUNの設定

6. サーバ側からの使用

旧版のv2.3では何故か

1と2を逆にする必要が…

#jitakusan #osc11do

1. Fibre Channel HBAの搭載

- Qlogic 2XXX

- 1ポート：QLA2340, QLE2460 など

- 2ポート：QLA2342, QLE2462 など

- QLA=PCI-X, QLE=PCI-Express

2. Openfiler 2.99のンストール

- 普通のLinuxと同じ。

#jitakusan #osc11do

3. SCST/FCターゲットサービスの起動

#jitakusan #osc11do

4. ステータス確認（この段階ではまだターゲット機能は無効）

#jitakusan #osc11do

3. ターゲット機能の有効化

[root@openfiler ~]# echo '1' > /sys/kernel/scst_tgt/targets/qla2x00t/21¥:00¥:00¥:e0¥:8b¥:1b¥:cd¥:57/enabled

[root@openfiler ~]# echo '1' > /sys/kernel/scst_tgt/targets/qla2x00t/21¥:01¥:00¥:e0¥:8b¥:3b¥:cd¥:57/enabled

※普通にscstadminコマンドで出来るっぽいことに後で気づいた…

#jitakusan #osc11do

[root@openfiler ~]# scstadmin -list_session

Collecting current configuration: done.

Driver/Target: qla2x00t/21:00:00:e0:8b:1b:cd:57

Session: 21:00:00:e0:8b:1b:a3:41

Attribute Value Writable KEY

-----------------------------------------------------------------

active_commands 0 Yes No

commands 0 Yes No

initiator_name 21:00:00:e0:8b:1b:a3:41 Yes No

Driver/Target: qla2x00t/21:01:00:e0:8b:3b:cd:57

Session: 21:00:00:e0:8b:1b:9f:41

Attribute Value Writable KEY

-----------------------------------------------------------------

active_commands 0 Yes No

commands 0 Yes No

initiator_name 21:00:00:e0:8b:1b:9f:41 Yes No

All done.

#jitakusan #osc11do

4. （セキュリテゖ）グループ作成

- ゕクセス許可設定用のグループを作る - -driver：FCターゲット（ストレージ）として動作させるためのドラバ名

qla2x00tは QLogic製FCカード（QLA/QLE2xxx用）。

- -target：「ストレージ側FCカードのWWN」と「グループ」を対応づけ

- WWN：FC関連装置の固有ID。EthernetでいうMACゕドレスのようなもの

[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:00:00:e0:8b:1b:cd:57


-> Making requested changes.

-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:00:00:e0:8b:1b:cd:57': done.

-> Done.

All done.

[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57



-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:01:00:e0:8b:3b:cd:57': done.

-> Done.

All done.

#jitakusan #osc11do

5. ホスト（ニシエータ）登録 - ストレージに接続するホストに搭載したFCカード（ニシエータ）のWWNを、グループおよびターゲットと対応づけ。

- ターゲットとニシエータの組み合わせは物理結線で繋がっているもの同士を指定。

[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:a3:41 -driver qla2x00t -tar

get 21:00:00:e0:8b:1b:cd:57 -group HOST01



-> Adding new initiator '21:00:00:e0:8b:1b:a3:41' to driver/target/group 'qla2x00t/21:00:00:e0:8b:1b:cd:57/HOST01': done.

-> Done.

All done.

[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:9f:41 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57 -group HOST01



-> Adding new initiator '21:00:00:e0:8b:1b:9f:41' to driver/target/group 'qla2x00t/21:01:00:e0:8b:3b:cd:57/HOST01': done.

-> Done.

All done.

#jitakusan #osc11do

6. LUNの設定

-ブロックデバスorメージフゔルを SCST用のLUNとして登録

- -open_dev：LUN名の指定。LUNとは、ストレージ装置がホストに対して見せる論理デゖスク。

- -handler

- ブロックデバスをLUNにする場合は"vdisk_blockio"

- メージフゔルをLUNにする場合は"vdisk_fileio"

[root@openfiler ~]# scstadmin -open_dev LUN00 -handler vdisk_blockio -attributes filename=/dev/vg_fc/lv_lun00



-> Opening device 'LUN00' using handler 'vdisk_blockio': done.

-> Done.

All done.

#jitakusan #osc11do

7. グループとLUNの対応づけ

[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target 21:00:00:e0:8b:1b:cd:57 -group HOST01 -device LUN00



-> Adding device 'LUN00' at LUN 0 to driver/target/group 'qla2x00t/21:00:00:e0:8b:1b:cd:57/HOST01': done.

-> Done.

All done.

[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57 -group HOST01 -device LUN00



-> Adding device 'LUN00' at LUN 0 to driver/target/group 'qla2x00t/21:01:00:e0:8b:3b:cd:57/HOST01': done.

-> Done.

All done.

#jitakusan #osc11do

8. 設定フゔルへの書き込みと確認

[root@openfiler ~]# scstadmin -write_config /etc/scst.conf Collecting current configuration: done.

Writing current configuration to file '/etc/scst.conf'..

All done.

[root@openfiler ~]# cat /etc/scst.conf # Automatically generated by SCST Configurator v2.0.0.

HANDLER vdisk_blockio {

DEVICE LUN00 {

t10_dev_id "LUN00 25c5e059"

usn 25c5e059

filename /dev/vg_fc/lv_lun00

}

}

TARGET_DRIVER qla2x00t {

TARGET 21:00:00:e0:8b:1b:cd:57 {

rel_tgt_id 1

enabled 1

GROUP HOST01 {

LUN 0 LUN00

INITIATOR 21:00:00:e0:8b:1b:a3:41

}

}

TARGET 21:01:00:e0:8b:3b:cd:57 {

rel_tgt_id 2

enabled 1

GROUP HOST01 {

LUN 0 LUN00

INITIATOR 21:00:00:e0:8b:1b:9f:41

}

}

}

#jitakusan #osc11do

Citrix XenServer 6.0 Beta（Project Boston）

#jitakusan #osc11do

Citrix XenServer 6.0 Beta（Project Boston）

このスラドでは行っていませんが、今回は1つのLUNにゕクセス可能な経路（物理結線）を二重化した構成なので、XenServer側でマルチパス設定をすれば、フェルオーバー（経路障害時の自動切り替え）やロードバランス（経路負荷の分散）が可能です。

#jitakusan #osc11do

簡単！

#jitakusan #osc11do

でも、お高いんでしょう？

#jitakusan #osc11do

品目価格

ストレージ用マシン ¥0～30K

サーバ用マシンお好みで

FC-HBA（中古相場） • 2Gbps（PCI-X） ¥2～3K/port

• 4Gbps（PCI-Ex） ¥10～15K/port

• 8Gbps（PCI-Ex）¥30K/port

FCケーブル ¥2～3K

FCスッチ（8ports・中古相場） ¥5～15K

#jitakusan #osc11do

品目品名単価数量小計

ストレージ用マシン

HP ML110G6 13K 1 13K

サーバ用マシン

同上同上同上 13K

HBA Qlogic QLA2340

2K 2 4K

FCケーブル LC-LC マルチモード

2K 1 2K

合計 ¥32,000

#jitakusan #osc11do

品目品名単価数量小計

ストレージ用マシン

HP ML115G5 +デゖスク増設

40K 1 40K

デゖスクゕレ

富士通ETERNUS DX60

105K 1 105K

FCスッチ富士通 ETERNUS SN200 Model430

14K 1 13K

サーバ Dell T105 40K 2 80K

HBA いろいろ 1～15K たくさん ?

FCケーブル LC-LC マルチモード

2K 8 16K

その他いろいろ ?

合計ボーナス１回分？

#jitakusan #osc11do

意外に安い…。しかし機材がごちゃごちゃ多くて邪魔なんですが…

#jitakusan #osc11do

よろしい。

ならば自宅ラックだ！

#jitakusan #osc11do

#jitakusan #osc11do

簡易型なら昔のパソコンラックと大差ない大きさ

大きめのスチールラックと（→）同じぐらいの設置スペース

キャスターがしっかりしていて掃除のときに便利

ゕルミラックのキャスターより直径が大きいので、床も傷つきにくい

#jitakusan #osc11do

床が抜けない程度に

-ピゕノが置ける床なら余裕

家族の理解

-嫁とか嫁とか嫁とか

#jitakusan #osc11do

自宅でやる意義

-研修はうまくいくようにできてる

-本題以外は省略or構成済み

-自宅

-ハマりながら学ぼう

osc 2011 hokkaido 自宅san友の会（後半）

Technology