osc 2011 tokyo/fall 自宅san友の会 (infinibandお試し編)
DESCRIPTION
OSC 2011 Tokyo/Fall 自宅SAN友の会のセッション資料です。 Infinibandをお手軽に試してみました。TRANSCRIPT
自宅SAN友の会(#jitakusan)
島崎 聡史(@smzksts)
#jitakusan #osc11tk
島崎聡史(twitter: @smzksts)
- 自宅SAN友の会 主宰
メーカー系研修ベンダーの講師
- サーバ仮想化&ストレージ研修を担当
- VMware Certified Instructor (VCI)
- Xen, KVM, Solaris Containers
- プライベートクラウド(Eucalyptus)
- デスクトップ仮想化
インフラ系流行りモノ担当 便利屋さん。
Page 2
とある仮想化、クラウド、
シンクライアントベンダーのSE
- XenServer
- Cloudstack
- XenDesktop, XenApp
#jitakusan #osc11tk Page 3
#jitakusan #osc11tk
自宅SAN
- iSCSI
- Fibre Channel
-中古HW+OSCでお安く
自宅ラック
- スチールラック同等の
スペース
- 高密度集約、高可動性
- 安全性
Page 4
#jitakusan #osc11tk
今回の基本方針
-省スペース
-低コスト
+ 短時間でできる
+ 初心者向け
これからお話するトピックは、
私自身が初心者です。 Page 5
#jitakusan #osc11tk
IPoIB (IP over Infiniband)で
CentOSのNFSサーバと
Citrix XenServerをつないでみた
Page 6
#jitakusan #osc11tk
IPoIBとは
- Infiniband上でIP通信を行う機能
Infinibandとは
- InfiniBand(インフィニバンド)とは、非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。
※Wikipediaより引用
Page 7
#jitakusan #osc11tk Page 8
SDR DDR QDR FDR EDR HDR NDR
1X 2
Gbit/s
4
Gbit/s
8
Gbit/s
14
Gbit/s
26
Gbit/s
125
Gbit/s
750
Gbit/s
4X 8
Gbit/s
16
Gbit/s
32
Gbit/s
56
Gbit/s
104
Gbit/s
500
Gbit/s
3000
Gbit/s
12X 24
Gbit/s
48
Gbit/s
96
Gbit/s
168
Gbit/s
312
Gbit/s
1500
Gbit/s
9000
Gbit/s
構成ごとの理論スループット
#jitakusan #osc11tk
あんまり
家になさそう
Page 9
#jitakusan #osc11tk
1.ハードウェアの入手
2.ソフトウェアの入手
3.インストールと設定
Page 10
#jitakusan #osc11tk
例によってネットオークションで
HCA(Host Channel Adopter = Infinibandカード)
- ポート単価¥3K~6K 程度(SDR 10G)
IBケーブル
- ¥3K~6K 程度
IBスイッチ
- 希に見かける程度。
Page 11
直結構成なら
1万円未満で可能! (※マシン費用は除く)
#jitakusan #osc11tk
CentOS
- そもそも無償
Citrix XenServer
- 最新バージョン 6.0(2011/11/19現在)
- 無償エディション or 評価版でOK
IB HCAのドライバやユーティリティ
- メーカーサイトからダウンロード
- 無償
Page 12
無料です
※一部コンテンツは有料だったりしません
#jitakusan #osc11tk Page 13
サーバ:富士通 MX130S1
HCA:Mellanox Infinihost III
Citrix
XenServer 6.0
VM稼働用
CentOS 5.7
VM格納用
NFSサーバ
#jitakusan #osc11tk
# cd /var/tmp
# wget http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-i686.iso ※Mellanoxのサイトにディストリビューション、バージョン、アーキテクチャごとのISOイメージがあるので、そのアドレスをあらかじめ確認
# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-i686.iso /mnt
# /mnt/mlnxofedinstall ※インストーラが実行されます
Page 14
#jitakusan #osc11tk
# vi /etc/sysconfig/network-scritps/ifcfg-ib0
DEVICE=ib0
TYPE=Infiniband
BOOTPROTO=static
BROADCAST=192.168.9.255
IPADDR=192.168.9.101
NETMASK=255.255.255.0
NETWORK=192.168.9.0
ONBOOT=yes
# chkconfig opensmd on ※ネットワーク内の1台のみ
# shutdown -r now
Page 15
#jitakusan #osc11tk Page 16
ドライバの準備
- MellanoxのドライバはXenServer用にビルドされていない
- XenServer上では直接ドライバをビルドできない
- DDK(Driver Development Kit 仮想アプライアンス)でビルドし、XenServerにコピーする
- DDKはCitrixからDLし、XenServerにインポートする
- XenServer6.0(5.6fp1以降)はCentOS 5.5(RHEL5.5)
32bit用のドライバが利用可能
#jitakusan #osc11tk
[root@localhost ~]# mount /dev/xvdb /mnt
[root@localhost ~]# /mnt/mlnxofedinstall
The 2.6.32.12-0.7.1.xs6.0.0.529.170661xen kernel is installed, but do not have drivers available.
Cannot continue. ※そのままインストールはできません。
[root@localhost ~]# cp /mnt/src/OFED-1.5.3-1.0.0.tgz /var/tmp
[root@localhost ~]# cd /var/tmp/
[root@localhost tmp]# tar xvfz OFED-1.5.3-1.0.0.tgz
(※省略)
[root@localhost OFED-1.5.3-1.0.0]# ls
BUILD_ID LICENSE README.txt RPMS SRPMS install.pl ofed.conf uninstall.sh
[root@localhost OFED-1.5.3-1.0.0]# ./install.pl
(※省略)
[root@localhost OFED-1.5.3-1.0.0]# ls -R RPMS/centos-release-5-5.el5.centos/i686/
RPMS/centos-release-5-5.el5.centos/i686/:
libibverbs-1.1.4-1.23.g6ccf63e.i386.rpm libmthca-1.0.5-0.1.gbe5eef3.i386.rpm
(※省略)
このrpmファイルをXenServerにコピーすると、rpmコマンドでインストールできます)
Page 17
#jitakusan #osc11tk
普通のNICならば、
XenServerの管理情報にNICを登録
仮想スイッチ(Linux BridgeやOpen vSwitch
)はEthernet用のため、IPoIBの場合は仮想スイッチを使わずに通信させる
=先ほどのCentOSと同様に、ifcfg-ib0を作成
Page 18
#jitakusan #osc11tk
XenServerのGUIメニューで必要事項を記入
- SR名
- NFSサーバの情報
-アドレス
-パス
- NFSオプション
Page 19
#jitakusan #osc11tk
Infinibandも安価に試せる
-HWのライフサイクルが1周したものは
大抵中古が出回っている
-今回は手っ取り早く使ってみただけで、
もっと色々できる。
私も初心者です
-まず、手を動かして触ってみる!
Page 20