SAN ブートでベアメタルクラウド

2015 年 4 月 23 日イージェネラ株式会社

はじめに• ベアメアルプロビジョニングは PXE を使

うのが主流ですが， SAN ブートを使えばより用途が拡がりますし，柔軟・迅速な運用が可能です

• ここでは Emulex 社の新型 CNA を使用したベアメタルプロビジョニングについて紹介します

PXE ブート• 主にサービスプロバイダーで同種のサーバーを大量に deploy するのに使用され

ている• 技術要素，設計・運用

– DHCP サーバー， NFS サーバー， PXE 対応 NIC– サーバー NIC の MAC アドレス， IP アドレス， Boot イメージ， Root 領域の関連付けを

設計・運用• 長所

– ハードウェアが安価• 留意事項

– Unix 系 OS ならば PXE ブートのまま運用される (NFS-root) が， Windows 系 OS はインストールにのみ使用されるのが一般的

– NFS-root の場合 SCSI に依存するようなクラスタシステムは構築できない– というような理由から，たとえば

• Windows 系のサーバーには使えない• Oracle RAC は動かせない• などなどの制限

– NFS の通信特性， NFS サーバーのボトルネックによる性能限界

SAN ブート• SAN ストレージを維持，運用できる規模の法人ユーザーで使用さ

れている• 技術要素，設計・運用

– SAN ストレージアレイ， SAN スイッチ， HBA– HBA の WWN と LUN の関連付けを設計・運用

• 長所– SAN ストレージアレイの多彩な機能を活用可能

• クローン• スナップショット

– SAN ストレージアレイが持つ高信頼性– 多様な OS やミドルウェアに対応できる

• 留意事項– ハードウェア，運用費用が高価– サーバーあたりのケーブル数が多くなる (LAN ケーブルと FC ケーブル )

SAN ブートの障壁が低くなっている

• SAN ストレージアレイの低価格化– メーカー間の競争による製品価格下落– セルフ運用可能なストレージアレイが一般的

になっており，メーカー SE への作業依頼が不要に

• CNA ，コンバージドスイッチの登場– NIC と HBA 機能の統合– ケーブル本数の減少

SAN ブートとベアメタルクラウド

• SAN ブートでクラウド実現のための必要条件が満たせる– ユーザーからの指示後，分単位でサーバーのデプロイ完了

• SAN ブートであれば，ストレージアレイのクローン機能が利用できる！

– ユーザーが使用を終了すると直ちにハードウェア資源を解放し，他の用途に転用• SAN ブートであれば， HBA の WWN を変更することで直ちに他の

用途に転用できる！• SAN ブートでクラウドに付加価値をもたらす

– ストレージアレイのスナップショット機能を利用し，エージェントレスでスナップショットを実現

– ストレージアレイのミラーリング機能を利用して DR を実現– SCSI ディスク共有を用いたクラスタリングを実現

「 HBA の WWN の変更」を可能にするEmulex 社製 CNA “OCec14102-UX”

http://www.emulex.com/products/ethernet-networking-storage-connectivity/converged-network-adapters/emulex-branded/ocec14102-ux/overview/

• XE100 (Skyhawk) コントローラー• PCIe 3.0 x8• Network function + FCoE|iSCSI function• ARM プロセッサ搭載 (Emulex

OpenWorks Client として動作 )• 通称 Cloud Card (Cloud Adapter)

Emulex OpenWorks の仕組み• OpenWorks Client (Cloud Card 上の ARM チップ ) は，自身に電源が投入されると Emulex

OpenWorks Server から VLAN 3363 経由で Profile (MAC Address ，WWN ，Boot 設定 ) を pull• サーバーでの BIOS 起動あたりで上記が行われる．完全なプリブートプロビジョニング• OpenWorks Server は REST API で外部連携

OCec14102-UX(Cloud Card)

OpenWorks Server

VLAN3363

- MAC Address- WWN- Boot Configuration

OpenWorksREST API

Profile の例http://<OpenWorks Server>:8080/dmf/ioresource/bootprofile/<DeviceID>

port0 の NIC function の MAC

port1 の NIC function の MAC

port0 の FCoE function の WWN

port0 の FCoE function の boot target

DeviceID

Egenera PAN Manager for Rack ServersEmulex OpenWorks を利用したソリューション

• Egenera PAN Manager が OpenWorks REST API で OpenWorks 内に Profile を作成 (PAN Manager pServer 定義を Profile に変換 )

• OpenWorks Server が Cloud Card に Profile を投入OCec14102-UX

(Cloud Card)

OpenWorks Server

VLAN3363

- MAC Address- WWN- Boot Configuration

OpenWorksREST API

Egenera PAN Manager

PAN Manager for Rack Server の機器構成~ PAN Manager は Cloud Card 搭載サーバーと集線用 ToR スイッチを同時に管理し，ベアメタルサーバーを VM ゲストのように扱う ~

SAN

LAN

pNode

:最大 288台

:

PAN Manager + OpenWorks Server

OOB Mgmt SwitchFabric Switch

10Gbps

pNodeIA サーバーに Cloud Card を搭載したもの

Fabric Switch各社の ¥ToR Converged スイッチIA サーバーを集線し，以下を実施1. FCoE FC ⇔ プロトコル変換2. 適切な VLAN で外部 LAN に接続

OOB Mgmt SwitchPAN Manager が pNode の BMC ， Fabric Switch の管理ポートにアクセスする Out-of-band の管理経路を提供

OpenWorks Server は PAN Manager と IA サーバー上に同居

PAN Manager でのサーバー定義，起動の仕組み

• 管理者はまず pServer を定義– どのサーバー (pNode) を使うか– 仮想 NIC (vNIC) をどの仮想スイッチ vSwitch に接続するか– 仮想 HBA (vHBA) をどの仮想 SAN スイッチ (FC vSwitch) に接続するか– どのストレージアレイ ( の LUN0) からブートするか

• pServer を起動 (GUI でボタン押下 ) すると以下が自動的に実行される1. ToR スイッチにログインし，選択したサーバーの Cloud Card が接続され

ているポートに， vSwitch に対応した VLAN 設定を投入2. OpenWorks Server に pServer 定義に対応する Profile を投入3. 選択したサーバーの BMC にログインし，電源 ON4. PCI スロットに電源供給されると Cloud Card の起動が開始する． VLAN

3363 経由で DHCP でのアドレス取得後， OpenWorks Server からプロファイルを取得

5. プロファイルに従って起動すると，ストレージアレイの LUN0 が見えるので，そこから OS のブートが開始される

ラック構成例• 全部入り All-In-One ラック• pNode (pBlade) 枚数 : 24

まとめ• ベアメタルサーバーの迅速なデプロイ，柔軟

な運用のために， SAN ブートを見直してみては？

• Emulex Cloud Card + OpenWorks は SAN ブートをプログラマブルにするので，ベアメタルサーバーによるクラウドが構築できます

• OpenWorks を用いたサーバー管理製品の一例として Egenera PAN Manager をご紹介しました– OpenStack でも使える筈です…