富士通primergy/eternus を用いたvmware ha 構 …shutdowndelay...

SEET110089-002

- 1 -Copyright© 2011 Schneider Electric

テストレポート

版数： Version 1.0

作成日： 2011/10/24

評価内容：

富士通 PRIMERGY/ETERNUS を用いた VMware HA 構成でのスケジュール運転

シュナイダーエレクトリック株式会社


■ 作成／変更の履歴

Version＃変更日変更者変更内容

1.0 2011 年 10 月 24 日白坂健一郎初版


－目次－

1. はじめに ....................................................................................................................................................... 4

2. 適用範囲...................................................................................................................................................... 4

3. テスト内容 .................................................................................................................................................... 4

4. テスト場所及び期間 .................................................................................................................................... 4

4.1. テスト環境 ............................................................................................................................................ 5

4.1.1. ハードウェア/ソフトウェア............................................................................................................ 5

4.1.2. ESX 設定...................................................................................................................................... 5

4.2. 留意事項.............................................................................................................................................. 6

4.2.1. スクリプトファイル ........................................................................................................................ 6

4.2.2. ソフトウェア・OS対応状況 .......................................................................................................... 6

4.2.3. VMware 可用性............................................................................................................................ 6

5. テスト結果 .................................................................................................................................................... 7

5.1. 考察...................................................................................................................................................... 8

6. 参考.............................................................................................................................................................. 9

6.1. 電源接続環境 ...................................................................................................................................... 9

6.2. ネットワーク接続環境 ........................................................................................................................ 10

6.3. スクリプトファイル概要 ...................................................................................................................... 10

6.3.1. システム停止時に使用したスクリプトファイル “stpvm.sh”...................................................... 10

6.3.2. システム起動時に使用したスクリプトファイル“strvm.sh”........................................................ 10

6.4. UPS（Network Management Card）の設定 ...................................................................................... 11

6.5. PowerChute Network Shutdown の設定 .......................................................................................... 12

6.5.1. Configure Events 項目にて UPS: On Battery のイベント設定を行う ...................................... 12

6.5.2. シャットダウン時に実行する停止スクリプトを登録する ........................................................... 12

6.5.3. Communication Established イベントに起動スクリプトを登録する .......................................... 13

6.6. Switched Rack Mount PDU の設定 .................................................................................................. 14

6.6.1. アウトレット設定 ......................................................................................................................... 14

6.6.2. SNMP 通信設定......................................................................................................................... 15

6.6.3. SNMPv1 アクセス管理設定 ...................................................................................................... 16

6.7. ETERNUS DX60 の設定.................................................................................................................... 17

6.8. ESX の設定........................................................................................................................................ 18

6.9. お問い合わせ先 ................................................................................................................................ 19


1. はじめに

本書は，仮想化環境で、スクリプトを利用したスケジュール運転の有効性について記載する．

2. 適用範囲

仮想化環境サーバ（以下，「ESX」という．）および仮想化 OS（以下，「Guest OS」という．）および仮想化

管理サーバ（以下，「vCenter サーバ」という．）の導入・動作確認までを対象とし，Operating System（以下，

「OS」という．）以外の System アプリケーション導入・動作確認については対象外とする．

3. テスト内容

VMware HA を有効にした VMware ESX4.0 を用いた仮想化環境での安全にスケジュール運転を実現する

スクリプトをテストする．

4. テスト場所及び期間

場所：富士通検証センター（東京・浜松町）30 階サーバールーム

期間：2011 年 9 月 20 日～2011 年 9 月 26 日


4.1. テスト環境

4.1.1. ハードウェア/ソフトウェア

装置・ソフトウェア装置名称（詳細）台数

ESX 富士通 PC サーバ PRIMERGY RX300 S5 2

vCenter 富士通 PC サーバ PRIMERGY TX200 S6 1

ストレージ富士通ストレージ ETERNUS DX60 1

電源連動ユニット AC100V 用 ST-PSM10 1

サーバ仮想化ソフト VMware ESX4.0 update1 2

仮想環境管理ソフト VMware vCenter Server 4.0 1

UPS APC Smart-UPS 1500 Rack Mount （SUA1500RMJ2UB） 2

UPS アクセサリNetwork Management Card EX (AP9617)

firmware v3.5.52

UPS 連動ソフトウェアPowerChute Network Shutdown Enterprise Edition

v2.2.4(SSPCNSE1J)2

電源タップ APC Switched Rack Mount PDU (AP7900) firmware v3.5.7 2

ネットワークスイッチ富士通スイッチングハブ SH1631TF 1

Guest OS

Microsoft Windows Server 2003 R2 Standard Edition

Microsoft Windows Server 2003 Service Pack 1

Microsoft Windows Server 2003 (Service Pack 無)

4.1.2. ESX 設定

設定項目設定項目(詳細) 設定内容

HA 構成有効

ホスト監視の有効化有効

アドミッションコントロール有効化

VMware HA

ホスト障害のクラスタ許容 1

VMware DRS 無効

VMware EVC モード無効

ホスト数 2


図１ VMware ESX 4.0 update1 HA 構成概略図

図２テスト構成(vSphere Client コンソール画面)

4.2. 留意事項

4.2.1. スクリプトファイル

本テストで作成、利用したスクリプトファイルは、Schneider Electric 社、及び、VMware 社にて動作サポー

トを行っておりません。当該テスト結果を参考に構成構築を行われる場合は、お客様責任の下で実施して

下さい。

4.2.2. ソフトウェア・OS 対応状況

最新の PowerChute Network Shutdown ソフトウェア及び、OS との対応状況については、以下 URL をご

参照下さい。

参考 URL：Schneider Electric 『ソフトウェア/ケーブル対応表』

http://sturgeon.apcc.com/kbase.nsf/6762245fd50a54bf49256d320025986e/a0b43001d8f93aa049257340002b

2146?OpenDocument

4.2.3. VMware 可用性

VMware社ウェブページにて公開されている vSphere 可用性ガイド 22ページには以下注意事項が記載さ

れております。 (ドキュメント番号: JA-000265-02)

参照 URL http://www.vmware.com/jp/support/pubs/vs_pages/vsp_pubs_esx40_u1_vc40_u1.html

_______________________________________________________________________________________

注意仮想マシンの起動およびシャットダウン（自動起動）の機能は、VMware HA クラスタ内にある（また

はこのクラスタ内に移行された）ホスト上のすべての仮想マシンで無効になっています。この設定は、すべ

ての仮想マシンに対して手動で再有効化しないことをお勧めします。再有効化すると、VMware HA または

フォールトトレランスなどのクラスタ機能のアクションを妨げることがあります。

_______________________________________________________________________________________

今回のテストでは、上記注意事項に従い、仮想マシンの起動及びシャットダウン（自動起動）の機能はホ

スト上のすべての仮想マシンで無効にしました。


5. テスト結果

スクリプト起動開始待機時間を 600 秒（10 分）から 420 秒（7 分）まで 60 秒（1 分）刻みで短縮しながら動

作を確認しました。本テスト結果では、システム全体の起動に必要な時間は約17分、起動時に必要とする

スクリプト開始までの待機時間は最短で 7 分と計測されました（図３参照）。また、システム全体の停止に

必要とされる時間は約 9 分と計測されました（図４参照）。

図３動作概要_スケジュール起動時（スクリプト起動開始待機時間を 420 秒に設定）

スケジュール起動時間メンテナンスモード解除

VMware ESX ＥＳＸ起動開始

仮想マシン電源供給開始仮想マシン起動開始

Rack Mount PDU Outlet #2 ～ #8 on Outlet #1(ESX01,02) on

ETERNUS ETERNUS 起動完了

UPS

16 170 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

図４動作概要_スケジュールシャットダウン時

スケジュールシャットダウン開始時刻 (stpvm.sh実行開始)

メンテナンスモードへの切替開始

VMware ESX

仮想マシン仮想マシンシャットダウン開始

Rack Mount PDU Outlet #4(Sensor#0, #1) off

ETERNUS 電源連動ユニットによるシャットダウン開始

UPS UPS 出力停止

13 14 150 7 8 9 10 11 121 2 3 4 5 6


5.1. 考察

本テスト作業にて、以下 2 点の留意事項が発生しました。

・起動スクリプト“strvm.sh”実行開始時間※１は実環境に合わせて待機時間を調整頂く必要がございます。また、

ESX の起動が完了するのに時間を要するため、予め余裕を持った時間を設定されることをお勧めします。

vCenter Server から ESX の起動完了状態を確認出来ない状態で起動スクリプト“strvm.sh”を実行したところ、

ESX 及び、仮想マシンの制御が行えませんでした。（図５参照）

図５ ESX の状態が確認出来ない状態 (vSphere Client コンソール画面)

・何らかの要因により仮想マシンがスクリプト制御のみでシャットダウン出来ない場合、オペレータによる直接操

作が必要となる場合があります。また、仮想マシンがシャットダウンしない状態で、スクリプト動作設定時間※２を

経過すると仮想マシンは ESX により強制終了されます。

強制終了された仮想マシンは ESX 再起動時、起動スクリプトによる制御ではなく、VMware HA の機能により、

自動起動することを予め認識して頂く必要がございます。（図６参照）

仮想マシンがロックされ、vmwarecmd によるシャットダウンが出来ない場合、コマンドファイル実行完了まで必

要と設定した時間を経過した時点※２で稼働中の仮想マシンは強制終了されました。

また、その場合、停止スクリプト“stpvm.sh”は実行完了しないため、ESX はメンテナンスモードに移行出来ませ

んでした。Rack Mount PDU の Turn off Delayed 制御は停止スクリプト開始直後に行っているので、AC センサ

ーが接続されている Outlet #4 は問題なく制御できました。

スケジュール運転による自動起動時、ESX はメンテナンスモードでない状態で起動（図６赤枠参照）、強制終了

された仮想マシンは ESX 起動直後に自動起動（図６青枠参照）しました。

また、停止スクリプト“stpvm.sh”でシャットダウンされた仮想マシンは、起動スクリプト“strvm.sh”により起動しま

した。

※１. 6.5.3 PowerChute Network Shutdown の設定 3. Run the command file only when the event lasts this long

※２. 6.5.2 PowerChute Network Shutdown の設定 2.The command file needs this much time to complete

図６．動作概要 (ESX 起動時)


6. 参考

6.1. 電源接続環境

PRIMERGY RX300 S5 2 台、ETERNUS DX60、電源連動ユニット、電源連動ユニットの AC センサーを Switched

Rack Mount PDU 経由で 2 台の APC Smart-UPS 1500 Rack Mount に接続する。

図７.機器–PDU 間接続構成図


6.2. ネットワーク接続環境

PRIMERGY RX300 S5 2 台、Smart-UPS に搭載した Network Management Card、PRIMERGY RX200 S6、

ETERNUS DX60 でネットワークを構築する。また、PRIMERGY RX300 S5 間は HA の環境監視用に別途、監視

用ネットワークを構築する。（図８参照）

図８ UPS 及びテスト機器ネットワーク接続図

6.3. スクリプトファイル概要

6.3.1. システム停止時に使用したスクリプトファイル “stpvm.sh”

以下順序で Switched Rack Mount PDU のアウトレット、ESX 本体、仮想マシンの制御を行う。

1) Switched Rack Mount PDU の Outlet #4（Sensor #0、Sensor #1 が接続されている）を SNMP Set コマ

ンドで遅延停止させる。SNMP 実行環境はサービスコンソール上の Net-SNMP を利用する。

2) 仮想マシンのステータスを vmwarecmd で確認する。

3) ESX 上にステータスが on の仮想マシンが存在している場合、vmwarecmd の stop soft 命令を用いて

シャットダウンさせる。

4) ステータスが on の仮想マシンが無くなるまで 2)、3)の制御を繰り返す。

5) 仮想マシンがすべて off になったら vimsh コマンドで ESX をメンテナンスモードに切り替える。

6.3.2. システム起動時に使用したスクリプトファイル“strvm.sh”

以下順序で ESX 本体、ESX 上の仮想マシンの制御を行う。

1) vimsh コマンドを用いて ESX をメンテナンスモードから通常モードに切り替える。

2) 仮想マシンのステータスを vmwarecmd で確認する。

3) ステータスが off の仮想マシンが存在している場合、vmwarecmd の start 命令を用いて仮想マシンを

起動させる。


6.4. UPS（Network Management Card）の設定

設定項目設定項目(詳細) 設定内容

Low-Battery Duration バッテリ容量低下処理時間 5 分

Shutdown Delay UPS シャットダウン遅延時間 90 秒

Maximum Required Delay UPS 側で自動設定される停止時間 5 分

Return Delay 電源復旧後の UPS 起動遅延時間 0 秒

図９. UPS Network Management Card シャットダウン設定画面


6.5. PowerChute Network Shutdown の設定

6.5.1. Configure Events 項目にて UPS: On Battery のイベント設定を行う

※UPS: On Battery イベントの Shut Down System のチェックボックスを On にする。

# 設定項目設定項目(詳細) 設定内容

1 Yes, I want to shutdown the system はい、システムをシャットダウンさせますチェック

2Shutdown the system only when the

events lasts this long (seconds)

イベントがこの時間（秒）継続した場合のみシス

テムをシャットダウンさせる30 秒

図１０.Configure Events 設定画面 “Configure Shutdown”

6.5.2. シャットダウン時に実行する停止スクリプトを登録する


1Run this command file

(full name)

このコマンドファイルを実行

させる/opt/APC/PowerChute/stpvm.sh

2The command file needs this much

time to complete (seconds)

マンドファイル実行完了まで

にこの時間（秒）が必要180 秒

3Turn off the UPS after the shutdown

finishes

シャットダウンが完了したら

UPS を停止させるチェック

図１１.Configure Shutdown 設定画面


6.5.3. Communication Established イベントに起動スクリプトを登録する

※Communication Established の Run Command File のチェックボックスを On にする。


1 Yes, I want to run a command file コマンドファイルを実行させるチェック

2 Full path of the command file コマンドファイルのフルパス /opt/APC/PowerChute/strvm.sh

3Run the command file only when the

event lasts this long (seconds)

イベントがこの時間継続した

場合のみコマンドファイルを実

行させる(秒)

600 秒

4The command file needs this much

time to complete (seconds)

コマンドファイル実行完了まで

に必要な時間(秒)180 秒

図１２.Configure Run Command File 設定画面


6.6. Switched Rack Mount PDU の設定

6.6.1. アウトレット設定

※電源復旧と同時に PRIMERGY RX300 S5 を起動させるため、PRIMERGY RX300 S5 の BIOS 設定を予め

Always ON に設定しておく。

PDU#1 のアウトレット設定

アウトレット番号# Name (名称)Power On Delay

(起動遅延時間)

Power Off Delay

(停止遅延時間)

Reboot Duration

(リブート期間)

1 ESX01 300 秒 Immediate (即時) 5 秒

2 Outlet 2 Immediate (即時) Immediate (即時) 5 秒


4 Sensor#0 Immediate (即時) 360 秒 5 秒

5 ETERNUS#1 Immediate (即時) Immediate (即時) 5 秒




PDU#2 のアウトレット設定

アウトレット番号# Name (名称)Power On Delay

(起動遅延時間)

Power Off Delay

(停止遅延時間)

Reboot Duration

(リブート期間)

1 ESX02 300 秒 Immediate (即時) 5 秒



4 Sensor#1 Immediate (即時) 360 秒 5 秒

5 ETERNUS#2 Immediate (即時) Immediate (即時) 5 秒




図１３.Rack Mount PDU 設定画面 / PDU#1


6.6.2. SNMP 通信設定


1 Enable SNMPv1 access SNMPv1 アクセスを有効にするチェック

図１４. Switched Rack Mount PDU SNMPv1 Access 設定画面


6.6.3. SNMPv1 アクセス管理設定


1 Community Name コミュニティ名 Public

2 NMS IP/Host Name NMS の IP アドレス、ホスト名 0.0.0.0

3 Access Type アクセスタイプ Write+

図１５. Switched Rack Mount PDU SNMP v1 Access Control 設定画面


6.7. ETERNUS DX60 の設定

ETERNUS DX60 の電源制御は、電源連動ユニットの RCI インターフェースにより行う。

① ETERNUS DX60 の AC 自動連動モードを ON に設定

装置前面左側にある AUTO POWER スイッチを ON に設定する。

② 外部入力機器による制御機能※３

電源連動ユニットとRS232C ケーブルで接続するETERNUS DX60のコントローラー (CM0/CM1) を選択します。

コントローラー0 の PWC ポートに接続する場合は「CM0」を、コントローラー1 の PWC ポートに接続する場合は

「CM1」を選択してください。コントローラー0 とコントローラー1 にそれぞれ別の電源連動ユニットを接続して、二

重化構成にする場合は、「CM0」と「CM1」の両方を選択してください。

③ シャットダウン開始までの待ち時間

初期値（0 分）のまま、設定は変更しないでください。

④ インターフェース設定

「電源連動ユニット」を選択してください。

⑤ UPS 出力停止信号

「正」および「無効」をラジオボタンで選択してください。

※３ ETERNUS DX60/DX80, ETERNUS2000 電源連動ユニット取扱説明書より抜粋

図１６. ETERNUS DX60 の設定（電源連動タブ画面）


6.8. ESX の設定

仮想マシンの起動及びシャットダウン設定※４

# 設定項目設定内容

1 システムでの仮想マシンの開始と停止無効

2 各仮想マシンのシャットダウン遅延時間 120 秒

3 シャットダウンアクションパワーオフ

4 起動遅延時間 120 秒

※４当該設定については、デフォルト設定でテストを行う。

図１７.仮想マシンの起動およびシャットダウン構成画面


6.9. お問い合わせ先

本テストレポートにて記載されている製品の使用方法及び、製品仕様に関するご不明点については、以下記載

の連絡先にお問い合わせ下さい。

シュナイダーエレクトリック株式会社

白坂健一郎

Tel: 03-6402-2001

E-mail: [email protected]

Web サイト: http://www.apc.com/jp

以上

富士通primergy/eternus を用いたvmware ha 構 …shutdowndelay...

Documents