cisco sfs infiniband 冗長性コンフィギュレーション … 1 概要 1-1 chapter 2 cisco...

Cisco SFS InfiniBand 冗長性コンフィギュレーションガイドRelease 2.10December 2007

Text Part Number: OL-12957-02-J

このマニュアルに記載されている仕様および製品に関する情報は、予告なしに変更されることがあります。このマニュアルに記載されている表現、情報、

および推奨事項は、すべて正確であると考えていますが、明示的であれ黙示的であれ、一切の保証の責任を負わないものとします。このマニュアルに記

載されている製品の使用は、すべてユーザ側の責任になります。

対象製品のソフトウェアライセンスおよび限定保証は、製品に添付された『Information Packet』に記載されています。添付されていない場合には、代理店にご連絡ください。

シスコシステムズが採用している TCP ヘッダー圧縮機能は、UNIX オペレーティングシステムの UCB（University of California, Berkeley）パブリックドメインバージョンの一部として、UCB が開発したプログラムを最適化したものです。All rights reserved. Copyright © 1981, Regents of the University ofCalifornia.

ここに記載されている他のいかなる保証にもよらず、各社のすべてのマニュアルおよびソフトウェアは、障害も含めて「現状のまま」として提供されま

す。シスコシステムズおよびこれら各社は、商品性や特定の目的への準拠性、権利を侵害しないことに関する、または取り扱い、使用、または取引によっ

て発生する、明示されたまたは黙示された一切の保証の責任を負わないものとします。

いかなる場合においても、シスコシステムズおよびその代理店は、このマニュアルの使用またはこのマニュアルを使用できないことによって起こる制約、

利益の損失、データの損傷など間接的で偶発的に起こる特殊な損害のあらゆる可能性がシスコシステムズまたは代理店に知らされていても、それらに対

する責任を一切負いかねます。

CCVP, the Cisco logo, and Welcome to the Human Network are trademarks of Cisco Systems, Inc.; Changing the Way We Work, Live, Play, and Learn is a servicemark of Cisco Systems,Inc.; and Access Registrar, Aironet, Catalyst, CCDA, CCDP, CCIE, CCIP, CCNA, CCNP, CCSP, Cisco, the Cisco Certified Internetwork Expertlogo, Cisco IOS, Cisco Press, Cisco Systems, Cisco Systems Capital, the Cisco Systems logo, Cisco Unity, Enterprise/Solver, EtherChannel, EtherFast, EtherSwitch,Fast Step, Follow Me Browsing, FormShare, GigaDrive, HomeLink, Internet Quotient, IOS, iPhone, IP/TV, iQ Expertise, the iQ logo, iQ Net Readiness Scorecard,iQuick Study, LightStream, Linksys, MeetingPlace, MGX, Networkers, Networking Academy, Network Registrar, PIX, ProConnect, ScriptShare, SMARTnet,StackWise, The Fastest Way to Increase Your Internet Quotient, and TransPath are registered trademarks of Cisco Systems, Inc. and/or its affiliates in the United Statesand certain other countries.

All other trademarks mentioned in this document or Website are the property of their respective owners. The use of the word partner does not imply a partnershiprelationship between Cisco and any other company. (0711R)

このマニュアルで使用している IP アドレスは、実際のアドレスを示すものではありません。マニュアル内の例、コマンド出力、および図は、説明のみを目的として使用されています。説明の中に実際のアドレスが使用されていたとしても、それは意図的なものではなく、偶然の一致によるものです。

Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド Copyright © 2007 Cisco Systems, Inc. All rights reserved.

【注意】この文書はお客様の便宜のために作成された参考和訳であり、お客様と

シスコシステムズの間の契約を構成するものではありません。正式な契約条件

は、弊社担当者、または弊社販売パートナーにご確認ください。

C O N T E N T S

iiiCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

はじめに　　vii

対象読者　　vii

マニュアルの構成　　viii

表記法　　ix

関連資料　　x

マニュアルの入手方法とサービスリクエストの申請方法　　x

Japan TAC Web サイト　　x

C H A P T E R 1 概要　　1-1

C H A P T E R 2 Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性　　2-1

Cisco SFS 7008P サーバスイッチの冗長性　　2-2

ソフトウェアの冗長性　　2-2

電源装置モジュールの冗長性　　2-3

ファントレイの冗長性　　2-4

管理インターフェイスモジュールの冗長性　　2-4

ファブリックコントローラの冗長性　　2-5

ラインインターフェイスモジュールの冗長性　　2-6

IB ファブリックの冗長性　　2-8

Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性　　2-9

電源装置の冗長性　　2-9

ポートの冗長性　　2-10

IB ファブリックの冗長性　　2-10

C H A P T E R 3 IBM BladeCenter 対応の InfiniBand サーバスイッチモジュールの冗長性　　3-1

C H A P T E R 4 Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性　　4-1

Cisco SFS 3504 サーバスイッチの冗長性　　4-2

ソフトウェアの冗長性　　4-2

IB スイッチモジュールの冗長性　　4-2

ファブリックの冗長性　　4-3

AC 電源ファンモジュールの冗長性　　4-3

イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性　　4-4

Contents

ivCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

Cisco SFS 3012R サーバスイッチの冗長性　　4-5

電源装置の冗長性　　4-5

ブロワーの冗長性　　4-6

コントローラモジュールの冗長性　　4-6

InfiniBand スイッチモジュールの冗長性　　4-7

イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性　　4-7


Cisco SFS 3001 サーバスイッチの冗長性　　4-9

電源装置モジュールの冗長性　　4-9

ファンの冗長性　　4-9


C H A P T E R 5 Subnet Manager の冗長性　　5-1

Embedded Subnet Manager　　5-3

High-Performance Subnet Manager　　5-4

マスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ　　5-5

Embedded Subnet Manager を使用したマスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ　　5-5

High-Performance Subnet Manager を使用したマスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ　　5-7

データベースの同期化のセットアップ　　5-10

Embedded Subnet Manager のデータベースの同期化のセットアップ　　5-10

High-Performance Subnet Manager のデータベースの同期化のセットアップ　　5-11

C H A P T E R 6 ホストの冗長性、IPoIB の冗長性、および SRP の冗長性　　6-1

HCA の冗長性　　6-2

単一の HCA の冗長性　　6-2

複数の HCA の冗長性　　6-3

IBM BladeCenter を使用した 2 つの HCA　　6-3

IPoIB のハイアベイラビリティ　　6-4

Cisco SFS IPoIB のハイアベイラビリティ　　6-4

物理ポートのマージ　　6-4

物理ポートのマージ解除　　6-5

OFED IPoIB のハイアベイラビリティ　　6-6

IPoIB のハイアベイラビリティの設定　　6-7

IPoIB のハイアベイラビリティの確認　　6-8

OFED SRP のハイアベイラビリティ　　6-10

Contents

vCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

C H A P T E R 7 イーサネットゲートウェイと IPoIB の冗長性　　7-1

Cisco SFS 3504 サーバスイッチによるイーサネットゲートウェイの冗長性の設定　　7-4

Cisco SFS 3504 サーバスイッチの冗長性設定の確認　　7-8

Cisco SFS 3504 サーバスイッチのブリッジグループの設定の確認　　7-9

Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定　　7-12

1 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定　　7-12

1 台の Cisco SFS 3012R サーバスイッチの冗長グループ設定の確認　　7-16

1 台の Cisco SFS 3012R サーバスイッチのブリッジグループ設定の確認　　7-16

2 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定　　7-18

2 台の Cisco SFS 3012R サーバスイッチの冗長グループの設定の確認　　7-22

2 台の Cisco SFS 3012R サーバスイッチのブリッジグループの設定の確認　　7-23

Cisco SFS 3001 サーバスイッチのイーサネットゲートウェイの冗長性の設定　　7-26

Cisco SFS 3001 サーバスイッチの冗長グループ設定の確認　　7-30

Cisco SFS 3001 サーバスイッチのブリッジグループ設定の確認　　7-31

C H A P T E R 8 ファイバチャネルゲートウェイと SRP の冗長性　　8-1

ダイナミックロードバランシング　　8-3

ダイナミックゲートウェイフェールオーバー　　8-3

パスアフィニティ　　8-3

Cisco SFS 3504 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定　　8-4

イニシエータの設定内容の確認　　8-6

IT の確認　　8-6

LU の確認　　8-7

Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定　　8-8

1 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定　　8-8

1 台の Cisco SFS 3012R サーバスイッチの設定の確認　　8-10

2 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定　　8-12

2 台の Cisco SFS 3012R サーバスイッチの設定の確認　　8-14

Contents

viCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

Cisco SFS 3001 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定　　8-16

2 台の Cisco SFS 3001 サーバスイッチの設定　　8-16

Cisco SFS 3001 サーバスイッチの冗長性設定の確認　　8-17

C H A P T E R 9 冗長性の一般的な使用例　　9-1

A P P E N D I X A 略語　　A-1

I N D E X 索引

viiCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

はじめに

ここでは、『Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド』の対象読者、マニュアルの構成、および表記法について説明します。内容は、次のとおりです。

• 対象読者（p.vii）

• マニュアルの構成（p.viii）

• 表記法（p.ix）

• 関連資料（p.x）

• マニュアルの入手方法とサービスリクエストの申請方法（p.x）

対象読者

このマニュアルの対象読者は、サーバファブリックスイッチ環境で冗長性を設定する企業データセンター担当の管理者です。この管理者は、サーバスイッチなどの機器、Subnet Manager、イーサネットゲートウェイ、Host Channel Adapter（HCA; ホストチャネルアダプタ）、およびソフトウェアドライバについて、設定と管理の経験を持っている必要があります。

はじめに

マニュアルの構成

viiiCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

マニュアルの構成

このマニュアルの構成は、次のとおりです。

章タイトル説明

第 1 章概要この章では、マニュアルの概要について説明しま

す。

第 2 章 Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性

この章では、Cisco SFS 7008P および Cisco SFS7000 シリーズサーバスイッチの冗長性について説明します。

第 3 章 IBM BladeCenter 対応の InfiniBandサーバスイッチモジュールの冗長性

この章では、IBM BladeCenter 冗長性対応の InfiniBand サーバスイッチの冗長性について説明します。

第 4 章 Cisco SFS 3504 および Cisco SFS 3000シリーズサーバスイッチの冗長性

この章では、Cisco SFS 3504 および Cisco SFS 3000シリーズサーバスイッチの冗長性について説明します。

第 5 章 Subnet Manager の冗長性この章では、Subnet Manager の冗長性について説明します。

第 6 章ホストの冗長性、IPoIB の冗長性、および SRP の冗長性

この章では、HCA、IPoIB、SRP の冗長性について説明します。

第 7 章イーサネットゲートウェイと IPoIBの冗長性

この章では、イーサネットゲートウェイの冗長性について説明します。

第 8 章ファイバチャネルゲートウェイとSRP の冗長性

この章では、ファイバチャネルゲートウェイの冗長性について説明します。

第 9 章冗長性の一般的な使用例この章では、冗長性の一般的な使用例について説

明します。

付録 A 略語この章では、このマニュアルで使用する略語を定

義します。

はじめに

表記法

ixCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

表記法

このマニュアルでは、次の表記法を使用しています。

（注）は、次のように表しています。

（注）「注釈」です。役立つ情報や、このマニュアル以外の参照資料などを紹介しています。

注意は、次のように表しています。

注意「要注意」の意味です。機器の損傷またはデータ損失を予防するための注意事項が記述されていま

す。

表記説明

太字コマンド、コマンドオプション、およびキーワードは太字で示しています。太字テキストは、Chassis Manager の要素またはそのまま入力する必要があるテキストを示します。

イタリック体ユーザが値を指定するコマンドの引数は、イタリック体で示していま

す。コマンド以外で使用されているイタリック体は、強調を意味します。

メニュー 1 > メニュー 2> アイテム…

連続形式は、フォームを開いたり、必要な機能を実行したりするための

ポップアップメニューシーケンスを示します。

[ ] 角カッコの中の要素は、省略可能です。

{ x | y | z } 必ずどれか 1 つを選択しなければならない必須キーワードは、波カッコで囲み、縦棒で区切って示しています。波カッコは、たとえば {interfaceinterface type} のように、キーワードや引数を囲むのにも使われます。

[ x | y | z ] どれか 1 つを選択できる省略可能なキーワードは、角カッコで囲み、縦棒で区切って示しています。

ストリング引用符を付けない一組の文字。ストリングの前後には引用符を使用しま

せん。引用符を使用すると、その引用符も含めてストリングとみなされ

ます。

screen フォントシステムが表示する端末セッションおよび情報は、screen フォントで示しています。

太字の screen フォントユーザが入力しなければならない情報は、太字の screen フォントで示しています。

イタリック体の screenフォント

ユーザが値を指定する引数は、イタリック体の screen フォントで示しています。

^ ^ 記号は、Ctrl キーを表します。たとえば、画面に表示される ^D というキーの組み合わせは、Ctrl キーを押しながら D キーを押すことを意味します。

< > パスワードのように出力されない文字は、かぎカッコ（< >）で囲んで示しています。

!、# コードの先頭に感嘆符（!）またはポンド記号（#）がある場合には、コメント行であることを示します。

はじめに

関連資料

xCisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

関連資料

『Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド』に関連したその他の情報については、次のマニュアルを参照してください。

• 『Cisco SFS InfiniBand Software Configuration Guide』

• 『Cisco SFS 3504 Multifabric Server Switch Hardware Installation Guide』

• 『Cisco SFS 3012R Multifabric Server Switch Hardware Installation Guide』

• 『Cisco SFS 3001 Multifabric Server Switch Hardware Guide』

• 『Cisco SFS 7008P InfiniBand Server Switch Hardware Installation Guide』

• 『Cisco SFS 7000P and SFS 7000D InfiniBand Server Switch Hardware Installation Guide』

• 『Cisco High-Performance Subnet Manager for InfiniBand Server Switches』

• 『Cisco SFS Product Family Chassis Manager User Guide』

• 『Cisco SFS Product Family Element Manager User Guide』

• 『Cisco SFS Product Family Command Reference』

• 『Cisco SFS InfiniBand Fibre Channel Gateway User Guide』

• 『Cisco SFS InfiniBand Ethernet Gateway User Guide』

• 『Cisco InfiniBand Host Channel Adapter Hardware Installation Guide』

マニュアルの入手方法とサービスリクエストの申請方法マニュアルの入手方法、サービスリクエストの申請方法、その他の情報の取得方法に関する情報については、次の URL で、毎月更新される『What’s New in Cisco Product Documentation』を参照してください。『What’s New in Cisco Product Documentation』には、シスコの新規および改訂版の技術マニュアルの一覧も示されています。

http://www.cisco.com/en/US/docs/general/whatsnew/whatsnew.html

Really Simple Syndication（RSS）フィードとして『What’s New in Cisco Product Documentation』に登録し、リーダーアプリケーションを使用して、デスクトップに直接配信されるコンテンツを設定してください。RSS フィードは無料のサービスで、現在シスコでは RSS バージョン 2.0 をサポートしています。

Japan TAC Web サイトJapan TAC Web サイトでは、利用頻度の高い TAC Web サイト（http://www.cisco.com/tac）のドキュメントを日本語で提供しています。Japan TAC Web サイトには、次の URL からアクセスしてください。

http://www.cisco.com/jp/go/tac

サポート契約を結んでいない方は、「ゲスト」としてご登録いただくだけで、Japan TAC Web サイトのドキュメントにアクセスできます。

Japan TAC Web サイトにアクセスするには、Cisco.com のログイン ID とパスワードが必要です。ログイン ID とパスワードを取得していない場合は、次の URL にアクセスして登録手続きを行ってください。

http://www.cisco.com/jp/register/

http://www.cisco.com/en/US/docs/general/whatsnew/whatsnew.html

http://www.cisco.com/tac

http://www.cisco.com/jp/go/tac

http://www.cisco.com/jp/register/

C H A P T E R

1-1Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

1概要

『Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド』では、Cisco InfiniBand（IB）ServerFabric Switch（SFS; サーバファブリックスイッチ）を含む企業ソリューションで使用する冗長性コンフィギュレーションについて説明します。このマニュアルでは、ハードウェアおよびソフトウェ

アの冗長性、および Cisco SFS IB 環境で利用可能な冗長性コンフィギュレーションについて説明します。

（注）このマニュアルで使用する略語の詳細については、付録 A「略語」を参照してください。

このマニュアルでは、SFS IB 環境を構築するために利用可能な各種製品で利用可能なハードウェアおよびソフトウェアの各種冗長性について説明します。ユーザがこの環境で構築できる各種冗長性

コンフィギュレーション、およびシングルポイント障害のない一般的な使用例についても紹介します。

このマニュアルで説明する冗長性の内容は、次のとおりです。

• Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性

• IBM BladeCenter 対応の InfiniBand サーバスイッチモジュールの冗長性

• Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性

• Subnet Manager の冗長性

• ホストの冗長性、IPoIB の冗長性、および SRP の冗長性

• イーサネットゲートウェイと IPoIB の冗長性

• ファイバチャネルゲートウェイと SRP の冗長性

• 冗長性の一般的な使用例

第 1章概要


OL-12957-02-J

C H A P T E R


OL-12957-02-J

2Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性

この章では、Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性について説明します。内容は次のとおりです。

• Cisco SFS 7008P サーバスイッチの冗長性（p.2-2）

• Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性（p.2-9）

Subnet Manager の冗長性については、第 5 章「Subnet Manager の冗長性」を参照してください。


第 2章 Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性Cisco SFS 7008P サーバスイッチの冗長性


OL-12957-02-J

Cisco SFS 7008P サーバスイッチの冗長性ここでは、Cisco SFS 7008P サーバスイッチの冗長性について説明します。内容は次のとおりです。

• ソフトウェアの冗長性（p.2-2）

• 電源装置モジュールの冗長性（p.2-3）

• ファントレイの冗長性（p.2-4）

• 管理インターフェイスモジュールの冗長性（p.2-4）

• ファブリックコントローラの冗長性（p.2-5）

• ラインインターフェイスモジュールの冗長性（p.2-6）

• IB ファブリックの冗長性（p.2-8）

Cisco SFS 7008P サーバスイッチの詳細については、『Cisco SFS 7008P InfiniBand Server Switch Hardware Installation Guide』を参照してください。

ソフトウェアの冗長性

ここでは、Cisco SFS 7008P サーバスイッチソフトウェアの冗長性について説明します。

Cisco SFS 7008P サーバスイッチでは、ホットスタンバイ機能がサポートされています。プライマリコントローラで障害が発生すると、シャーシ内のその他のカードのリブートやリセットを行わなくても、スタンバイコントローラがサーバスイッチの管理を代行するようになります。

Cisco SFS 7008P サーバスイッチに 2 台のコントローラが搭載されている場合、1 台はプライマリコントローラとして動作し、もう 1 台はスタンバイコントローラとして動作します。プライマリコントローラがシャーシの管理を行います。スタンバイコントローラは、プライマリコントローラで障害が発生するか、またはリブートによって処理を代行するまで待機します。

プライマリスイッチコントローラを検証するには、CLI に show card コマンドを入力します。プライマリコントローラカードの oper-code は normal、スタンバイコントローラの oper-code は standbyになります。この CLI セッションを実行しているコントローラカードに、アスタリスクが表示されます。そのため、コンソール CLI セッションから、コンソールポートがアスタリスクの付いたカード上にあることがわかります。

次に、show card コマンドの出力例を示します。各コントローラカードのステータスが確認できます。

SFS-7008P# show card ========================================================================= Card Information ========================================================================= admin oper admin oper oper slot type type status status code ------------------------------------------------------------------------- 11* controllerFabric12x controllerFabric12x up up normal 12 controllerFabric12x controllerFabric12x up up standby

次に、サーバスイッチのスロット 12 のコンソールで show card コマンドを実行した場合の出力例を示します。各コントローラカードのステータスが確認できます。

SFS-7008P# show card ========================================================================= Card Information ========================================================================= admin oper admin oper oper slot type type status status code ------------------------------------------------------------------------- 11 controllerFabric12x controllerFabric12x up up normal 12* controllerFabric12x controllerFabric12x up up standby



OL-12957-02-J

Cisco SFS 7008P サーバスイッチの電源を投入すると、スロット 11 のファブリックカードがプライマリカードとなり、スロット 12 のファブリックカードがスタンバイカードとなります。ファブリックカードがコントローラカードとして機能するには、ファブリックカードがスロット 11 または 12 に搭載されていて、該当する管理インターフェイスモジュールが利用可能でなければなりません。

リカバリモードで動作しているファブリックカード（OS Recovery Image ソフトウェアを実行している場合など）は、プライマリコントローラまたはスタンバイコントローラとすることはできません。マスターコントローラとスタンバイコントローラは、状態やコンフィギュレーション情報を自動的に同期させます。スタンバイコントローラによってシャーシの管理を行う場合、シャーシの他のカードのサービス（ラインインターフェイスモジュール、ファブリックコントローラ、管理インターフェイスモジュールなど）は影響を受けません。他のカードのリブート、リセット、中断は発生しません。スタンバイコントローラへは、シリアルコンソールポートからアクセス可能です。Telnet、SSH、SNMP、HTTP によるスタンバイコントローラへのアクセスはできません。

OS CLI は、スタンバイコントローラで使用できます（シリアルコンソール経由でのみ可能）。スタンバイコントローラの CLI では、読み取り専用の操作のみが行えます。show コマンドは入力できますが、config コマンドは入力できません。

カードが in-service の状態になるには、プライマリコントローラと同じソフトウェアが動作している必要があります。スタンバイコントローラカードとプライマリコントローラカードとで使用しているバージョンが異なる場合、スタンバイコントローラカードの oper-code に wrong image と表示されます。この場合、2 つのカード間で同期処理は行われません。2 つのコントローラカードのsys-sync-state は、not started のままとなります。

プライマリコントローラカードの障害によりホットスタンバイコントローラカードが処理を代行する場合、ホットスタンバイコントローラカードはその sys-sync-state に従って動作します。

sys-sync-state が complete である場合、ホットスタンバイコントローラカードはサービスを中断することなく管理を続行します。追加のコンフィギュレーションファイルは実行されず、ノードカードのリブートも行われません。

sys-sync-state が not started である場合、ホットスタンバイコントローラカードは、startup-config があればそれをを実行し、管理を続行します。ノードカードのリブートは行われません。

sys-sync-state が progress である場合、プライマリコントローラカードとホットスタンバイコントローラカードは、部分的に同期処理が行われます。不正な結果の発生を防止するため、ホットスタンバイコントローラカードのリブートが行われます。

同期処理は、ホットスタンバイコントローラカードの operStatus が up に変化した後に開始されます。

電源装置モジュールの冗長性

ここでは、Cisco SFS 7008P サーバスイッチの電源装置モジュールの冗長性について説明します。

Cisco SFS 7008P サーバスイッチには、2 つの AC-DC バルク電源装置モジュールが搭載されています（図 2-1を参照）。それぞれの電源装置には、冷却用の完全独立したファンが付いています。システムへの電力供給に必要なのは、2 つのスロットのうち、一方の電源装置のみです。他方の電源装置は、リダンダント電源として機能します。それぞれの電源装置には専用の AC 入力が用意されており、独立した AC 回路上で動作します。アクティブな電源装置で障害が発生した場合、サーバスイッチへの電力供給が自動的にもう 1 台の電源装置で代行されます。フェールオーバーの際に、ユーザの操作は不要です。電流は active-active モードで共有されます。



OL-12957-02-J

図 2-1 Cisco SFS 7008P サーバスイッチの正面図

電源装置モジュールが故障した場合、交換が可能になるまで、シャーシ内に保持しておく必要があ

ります。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7008Pサーバスイッチが動作している状態で交換する場合、電源装置ベイを 3 分以上、空の状態にしないでください。

ファントレイの冗長性ここでは、Cisco SFS 7008P サーバスイッチのファントレイの冗長性について説明します。

Cisco SFS 7008P サーバスイッチには、2 台のファントレイが搭載されています。システムの冷却に必要なのは、2 つのスロットのうち、一方のファントレイのみです。ファントレイはホットスワップ可能です。ファントレイは active-active モードで動作します。

ファントレイが故障した場合、交換が可能になるまで、シャーシ内に保持しておく必要があります。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7008Pサーバスイッチが動作している状態で交換する場合、ファントレイベイを 3 分以上、空の状態にしないでください。

管理インターフェイスモジュールの冗長性ここでは、Cisco SFS 7008P サーバスイッチの管理インターフェイスモジュールの冗長性について説明します。

Cisco SFS 7008P サーバスイッチでは、ホットスワップ可能な管理インターフェイスモジュールの冗長性がサポートされています。各管理インターフェイスモジュールは、ファブリックコントローラのコアモジュールの 1 つと対になります。Cisco SFS 7008P サーバスイッチには、2 つのコアスロットと 2 つの管理インターフェイスモジュールが搭載されています（図 2-1 および図 2-2 を参照）。それぞれのコアスロット内のコントローラは、外部ネットワークとの通信のために、管理インターフェイスモジュールを使用します。各管理インターフェイスモジュールには、専用のシリアルポートとイーサネットポートが装備されています。ポートの両方のセットを接続する必要があります。管理インターフェイスモジュールのフェイルオーバーは、ファブリックコントローラカードのフェイルオーバーと対になっています（「ファブリックコントローラの冗長性」[p.2-5] を参照）。

1919

86

1 9

10

11

12 13

14

2

3

4

1

2



OL-12957-02-J

管理インターフェイスモジュールが故障した場合、交換が可能になるまで、シャーシ内に保持しておく必要があります。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7008P サーバスイッチが動作している状態で交換する場合、管理インターフェイスモジュールベイを 3 分以上、空の状態にしないでください。

図 2-2 Cisco SFS 7008P の背面図 ― 管理インターフェイスモジュールとラインインターフェイスモジュール

ファブリックコントローラの冗長性ここでは、Cisco SFS 7008P サーバスイッチのファブリックコントローラの冗長性について説明します。

ファブリックコントローラの動作と機能は、挿入先のスロットのタイプによって決まります。ファブリックコントローラは、ノードスロットまたはコアスロットに挿入できます。ファブリックコントローラモジュールのソフトウェアによって、モジュールがコアスロットに挿入されていることが検出されると、システムのマスターシップの調停が行われ、動作が開始されます。Cisco SFS7008P サーバスイッチの電源を投入すると、デフォルトでは、スロット 11 のカードがアクティブカードとなり、スロット 12 のカードがスタンバイカードとなります（図 2-1を参照）。マスターコントローラカードとスタンバイコントローラカードは、状態やコンフィギュレーション情報を自動的に同期させます。そのため、スイッチのフェールオーバーの発生時に、スイッチのリブートや

シャーシ内のカードのリセットは不要です。

コアスロットのファブリックコントローラカードは、Cisco SFS 7008P サーバスイッチの管理インターフェイスモジュールと対になっています（「管理インターフェイスモジュールの冗長性」[p.2-4]を参照）。冗長性のためには、ファブリックコントローラカードと管理インターフェイスモジュールの両方のペアをインストールし、動作可能にしておく必要があります。2 つのコアカードはactive-active モードで動作し、100% のスループットのために必要です。1 つのコアカードが故障した場合、システムで利用可能な帯域幅は 50% になります。故障したカードがアクティブマスターの場合、スタンバイマスターがシャーシの制御を代行します。

1833

86



OL-12957-02-J

マスターとして機能しているコアスロットのファブリックコントローラを取り外すと、ファブリックコントローラと管理インターフェイスモジュールペアのスタンバイペアへのフェールオーバーが発生します。いずれかのコアスロットからファブリックコントローラを取り外す前に、冗長コアファブリックコントローラが機能していることを確認してください。

ノードスロットのファブリックコントローラはスレーブとして機能し、active-standby コンフィギュレーションでは動作しません。各ノードカードは、2 つのラインインターフェイスモジュールと対になります（「ラインインターフェイスモジュールの冗長性」[p.2-6] を参照）。ノードカードが故障した場合、影響を受けるのは、そこに接続されているポートと、対応するラインインターフェイスモジュールのみです。

コアカードまたはノードカードが故障した場合、交換が可能になるまで、シャーシ内に保持しておくことができます。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7008P サーバスイッチが動作している状態で交換する場合、カードベイを 3 分以上、空の状態にしないでください。

ラインインターフェイスモジュールの冗長性ここでは、Cisco SFS 7008P サーバスイッチのラインインターフェイスモジュールの冗長性について説明します。

ラインインターフェイスモジュールでは、HCA からの冗長接続がサポートされています（図 2-2を参照）。ラインインターフェイスモジュールはホットスワップ可能な冗長コンポーネントです。各ラインインターフェイスモジュールは、ファブリックコントローラノードカードと対になります（「ファブリックコントローラの冗長性」[p.2-5] を参照）。

ラインインターフェイスモジュールが故障した場合、交換が可能になるまで、シャーシ内に保持しておくことができます。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7008P サーバスイッチが動作している状態で交換する場合、ラインインターフェイスモジュールベイを 3 分以上、空の状態にしないでください。

図 2-3に、Cisco SFS 7008P サーバスイッチ内のコアカードとラインインターフェイスモジュールの冗長性を図示します。



OL-12957-02-J

図 2-3 Cisco SFS 7008P サーバスイッチ内の冗長性

1833

40

SFS 7008P

InfiniBand

InfiniBand

1 2

3 4

5 6

7 8

SFS 7000D-1 SFS 7000D-2

InfiniBand



OL-12957-02-J

IB ファブリックの冗長性ここでは、Cisco SFS 7008P サーバスイッチの IB ファブリックの冗長性について説明します。

ファブリックレベルでの冗長性のため、IB HCA を Cisco SFS 7008P サーバスイッチの冗長ペアにデュアル接続することができます（図 2-4を参照）。IB リンクはアクティブです。冗長 IB リンク上のトラフィックは、上位レベルのプロトコルとアプリケーションによって異なります。

図 2-4 デュアル Cisco SFS 7008P サーバスイッチでの冗長性

1833

39

SFS 7008P-1 SFS 7008P-2

InfiniBand 1

SFS 7000D-1 SFS 7000D-2 SFS 7000D-3 SFS 7000D-4

InfiniBand 2

InfiniBand 3

InfiniBand 4

第 2章 Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性


OL-12957-02-J

Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性ここでは、Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性について説明します。内容は次のとおりです。

• 電源装置の冗長性（p.2-9）

• ポートの冗長性（p.2-10）

• IB ファブリックの冗長性（p.2-10）

Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性は、ハードウェア、ポート、およびファブリックのレベルでサポートされています。Cisco SFS 7000P および SFS 7000D サーバスイッチの詳細については、『Cisco SFS 7000P and SFS 7000D InfiniBand Server Switches Hardware InstallationGuide』を参照してください。

電源装置の冗長性

ここでは、Cisco SFS 7000P および SFS 7000D サーバスイッチの電源装置の冗長性について説明します。

Cisco SFS 7000P および SFS 7000D サーバスイッチの電源装置は、電源装置とファンの統合ユニットです。1 台のサーバスイッチには、最大 2 台の電源装置を搭載することができます（図 2-5を参照）。スイッチの動作に必要となるのは、1 台の電源装置だけです。他方の電源装置は、リダンダント電源として機能します。電源装置モジュールはホットスワップ可能です。いずれかの電源装置モ

ジュールを交換する際、装置の動作は中断されず、ラックから装置を取り外したりケーブルを外し

たりすることなく、交換を行うことができます。

それぞれの電源装置には専用の AC 入力が用意されており、独立した AC 回路上で動作します。サーバスイッチは、自動的に電源装置を active-active モードまたは active-standby モードで動作させます。いずれかの電源装置が故障した場合、サーバスイッチへの電力供給が自動的にもう 1 台の電源装置で代行されます。フェールオーバーの際に、ユーザの操作は不要です。

電源装置モジュールが故障した場合、交換が可能になるまで、シャーシ内に保持しておくことがで

きます。取り外した場合は、代わりにブランクパネルを取り付ける必要があります。Cisco SFS 7000Pまたは SFS 7000D サーバスイッチが動作している状態で交換する場合、電源装置モジュールベイを 3 分以上、空の状態にしないでください。

図 2-5 Cisco SFS 7000P および SFS 7000D サーバスイッチ19

1995

第 2章 Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性Cisco SFS 7000P および SFS 7000D サーバスイッチの冗長性


OL-12957-02-J

ポートの冗長性

ここでは、Cisco SFS 7000P および SFS 7000D サーバスイッチのポートの冗長性について説明します。

Cisco SFS 7000P および SFS 7000D サーバスイッチには、それぞれ 24 個の IB ポートが装備されています。ポートレベルでの冗長性は、1 つの IB ポートが故障した場合に、他のポートのサービスが中断されないことを指します。

また、ポートの冗長性を実現するため、ユーザは 2 台のサーバスイッチを使用することができます。一方のサーバスイッチの IB ポートが故障した場合、自動的に他方のサーバスイッチで処理が代行されます。

IB ファブリックの冗長性ここでは、Cisco SFS 7000P および SFS 7000D サーバスイッチのファブリックの冗長性について説明します。

ファブリックレベルでの冗長性のため、IB HCA を Cisco SFS 7000 シリーズサーバスイッチの冗長ペアにデュアル接続することができます。Cisco SFS 7000 シリーズサーバスイッチの冗長構成は、active-active です。ハードウェアの設定は不要です。IB リンクは active-active です。しかし、冗長 IBリンクを使用するアプリケーションおよび上位レベルのプロトコルは、アプリケーションに応じ

て、active-active または active-standby とすることができます。

この一般的な構成では、2 ポート HCA は Cisco SFS 7000 シリーズサーバスイッチのペアに接続されます（図 2-6を参照）。この構成により、サーバの冗長性が実現されます。

図 2-6 Cisco SFS 7000 シリーズサーバスイッチの冗長ペアに接続された 2 ポート HCA

冗長性を強化するため、1 つのサーバスイッチの冗長ペアに、2 つのシングルポート HCA を接続します。このような構成により、ホストと IB ファブリックの冗長性が実現されます。

（注）図 2-6に、冗長構成の Cisco SFS 7000D サーバスイッチを示します。Cisco SFS 7000P サーバスイッチも、同様の冗長構成に接続することができます。

SFS 7000D-1 SFS 7000D-2

InfiniBand

1828

55

InfiniBand 1

InfiniBand 2

C H A P T E R


OL-12957-02-J

3IBM BladeCenter 対応の InfiniBand サーバスイッチモジュールの冗長性

この章では、IBM BladeCenter 対応の InfiniBand サーバスイッチの冗長性について説明します。

IBM BladeCenter 対応の InfiniBand サーバスイッチの詳細については、『Cisco 4x InfiniBand Switch Modulefor IBM BladeCenter User Guide』を参照してください。


IBM BladeCenter で、冗長デュアルスイッチトポロジーを作成することができます。IBM BladeCenterシャーシの IB 冗長をイネーブルにするには、利用可能なスロットごとにサーバスイッチモジュールを 1 つずつ設置する必要があります。HCA 拡張カードは、単一サーバスイッチモジュールスロットへの冗長リンクをサポートしていません。BladeCenter シャーシにサーバスイッチモジュールを追加する場合、それぞれの HCA 拡張カードの各ポートをサーバスイッチモジュールに接続します。図 3-1に、IBM BladeCenter に 14 個の 2 ポート HCA のある構成の例を示します。この冗長構成では、各 HCA が、BladeCenter 内の 2 つのサーバスイッチモジュールに接続されています。

第 3章 IBM BladeCenter 対応の InfiniBand サーバスイッチモジュールの冗長性


OL-12957-02-J

図 3-1 IBM BladeCenter 対応の InfiniBand スイッチの冗長性

（注）サーバスイッチモジュールを冗長外部ファブリックに接続してください。

サーバスイッチモジュールは、BladeCenter シャーシ内で相互に接続されません。Subnet Managerフェールオーバーをイネーブルにするためにモジュールを接続するには、モジュールを IB ケーブルを使用して、外部コネクタを通して接続します。シャーシ内で 2 つのサーバスイッチモジュールを接続する前に、モジュール上で Subnet Manager のプライオリティを設定します。Subnet Managerの冗長性の詳細については、第 5 章「Subnet Manager の冗長性」を参照してください。High-Performance Subnet Manager の詳細については、『Cisco High-Performance Subnet Manager forInfiniBand Server Switches』を参照してください。

Subnet Manager のプライオリティを設定したら、サーバスイッチモジュールを外部 IB ファブリックに接続します。デフォルトでは、サーバスイッチモジュールの外部インターフェイスは、ファブリックと速度のオートネゴシエーションを行います。

1

1833

38

HCA-1

InfiniBand

IBM BladeCenter

1

2

2

HCA-14

InfiniBand Blade 1

InfiniBand Blade 14

1 2

C H A P T E R


OL-12957-02-J

4Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性

この章では、Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性について説明します。内容は次のとおりです。

• Cisco SFS 3504 サーバスイッチの冗長性（p.4-2）

• Cisco SFS 3012R サーバスイッチの冗長性（p.4-5）

• Cisco SFS 3001 サーバスイッチの冗長性（p.4-9）

Cisco SFS 3000 シリーズには、Cisco SFS 3001、Cisco SFS 3012R サーバスイッチがあります。CiscoSFS 3504 および SFS 3000 シリーズサーバスイッチに関連するイーサネットゲートウェイおよびファイバチャネルゲートウェイの冗長性については、第 7 章「イーサネットゲートウェイと IPoIBの冗長性」および第 8 章「ファイバチャネルゲートウェイと SRP の冗長性」を参照してください。


第 4章 Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性Cisco SFS 3504 サーバスイッチの冗長性


OL-12957-02-J

Cisco SFS 3504 サーバスイッチの冗長性ここでは、Cisco SFS 3504 サーバスイッチでサポートされる冗長性について説明します。内容は次のとおりです。

• ソフトウェアの冗長性（p.4-2）

• IB スイッチモジュールの冗長性（p.4-2）

• ファブリックの冗長性（p.4-3）

• AC 電源ファンモジュールの冗長性（p.4-3）

• イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性（p.4-4）

Cisco SFS 3504 サーバスイッチの詳細については、『Cisco SFS 3504 Multifabric Server Switch HardwareInstallation Guide』を参照してください。

ソフトウェアの冗長性

ここでは、Cisco SFS 3504 サーバスイッチのソフトウェアの冗長性について説明します。

Cisco SFS 3504 サーバスイッチでは、2 種類のオペレーティングシステムを格納し、1 つをアクティブにし、もう 1 つを休止状態にすることができます。次の 2 つのいずれかの方法で A/B パーティション機能を使用して、冗長性を実現します。

• 工場出荷時は、パーティションの A と B は両方とも、同じオペレーティングシステムソフトウェアが「アクティブ」および「休止」パーティションに事前にロードされています。「アク

ティブ」オペレーティングシステムパーティションに、既存のオペレーティングシステムソフトウェアをリロードしたり、新世代のオペレーティングシステムをインストールしたりし、「休止」パーティションは工場出荷時にインストールされたオペレーティングシステムのままにすることができます。

• 「アクティブ」パーティションと「休止」パーティションで交互にオペレーティングシステムのアップグレードを行う（最初にパーティション A、次にパーティション B、その次はパーティション A）ことにより、ソフトウェアイメージファイルのリロードやインストールを行わなくても、以前のオペレーティングシステムにロールバックできるようにします。この方法では、デュアルブート方式と同様に、オペレーティングシステムの切り替えが簡単にすばやく行えます。

A/B パーティションを使用する利点は、リカバリイメージが容易に利用できることです。不良パーティション上でイメージを補修する必要がありません。その代わりに、CLI を使用して新しい（該当する）パーティションをブートします。

IB スイッチモジュールの冗長性ここでは、Cisco SFS 3504 サーバスイッチの IB スイッチモジュールの冗長性について説明します。

IB スイッチカードは冗長に対応していません。ただし、スイッチに接続し、ポート 1、3、5 などの代替ポートを使用することにより、ホストからの冗長 IB リンクをセットアップすることができます。これは、カード内のマルチ IC スイッチ全体の接続が対象となります。



OL-12957-02-J

ファブリックの冗長性

ここでは、Cisco SFS 3504 サーバスイッチのファブリックの冗長性について説明します。

2 台の Cisco SFS 3504 サーバスイッチを使用して、冗長性を設定することができます。2 ポートHCA を備えたサーバを、2 台の Cisco SFS 3504 サーバスイッチ上の 2 つの IB スイッチモジュールに接続することができます（図 4-1を参照）。

図 4-1 2 台の Cisco SFS 3504 サーバスイッチによる冗長性

AC 電源ファンモジュールの冗長性ここでは、Cisco SFS 3504 サーバスイッチの AC 電源ファンモジュールの冗長性について説明します。

Cisco SFS 3504 サーバスイッチは、デュアル AC 電源ファンモジュールの冗長性に対応しています（図 4-2を参照）。一方の AC 電源ファンモジュールが故障すると、ただちにもう一方の AC 電源ファンモジュールが制御を代行します。冗長 AC 電源ファンモジュールは、ホットスワップにも対応しています。Cisco SFS 3504 サーバスイッチに AC 電源ファンモジュールが 1 台しか搭載されていない場合、シャーシの動作中に、AC 電源ファンモジュールをもう 1 台追加できます。AC 電源ファンモジュールが 2 台搭載されている場合、シャーシの電源を入れたままで、1 台のモジュールを取り外すことができます。AC 電源ファンモジュールは、active-active です。

2503

11

InfiniBand

ENGW-2

IB 1 IB 2

SFS 3504-1

FCGW-1 FCGW-2

SAN

FCGW ENGW

ENGW-1

SFS 3504-2

IB



OL-12957-02-J

図 4-2 Cisco SFS 3504 デュアル冗長電源ファンモジュール

イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性ここでは、Cisco SFS 3504 サーバスイッチのイーサネットゲートウェイとファイバチャネルゲートウェイの冗長性について説明します。

イーサネットゲートウェイとファイバチャネルゲートウェイは、Cisco SFS 3504 サーバスイッチと、IP およびファイバチャネルネットワークを接続します。シャーシには 4 つのゲートウェイスロットがあり、ゲートウェイは、任意の組み合わせで、任意のスロットにインストールすることが

できます。ゲートウェイには、IB スイッチへの IB 接続部が付いています。1 台のシャーシに 2 つ以上のイーサネットゲートウェイまたはファイバチャネルゲートウェイが搭載されている場合に、ゲートウェイモジュールを複数のゲートウェイの冗長性を実現するように設定できます。ゲートウェイはホットプラグイン可能で、シャーシの動作中に、ゲートウェイの追加やスワップが可能です。

Cisco SFS 3504 サーバスイッチに関連するイーサネットゲートウェイとファイバチャネルゲートウェイの冗長性については、第 7 章「イーサネットゲートウェイと IPoIB の冗長性」および第 8 章「ファイバチャネルゲートウェイと SRP の冗長性」を参照してください。

1 - 2 AC-DC 電源ファンモジュール

2501

53

INPUTOK FAN

OKOUTPUT

FAIL

SFS3500 Series

CAUTION: DISCONNECT POWER BEFORE SERVICING

!

ALL FASTENERS MUST BEFULLY ENGAGED PRIOR TO

OPERATION OF POWER SUPPLY

100-240V8-4A

50/60Hz

1

2

INPUTOK FAN

OKOUTPUT

FAIL

SFS3500 Series

CAUTION: DISCONNECT POWER BEFORE SERVICING

!

ALL FASTENERS MUST BEFULLY ENGAGED PRIOR TO

OPERATION OF POWER SUPPLY

100-240V8-4A

50/60Hz

第 4章 Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性Cisco SFS 3012R サーバスイッチの冗長性


OL-12957-02-J

Cisco SFS 3012R サーバスイッチの冗長性ここでは、Cisco SFS 3012R サーバスイッチの冗長性について説明します。内容は次のとおりです。

• 電源装置の冗長性（p.4-5）

• ブロワーの冗長性（p.4-6）

• コントローラモジュールの冗長性（p.4-6）

• InfiniBand スイッチモジュールの冗長性（p.4-7）

• イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性（p.4-7）


Cisco SFS 3012R サーバスイッチの詳細については、『Cisco SFS 3012R Multifabric Server SwitchHardware Installation Guide』を参照してください。

電源装置の冗長性

ここでは、Cisco SFS 3012R サーバスイッチの電源装置の冗長性について説明します。

Cisco SFS 3012R サーバスイッチは、デュアル電源装置の冗長性に対応しています（図 4-3を参照）。一方の電源装置が故障すると、ただちにもう一方の電源装置が制御を代行します。冗長電源装置は、

ホットスワップにも対応しています。Cisco SFS 3012R サーバスイッチに電源装置が 1 台しか搭載されていない場合、シャーシの動作中に、電源装置をもう 1 台追加できます。電源装置が 2 台搭載されている場合、シャーシの電源を入れたままで、1 台の電源装置を取り外すことができます。電源装置は、active-active です。

図 4-3 Cisco SFS 3012R サーバスイッチの電源装置とブロワーモジュール

1919

85



OL-12957-02-J

ブロワーの冗長性

ここでは、Cisco SFS 3012R サーバスイッチのブロワーモジュールの冗長性について説明します。

Cisco SFS 3012R サーバスイッチの 2 台のホットスワップ可能なブロワーモジュールにより、シャーシ内の温度が一定に保たれます。各モジュールにブロワーが 2 台ずつ搭載されているため、フル装備のシステムでは、4 台のブロワーが動作可能となります（図 4-3を参照）。連続動作のためには、少なくとも 3 台のブロワーが動作可能でなければなりません。ブロワーモジュールの交換の際、Cisco SFS 3012R サーバスイッチの電源を切断する必要はありません。Cisco SFS 3012R サーバスイッチが動作している状態で交換する場合、ブロワーを 3 分以上、空の状態にしないでください。

コントローラモジュールの冗長性ここでは、Cisco SFS 3012R サーバスイッチのコントローラモジュールの冗長性について説明します。

コントローラモジュールは Cisco SFS 3012R サーバスイッチを管理し、Cisco SFS 3012R サーバスイッチのイーサネットアクセスおよびシリアルコンソールポートアクセスを可能にします。CiscoSFS 3012R サーバスイッチには、2 つのコントローラモジュールが搭載されています。図 4-4 に、Cisco SFS 3012R サーバスイッチのコントローラモジュールとそのスロット番号を示します。

図 4-4 Cisco SFS 3012R サーバスイッチのコントローラモジュール側

1 スロット 1 ― デフォルトのマスターコントローラモジュール

14 スロット 14 ― デフォルトのスタンバイコントローラモジュール

2-13 スロット 2 ～ 13 ― ゲートウェイスロット

15-16 スロット 15、16 ― IB スイッチ

1807

40

1 3 5 7 9 11 13

2 4 6 8 10 12 14

15

16



OL-12957-02-J

Cisco SFS 3012R サーバスイッチには、冗長性のための、1 つのアクティブコントローラと 1 つのアクティブスタンバイコントローラが搭載されています。起動中に、スロット 1 のコントローラが、マスター（アクティブ）コントローラになります。スロット 14 のコントローラは、スタンバイコントローラになります。マスターコントローラの故障時、またはリブート時、自動的にスタンバイコントローラが新しいマスターとなります。フェールオーバーが発生すると、IB スイッチモジュール、ファイバチャネルゲートウェイ、イーサネットゲートウェイなどのすべての I/O モジュールがリブートされます。ソフトウェアのアップグレードおよびインストレーションプロセスでは、マスターコントローラとスタンバイコントローラの両方が同時にアップグレードされます。それぞれのコントローラモジュール上では、Subnet Manager が動作します。Subnet Manager では、単一の Cisco SFS 3012R サーバスイッチまたは冗長 Cisco SFS 3012R サーバスイッチを管理できます。Subnet Manager の詳細については、第 4 章「Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性」を参照してください。

InfiniBand スイッチモジュールの冗長性ここでは、Cisco SFS 3012R サーバスイッチの IB スイッチモジュールの冗長性について説明します。

IB スイッチモジュールは、Cisco SFS 3012R サーバスイッチを、IB 接続ホストや IB ネットワーク内のその他のスイッチに接続します。Cisco SFS 3012R サーバスイッチは、スロット 15 および 16の、1 つまたは 2 つの IB スイッチモジュールをサポートします。

（注）現在のソフトウェアリリースでは、動作可能な CPU を備えた IB スイッチカードを、スロット 16に搭載したままにしておく必要があります（図 4-4を参照）。

IB スイッチカードは冗長に対応していません。ただし、スイッチに接続し、ポート 1、3、5 などの代替ポートを使用することにより、ホストからの冗長 IB リンクをセットアップすることができます。これは、カード内のマルチ IC スイッチ全体の接続が対象となります。

イーサネットゲートウェイの冗長性およびファイバチャネルゲートウェイの冗長性ここでは、Cisco SFS 3012R サーバスイッチのイーサネットゲートウェイとファイバチャネルゲートウェイの冗長性について説明します。

イーサネットゲートウェイとファイバチャネルゲートウェイは、Cisco SFS 3012R サーバスイッチと、IP およびファイバチャネルネットワークを接続します。ゲートウェイには、IB スイッチへのIB 接続部が付いています。

Cisco SFS 3012R サーバスイッチに関連するイーサネットゲートウェイとファイバチャネルゲートウェイの冗長性については、第 7 章「イーサネットゲートウェイと IPoIB の冗長性」および第 8章「ファイバチャネルゲートウェイと SRP の冗長性」を参照してください。



OL-12957-02-J


ここでは、Cisco SFS 3012R サーバスイッチのファブリックの冗長性について説明します。

Cisco SFS 3012R サーバスイッチは、シングルシャーシ内のさまざまな冗長の形態に対応するよう設計されています。データパス内のすべてのコンポーネントをデュアル接続することができます。2 ポート HCA を備えたサーバを、Cisco SFS 3012R サーバスイッチ上の 2 つの IB スイッチモジュールにデュアル接続することができます。ゲートウェイをデュアルスイッチモジュールにデュアル接続することもできます。また、ゲートウェイモジュールは、対でイーサネットネットワークまたはファイバチャネルネットワークにデュアル接続されます。中央集中型ロードバランシング、ポートアグリゲーションのほか、イーサネットおよびファイバチャネルアップリンク接続のトランキングとロードバランシングが可能で、障害時に Cisco SFS 3012R サーバスイッチの再ルーティングも可能です。独立して取り外せるコンポーネントは、ホットスワップ可能です。

図 4-5に、Cisco SFS 3012R サーバスイッチの内部アーキテクチャを示します。点線内部のコンポーネントは、Cisco SFS 3012R サーバスイッチのシャーシ内に設置されます。

図 4-5 Cisco SFS 3012R サーバスイッチの冗長性システムアーキテクチャ

InfiniBand

2500

94

ENGW-1 ENGW-2

IB

IB 1 IB 2

SFS 3012R

FCGW-1 FCGW-2

SAN

FCGW ENGW



OL-12957-02-J

Cisco SFS 3001 サーバスイッチの冗長性ここでは、Cisco SFS 3001 サーバスイッチの冗長性について説明します。内容は次のとおりです。

• 電源装置モジュールの冗長性（p.4-9）

• ファンの冗長性（p.4-9）


Cisco SFS 3001 サーバスイッチの詳細については、『Cisco SFS 3001 Multifabric Server Switch HardwareGuide』を参照してください。

電源装置モジュールの冗長性

ここでは、Cisco SFS 3001 サーバスイッチの電源装置モジュールの冗長性について説明します。

Cisco SFS 3001 サーバスイッチには、1:1 冗長のための 2 台の電源装置が装備されています（図 4-6を参照）。一方の電源装置モジュールが故障すると、ただちにもう一方の電源装置が制御を代行し

ます。電源装置モジュールはホットスワップ可能で、電源を切断する必要はありません。電源装置

は、active-active です。

図 4-6 Cisco SFS 3001 サーバスイッチ ― 正面図（ベゼルを外した状態）

ファンの冗長性

ここでは、Cisco SFS 3001 サーバスイッチのファンの冗長性について説明します。

1 台の Cisco SFS 3001 サーバスイッチで、ファンの冗長性を実現します。Cisco SFS 3001 サーバスイッチには、3 つの独立したファンの付いたファントレイモジュールが搭載されています（図 4-6を参照）。ファントレイモジュールのファンは、1:N 冗長に対応しています。システムを冷却して動作可能な状態に維持するには、ファンモジュールの 3 つのファンのうちの 2 つが必要です。

（注）システムの動作中に 2 つ以上のファンが故障した場合、またはファントレイをホットスワップする場合、ファンを取り外してから 3 分以内に新しいファンを取り付ける必要があります。

1919

87



OL-12957-02-J


ここでは、Cisco SFS 3001 サーバスイッチのファブリックの冗長性について説明します。

Cisco SFS 3001 サーバスイッチは、デュアルシャーシ冗長構成として配置することができます（図4-7を参照）。

図 4-7 デュアルシャーシ冗長構成の Cisco SFS 3001 サーバスイッチ

冗長性のため、IB HCA を Cisco SFS 3001 サーバスイッチの冗長ペアにデュアル接続することができます。複数の Cisco SFS 3001 サーバスイッチが搭載された IB ファブリックでは、スイッチで障害が発生した場合に新しいマスターを割り当てるタスクは、Subnet Manager によって管理されます。Subnet Manager の詳細については、第 5 章「Subnet Manager の冗長性」を参照してください。

1919

94

SFS 3001-1 SFS 3001-2

SAN

IB

InfiniBand

C H A P T E R


OL-12957-02-J

5Subnet Manager の冗長性

この章では、Subnet Manager の冗長性について説明します。内容は次のとおりです。

• Embedded Subnet Manager（p.5-3）

• High-Performance Subnet Manager（p.5-4）

• マスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ（p.5-5）

• データベースの同期化のセットアップ（p.5-10）


Cisco Subnet Manager は、IB 仕様に記載された冗長性をサポートしています。1 台のマスター SubnetManager と、1 台以上のスタンバイ Subnet Manager で構成されます。マスター Subnet Manager で問題が発生した場合、次のインラインスタンバイ Subnet Manager が IB ファブリックの制御を代行します。

Cisco Subnet Manager には、2 つのタイプがあります。2 つのタイプは、次のとおりです。

• Embedded Subnet Manager

• High-Performance Subnet Manager

Embedded Subnet Manager はシャーシ上で動作し、High-Performance Subnet Manager はホスト上で動作します。どちらの Subnet Manager も、相互に IB 標準マスター /スタンバイフェールオーバーをサポートしています。

Cisco Subnet Manager には、マスター Subnet Manager と 1 台以上のスタンバイ Subnet Manager 間で重要なデータを同期化する、独自のデータベース同期プロトコルが用意されています。これにより、

ハイアベイラビリティ冗長が可能になり、IB ファブリックの動作を中断することなく、データベースが同期化されたスタンバイ Subnet Manager がマスターとして制御を代行します。

（注）冗長性のため、2 台の Embedded Subnet Manager を一緒に動作させるか、または 2 台の High-Performance Subnet Manager を一緒に動作させることを推奨します。Embedded Subnet Managerと High-Performance Subnet Manager の間ではデータベースの同期化はサポートされていないため、1 台の Embedded Subnet Manager と 1 台の High-Performance Subnet Manager を設定した場合、障害時にデータトラフィックの中断が発生することがあります。データベースの同期化の詳細については、「データベースの同期化のセットアップ」（p.5-10）を参照してください。

第 5章 Subnet Manager の冗長性


OL-12957-02-J

図 5-1に、Embedded Subnet Manager を使用した IB ファブリックを示します。図 5-2に、High-Performance Subnet Manager を使用した IB ファブリックを示します。図 5-1と図 5-2に示すのは、一般的な Subnet Manager 構成です。用途に応じて、異なる構成が可能です。

図 5-1 InfiniBand ファブリックおよび Embedded Subnet Manager

1828

53


EmbeddedSubnet Manager

EmbeddedSubnet Manager

SFS 3504-1

SAN

SFS 3504-2

SFS 7008P-1 SFS 7008P-2

InfiniBand 1

InfiniBand 2

InfiniBand 3

InfiniBand 4

第 5章 Subnet Manager の冗長性Embedded Subnet Manager


OL-12957-02-J

図 5-2 InfiniBand ファブリックおよび High-Performance Subnet Manager

High-Performance Subnet Manager の詳細については、『Cisco High-Performance Subnet Manager forInfiniBand Server Switches』を参照してください。

Embedded Subnet Managerここでは、Embedded Subnet Manager について説明します。

Embedded Subnet Manager は、Cisco SFS 3504、Cisco SFS 3000 シリーズ、Cisco SFS 7000 シリーズ、および Cisco SFS 7008P サーバスイッチ上で動作します。Embedded Subnet Manager をペアで配置すると、システムレベルでシングルポイント障害を防止できます。Embedded Subnet Manager は、1,000ノードまでのサブネットでの使用を推奨します。Embedded Subnet Manager を使用すると、大規模サブネット内の変化を、短時間で検出できます。

（注） Cisco SFS 3012R サーバスイッチおよび Cisco SFS 7008P サーバスイッチは、それぞれのコントローラカード上で Subnet Manager が動作しています。各シャーシには、2 つの Subnet Manager があります。

1828

54


SFS 7008P-1 SFS 7008P-2

High-Performance

Subnet Manager

SFS 3504-1 SFS 3504-2

SAN

InfiniBand 1

InfiniBand 2

InfiniBand 3

InfiniBand 4

High-Performance

Subnet Manager

第 5章 Subnet Manager の冗長性High-Performance Subnet Manager


OL-12957-02-J

High-Performance Subnet Managerここでは、High-Performance Subnet Manager について説明します。

High-Performance Subnet Manager は、IB サブネットを中央集中的に管理し、制御するスタンドアロンのソフトウェアパッケージです。N+1 コンフィギュレーションとして設定するとハイアベイラビリティが実現できます。また、大規模クラスタに対する性能とスケーラビリティを向上させるこ

ともできます。

ノード数が 1,000 を超えるファブリックでは、High-Performance Subnet Manager の使用を推奨します。Embedded Subnet Manager は Cisco SFS 3504、Cisco SFS 3000 シリーズ、Cisco SFS 7000 シリーズ、および Cisco SFS 7008P サーバスイッチ上で動作可能ですが、大規模ファブリックでは、メモリ容量が大きく、CPU 性能の高速な High-Performance Subnet Manager がより効率的に機能します。

Cisco High-Performance Subnet Manager は、IB スイッチの組み込みプロセッサから Subnet Manager 機能の負荷を除外することにより、Embedded Subnet Manager を補完します。

High-Performance Subnet Manager は、シャーシタイプに Embedded Subnet Manager が含まれていない IB ファブリックのネットワーキング構成でも必要です。

（注） Subnet Manager は、最適なルーティング決定を維持します。スイッチが故障した場合、インバンドトラップメカニズムによって Subnet Manager への通知が行われます。Subnet Manager は、サブネットのルーティング計算の再実行とルートの再プログラミングにより、リセットを行います。

第 5章 Subnet Manager の冗長性マスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ


OL-12957-02-J

マスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ

ここでは、マスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ方法について説明します。内容は次のとおりです。

• Embedded Subnet Manager を使用したマスター Subnet Manager およびスタンバイ Subnet Managerのセットアップ（p.5-5）

• High-Performance Subnet Manager を使用したマスター Subnet Manager およびスタンバイ SubnetManager のセットアップ（p.5-7）

（注）次のセクションで使用している値は、例として示しています。デフォルト以外の値の使用は推奨し

ません。

Embedded Subnet Manager を使用したマスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ

ここでは、Embedded Subnet Manager を使用したマスター Subnet Manager およびスタンバイ SubnetManager のセットアップ方法について説明します。

通常、Embedded Subnet Manager は IB ファブリックの 2 台のシャーシを使用してセットアップし、その他のシャーシではすべてディセーブルにする必要があります。Subnet Manager のプライオリティ番号により、マスターが決定されます。ネットワーク内のすべての Subnet Manager のプライオリティを等しく設定することを推奨します。こうすることにより、ネットワークに新しい Subnet Manager が追加されたときに、ネットワークのマスターシップを引き継がないようにします。

CLI コマンドを使用して Subnet Manager 間のプライオリティの設定および確認を行うには、次の手順を実行します。

ステップ 1 マスター Subnet Manager およびスタンバイ Subnet Manager を決定するため、Subnet Manager 間のプライオリティを設定します。

（注）プライオリティの範囲は 0 ～ 15 です。この範囲内で一番大きな値を割り当てられた SubnetManager が、マスター Subnet Manager となります。デフォルトのプライオリティ番号は 10です。High-Performance Subnet Manager と Embedded Subnet Manager が同時に同一 IB ファブリック内に存在した場合に、High-Performance Subnet Manager が Embedded Subnet Managerより優先されるように、High-Performance Subnet Manager には Embedded Subnet Manager よりも高いプライオリティが割り当てられます。

次に、2 台の Cisco SFS 3504 サーバスイッチの Embedded Subnet Manager 間にプライオリティを設定する例を示します。

SFS-3504# configSFS-3504(config)# ib sm subnet-prefix fe:80:00:00:00:00:00:00 priority 12SFS-3504(config)# exit



OL-12957-02-J

ステップ 2 master-poll-interval を設定して、マスター Subnet Manager がアクティブかどうかを確認するためのポーリングの間隔を指定します。

次に、master-poll-interval を 5 に設定する例を示します。

SFS-3504(config)# ib sm subnet-prefix fe:80:00:00:00:00:00:00 master-poll-intval 5

（注）スタンバイ Subnet Manager による引き継ぎを早くするには master-poll-interval に小さな値を設定し、遅くするには大きな値を設定します。

ステップ 3 master-poll-retries を設定し、マスターへのポーリングの回数を指定します。

次に、master-poll-retries を 0 に設定する例を示します。

SFS-3504(config)# ib sm subnet-prefix fe:80:00:00:00:00:00:00 master-poll-retries 0

（注）スタンバイ Subnet Manager による引き継ぎを早くするには master-poll-retries に小さな値を設定し、遅くするには大きな値を設定します。

ステップ 4 設定を確認します。

次に、Subnet Manager の設定、master-poll-interval の値、master-poll-retries の値を確認する例を示します。

SFS-3504# show ib sm configuration subnet-prefix all================================================================================ Subnet Manager Information================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 guid : 00:05:ad:00:00:01:0c:19 priority : 12 sm-key : 00:00:00:00:00:00:00:00 oper-status : master act-count : 12938 sweep-interval(sec) : 10 response-timeout(msec) : 200 master-poll-intval(sec) : 5 master-poll-retries : 0 max-active-sms : 0 LID-mask-control : 0 switch-life-time : 18 switch-hoq-life-time : 18 host-hoq-life-time : 18 max-hops : 64 mad-retries : 5 node-timeout(sec) : 10 wait-report-response : false sa-mad-queue-depth : 256 qos-admin-state : disabled max-operational-v1 : auto-link min-vl-cap-detected : vl0-vl7

この例の出力では、この Subnet Manager の動作ステータスがマスターで、master-poll-interval が 5 秒で、master-poll-retries が 0 であることが確認できます。



OL-12957-02-J

ステップ 5 IB ファブリック内に Subnet Manager があることを確認します。

次に、IB ファブリック内に Subnet Manager が存在することを確認するための show ib sm sm-infosubnet-prefix コマンドの出力例を示します。

SFS-3504# show ib sm sm-info subnet-prefix fe:80:00:00:00:00:00:00

================================================================================ Discovered Subnet Managers in Fabric================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 port-guid : 00:05:ad:00:00:01:1d:20 priority : 0 sm-state : standby sm-key : 00:00:00:00:00:00:00:00 act-count : 219

この例の sm-state は、ファブリック内でこのスタンバイ Subnet Manager が検出されたことを示しています。

High-Performance Subnet Manager を使用したマスター Subnet Manager およびスタンバイ Subnet Manager のセットアップ

ここでは、High-Performance Subnet Manager を使用したマスター Subnet Manager およびスタンバイSubnet Manager のセットアップ方法について説明します。

通常、High-Performance Subnet Manager は IB ファブリックの 2 台のホストを使用してセットアップし、その他のシャーシではすべてディセーブルにする必要があります。High-Performance SubnetManager のプライオリティ番号により、マスターが決定されます。ネットワーク内のすべての SubnetManager のプライオリティを等しく設定することを推奨します。こうすることにより、ネットワークに新しい Subnet Manager が追加されたときに、ネットワークのマスターシップを引き継がないようにします。

CLI コマンドを使用して Subnet Manager 間のプライオリティの設定および確認を行うには、次の手順を実行します。

ステップ 1 マスター Subnet Manager およびスタンバイ Subnet Manager を決定するため、High-Performance SubnetManager 間のプライオリティを設定します。

（注）プライオリティの範囲は 0 ～ 15 です。この範囲内で一番大きな値を割り当てられた SubnetManager が、マスター Subnet Manager となります。デフォルトのプライオリティ番号は 11です。High-Performance Subnet Manager と Embedded Subnet Manager が同時に同一 IB ファブリック内に存在した場合に、High-Performance Subnet Manager が Embedded Subnet Managerより優先されるように、High-Performance Subnet Manager には Embedded Subnet Manager よりも高いプライオリティが割り当てられます。

次に、2 台のホストの High-Performance Subnet Manager 間にプライオリティを設定する例を示します。

ib_sm> config priority 12



OL-12957-02-J

ステップ 2 master-poll-interval を設定して、マスター Subnet Manager がアクティブかどうかを確認するためのポーリングの間隔を指定します。

次に、master-poll-interval を 5 に設定する例を示します。

ib_sm> config master-poll-interval 5

ステップ 3 master-poll-retries を設定し、マスターへのポーリングの回数を指定します。

次に、master-poll-retries を 0 に設定する例を示します。

ib_sm> config master-poll-retries 0

ステップ 4 設定を確認します。

次に、Subnet Manager の設定、master-poll-interval の値、master-poll-retries の値を確認するための showconfig コマンドの出力例を示します。

ib_sm> show config

================================================================================ Subnet Manager Configuration================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 guid : 00:05:ad:00:00:01:0c:19 priority : 12 sm-key : 00:00:00:00:00:00:00:00 oper-status : master act-count : 2923 sweep-interval(sec) : 10 response-timeout(msec) : 200 mad-retries : 5 node-timeout : 10 master-poll-interval(sec) : 5 master-poll-retries : 0 max-active-sms : 0 LID-mask-control : 0 switch-life-time : 18 sw-link-hoqlife : 18 ca-link-hoqlife : 18 max-hops : 64 wait-report-response : false sa-mad-queue-depth : 256 local-node-retries : 10 qos-admin-state : disabled max-operational-vl : default min-vl-cap-detected : vl0-vl7ib_sm>

この例の出力では、この Subnet Manager の動作ステータスがマスターで、master-poll-interval が 5 秒で、master-poll-retries が 0 であることが確認できます。



OL-12957-02-J

ステップ 5 IB ファブリック上の High-Performance Subnet Manager を確認します。

次に、IB ファブリック上の Subnet Manager を確認するための show other-sm コマンドの出力例を示します。

ib_sm> show other-sm

================================================================================ Subnet Managers in the subnet================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 port-guid : 00:05:ad:00:00:01:1d:20 sm-key : 00:00:00:00:00:00:00:00 priority : 0 sm-state : standby act-count : 1133

ib_sm>

この例は、ファブリック内で 1 台のスタンバイ Subnet Manager が検出されたことを示しています。

第 5章 Subnet Manager の冗長性データベースの同期化のセットアップ


OL-12957-02-J

データベースの同期化のセットアップ

ここでは、データベースの同期化のセットアップ方法について説明します。内容は次のとおりです。

• Embedded Subnet Manager のデータベースの同期化のセットアップ（p.5-10）

• High-Performance Subnet Manager のデータベースの同期化のセットアップ（p.5-11）

Cisco Subnet Manager には、マスター Subnet Manager と 1 台以上のスタンバイ Subnet Manager 間で重要なデータを同期化するための、独自のデータベース同期プロトコルが用意されています。これ

により、ハイアベイラビリティ冗長が可能になり、IB ファブリックの動作を中断することなく、データベースが同期化されたスタンバイ Subnet Manager がマスターとして制御を代行します。これは、企業クラスの IB ファブリックを持ち、MTBF を最小限に抑える必要のある大規模クラスタにおいて重要です。

（注）ネットワーク内のすべての Subnet Manager のプライオリティを等しく設定することを推奨します。こうすることにより、ネットワークに新しい Subnet Manager が追加された場合、スタンバイとして追加され、マスターに同期化されます。

Embedded Subnet Manager のデータベースの同期化のセットアップEmbedded Subnet Manager のデータベースの同期化設定をセットアップするには、次の手順を実行します。

ステップ 1 データベースの同期化がイネーブルである（enable : true）ことを確認し、現在の設定を表示します。

（注）デフォルトでは、データベースの同期化機能はイネーブルです。

次に、show ib db-sync subnet-prefix コマンドの出力例を示します。

SFS-3504# show ib sm db-sync subnet-prefix fe:80:00:00:00:00:00:00

================================================================================ Subnet Manager Database Synchronization Information================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 enable : true max-dbsync-sms : 1 session-timeout(sec) : 10 poll-interval(sec) : 3 cold-sync-timeout(sec) : 10 cold-sync-limit : 2 cold-sync-period(sec) : 900 new-session-delay(sec) : 120 resync-interval(sec) : 3600 state : in-syncSFS-3504#



OL-12957-02-J

ステップ 2 （任意）max-dbsync-sms を設定し、マスター Subnet Manager データベースが同期化できるスタンバイ Subnet Manager の最大数を指定します。

次に、max-dbsync-sms を 2 に設定する例を示します。

SFS-3504(config)# ib sm db-sync subnet-prefix fe:80:00:00:00:00:00:00 max-dbsync-sms 2

ステップ 1 で Subnet Manager Database Synchronization Information の下に表示されるその他の値も、同様にユーザが設定できます。

ステップ 3 Subnet Manager が同期化されていることを確認します。

次に、スタンバイ Subnet Manager を表示するための show ib sm db-sync subnet-prefix コマンドの出力例を示します。

SFS-3504# show ib sm db-sync subnet-prefix fe:80:00:00:00:00:00:00 sm-list

================================================================================ DB Synchronizing SMs================================================================================ subnet-prefix : fe:80:00:00:00:00:00:00 port-guid : 00:05:ad:00:00:01:1d:20 entry-state : active session-state : active session-timeout-current(sec) : 8 poll-interval-current(sec) : 1new-session-delay-current(sec) : 120 resync-interval-current(sec) : 3589 state : in-sync

SFS-3504#

この表示では、1 台のスタンバイ Subnet Manager が検出されたことが確認できます。

High-Performance Subnet Manager のデータベースの同期化のセットアップHigh-Performance Subnet Manager のデータベースの同期化設定をセットアップするには、次の手順を実行します。

ステップ 1 データベースの同期化がイネーブルである（admin-state : enabled）ことを確認し、現在の設定を表示します。

（注）デフォルトでは、データベースの同期化機能はイネーブルです。



OL-12957-02-J

次に、show db-sync コマンドの出力例を示します。

ib_sm> show db-sync

================================================================================ DB Sync Configuration and Status================================================================================ protocol-version : 10 admin-state : enabled max-dbsync-sms : 1 session-timeout(sec) : 10 poll-interval(sec) : 3 cold-sync-timeout(sec) : 10 cold-sync-limit : 2 cold-sync-period(sec) : 900 new-session-delay(sec) : 120 resync-interval(sec) : 3600 state : in-syncib_sm>

ステップ 2 （任意）max-dbsync-sms を設定し、マスター Subnet Manager データベースが同期化できるスタンバイ Subnet Manager の最大数を指定します。

次に、max-dbsync-sms を 2 に設定する例を示します。

ib_sm> config db-sync max-dbsync-sms 2

ステップ 1で Database Synchronization Configuration and Status の下に表示されるその他の値も、同様にユーザが設定できます。

ステップ 3 Subnet Manager が同期化されていることを確認します。

次に、スタンバイ Subnet Manager を表示するための show db-sync sm-list コマンドの出力例を示します。

ib_sm> show db-sync sm-list================================================================================ DB Synchronizing SMs================================================================================ port-guid : 00:05:ad:00:00:01:1d:20 entry-state : active session-state : active session-timeout-current(sec) : 8 poll-interval-current(sec) : 1new-session-delay-current(sec) : 120 resync-interval-current(sec) : 3373 state : in-sync

ib_sm>

この表示では、1 台のスタンバイ Subnet Manager が検出されたことが確認できます。

C H A P T E R


OL-12957-02-J

6ホストの冗長性、IPoIB の冗長性、および SRP の冗長性

この章では、ホストの冗長性、IPoIB の冗長性、および SRP の冗長性について説明します。内容は次のとおりです。

• HCA の冗長性（p.6-2）

• IPoIB のハイアベイラビリティ（p.6-4）

• OFED SRP のハイアベイラビリティ（p.6-10）

IPoIB および SRP は、現在、冗長性をサポートしているドライバです。


第 6章ホストの冗長性、IPoIB の冗長性、および SRP の冗長性HCA の冗長性


OL-12957-02-J

HCA の冗長性ここでは、HCA の冗長性について説明します。内容は次のとおりです。

• 単一の HCA の冗長性（p.6-2）

• 複数の HCA の冗長性（p.6-3）

• IBM BladeCenter を使用した 2 つの HCA（p.6-3）

単一の HCA の冗長性ここでは、単一の HCA に冗長性を設定する方法を説明します。

単一の HCA は、1 つのユニット内で冗長性を実現するため、それぞれ 2 つのポートを持つことができます。そのような HCA は 2 つのポートを内蔵しているため、単一の 2 ポート HCA 内でポートツーポートの冗長性を実現できます（図 6-1を参照）。この場合、HCA ハードウェアドライバおよびソフトウェアドライバにより、同一 HCA 上のポート間のフェールオーバーが処理されます。

HCA ハードウェアの取り付け方法については、『Cisco InfiniBand Host Channel Adapter Hardware Installation Guide』を参照してください。

図 6-1 2 ポートを使用した単一の HCA の冗長性

SFS 7000D-1 SFS 7000D-2

InfiniBand

1828

55

InfiniBand 1

InfiniBand 2

第 6章ホストの冗長性、IPoIB の冗長性、および SRP の冗長性HCA の冗長性


OL-12957-02-J

複数の HCA の冗長性ここでは、複数の HCA に冗長性を設定する方法を説明します。

複数の HCA を 1 台のホストに搭載することができます。これにより、HCA 間でのネットワークトラフィックのフェールオーバーが可能になります。たとえば、冗長性は、1 台のホストに 2 つのHCA を搭載することで実現できます。1 台のホストに 2 つの HCA を搭載することは、冗長 IB ファブリックの最低限の推奨構成です（図 6-2 を参照）。このような構成により、冗長性がホストレベルで向上します。

図 6-2 1 台のホストに 2 つの HCA を搭載することによる冗長性

IBM BladeCenter を使用した 2 つの HCAこの冗長構成の詳細については、第 3 章「IBM BladeCenter 対応の InfiniBand サーバスイッチモジュールの冗長性」を参照してください。

SFS 7000D-1 SFS 7000D-2

1 2

InfiniBand

1832

67

InfiniBand 1 InfiniBand 2

HCA-1 HCA-2

第 6章ホストの冗長性、IPoIB の冗長性、および SRP の冗長性IPoIB のハイアベイラビリティ


OL-12957-02-J

IPoIB のハイアベイラビリティここでは、IPoIB のハイアベイラビリティについて説明します。内容は次のとおりです。

• Cisco SFS IPoIB のハイアベイラビリティ（p.6-4）

• OFED IPoIB のハイアベイラビリティ（p.6-6）

（注） RFC 4391 IPoIB 仕様に準拠したホストでは、イーサネットゲートウェイの冗長性が利用できます。イーサネットゲートウェイの冗長性の詳細については、第 7 章「イーサネットゲートウェイとIPoIB の冗長性」を参照してください。

Cisco SFS IPoIB のハイアベイラビリティここでは、IPoIB のハイアベイラビリティについて説明します。内容は次のとおりです。

• 物理ポートのマージ

• 物理ポートのマージ解除

IPoIB では、2 つ以上のポート間のアクティブ /パッシブポートフェールオーバーのハイアベイラビリティがサポートされています。ハイアベイラビリティ機能をイネーブルにすると、HCA の複数のポート（ib0 と ib1 など）が 1 つの仮想ポートにマージされます。HCA のポート間でハイアベイラビリティを設定すると、物理ポートのうち 1 つのみでトラフィックが送受信されます。その他のポートは、障害時のスタンバイとして使用されます。

Cisco SFS ホストドライバの詳細については、『Cisco SFS InfiniBand Host Drivers User Guide for Linux』を参照してください。

物理ポートのマージ

Linux ホストの HCA ポート上で IPoIB のハイアベイラビリティを設定するには、次の手順を実行します。

ステップ 1 Linux ホストにログインします。

ステップ 2 ipoibcfg list コマンドを入力して、利用可能なインターフェイスを表示します。次に、1 つの HCAの 2 つのポート間で IPoIB のハイアベイラビリティを設定する例を示します。

次に、利用可能なインターフェイスを表示する例を示します。

host1# /usr/local/topspin/sbin/ipoibcfg listib0 (P_Key 0xffff) (SL:255) (Ports: InfiniHost0/1, Active: InfiniHost0/1)ib1 (P_Key 0xffff) (SL:255) (Ports: InfiniHost0/2, Active: InfiniHost0/2)

ステップ 3 インターフェイスをオフラインにします。

（注）インターフェイスをマージするには、オフラインにしておく必要があります。



OL-12957-02-J

次に、インターフェイスをオフラインにする例を示します。

host1# ifconfig ib0 downhost1# ifconfig ib1 down

ステップ 4 ipoibcfg merge コマンドと、HCA の第 1 および第 2 IB ポートの IB 識別子を入力し、2 つのポートを 1 つの仮想 IPoIB ハイアベイラビリティポートにマージします。

次に、2 つのポートを 1 つの仮想 IPoIB ハイアベイラビリティポートにマージする例を示します。

host1# /usr/local/topspin/sbin/ipoibcfg merge ib0 ib1

ステップ 5 ipoibcfg list コマンドを入力して、利用可能なインターフェイスを表示します。


host1# /usr/local/topspin/sbin/ipoibcfg listib0 (P_Key 0xffff) (SL:255) (Ports: InfiniHost0/1, Active: InfiniHost0/1)

（注） ib0 とマージされたため、ib1 インターフェイスは表示されなくなります。

ステップ 6 ifconfig コマンド、および該当するポート識別子 ib# 引数と up キーワードを入力して、インターフェイスをイネーブルにします。

次に、ifconfig コマンドを使用してインターフェイスをイネーブルにする例を示します。

host1# ifconfig ib0 up

ステップ 7 マージされたポートに IP アドレスを割り当てます。方法は、標準のインターフェイスに IP アドレスを割り当てる場合と同様です。

物理ポートのマージ解除

物理ポートのマージを解除して、アクティブ /パッシブ IPoIB ハイアベイラビリティをディセーブルにするには、次の手順を実行します。

ステップ 1 ifconfig コマンド、および該当する IB インターフェイスの引数と down 引数を入力して、マージ解除する IPoIB ハイアベイラビリティインターフェイスをディセーブルにします。

次に、マージ解除のために IPoIB ハイアベイラビリティインターフェイスをディセーブルにする例を示します。

host1# ifconfig ib0 down



OL-12957-02-J

ステップ 2 ipoibcfg unmerge コマンドと、マージ解除するポートの識別子を入力して、ポートをマージ解除します。

次に、ポートをマージ解除する例を示します。

host1# /usr/local/topspin/sbin/ipoibcfg unmerge ib0 ib1

（注）ポートのマージを解除すると、ib1 の IP アドレスは解除されるため、設定が必要です。

ステップ 3 ipoibcfg list コマンドを入力して、利用可能なインターフェイスを表示します。


host1# /usr/local/topspin/sbin/ipoibcfg listib0 (P_Key 0xffff) (SL:255) (Ports: InfiniHost0/1, Active: InfiniHost0/1)ib1 (P_Key 0xffff) (SL:255) (Ports: InfiniHost0/2, Active: InfiniHost0/2)

ステップ 4 ifconfig コマンド、および該当する IB インターフェイスの引数と up 引数を入力して、インターフェイスをイネーブルにします。

次に、インターフェイスをイネーブルにする例を示します。

host1# ifconfig ib0 up

OFED IPoIB のハイアベイラビリティここでは、OFED IPoIB のハイアベイラビリティについて説明します。内容は次のとおりです。

• IPoIB のハイアベイラビリティの設定（p.6-7）

• IPoIB のハイアベイラビリティの確認（p.6-8）

ここでは、IPoIB のハイアベイラビリティについて説明します。IPoIB では、2 つ以上のポート間のアクティブ /パッシブポートフェールオーバーのハイアベイラビリティがサポートされています。ハイアベイラビリティ機能をイネーブルにすると、HCA の複数のポート（ib0 と ib1 など）が 1 つの仮想ポートにマージされます。HCA のポート間でハイアベイラビリティを設定すると、物理ポートのうち 1 つのみでトラフィックが送受信されます。その他のポートは、障害時のスタンバイとして使用されます。

IPoIB のハイアベイラビリティは、IPoIB ボンディングドライバを通して実装されます。このドライバは、Linux Ethernet ボンディングドライバに基づいており、IPoIB と連動するよう変更されています。ib ボンディングパッケージには、ドライバの動作の管理と制御を行う、ボンディングドライバと ib-bond という名前のユーティリティが含まれています。

OFED ホストドライバの詳細については、『Cisco OpenFabrics Enterprise Distribution InfiniBand HostDrivers User Guide for Linux』を参照してください。



OL-12957-02-J

IPoIB のハイアベイラビリティの設定

IPoIB のハイアベイラビリティを設定するには、次の手順を実行します。

ステップ 1 インターフェイスに設定された IP アドレスを削除します。

ボンディングインターフェイスに、ib0 の IP アドレスが割り当てられます。

次に、設定された IP アドレスを削除する例を示します。

host1# ifconfig ib0 0.0.0.0host1# ifconfig ib1 0.0.0.0

ステップ 2 ib-bond コマンドを使用して、2 つのポートを 1 つの仮想 IPoIB ハイアベイラビリティポートにマージします。

次に、詳細モードで、2 つのポートを 1 つの仮想 IPoIB ハイアベイラビリティポートにマージする例を示します。

host1# ib-bond --bond-ip 192.168.0.1/24 --slaves ib0,ib1 -venslaving ib0enslaving ib1bonding is up: 192.168.0.1bond0: 80:00:04:04:fe:80:00:00:00:00:00:00:00:05:ad:02:00:23:f0:d0 192.168.0.1/24slave0: ib0 *slave1: ib1

上記の出力で、ib0 * は、ib0 がアクティブインターフェイスで、ib 1 が受動インターフェイスであることを示します。ib0.8002 などのパーティションインターフェイスも、IPoIB ハイアベイラビリティで使用することができます。また、/24 はサブネットマスクです。

ステップ 3 （任意）ifconfig コマンドを入力します。

次に、ifconfig コマンドを入力する例を示します。

host1# ifconfig bond0bond0 Link encap:InfiniBand HWaddr 80:00:04:04:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 inet addr:192.168.0.1 Bcast:192.168.0.255 Mask:255.255.255.0 inet6 addr: fe80::205:ad00:20:849/64 Scope:Link UP BROADCAST RUNNING MASTER MULTICAST MTU:65520 Metric:1 RX packets:33523452 errors:0 dropped:0 overruns:0 frame:0 TX packets:165408699 errors:2 dropped:3 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:175570845580 (163.5 GiB) TX bytes:619840713192 (577.2 GiB)

IPoIB ハイアベイラビリティステータス情報は、ib-bond --status-all コマンドを使用していつでも表示することができます。

次に、IPoIB ハイアベイラビリティステータス情報を表示する例を示します。

host1# ib-bond --status-allbond0: 80:00:04:04:fe:80:00:00:00:00:00:00:00:05:ad:02:00:23:f0:d0 192.168.0.1/24slave0: ib0 *slave1: ib1



OL-12957-02-J

IPoIB ハイアベイラビリティコンフィギュレーションは、ib-bond --stop-all コマンドを使用して削除することができます。

次に、IPoIB ハイアベイラビリティコンフィギュレーションを削除する例を示します。

host1# ib-bond --stop-all

手動で設定した IPoIB ハイアベイラビリティインターフェイスは、リブートすると消去されます。コンフィギュレーションファイル /etc/infiniband/openib.conf を使用して、ホストのブート時に IPoIBハイアベイラビリティを設定する必要があります。また、ifcfg-ib0 などの既存の IPoIB ブート時コンフィギュレーションファイルを削除する必要があります。

次に、openib.conf ファイル中の、ブート時に IPoIB ハイアベイラビリティを設定するために編集する必要のある部分を示します。

# Enable the bonding driver on startupIPOIBBOND_ENABLE=yes# Set bond interface namesIPOIB_BONDS=bond0# Set specific bond params; address and slavesbond0_IP=192.168.0.1/24bond0_SLAVES=ib0,ib1

リブートを行わなくても、ドライバを再起動することにより、変更内容を有効にすることができま

す。

次に、ドライバを再起動する例を示します。

host1# /etc/init.d/openibd restartUnloading HCA driver: [ OK ]Loading HCA driver and Access Layer: [ OK ]Setting up InfiniBand network interfaces:No configuration found for ib0No configuration found for ib1Setting up service network . . . [ done ]Setting up bonding interfaces:Bringing up interface bond0 [ OK ]

IPoIB のハイアベイラビリティの確認

IPoIB トラフィックの送受信中に IPoIB ハイアベイラビリティのフェールオーバーを強制実行するには、次の手順を実行します。

ステップ 1 2 台の IPoIB ホスト間で ping または Netperf を開始します。

2 台の IPoIB ホスト間で ping または Netperf を開始する方法の詳細については、『Cisco OpenFabricsEnterprise Distribution InfiniBand Host Drivers User Guide for Linux』を参照してください。

ステップ 2 手動で、または OS CLI か GUI を使用して、ib0 に接続されたケーブルを外します。IPoIB ハイアベイラビリティステータスを確認するため、ib-bond --status-all コマンドで表示します。

次に、IPoIB ハイアベイラビリティステータスを表示する例を示します。

host1# ib-bond --status-allbond0: 80:00:04:04:fe:80:00:00:00:00:00:00:00:05:ad:02:00:23:f0:d0 192.168.0.1/24slave0: ib0slave1: ib1 *



OL-12957-02-J

ib-bond --status-all コマンドを実行すると、プライマリインターフェイスの隣にアスタリスクが表示されます。上の例では、プライマリインターフェイスが ib1 に切り替わっています。

フェールオーバーが発生するたびに、カーネルの sys log メッセージも表示されます。

host1# dmesgbonding: bond0: link status definitely down for interface ib0, disabling itbonding: bond0: making interface ib1 the new active one.bonding: send gratuitous arp: bond bond0 slave ib1

ステップ 3 ping または Netperf が中断することなく継続されることを確認します。

（注）ポート統計情報の表示には、Element Manager GUI も使用できます。これは、ポートのフェールオーバーを確認するのに便利です。Element Manager GUI の詳細については、『Cisco SFS Product FamilyElement Manager User Guide』を参照してください。

第 6章ホストの冗長性、IPoIB の冗長性、および SRP の冗長性OFED SRP のハイアベイラビリティ


OL-12957-02-J

OFED SRP のハイアベイラビリティここでは、SRP を、RHEL と SLES の両方に組み込まれた Device Mapper Multipath と一緒に使用するよう設定する方法を説明します。

Device Mapper Multipath は、ストレージデバイスの能力に応じて、active/active（ロードバランシングとフェールオーバー）と active/passive（フェールオーバーのみ）のハイアベイラビリティの両方をサポートしています。データ破損やデータ損失を防止するには、マルチパスソフトウェアと一緒に SRP を使用してハイアベイラビリティを実現する必要があります。コンフィギュレーション情報を取得するため、他のサードパーティ製のマルチパスソフトウェアを SRP と一緒に使用することもできます。サードパーティ製のソフトウェアについては、関連するマニュアルを参照してくだ

さい。

Device Mapper Multipath を使用すると、エンドストレージユニットへの利用可能な複数のパス上でI/O をルーティングすることができます。パスとは、ホスト IB ポートからストレージコントローラポートまでの接続のことです。I/O が発生するアクティブパスで障害が発生すると、Device MapperMultipath により、他の利用可能なパスに I/O が再ルーティングされます。Linux ホストでは、ストレージコントローラへのパスが複数ある場合、それぞれのパスは独立したブロックデバイスとして認識されるため、1 つの LUN に複数のブロックデバイスが存在することになります。DeviceMapper Multipath は、同じ LUN WWN を持つデバイスのために新しいマルチパスブロックデバイスを作成します。たとえば、ホストが 2 つの IB ポートで Cisco SFS 3012R サーバスイッチと接続され、2 つのファイバチャネルポートでストレージコントローラに接続されている場合、ホストは2 つのブロックデバイス（たとえば、/dev/sda と /dev/sdb）を参照します。Device Mapper Multipathは、1 つのブロックデバイス /dev/mapper/360003ba27cf53000429f82b300016652 を作成します。これにより、2 つの下位ブロックデバイスで I/O を再ルーティングします。

Device Mapper Multipath には、次のソフトウェアコンポーネントが含まれています。

• dm マルチパスカーネルモジュール ― I/O のルーティングとパスへのフェールオーバーを行います。

• マルチパスコンフィギュレーションツール ― マルチパスデバイスの設定、リスト、フラッシュを行うコマンドを提供します。

• マルチパスデーモン ― パスを監視し、パスが障害となっているか、または復旧しているかを確認します。

ストレージデバイスのハイアベイラビリティ機能とは関係なく、Device Mapper Multipath では、ホスト IB ポートの active/active ハイアベイラビリティが利用できます。Cisco SFS ファイバチャネルゲートウェイも、同様に SFS シャーシとファイバチャネルファブリック間で active/active ハイアベイラビリティが利用できます。

Device Mapper Multipath を使用して SRP のハイアベイラビリティを設定するには、次の手順を実行します。

ステップ 1 ファイル /etc/infiniband/openib.conf を編集します。SRPHA_ENABLE=no を SRPHA_ENABLE=yes に変更します。これにより、SRP ストレージへのすべてのパスのためのブロックデバイスを作成するために、ブート時に srp_daemon プログラムが起動されます。

srp_daemon プログラムは、ホストのブート後に追加された新しいストレージなどについて、ダイナミックなストレージの再設定も行います。



OL-12957-02-J

（注） SRP ハイアベイラビリティが正しく機能するためには、SRP_LOAD と SRPHA_ENABLE の両方を yes に設定する必要があります。

ステップ 2 （任意）利用可能な SRP ターゲットのサブセットへの SRP ホストドライバアクセスを制限するよう、ファイル /etc/srp_daemon.conf を編集します。デフォルトでは、srp_daemon はすべての SRP ターゲットのためのブロックデバイスを設定します。デフォルトの /etc/srp_daemon.conf ファイルはこの情報が記述されています。

（注） srp_daemon.conf ファイルの詳細については、『Cisco OpenFabrics Enterprise Distribution InfiniBand Host Drivers User Guide for Linux』を参照してください。

ステップ 3 ファイル /etc/multipath.conf を編集します。RHEL4 の devnode_blacklist セクション（RHEL5 のブラックリスト）を削除、コメントアウト、または修正する必要があります。

次に、ファイルの編集部分を示します。

devnode_blacklist { devnode "*"}

（任意）RHEL の /etc/multipath.conf でも、user_friendly_names yes を user_friendly_names no に変更します。異なるホストとオペレーティングシステム間では、フレンドリ名は共通ではありません。

（注） SLES では、デフォルトで /etc/multipath.conf は存在せず、devnode_blacklist は有効ではありません。

RHEL と SLES で、これ以外のストレージ固有コンフィギュレーション情報が /etc/multipath.conf に必要になることがあります。詳細については、ストレージデバイスのマニュアルを参照してください。multipath.conf の詳細については、device-mapper-multipath パッケージ（RHEL）または multipath-tool（SLES）を参照してください。両パッケージには、/usr/share/doc に、適切な例を記述したサンプルファイル multipath.conf が用意されています。

ステップ 4 ブート時に Device Mapper Multipath が起動されるよう設定します。

次に、RHEL で入力するコマンドの例を示します。

host1# chkconfig multipathd on

次に、SLES で入力するコマンドの例を示します。

host1# chkconfig boot.multipath onhost1# chkconfig multipathd on



OL-12957-02-J

ステップ 5 Linux ホストをリブートします。

リブート後に、マルチパス SRP デバイスが /dev/mapper 内でアクセス可能になるはずです。設定によって、/dev/mapper が完全に読み込まれるまでにリブート後数分かかることもあります。

次に、IB ホストの HCA の両方の IB ポートがサーバファブリックスイッチに接続されている場合のファイバチャネルゲートウェイの設定の出力を示します。

host1# ls /dev/mapper3600c0ff00000000007a6d11b6f245e003600c0ff00000000007a6d11b6f245e00p13600c0ff00000000007a6d11b6f245e00p23600c0ff00000000007a6d11b6f245e013600c0ff00000000007a6d11b6f245e023600c0ff00000000007a6d11b6f245e02p13600c0ff00000000007a6d11b6f245e02p23600c0ff00000000007a6d11b6f245e02p33600c0ff00000000007a6d11b6f245e033600c0ff00000000007a6d11b6f245e03p13600c0ff00000000007a6d11b6f245e03p23600c0ff00000000007a6d11b6f245e043600c0ff00000000007a6d11b6f245e053600c0ff00000000007a6d11b6f245e063600c0ff00000000007a6d11b6f245e06p1control

ステップ 6 SCSI デバイスを表示します。

次に、SCSI デバイスを表示する例を示します。

host1# lsscsi[0:0:0:0] disk IBM-ESXS MAY2036RC T107 /dev/sda[1:0:0:0] disk SUN StorEdge 3510 327P /dev/sdb[1:0:0:1] disk SUN StorEdge 3510 327P /dev/sdd[1:0:0:2] disk SUN StorEdge 3510 327P /dev/sdk[1:0:0:3] disk SUN StorEdge 3510 327P /dev/sdl[1:0:0:4] disk SUN StorEdge 3510 327P /dev/sdm[1:0:0:5] disk SUN StorEdge 3510 327P /dev/sdn[1:0:0:6] disk SUN StorEdge 3510 327P /dev/sdo[2:0:0:0] disk SUN StorEdge 3510 327P /dev/sdc[2:0:0:1] disk SUN StorEdge 3510 327P /dev/sde[2:0:0:2] disk SUN StorEdge 3510 327P /dev/sdf[2:0:0:3] disk SUN StorEdge 3510 327P /dev/sdg[2:0:0:4] disk SUN StorEdge 3510 327P /dev/sdh[2:0:0:5] disk SUN StorEdge 3510 327P /dev/sdi[2:0:0:6] disk SUN StorEdge 3510 327P /dev/sdj

（注） lsscsi コマンドは、RHEL5 と SLES10 でのみサポートされています。lsscsi コマンドは、RHEL4ではサポートされていません。

ステップ 7 multipath -l コマンドを使用して、SRP ブロックデバイスとマルチパスデバイスの関係を一覧表示します。



OL-12957-02-J

次に、multipath -l コマンドの使用例を示します。

host1# multipath -l3600c0ff00000000007a6d11b6f245e06dm-13 SUN,StorEdge 3510[size=13G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:6 sdj 8:144 [active][undef] \_ 1:0:0:6 sdo 8:224 [active][undef]3600c0ff00000000007a6d11b6f245e05dm-12 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:5 sdi 8:128 [active][undef] \_ 1:0:0:5 sdn 8:208 [active][undef]3600c0ff00000000007a6d11b6f245e04dm-11 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:4 sdh 8:112 [active][undef] \_ 1:0:0:4 sdm 8:192 [active][undef]3600c0ff00000000007a6d11b6f245e03dm-3 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:3 sdg 8:96 [active][undef] \_ 1:0:0:3 sdl 8:176 [active][undef]3600c0ff00000000007a6d11b6f245e02dm-2 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:2 sdf 8:80 [active][undef] \_ 1:0:0:2 sdk 8:160 [active][undef]3600c0ff00000000007a6d11b6f245e01dm-1 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:1 sde 8:64 [active][undef] \_ 1:0:0:1 sdd 8:48 [active][undef]3600c0ff00000000007a6d11b6f245e00dm-0 SUN,StorEdge 3510[size=15G][features=0][hwhandler=0]\_ round-robin 0 [prio=0][active] \_ 2:0:0:0 sdc 8:32 [active][undef] \_ 1:0:0:0 sdb 8:16 [active][undef]

上記の出力で、それぞれのマルチパスデバイスは 2 つの SRP ブロックデバイスに対応し、接続された 2 つのホスト IB ポートのそれぞれに対応します。



OL-12957-02-J

C H A P T E R


OL-12957-02-J

7イーサネットゲートウェイと IPoIB の冗長性

この章では、イーサネットゲートウェイの冗長性について説明します。内容は次のとおりです。

• Cisco SFS 3504 サーバスイッチによるイーサネットゲートウェイの冗長性の設定（p.7-4）

• Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定（p.7-12）

• Cisco SFS 3001 サーバスイッチのイーサネットゲートウェイの冗長性の設定（p.7-26）


イーサネットゲートウェイの冗長性は、冗長グループの概念に基づいています。冗長グループは、ブリッジグループのように、イーサネット VLAN を IB パーティションにブリッジングする論理エンティティですが、冗長性を備えています。冗長グループには、同じゲートウェイまたは異なる

ゲートウェイ上の 1 つまたは複数のブリッジグループを含めることができます。同じ冗長グループのブリッジグループメンバーを持つゲートウェイは、同じシャーシまたは異なるシャーシに配置できます。

冗長グループは 2 つのモードで動作可能です。1 つめのデフォルトのモードは、active-passive です。active-passive モードでは、1 つのブリッジグループのみがアクティブになり、その他はホットスタンバイ状態となります。アクティブブリッジグループで障害が発生すると、同じ冗長グループ内の別のブリッジグループが選択され、アクティブになります。active-active モードでは、すべてのブリッジグループがアクティブになり、ロードバランシングがイネーブルになります。ロードバランシングをイネーブルにすると、IB ノードの負荷を、冗長グループのすべてのブリッジグループ間で分散できます。ブリッジグループで障害が発生すると、IB ノードの負荷は、残りのブリッジグループ間で再分散されます。

（注） active-active モードでも、ブロードキャストおよびマルチキャストトラフィックを送信するブリッジグループは 1 つだけです。ブロードキャストおよびマルチキャストを送信していたブリッジグループで障害が発生すると、同じ冗長グループの新しいブリッジグループメンバーが選択され、ブロードキャストおよびマルチキャストの送信を行います。選択方式は、active-passive モードでアクティブブリッジグループを選択する方式と同じです。

第 7章イーサネットゲートウェイと IPoIB の冗長性


OL-12957-02-J

冗長構成のゲートウェイの論理図を、図 7-1に示します。イーサネットファブリックと IB ファブリック間をブリッジするように、2 つ以上のイーサネットゲートウェイが設定されます。ゲートウェイは、同じシャーシまたは異なるシャーシに配置可能です。冗長マネージャは、ゲートウェイ

の状態を監視し、障害が発生すると、新しいプライマリブリッジグループを選出します。冗長マネージャは SFS OS の一部で、各シャーシのコントローラカード上で動作します。

図 7-1 冗長構成のイーサネットゲートウェイの論理図

複数のトポロジーが同様に機能しますが、冗長性のレベルは異なります。たとえば、同じシャーシ

内に 2 つのブリッジグループがあり、それぞれゲートウェイが異なる場合、ゲートウェイ障害に対する保護は行われますが、シャーシの冗長性は保証されません。また、異なるシャーシのゲート

ウェイに 2 つのブリッジグループがある冗長グループでは、同じレベルのゲートウェイの冗長性と、シャーシの冗長性が保証されます。例は、この章の後半で示します。

ブリッジグループが冗長グループのメンバーになる場合、一部のパラメータは、冗長グループの該当するパラメータによって上書きされます。これらのパラメータは、ブリッジグループが冗長グループから削除されるときに、元に戻されます。これらのパラメータの一例が、ブロードキャスト

およびマルチキャスト送信です。

これ以降のセクションで示す例は、さまざまなタイプの I/O シャーシの一般的な配置例です。設定を単純化するため、1 つの IP サブネットのみをブリッジングします（データ IP サブネット）。イーサネットポートには VLAN タグは付きません。ゲートウェイに接続されたイーサネットスイッチの設定により、ブリッジングする VLAN が決まります。この VLAN は、イーサネットゲートウェイを使用してデフォルト IB パーティションにマッピングされます。インバンド IB 管理のために、1 つの IP サブネットが割り当てられます（管理 IP サブネット）。冗長性を機能させるには、インバンド IB 管理インターフェイスを設定する必要があります。これは、1 台のシャーシ構成の場合も同様です。

ロードバランシングに対応した冗長性（active-active モード）を機能させるには、各ブリッジグループにデータサブネットの IP アドレスを割り当てる必要があります。この章の例では、次のアドレスを割り当てます。

データサブネット： 10.0.0.0/8

デフォルトゲートウェイ（イーサネットスイッチ上）： 10.0.0.1

IB 管理サブネット： 192.168.0.0/8

InfiniBand

1826

41

第 7章イーサネットゲートウェイと IPoIB の冗長性


OL-12957-02-J

（注） RFC-4391 IPoIB 仕様に準拠したホストでは、イーサネットゲートウェイの冗長性が利用できます。IPoIB 冗長性の詳細については、第 6 章「ホストの冗長性、IPoIB の冗長性、および SRP の冗長性」を参照してください。

イーサネットゲートウェイでは、フェールオーバー、フェールバック、新しいメンバーの加入 /脱退イベントなどの際に、gratuitous ARP を使用して別のゲートウェイにトラフィックをリダイレクトします。gratuitous ARP はすべてのネットワークノードに到達する保証がないため、一部の ARPエントリは、ARP キャッシュタイムアウトまでの時間、同期がずれることがあります。そのため、すべてのネットワークノードの ARP キャッシュタイムアウトを、許容可能な最大の停止時間に設定する必要があります。

第 7章イーサネットゲートウェイと IPoIB の冗長性Cisco SFS 3504 サーバスイッチによるイーサネットゲートウェイの冗長性の設定


OL-12957-02-J

Cisco SFS 3504 サーバスイッチによるイーサネットゲートウェイの冗長性の設定

ここでは、Cisco SFS 3504 サーバスイッチによって冗長イーサネットゲートウェイを設定し、ハイアベイラビリティ冗長性を実現する方法について説明します。内容は次のとおりです。

• Cisco SFS 3504 サーバスイッチの冗長性設定の確認（p.7-8）

• Cisco SFS 3504 サーバスイッチのブリッジグループの設定の確認（p.7-9）

ハイアベイラビリティ冗長性を実現するには、2 台以上の Cisco SFS 3504 サーバスイッチを使用する必要があります。一般的な配置としては、各シャーシに 2 つのイーサネットゲートウェイを備えた 2 台の Cisco SFS 3504 サーバスイッチを使用します（図 7-2を参照）。スイッチには、すべてのゲートウェイに対する 1 つのブリッジグループが設定され、6 つのイーサネットポートを持つ各ブリッジグループが 1 つのリンクアグリゲーショングループ（トランク）に集約されます。4 つのすべてのブリッジグループが 1 つの冗長グループに属します。

データサブネット： 10.0.0.0/8

管理サブネット： 192.168.0.0/24

図 7-2 2 台の Cisco SFS 3504 サーバスイッチによるイーサネットゲートウェイの冗長性

（注）これ以降のセクションの例では、イーサネットゲートウェイは、2 台の Cisco SFS 3504 シャーシのスロット番号 1 および 2 に配置されます。

InfiniBand InfiniBand

SFS 3504-1 SFS 3504-2

InfiniBand

1826

42



OL-12957-02-J

1 台めの Cisco SFS 3504 サーバスイッチを設定するには、次の手順を実行します。

ステップ 1 コンフィギュレーションモードを開始します。

次に、コンフィギュレーションモードを開始する例を示します。

SFS-3504-1> enableSFS-3504-1# configure terminal

ステップ 2 IB インバンド管理インターフェイスを設定し、接続します。

IP アドレスは、それぞれのシャーシ上で一意でなければなりません。

（注）コントローラカードのアウトオブバンドイーサネットインターフェイスも設定されている場合、異なる IP サブネットに属していなければなりません。

次に、IB 管理インターフェイスを設定する例を示します。

SFS-3504-1(config)# interface mgmt-ib SFS-3504-1(config)# ipaddress 192.168.0.1 255.255.255.0SFS-3504-1(config-if-mgmt-ib)# no shutdownSFS-3504-1(config-if-mgmt-ib)# exitSFS-3504-1(config)#

ステップ 3 リンクアグリゲーショングループにイーサネットポートを割り当てて、2 つのリンクアグリゲーショングループ（トランク）を作成し、設定します。

次に、イーサネットポートを割り当ててリンクアグリゲーショングループの作成と設定を行う例を示します。

SFS-3504-1(config)# interface trunk 1SFS-3504-1(config-if-trunk)# enableSFS-3504-1(config-if-trunk)# distribution-type src-dst-ipSFS-3504-1(config-if-trunk)# interface ethernet 1/1-1/6SFS-3504-1(config-if-ether-1/1-1/6)# trunk-group 1SFS-3504-1(config-if-ether-1/1-1/6)# exitSFS-3504-1(config)# interface trunk 2SFS-3504-1(config-if-trunk)# enableSFS-3504-1(config-if-trunk)# distribution-type src-dst-ipSFS-3504-1(config-if-trunk)# interface ethernet 2/1-2/6SFS-3504-1(config-if-ether-2/1-2/6)# trunk-group 2SFS-3504-1(config-if-ether-2/1-2/6)# exitSFS-3504-1(config)#

ステップ 4 2 つのブリッジグループを設定し、ポートを割り当てます。

（注） IP アドレスは、データ IP サブネットに属するもので、各ブリッジグループに対して一意でなければなりません。



OL-12957-02-J

次に、ブリッジグループを設定し、ポートを割り当てる例を示します。

SFS-3504-1(config)# bridge-group 1 subnet-prefix 10.0.0.0 8SFS-3504-1(config)# bridge-group 1 ip-addr 10.0.0.101SFS-3504-1(config)# bridge-group 1 ib-next-hop 10.0.0.1SFS-3504-1(config)# interface trunk 1SFS-3504-1(config-if-trunk)# bridge-group 1SFS-3504-1(config-if-trunk)# interface gateway 1SFS-3504-1(config-if-gw-1/2)# bridge-group 1SFS-3504-1(config-if-gw-1/2)# exitSFS-3504-1(config)# bridge-group 2 subnet-prefix 10.0.0.0 8SFS-3504-1(config)# bridge-group 2 ip-addr 10.0.0.102SFS-3504-1(config)# bridge-group 2 ib-next-hop 10.0.0.1SFS-3504-1(config)# interface trunk 2SFS-3504-1(config-if-trunk)# bridge-group 2SFS-3504-1(config-if-trunk)# interface gateway 2SFS-3504-1(config-if-gw-2/2)# bridge-group 2SFS-3504-1(config-if-gw-2/2)# exitSFS-3504-1(config)#

ステップ 5 冗長グループを設定し、両方のブリッジグループを割り当てます。

（注）冗長グループ ID は、両方のシャーシで同一でなければなりません。

次に、冗長グループを設定し、両方のブリッジグループを割り当てる例を示します。

SFS-3504-1(config)# redundancy-group 1SFS-3504-1(config)# bridge-group 1 redundancy-group 1SFS-3504-1(config)# bridge-group 2 redundancy-group 1

ステップ 6 （任意）ブリッジグループ間のロードバランシングをイネーブルにします。

次に、ロードバランシングをイネーブルにする例を示します。

SFS-3504-1(config)# redundancy-group 1 load-balancingSFS-3504-1(config)# exit




SFS-3504-2> enableSFS-3504-2# configure terminal





OL-12957-02-J



SFS-3504-2(config)# interface mgmt-ibSFS-3504-2(config-if-mgmt-ib)# ip address 192.168.0.2 255.255.255.0SFS-3504-2(config-if-mgmt-ib)# no shutdownSFS-3504-2(config-if-mgmt-ib)# exitSFS-3504-2(config)#

ステップ 3 リンクアグリゲーショングループにイーサネットポートを割り当てて、2 つのリンクアグリゲーショングループ（トランク）を作成し、設定します。

次に、リンクアグリゲーショングループの作成と設定を行う例を示します。

SFS-3504-2(config)# interface trunk 3SFS-3504-2(config-if-trunk)# enableSFS-3504-2(config-if-trunk)# distribution-type src-dst-ipSFS-3504-2(config-if-trunk)# interface ethernet 1/1-1/6SFS-3504-2(config-if-ether-1/1-1/6)# trunk-group 3SFS-3504-2(config-if-ether-1/1-1/6)# interface trunk 4SFS-3504-2(config-if-trunk)# enableSFS-3504-2(config-if-trunk)# distribution-type src-dst-ipSFS-3504-2(config-if-trunk)# interface ethernet 2/1-2/6SFS-3504-2(config-if-ether-2/1-2/6)# trunk-group 4SFS-3504-2(config-if-ether-2/1-2/6)# exitSFS-3504-2(config)#




SFS-3504-2(config)# bridge-group 3 subnet-prefix 10.0.0.0 8SFS-3504-2(config)# bridge-group 3 ip-addr 10.0.0.103SFS-3504-2(config)# bridge-group 3 ib-next-hop 10.0.0.1SFS-3504-2(config)# interface trunk 3SFS-3504-2(config-if-trunk)# bridge-group 3SFS-3504-2(config-if-trunk)# interface gateway 1SFS-3504-2(config-if-gw-1/2)# bridge-group 3SFS-3504-2(config-if-gw-1/2)# exitSFS-3504-2(config)# bridge-group 4 subnet-prefix 10.0.0.0 8SFS-3504-2(config)# bridge-group 4 ip-addr 10.0.0.104SFS-3504-2(config)# bridge-group 4 ib-next-hop 10.0.0.1SFS-3504-2(config)# interface trunk 4SFS-3504-2(config-if-trunk)# bridge-group 4SFS-3504-2(config-if-trunk)# interface gateway 2SFS-3504-2(config-if-gw-2/2)# bridge-group 4SFS-3504-2(config-if-gw-2/2)# exitSFS-3504-2(config)#



OL-12957-02-J




SFS-3504-2(config)# redundancy-group 1SFS-3504-2(config)# bridge-group 3 redundancy-group 1SFS-3504-2(config)# bridge-group 4 redundancy-group 1SFS-3504-2(config)#


次に、ロードバランシングをイネーブルにする例を示します。

SFS-3504-2(config)# redundancy-group 1 load-balancingSFS-3504-2(config)# exit

Cisco SFS 3504 サーバスイッチの冗長性設定の確認冗長グループの設定とステータスを確認するには、show redundancy-group CLI コマンドを使用します。このコマンドを使用すると、冗長グループの属性とすべてのメンバーが表示されます。属性

が設定と一致していて、すべてのメンバーがレポートされていることを確認することが重要です。

両方のシャーシで、冗長グループを確認する必要があります。

次に、1 台めのスイッチに対する show reduncancy-group コマンドの出力例を示します。

SFS-3504-1# show redundancy-group================================================================================ Redundancy Groups================================================================================ rlb-id : 1 name : group-p_key : ff:ff load-balancing : enabled broadcast-forwarding : false directed-broadcast : false multicast : false gratuitous-igmp : false igmp-version : v2 num-members : 4 new-member-force-reelection : false

================================================================================= Redundancy Group Members================================================================================bridge-group src-addr last-receive--------------------------------------------------------------------------------1 192.168.0.1 Sun Jan 4 00:27:31 19702 192.168.0.1 Sun Jan 4 00:27:31 19703 192.168.0.2 Sun Jan 4 00:27:31 19704 192.168.0.2 Sun Jan 4 00:27:31 1970



OL-12957-02-J

次に、2 台めのスイッチに対する show redundancy-group コマンドの使用例を示します。

SFS-3504-2# show redundancy-group

================================================================================ Redundancy Groups================================================================================ rlb-id : 1 name : group-p_key : ff:ff load-balancing : enabled broadcast-forwarding : false directed-broadcast : false multicast : false gratuitous-igmp : false igmp-version : v2 num-members : 4 new-member-force-reelection : false

================================================================================Redundancy Group Members================================================================================bridge-group src-addr last-receive--------------------------------------------------------------------------------1 192.168.0.1 Sun Jan 4 00:27:12 19702 192.168.0.1 Sun Jan 4 00:27:23 19703 192.168.0.2 Sun Jan 4 00:25:51 19704 192.168.0.2 Sun Jan 4 00:25:54 1970

SFS-3504-2#

Cisco SFS 3504 サーバスイッチのブリッジグループの設定の確認ブリッジグループの設定とステータスを確認するには、show bridge-group CLI コマンドを使用します。両方の Cisco SFS 3504 サーバスイッチを確認し、すべてのブリッジグループが同じ冗長グループのメンバーであることを確認します。

ブリッジグループが冗長グループのメンバーである場合、ほとんどの属性は冗長グループから継承されます。また、シャーシ全体で 1 つのブリッジグループのみがプライマリとなり、その他はセカンダリになっていることを確認します。これは、ロードバランシングがイネーブルになっている場合（active-active モード）も同様です。actie-passive モードでは、プライマリブリッジグループのみが送信を行います。その他はホットスタンバイ状態となります。active-active モードでは、すべてのブリッジグループがユニキャストトラフィックを送信し、イネーブルになっている場合、プライマリのみがブロードキャストおよびマルチキャストを送信します。



OL-12957-02-J

次に、1 台めのスイッチのブリッジグループ設定を確認するための show bridge-group コマンドの出力例を示します。

SFS-3504-1# show bridge-group================================================================================ Bridge Groups================================================================================ bridge-group-id : 1 bridge-group-name : ip-addr : 10.0.0.101 eth-bridge-port : trunk 1 (not tagged) ib-bridge-port : 1/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group directed-broadcast : false directed-broadcast-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : primary

bridge-group-id : 2 bridge-group-name : ip-addr : 10.0.0.102 eth-bridge-port : trunk 2 (not tagged) ib-bridge-port : 2/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group directed-broadcast : false directed-broadcast-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary



OL-12957-02-J


SFS-3504-2# show bridge-group

================================================================================ Bridge Groups================================================================================ bridge-group-id: 3 bridge-group-name: I-addr : 10.0.0.103 eth-bridge-port : trunk 3 (not tagged) ib-bridge-port : 1/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group directed-broadcast : false directed-broadcast-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary

bridge-group-id : 4 bridge-group-name : ip-addr : 10.0.0.104 eth-bridge-port : trunk 4 (not tagged) ib-bridge-port : 2/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group directed-broadcast : false directed-broadcast-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary

SFS-3504#

第 7章イーサネットゲートウェイと IPoIB の冗長性Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定


OL-12957-02-J

Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定

ここでは、Cisco SFS 3012R サーバスイッチを使用してイーサネットゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• 1 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定（p.7-12）

• 2 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定（p.7-18）

Cisco SFS 3012R サーバスイッチは、完全冗長シャーシです。12 個のゲートウェイスロット、2 個のコントローラモジュール、2 個のスイッチカードを備えています。各ゲートウェイは、バックプレーンを通して両方のスイッチカードに接続されます。そのため、1 台の Cisco SFS 3012R サーバスイッチを、ハイアベイラビリティに対応するよう設定することができます。

1 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定

ここでは、1 台の Cisco SFS 3012R サーバスイッチを使用してイーサネットゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• 1 台の Cisco SFS 3012R サーバスイッチの冗長グループ設定の確認（p.7-16）

• 1 台の Cisco SFS 3012R サーバスイッチのブリッジグループ設定の確認（p.7-16）

ここで示す例は、4 つのイーサネットゲートウェイと 2 つのスイッチカードを備えた一般的な 1 台のスイッチ構成です。スロット 2 と 4 の 2 つのゲートウェイは、スロット 15 のスイッチカードを使用するよう設定され、その他の 2 つのゲートウェイ（スロット 3 と 5）は、スロット 16 のスイッチカードを使用するよう設定されます（Cisco SFS 3012R サーバスイッチのスロット番号については、図 4-4を参照）。そのため、いずれかのスイッチカードで障害が発生しても、2 つのゲートウェイは動作を続行できます。ゲートウェイのイーサネットポートを 2 つの異なるイーサネットスイッチに接続する必要がある場合、異なるイーサネットスイッチに接続された同じ IB スイッチカードにゲートウェイを接続します。そのため、イーサネットスイッチのいずれか 1 つと IB スイッチカードのいずれか 1 つで障害が発生した場合でも、少なくとも 1 つのゲートウェイは動作を続行できます。

（注）この例では、スロット 2 と 3 のゲートウェイを、スロット 4 と 5 のゲートウェイとは別のイーサネットスイッチに接続する必要があります。

この例のトポロジーを、図 7-3に示します。



OL-12957-02-J

図 7-3 1 台の Cisco SFS 3012R サーバスイッチによるイーサネットゲートウェイの冗長性

冗長グループを設定すると、プライマリブリッジが選択され、送信がイネーブルになります。

1 台の Cisco SFS 3012R サーバスイッチで冗長性を設定するには、次の手順を実行します。



SFS-3012R> enableSFS-3012R# configure terminal


この構成ではシャーシは 1 台だけですが、冗長性を機能させるには、インターフェイスを設定し、接続する必要があります。


次に、IB インバンド管理インターフェイスを設定し、接続する例を示します。

SFS-3012R(config)# interface mgmt-ibSFS-3012R(config-if-mgmt-ib)# 192.168.0.1 255.255.255.0SFS-3012R(config-if-mgmt-ib)# no shutdownSFS-3012R(config-if-mgmt-ib)# exit

1


3 2 4

SFS 3012R

InfiniBand

1826

39



OL-12957-02-J

ステップ 3 各リンクアグリゲーショングループにイーサネットポートを割り当てて、4 つのすべてのリンクアグリゲーショングループ（トランク）を作成し、設定します。

次に、4 つのリンクアグリゲーショングループの作成と設定を行う例を示します。

SFS-3012R(config)# interface trunk 1SFS-3012R(config-if-trunk)# enableSFS-3012R(config-if-trunk)# distribution-type src-dst-ipSFS-3012R(config-if-trunk)# interface ethernet 2/1-2/6SFS-3012R(config-if-ether-2/1-2/6)# trunk-group 1



SFS-3012R(config)# interface trunk 4SFS-3012R(config-if-trunk)# enableSFS-3012R(config-if-trunk)# distribution-type src-dst-ipSFS-3012R(config-if-trunk)# interface ethernet 5/1-5/6SFS-3012R(config-if-ether-5/1-5/6)# trunk-group 4SFS-3012R(config-if-ether-5/1-5/6)# exit

ステップ 4 4 つのすべてのブリッジグループを設定し、ポートを割り当てます。

2 つのブリッジグループは IB ポート 1 を使用してスロット 15 のスイッチカードへの接続を行い、他の 2 つのブリッジグループは IB ポート 2 を使用してスロット 16 のスイッチカードへの接続を行います。




OL-12957-02-J


SFS-3012R(config)# bridge-group 1 subnet-prefix 10.0.0.0 8SFS-3012R(config)# bridge-group 1 ip-addr 10.0.0.101SFS-3012R(config)# bridge-group 1 ib-next-hop 10.0.0.1SFS-3012R(config)# interface trunk 1SFS-3012R(config-if-trunk)# bridge-group 1SFS-3012R(config)# interface gateway 2/1SFS-3012R(config-if-gw-2/1)# bridge-group 1SFS-3012R(config-if-gw-2/1)# exit




ステップ 5 冗長グループを設定し、4 つのすべてのブリッジグループを割り当てます。

次に、冗長グループを設定し、4 つのブリッジグループを割り当てる例を示します。

SFS-3012R(config)# redundancy-group 1SFS-3012R(config)# bridge-group 1 redundancy-group 1SFS-3012R(config)# bridge-group 2 redundancy-group 1SFS-3012R(config)# bridge-group 3 redundancy-group 1SFS-3012R(config)# bridge-group 4 redundancy-group 1


次に、ブリッジグループ間でのロードバランシングをイネーブルにする例を示します。

SFS-3012R(config)# redundancy-group 1 load-balancingSFS-3012R(config)# exit



OL-12957-02-J

1 台の Cisco SFS 3012R サーバスイッチの冗長グループ設定の確認

ここでは、1 台の Cisco SFS 3012R サーバスイッチの冗長グループの設定を確認する方法について説明します。

次に、冗長グループの設定とステータスを確認するための show redundancy-group コマンドの出力例を示します。このコマンドを使用すると、冗長グループの属性とすべてのメンバーが表示されま

す。

（注）属性が設定と一致していて、すべてのメンバーがレポートされていることを確認してください。

SFS-3012R# show redundancy-group

================================================================================ Redundancy Groups================================================================================ rlb-id : 1 name : group-p_key : ff:ff load-balancing : enabled broadcast-forwarding : false multicast : false gratuitous-igmp : false igmp-version : v2 num-members : 4 new-member-force-reelection : false

================================================================================ Redundancy Group Members================================================================================bridge-group src-addr last-receive --------------------------------------------------------------------------------1 192.168.0.1 Thu Jan 1 01:44:48 19702 192.168.0.1 Thu Jan 1 01:44:47 19703 192.168.0.1 Thu Jan 1 00:02:12 19704 192.168.0.1 Thu Jan 1 00:03:04 1970

1 台の Cisco SFS 3012R サーバスイッチのブリッジグループ設定の確認

ここでは、1 台の Cisco SFS 3012R サーバスイッチのブリッジグループの設定を確認する方法について説明します。

ブリッジグループの設定とステータスを確認するには、show bridge-group CLI コマンドを使用します。すべてのブリッジグループが同じ冗長グループのメンバーであることを確認します。ブリッジグループが冗長グループのメンバーである場合、ほとんどの属性は冗長グループから継承されます。また、1 つのブリッジグループのみがプライマリとなり、その他はセカンダリになっていることを確認します。これは、ロードバランシングがイネーブルになっている場合（active-active モード）も同様です。active-passive モードでは、プライマリブリッジグループのみが送信可能となり、その他はホットスタンバイ状態となります。active-active モードでは、すべてのブリッジグループがユニキャストトラフィックを送信し、イネーブルになっている場合、プライマリブリッジグループのみがブロードキャストおよびマルチキャストを送信します。



OL-12957-02-J

次に、ブリッジグループの設定とステータスを確認するための show bridge-group コマンドの出力例を示します。

SFS-3012R# show bridge-group

================================================================================ Bridge Groups================================================================================ bridge-group-id : 1 bridge-group-name : ip-addr : 10.0.0.101 eth-bridge-port : trunk 1 (not tagged) ib-bridge-port : 2/1(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : primary

bridge-group-id : 2 bridge-group-name : ip-addr : 10.0.0.102 eth-bridge-port : trunk 2 (not tagged) ib-bridge-port : 3/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary


bridge-group-id : 4 bridge-group-name : ip-addr : 10.0.0.104 eth-bridge-port : trunk 4 (not tagged) ib-bridge-port : 5/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group



OL-12957-02-J

gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary

2 台の Cisco SFS 3012R サーバスイッチを使用したイーサネットゲートウェイの冗長性の設定

ここでは、2 台の Cisco SFS 3012R サーバスイッチの冗長性を設定する方法について説明します。内容は次のとおりです。

• 2 台の Cisco SFS 3012R サーバスイッチの冗長グループの設定の確認（p.7-22）

• 2 台の Cisco SFS 3012R サーバスイッチのブリッジグループの設定の確認（p.7-23）

ここでは、一般的な例として、合計 4 つのイーサネットゲートウェイを備え、それぞれのサーバスイッチでゲートウェイを 2 つずつ利用できる、2 台の Cisco SFS 3012R サーバスイッチのセットアップを示します。各シャーシ内の 2 つのゲートウェイは、別のスイッチカードを使用するよう設定されます。スロット 2 のゲートウェイはスロット 15 のスイッチカードを使用し、スロット 3 のゲートウェイはスロット 16 のスイッチカードを使用します（Cisco SFS 3012R サーバスイッチのスロット番号については、図 4-4 を参照）。そのため、いずれかのスイッチカードで障害が発生しても、他のゲートウェイは動作を続行できます。ゲートウェイのイーサネットポートを 2 つの異なるイーサネットスイッチに接続する場合、同じシャーシのゲートウェイを、異なるイーサネットスイッチに接続する必要があります。このトポロジーにより、1 台のシャーシと 1 台のイーサネットスイッチで障害が発生した場合でも、サービスは中断しません。この例のトポロジーを、図 7-4に示します。

図 7-4 2 台の Cisco SFS 3012R サーバスイッチによるイーサネットゲートウェイの冗長性

冗長グループを設定すると、プライマリブリッジグループが選択され、送信がイネーブルになります。

1

InfiniBand 1

2

InfiniBand 2

1

InfiniBand 1

2

InfiniBand 2

SFS 3012R-1 SFS 3012R-2

InfiniBand

1826

40



OL-12957-02-J

1 台めの Cisco SFS 3012R サーバスイッチを設定するには、次の手順を実行します。








SFS-3012R(config)# interface mgmt-ibSFS-3012R(config-if-mgmt-ib)# ip address 192.168.0.1 255.255.255.0SFS-3012R(config-if-mgmt-ib)# no shutdownSFS-3012R(config-if-mgmt-ib)# exit

ステップ 3 2 つのリンクアグリゲーショングループ（トランク）を作成し、設定します。リンクアグリゲーショングループにイーサネットポートを割り当てます。


SFS-3012R(config)# interface trunk 1SFS-3012R(config-if-trunk)# enableSFS-3012R(config-if-trunk)# distribution-type src-dst-ipSFS-3012R(config-if-trunk)# interface ethernet 2/1-2/6SFS-3012R(configif-ether-2/1-2/6)# trunk-group 1

SFS-3012R(config)# interface trunk 2SFS-3012R(config-if-trunk)# enableSFS-3012R(config-if-trunk)# distribution-type src-dst-ipSFS-3012R(config-if-trunk)# interface ethernet 3/1-3/6SFS-3012R(configif-ether-3/1-3/6)# trunk-group 2SFS-3012R(configif-ether-3/1-3/6)# exit


一方のブリッジグループは IB ポート 1 を使用してスロット 15 のスイッチカードへの接続を行い、他方のブリッジグループは IB ポート 2 を使用してスロット 16 のスイッチカードへの接続を行います。




OL-12957-02-J

次に、2 つのブリッジグループを設定し、ポートを割り当てる例を示します。





次に、冗長グループを設定し、2 つのブリッジグループを割り当てる例を示します。

SFS-3012R(config)# redundancy-group 1SFS-3012R(config)# bridge-group 1 redundancy-group 1SFS-3012R(config)# bridge-group 2 redundancy-group 1



SFS-3012R(config)# redundancy-group 1 load-balancing

2 台めの Cisco SFS 3012R サーバスイッチを設定するには、次の手順を実行します。









OL-12957-02-J


SFS-3012R(config)# interface mgmt-ibSFS-3012R(config-if-mgmt-ib)# ip address 192.168.0.2 255.255.255.0SFS-3012R(config-if-mgmt-ib)# no shutdownSFS-3012R(config-if-mgmt-ib)# exit

ステップ 3 2 つのリンクアグリゲーショングループ（トランク）を作成し、設定します。リンクアグリゲーショングループにイーサネットポートを割り当てます。



SFS-3012R(config)# interface trunk 4SFS-3012R(config-if-trunk)# enableSFS-3012R(config-if-trunk)# distribution-type src-dst-ipSFS-3012R(config-if-trunk)# interface ethernet 3/1-3/6SFS-3012R(config-if-ether-3/1-3/6)# trunk-group 4SFS-3012R(config-if-ether-3/1-3/6)# exit


一方のブリッジグループは IB ポート 1 を使用してスロット 15 のスイッチカードへの接続を行い、他方のブリッジグループは IB ポート 2 を使用してスロット 16 のスイッチカードへの接続を行います。


次に、2 つのブリッジグループを設定し、ポートを割り当てる例を示します。





OL-12957-02-J




SFS-3012R(config)# redundancy-group 1SFS-3012R(config)# bridge-group 3 redundancy-group 1SFS-3012R(config)# bridge-group 4 redundancy-group 1



SFS-3012R(config)# redundancy-group 1 load-balancingSFS-3012R(config)# exit

2 台の Cisco SFS 3012R サーバスイッチの冗長グループの設定の確認

ここでは、Cisco SFS 3012R サーバスイッチの冗長グループの設定を確認する方法について説明します。

冗長グループの設定とステータスを確認するには、show redundancy-group CLI コマンドを使用します。このコマンドを使用すると、冗長グループの属性とすべてのメンバーが表示されます。属性









OL-12957-02-J





2 台の Cisco SFS 3012R サーバスイッチのブリッジグループの設定の確認

ここでは、Cisco SFS 3012R サーバスイッチのブリッジグループの設定を確認する方法について説明します。

ブリッジグループの設定とステータスを確認するには、show bridge-group CLI コマンドを使用します。両方のシャーシを検査し、すべてのブリッジグループが同じ冗長グループのメンバーであることを確認します。ブリッジグループが冗長グループのメンバーである場合、ほとんどの属性は冗長グループから継承されます。また、シャーシ全体で 1 つのブリッジグループのみがプライマリとなり、その他はセカンダリになっていることを確認します。これは、ロードバランシングがイネーブルになっている場合（active-active モード）も同様です。actie-passive モードでは、プライマリブリッジグループのみが送信を行います。その他はホットスタンバイ状態となります。active-activeモードでは、すべてのブリッジグループがユニキャストトラフィックを送信し、イネーブルになっている場合、プライマリのみがブロードキャストおよびマルチキャストを送信します。



OL-12957-02-J

ステップ 1 1 台めの Cisco SFS 3012R サーバスイッチのブリッジグループの設定を確認します。

次に、1 台めの Cisco SFS 3012R サーバスイッチのブリッジグループ設定を確認するための showbridge-group コマンドの出力例を示します。






OL-12957-02-J

ステップ 2 2 台めの Cisco SFS 3012R サーバスイッチのブリッジグループの設定を確認します。

次に、2 台めの Cisco SFS 3012R サーバスイッチのブリッジグループ設定を確認するための showbridge-group コマンドの出力例を示します。


================================================================================ Bridge Groups================================================================================ bridge-group-id : 3 bridge-group-name : ip-addr : 10.0.0.103 eth-bridge-port : trunk 3 (not tagged) ib-bridge-port : 2/1(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary


第 7章イーサネットゲートウェイと IPoIB の冗長性Cisco SFS 3001 サーバスイッチのイーサネットゲートウェイの冗長性の設定


OL-12957-02-J

Cisco SFS 3001 サーバスイッチのイーサネットゲートウェイの冗長性の設定

ここでは、2 台の Cisco SFS 3001 サーバスイッチのイーサネットゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• Cisco SFS 3001 サーバスイッチの冗長グループ設定の確認（p.7-30）

• Cisco SFS 3001 サーバスイッチのブリッジグループ設定の確認（p.7-31）

ハイアベイラビリティ冗長性を実現するには、2 台以上の Cisco SFS 3001 サーバスイッチを使用する必要があります。一般的な配置としては、それぞれ 1 つのイーサネットゲートウェイを備えた 2台の Cisco SFS 3001 サーバスイッチを使用します（図 7-5を参照）。

図 7-5 2 台の Cisco SFS 3001 サーバスイッチによるイーサネットの冗長性

1 台の Cisco SFS 3001 サーバスイッチでは、電源装置の冗長性のみが利用できます。1 台の CiscoSFS 3001 サーバスイッチでは、ゲートウェイスロットが 1 つしかないため、イーサネットゲートウェイの冗長性は利用できません。Cisco SFS 3001 の冗長性の詳細については、第 4 章「Cisco SFS3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性」を参照してください。

Cisco SFS 3001 サーバスイッチの冗長グループを設定すると、プライマリブリッジが選択され、送信がイネーブルになります。




SFS-3001> enableSFS-3001# configure terminal


SFS 3001-1 SFS 3001-2

InfiniBand

1826

38



OL-12957-02-J





SFS-3001(config)# interface mgmt-ibSFS-3001(config-if-mgmt-ib)# ip address 192.168.0.1 255.255.255.0SFS-3001(config-if-mgmt-ib)# no shutdownSFS-3001(config-if-mgmt-ib)# exit

ステップ 3 リンクアグリゲーショングループにイーサネットポートを割り当てて、リンクアグリゲーショングループ（トランク）を作成し、設定します。


SFS-3001(config)# interface trunk 1SFS-3001(config-if-trunk)# enableSFS-3001(config-if-trunk)# distribution-type src-dst-ipSFS-3001(config-if-trunk)# interface ethernet 2/1-2/6SFS-3001(config-if-ether-2/1-2/6)# trunk-group 1SFS-3001(config-if-ether-2/1-2/6)# exit

ステップ 4 ブリッジグループを設定し、ポートを割り当てます。



SFS-3001(config)# bridge-group 1 subnet-prefix 10.0.0.0 8SFS-3001(config)# bridge-group 1 ip-addr 10.0.0.101SFS-3001(config)# bridge-group 1 ib-next-hop 10.0.0.1SFS-3001(config)# interface trunk 1SFS-3001(config-if-trunk)#bridge-group 1SFS-3001(config)# interface gateway 2SFS-3001(config-if-gw-2/2)# bridge-group 1SFS-3001(config-if-gw-2/2)# exit

ステップ 5 冗長グループを設定し、ブリッジグループを割り当てます。

（注）冗長グループ ID は、すべてのシャーシで同一でなければなりません。



OL-12957-02-J

次に、冗長グループを設定し、ブリッジグループを割り当てる例を示します。

SFS-3001(config)# redundancy-group 1SFS-3001(config)# bridge-group 1 redundancy-group 1



SFS-3001(config)# redundancy-group 1 load-balancingSFS-3001(config)#

ステップ 7 （任意）冗長グループのパラメータを変更します。

（注）個々のブリッジグループではなく、冗長グループのマルチキャスト送信をイネーブルにしてください。

次に、冗長グループのパラメータを変更する例を示します。

SFS-3001(config)# redundancy-group 1 multicastSFS-3001(config)#


（注）ブリッジグループ ID を設定する際、不要であっても、一意のブリッジグループ ID を使用することを推奨します。



SFS-3001> enableSFS-3001# configure terminal






OL-12957-02-J


SFS-3001(config)# interface mgmt-ibSFS-3001(config-if-mgmt-ib)# ip address 192.168.0.2 255.255.255.0SFS-3001(config-if-mgmt-ib)# no shutdownSFS-3001(config-if-mgmt-ib)# exit

ステップ 3 リンクアグリゲーショングループにイーサネットポートを割り当てて、リンクアグリゲーショングループ（トランク）を作成し、設定します。


SFS-3001(config)# interface trunk 2SFS-3001(config-if-trunk)# enableSFS-3001(config-if-trunk)# distribution-type src-dst-ipSFS-3001(config-if-trunk)# interface ethernet 2/1-2/6SFS-3001(config-if-ether-2/1-2/6)# trunk-group 2SFS-3001(config-if-ether-2/1-2/6)# exit

ステップ 4 ブリッジグループを設定し、ポートを割り当てます。



SFS-3001(config)# bridge-group 2 subnet-prefix 10.0.0.0 8SFS-3001(config)# bridge-group 2 ip-addr 10.0.0.102SFS-3001(config)# bridge-group 2 ib-next-hop 10.0.0.1SFS-3001(config)# interface trunk 2SFS-3001(config-if-trunk)#bridge-group 2SFS-3001(config)# interface gateway 2SFS-3001(config-if-gw-2/2)# bridge-group 2SFS-3001(config-if-gw-2/2)# exit

ステップ 5 冗長グループを設定し、ブリッジグループを割り当てます。

（注）冗長グループ ID は、すべてのシャーシで同一でなければなりません。

次に、冗長グループを設定し、ブリッジグループを割り当てる例を示します。

SFS-3001(config)# redundancy-group 1SFS-3001(config)# bridge-group 2 redundancy-group 1



SFS-3001(config)# redundancy-group 1 load-balancingSFS-3001(config)#



OL-12957-02-J

ステップ 7 （任意）冗長グループのパラメータを変更します。

（注）個々のブリッジグループではなく、冗長グループのマルチキャスト送信をイネーブルにしてください。

次に、冗長グループのパラメータを変更する例を示します。

SFS-3001(config)# redundancy-group 1 multicastSFS-3001(config)#

Cisco SFS 3001 サーバスイッチの冗長グループ設定の確認冗長グループの設定とステータスを確認するには、show redundancy-group CLI コマンドを使用します。このコマンドを使用すると、冗長グループの属性とすべてのメンバーが表示されます。属性




SFS-3001# show redundancy-group

================================================================================ Redundancy Groups================================================================================ rlb-id : 1 name : group-p_key : ff:ff load-balancing : enabled broadcast-forwarding : false multicast : true gratuitous-igmp : false igmp-version : v2 num-members : 2 new-member-force-reelection : false

================================================================================ Redundancy Group Members================================================================================bridge-group src-addr last-receive --------------------------------------------------------------------------------1 192.168.0.1 Thu Jan 1 00:06:50 19702 192.168.0.2 Thu Jan 1 00:03:39 1970



OL-12957-02-J

次に、2 台めのスイッチに対する show redundancy-group コマンドの出力例を示します。

SFS-3001# show redundancy-group

================================================================================ Redundancy Groups================================================================================ rlb-id : 1 name : group-p_key : ff:ff load-balancing : disabled broadcast-forwarding : false multicast : true gratuitous-igmp : false igmp-version : v2 num-members : 2 new-member-force-reelection : false

================================================================================ Redundancy Group Members================================================================================bridge-group src-addr last-receive --------------------------------------------------------------------------------1 192.168.0.1 Thu Jan 1 00:06:50 19702 192.168.0.2 Thu Jan 1 00:03:39 1970

Cisco SFS 3001 サーバスイッチのブリッジグループ設定の確認ブリッジグループの設定とステータスを確認するには、show bridge-group CLI コマンドを使用します。両方の Cisco SFS 3001 サーバスイッチを確認し、すべてのブリッジグループが同じ冗長グループのメンバーであることを確認します。

ブリッジグループが冗長グループのメンバーである場合、ほとんどの属性は冗長グループから継承されます。また、シャーシ全体で 1 つのブリッジグループのみがプライマリとなり、その他はセカンダリになっていることを確認します。これは、ロードバランシングがイネーブルになっている場合（active-active モード）も同様です。actie-passive モードでは、プライマリブリッジグループのみが送信を行います。その他はホットスタンバイ状態となります。active-active モードでは、すべてのブリッジグループがユニキャストトラフィックを送信し、イネーブルになっている場合、プライマリブリッジグループのみがブロードキャストおよびマルチキャストトラフィックを送信します。



OL-12957-02-J

ステップ 1 1 台めの Cisco SFS 3001 サーバスイッチのブリッジグループの設定を確認します。


SFS-3001# show bridge-group


ステップ 2 2 台めの Cisco SFS 3001 サーバスイッチのブリッジグループの設定を確認します。


SFS-3001# show bridge-group

================================================================================ Bridge Groups================================================================================ bridge-group-id : 2 bridge-group-name : ip-addr : 10.0.0.102 eth-bridge-port : trunk 2 (not tagged) ib-bridge-port : 2/2(gw) (pkey: ff:ff) broadcast-forwarding : false broadcast-forwarding-mode : inherit-from-redundancy-group loop-protection-method : one multicast : false multicast-mode : inherit-from-redundancy-group gratuitous-igmp : false gratuitous-igmp-mode : inherit-from-redundancy-group igmp-version : v2 igmp-version-mode : inherit-from-redundancy-group redundancy-group : 1status-in-redundancy-group : secondary

C H A P T E R


OL-12957-02-J

8ファイバチャネルゲートウェイと SRP の冗長性

この章では、ファイバチャネルゲートウェイの冗長性について説明します。内容は次のとおりです。

• ダイナミックロードバランシング（p.8-3）

• ダイナミックゲートウェイフェールオーバー（p.8-3）

• パスアフィニティ（p.8-3）

• Cisco SFS 3504 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定（p.8-4）

• Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定（p.8-8）

• Cisco SFS 3001 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定（p.8-16）


ファイバチャネルゲートウェイの冗長性は、設定されたポリシーによって許可されている場合、利用可能なすべてのパスを使用するという概念に基づいています。各 ITL には冗長性ポリシーが設定されており、このポリシーに従ってゲートウェイパスが使用されます。利用可能なパスへのアクセスが、許可または拒否されます。コントローラに常駐する Connection Manager により、イニシエータ /ターゲットのパスが決定されます。

第 8章ファイバチャネルゲートウェイと SRP の冗長性


OL-12957-02-J

冗長構成のファイバチャネルゲートウェイの論理図を、図 8-1に示します。

図 8-1 冗長構成のファイバチャネルゲートウェイの論理図

これ以降のセクションで示す例は、さまざまなタイプの I/O シャーシの一般的な配置例です。

次の機能を使用すると、ファイバチャネルゲートウェイで冗長性とハイアベイラビリティがサポートされます。

• ダイナミックロードバランシング

• ダイナミックゲートウェイフェールオーバー

• パスアフィニティ

SAN

InfiniBand

1830

52

第 8章ファイバチャネルゲートウェイと SRP の冗長性ダイナミックロードバランシング


OL-12957-02-J

ダイナミックロードバランシングこれは、Cisco SFS 3504、SFS 3012R、および SFS 3001 サーバスイッチのシャーシ内で機能します。ダイナミックロードバランシングは、ホストからターゲットへのトラフィックを、すべての利用可能なパス全体で自動的に均等分散することにより、可用性を向上させます。ダイナミックロードバランシングは、シングルポイント障害やパフォーマンスのボトルネックを防止します。

ダイナミックゲートウェイフェールオーバーこの機能は、Cisco SFS 3504、SFS 3012R、および SFS 3001 サーバスイッチでサポートされています。ダイナミックゲートウェイフェールオーバーでは、いつでもサービスを提供できる 1 つ以上の冗長ゲートウェイを使用します。これにより、ゲートウェイで障害が発生しても、利用可能な他

のゲートウェイでそのトラフィックを処理できます。ファイバチャネルゲートウェイは、ポートレベルで精密なハイアベイラビリティをサポートしているため、ロードバランシングが有効に活用できます。

パスアフィニティこの機能は、Cisco SFS 3012R および SFS 3001 サーバスイッチでサポートされています。パスアフィニティは、複数のパスが利用可能なストレージシステムを含め、ストレージシステムのロードバランシング機能の不足を補います。複数のキュー項目数を持つストレージシステムに対して複数の I/O が起動されると、ホストは選択されたパスへのアフィニティを持ち、そのホストへの I/Oカウントがゼロになるまで I/O はそのパスで伝送されます。次の I/O セットは、異なるパスアフィニティを持つ可能性があります。したがって、複数のパスが利用可能でも、使用されるパスは常に

1 つだけです。ただし、毎回パスが異なる可能性があります。これはポートフェールオーバーの場合とは異なります。ポートフェールオーバーでは、パスが存在しなくなるまで、1 つのパスしか使用されません。

（注） Cisco SFS 3504 サーバスイッチは、パスアフィニティをサポートしていません。

第 8章ファイバチャネルゲートウェイと SRP の冗長性Cisco SFS 3504 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定


OL-12957-02-J

Cisco SFS 3504 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定

ここでは、Cisco SFS 3504 サーバシャーシのファイバチャネルゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• イニシエータの設定内容の確認（p.8-6）

• IT の確認（p.8-6）

• LU の確認（p.8-7）

ハイアベイラビリティ冗長性を実現するには、2 台以上の Cisco SFS 3504 サーバスイッチを使用する必要があります。一般的な配置としては、各シャーシに 2 つのファイバチャネルゲートウェイを備えた 2 台の Cisco SFS 3504 サーバスイッチを使用します（図 8-2を参照）。

ファイバチャネルゲートウェイカードの製品 ID 番号は、SFS-3500-FCGW-4G です。ファイバチャネルゲートウェイカードは、4 つのポートを備え、1 ポートあたりの容量が 4 Gbps の InfiniBand/ファイバチャネルゲートウェイモジュールです。

Cisco SFS 3504 サーバスイッチは VSAN をサポートしています。VSAN の詳細については、『CiscoSFS InfiniBand Software Configuration Guide』および『Cisco SFS Product Family Command Reference』を参照してください。

図 8-2 2 台の Cisco SFS 3504 サーバスイッチによるファイバチャネルの冗長性




SFS-3504> enableSFS-3504# config


SFS 3504-1 SFS 3504-2

SAN

InfiniBand

1830

53



OL-12957-02-J

ステップ 2 イニシエータを設定します。

次に、イニシエータを設定する例を示します。

SFS-3504(config)# fc srp initiatorinitiator initiator-wwpnSFS-3504(config)# fc srp initiator 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 wwnn ? <wwnn> - Initiator wwnn suggested wwnn = 20:08:00:1b:0d:00:12:00 SFS-3504(config)# fc srp initiator 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 wwnn 20:08:00:1b:0d:00:12:00SFS-3504(config)#SFS-3504(config)# fc srp initiator-wwpn 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 3/1 ?<wwpn> - wwpn suggested wwpn = 20:08:00:1b:0d:00:12:16SFS-3504(config)# fc srp initiator-wwpn 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 3/1 20:08:00:1b:0d:00:12:16 vsan 20SFS-3504(config)#

ステップ 3 ポートマスキングを適用します。

次に、ポートマスキングを適用する例を示します。

SFS-3504(config)# no fc srp it 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 20:01:00:20:c2:03:31:99 gateway-portmask-policy restricted 3/1-3/4

ステップ 4 LUN を検出します。

次に、LUN を検出する例を示します。

SFS-3504(config)# fc srp initiator 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 discover-itl

ステップ 5 ロードバランシング、フェールオーバー、またはパスアフィニティに論理ユニットポリシーを設定します。

次に、ロードバランシングに論理ユニットポリシーを設定する例を示します。

SFS-3504(config)# fc srp lu <64 byte lu-id string> dynamic-gateway-port-loadbalancingSFS-3504(config)# exit

2 台めの Cisco SFS 3504 サーバスイッチを設定するには、スイッチでステップ 1 ～ステップ 5 の手順を実行します。



OL-12957-02-J

イニシエータの設定内容の確認

次に、1 台めの Cisco SFS 3504 サーバスイッチのイニシエータの設定内容を確認するための showfc srp initiator コマンドの出力例を示します。

SFS-3504# show fc srp initiator

================================================================================ SRP Initiators================================================================================ guid: 00:05:ad:00:00:00:22:3c extension: 00:00:00:00:00:00:00:00 description: svbu-fc-host-12 wwnn: 20:08:00:1b:0d:00:12:00 credit: 0 active-ports: none pkeys: bootup-target: 00:00:00:00:00:00:00:00 bootup-lu: 00:00:00:00:00:00:00:00 alt-bootup-target: 00:00:00:00:00:00:00:00 alt-bootup-lu: 00:00:00:00:00:00:00:00 action: none result: none wwpns: port wwpn fc-addr vsan 3/1 20:08:00:1b:0d:00:12:16 14:01:01 20 3/2 20:08:00:1b:0d:00:12:16 14:04:01 20 3/3 20:08:00:1b:0d:00:12:16 14:04:01 20 3/4 20:08:00:1b:0d:00:12:16 14:04:01 20

2 台めの Cisco SFS 3504 サーバスイッチのイニシエータの設定内容を確認するには、スイッチを設定してからこのコマンドを実行します。

IT の確認次に、1 台めの Cisco SFS 3504 サーバスイッチの IT を確認するための show fc srp it コマンドの出力例を示します。

SFS-3504# show fc srp it 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 20:01:00:20:c2:03:31:99================================================================================ SRP IT================================================================================ guid: 00:05:ad:00:00:00:22:3c extension: 00:00:00:00:00:00:00:00 target-wwpn: 20:01:00:20:c2:03:31:99 description:it non-restricted-ports: 3/1-3/4 active-ports: 3/1 physical-access: 3/1 mode:normal-mode action:none result:none

2 台めの Cisco SFS 3504 サーバスイッチの IT を確認するには、スイッチを設定してからこのコマンドを実行します。



OL-12957-02-J

LU の確認次に、1 台めの Cisco SFS 3504 サーバスイッチの LU を確認するための show fc srp itl コマンドの出力例を示します。

SFS-3504# show fc srp itl 00:05:ad:00:00:00:22:3c 00:00:00:00:00:00:00:00 20:01:00:20:c2:03:31:99 00:00:00:00:00:00:00:00================================================================================ SRP ITL================================================================================ guid: 00:05:ad:00:00:00:22:3c extension: 00:00:00:00:00:00:00:00 target-wwpn: 20:01:00:20:c2:03:31:99 fc-lunid: 00:00:00:00:00:00:00:00 srp-lunid: 00:00:00:00:00:00:00:00 logical-id (raw 64 bytes): 02:01:00:22:54:4d:53:20:20:20:20:20:46:43:36:35 : 20:20:20:20:20:20:20:20:20:20:20:20:30:33:33:31 : 39:39:30:30:30:30:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 logical-id (formatted display): TMS FC65 0331990000 description: itl device-category: random lun-policy: restricted non-restricted-ports: 3/1-3/4 active-ports: none physical-access: none hi-mark: 16 max-retry: 5 min-io-timeout: 10 dynamic-path-affinity: false dynamic-gateway-port-loadbalancing: true dynamic-storage-port-loadbalancing: dynamic-gateway-port-failover: false dynamic-storage-port-failover: active-slots: none

第 8章ファイバチャネルゲートウェイと SRP の冗長性Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定


OL-12957-02-J

Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定

ここでは、Cisco SFS 3012R サーバスイッチを使用してファイバチャネルゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• 1 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定（p.8-8）

• 1 台の Cisco SFS 3012R サーバスイッチの設定の確認（p.8-10）

• 2 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定（p.8-12）

• 2 台の Cisco SFS 3012R サーバスイッチの設定の確認（p.8-14）

Cisco SFS 3012R サーバスイッチは、シャーシの各種冗長性に対応しています。12 個のゲートウェイスロット、2 つのコントローラモジュール、2 つのスイッチカードを備えています。各ゲートウェイは、バックプレーンを通して両方のスイッチカードに接続されます。そのため、1 台の CiscoSFS 3012R サーバスイッチの構成でハイアベイラビリティを実現することができます。

この製品の詳細については、第 4 章「Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性」を参照してください。

1 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定

ここでは、1 台の Cisco SFS 3012R サーバスイッチを使用してファイバチャネルゲートウェイの冗長性を設定する方法について説明します。

ここで示す例は、4 つのファイバチャネルゲートウェイと 2 つのスイッチカードを備えた一般的な 1 台のスイッチ構成です。スロット 2 と 4 の 2 つのゲートウェイは、1 つめのスロットのスイッチカードを使用するよう設定され、その他の 2 つのゲートウェイ（スロット 3 と 5）は、2 つめのスロットのスイッチカードを使用するよう設定されます（各スロット番号の位置については、図4-4を参照）。そのため、いずれかのスイッチカードで障害が発生しても、2 つのゲートウェイは動作を続行できます。ゲートウェイのファイバチャネルポートを 2 つの異なるファイバチャネルスイッチに接続する必要がある場合、異なるファイバチャネルスイッチに接続された同じ IB スイッチカードにゲートウェイを接続します。そのため、ファイバチャネルスイッチのいずれか 1 つとIB スイッチカードのいずれか 1 つで障害が発生した場合でも、少なくとも 1 つのゲートウェイは動作を続行できます。

（注）この例では、スロット 2 と 3 のゲートウェイを、スロット 4 と 5 のゲートウェイとは別のファイバチャネルスイッチに接続する必要があります。

この例のトポロジーを、図 8-3に示します。



OL-12957-02-J

図 8-3 1 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性

冗長性グループを設定すると、プライマリブリッジが選択され、送信がイネーブルになります。

1 台の Cisco SFS 3012R サーバスイッチを設定するには、次の手順を実行します。

ステップ 1 Cisco SFS 3012R サーバスイッチへの Telnet を実行します。

次に、サーバスイッチへの Telnet を実行してコンフィギュレーションモードを開始する例を示します。

telnet ip-address <switch address>SFS-3012R-1> enable SFS-3012R-1# configure

ステップ 2 IB GUID および GUID 拡張子を使用して、IB イニシエータを設定します。

次に、IB イニシエータを設定し、イニシエータの記述を変更する例を示します。

SFS-3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 auto-bindSFS-3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 description ib-fc-init-1



SFS-3012R-1(config)# no fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 gateway-portmask-policy restricted 2/1-2/2,3/1,3/2



SFS-3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 discover-itl

1 2 3 4


SFS 3012R

SAN

InfiniBand

1830

50



OL-12957-02-J



SFS-3012R-1(config)# fc srp lu <64 byte lu-id string> dynamic-gateway-port-loadbalancing

ステップ 6 スイッチでのセッションを終了します。

次に、スイッチでのセッションを終了する例を示します。

SFS-3012R-1(config)# exit

1 台の Cisco SFS 3012R サーバスイッチの設定の確認1 台の Cisco SFS 3012R サーバスイッチの冗長性設定を確認するには、次の手順を実行します。

ステップ 1 サーバスイッチへの Telnet を実行します。

次に、サーバスイッチへの Telent を実行する例を示します。

telnet ip-address <switch address>SFS-3012R-1> enable

ステップ 2 イニシエータの設定内容を確認します。

次に、イニシエータの設定内容を確認するための show fc srp initiator コマンドの出力例を示します。

SFS-3012R-1# show fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00

================================================ SRP Initiators================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 description: ib-fc-init-1 wwnn: 20:01:00:05:ad:00:1b:4f credit: 0 active-ports: none pkeys: bootup-target: 00:00:00:00:00:00:00:00 bootup-lu: 00:00:00:00:00:00:00:00 alt-bootup-target: 00:00:00:00:00:00:00:00 alt-bootup-lu: 00:00:00:00:00:00:00:00 action: discover-itl result: success wwpns: port wwpn fc-addr 2/1 20:01:00:05:ad:20:1b:4f 67:0f:04 2/2 20:01:00:05:ad:24:1b:4f 67:0e:04 3/1 20:01:00:05:ad:30:1b:4f 67:11:18 3/2 20:01:00:05:ad:34:1b:4f 67:10:18



OL-12957-02-J

ステップ 3 イニシエータ /ターゲットの設定内容を確認します。

次に、イニシエータ /ターゲットの設定内容を確認するための show fc srp it コマンドの出力例を示します。

SFS-3012R-1# show fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70

================================================SRP IT================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 description: it non-restricted-ports: 2/1-2/2,3/1-3/2 active-ports: none physical-access: 2/1-2/2,3/1-3/2 mode: normal-mode action: none result: none

ステップ 4 論理ユニットの設定内容を確認します。

次に、論理ユニットの設定内容を確認するための show fc srp itl コマンドの出力例を示します。

SFS-3012R-1# show fc srp itl 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 00:00:00:00:00:00:00:00================================================SRP ITL================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 fc-lunid: 00:00:00:00:00:00:00:00 srp-lunid: 00:00:00:00:00:00:00:00 logical-id (raw 64 bytes): 01:03:00:10:60:06:01:60:a2:70:0d:00:70:ad:1c:0a : 3b:a8:db:11:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 logical-id (formatted display): 60060160A2700D0070AD1C0A3BA8DB11 description: itl device-category: random lun-policy: non restricted non-restricted-ports: 2/1-2/2,3/1-3/2 active-ports: none physical-access: 2/1-2/2,3/1-3/2 hi-mark: 16 max-retry: 5 min-io-timeout: 10 dynamic-path-affinity: false dynamic-gateway-port-loadbalancing: true dynamic-storage-port-loadbalancing: dynamic-gateway-port-failover: false dynamic-storage-port-failover: active-slots: none



OL-12957-02-J




ステップ 6 2 台めの Cisco SFS 3012R サーバスイッチの冗長性設定を確認するには、2 台めのスイッチでステップ 1 ～ステップ 5 を実行します。

2 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性の設定

ここでは、2 台の Cisco SFS 3012R サーバスイッチを使用してファイバチャネルゲートウェイの冗長性を設定する方法について説明します。

ここでは、一般的な例として、合計 4 つのファイバチャネルゲートウェイを備え、それぞれのサーバスイッチでゲートウェイを 2 つずつ利用できる、2 台の Cisco SFS 3012R サーバスイッチのセットアップを示します。各シャーシ内の 2 つのゲートウェイは、別のスイッチカードを使用するよう設定されます。スロット 2 のゲートウェイは一方のスロットのスイッチカードを使用し、スロット3 のゲートウェイは他方のスロットのスイッチカードを使用します。そのため、いずれかのスイッチカードで障害が発生しても、他のゲートウェイは動作を続行できます。ゲートウェイのファイバチャネルポートを 2 つの異なるファイバチャネルスイッチに接続する場合、同じシャーシのゲートウェイを、異なるファイバチャネルスイッチに接続する必要があります。このトポロジーにより、1 台のシャーシと 1 台のファイバチャネルスイッチで障害が発生した場合でも、サービスは中断しません。この例のトポロジーを、図 8-4に示します。

図 8-4 2 台の Cisco SFS 3012R サーバスイッチを使用したファイバチャネルゲートウェイの冗長性

冗長性グループを設定すると、プライマリブリッジグループが選択され、送信がイネーブルになります。

SFS 3012R-2

1830

51

InfiniBand 1 InfiniBand 2 InfiniBand 1 InfiniBand 2

1 2 3 4

SFS 3012R

SAN

InfiniBand



OL-12957-02-J

2 台の Cisco SFS 3012R サーバスイッチを設定するには、次の手順を実行します。

ステップ 1 1 台めの Cisco SFS 3012R サーバスイッチへの Telnet を実行します。


telnet ip-address <switch address>SFS-3012R-1> enable SFS-3012R-1# configure


次に、IB イニシエータを設定し、イニシエータの記述を変更する例を示します。

SFS-3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 auto-bindSFS-3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 description ib-fc-init-1



SFS-3012R-1(config)# no fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 gateway-portmask-policy restricted 2/1-2/2,3/1,3/2



3012R-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 discover-itl



SFS-3012R-1(config)# fc srp lu <64 byte lu-id string> dynamic-gateway-port-loadbalancing




ステップ 7 2 台めの Cisco SFS 3012R サーバスイッチを設定するには、2 台めのスイッチでステップ 1 ～ステップ 6 を実行します。



OL-12957-02-J

2 台の Cisco SFS 3012R サーバスイッチの設定の確認2 台の Cisco SFS 3012R サーバスイッチの設定を確認するには、次の手順を実行します。

ステップ 1 Cisco SFS 3012R サーバスイッチへの Telnet を実行します。


telnet ip-address <switch address>SFS-3012R-1> enable


次に、イニシエータの設定内容を確認するための show fc srp initiator コマンドの出力例を示します。

SFS-3012R-1# show fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00

================================================ SRP Initiators================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 description: ib-fc-init-1 wwnn: 20:01:00:05:ad:00:1b:4f credit: 0 active-ports: none pkeys: bootup-target: 00:00:00:00:00:00:00:00 bootup-lu: 00:00:00:00:00:00:00:00 alt-bootup-target: 00:00:00:00:00:00:00:00 alt-bootup-lu: 00:00:00:00:00:00:00:00 action: discover-itl result: success wwpns: port wwpn fc-addr 2/1 20:01:00:05:ad:20:1b:4f 67:0f:04 2/2 20:01:00:05:ad:24:1b:4f 67:0e:04 3/1 20:01:00:05:ad:30:1b:4f 67:11:18 3/2 20:01:00:05:ad:34:1b:4f 67:10:18



SFS-3012R-1# show fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70

================================================SRP IT================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 description: it non-restricted-ports: 2/1-2/2,3/1-3/2 active-ports: none physical-access: 2/1-2/2,3/1-3/2 mode: normal-mode action: none result: none



OL-12957-02-J



SFS-3012R-1# show fc srp itl 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 00:00:00:00:00:00:00:00

================================================SRP ITL================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 fc-lunid: 00:00:00:00:00:00:00:00 srp-lunid: 00:00:00:00:00:00:00:00 logical-id (raw 64 bytes): 01:03:00:10:60:06:01:60:a2:70:0d:00:70:ad:1c:0a : 3b:a8:db:11:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 logical-id (formatted display): 60060160A2700D0070AD1C0A3BA8DB11 description: itl device-category: random lun-policy: non restricted non-restricted-ports: 2/1-2/2,3/1-3/2 active-ports: none physical-access: 2/1-2/2,3/1-3/2 hi-mark: 16 max-retry: 5 min-io-timeout: 10 dynamic-path-affinity: false dynamic-gateway-port-loadbalancing: true dynamic-storage-port-loadbalancing: dynamic-gateway-port-failover: false dynamic-storage-port-failover: active-slots: none




ステップ 6 2 台めの Cisco SFS 3012R サーバスイッチの設定を確認するには、2 台めのスイッチでステップ 1 ～ステップ 5 を実行します。



OL-12957-02-J

Cisco SFS 3001 サーバスイッチのファイバチャネルゲートウェイの冗長性の設定

ここでは、Cisco SFS 3001 サーバスイッチのファイバチャネルゲートウェイの冗長性を設定する方法について説明します。内容は次のとおりです。

• 2 台の Cisco SFS 3001 サーバスイッチの設定（p.8-16）

• Cisco SFS 3001 サーバスイッチの冗長性設定の確認（p.8-17）

ハイアベイラビリティ冗長性を実現するには、2 台以上の Cisco SFS 3001 サーバスイッチを使用する必要があります。一般的な配置としては、それぞれ 1 つのファイバチャネルゲートウェイを備えた 2 台の Cisco SFS 3001 サーバスイッチを使用します（図 8-5を参照）。

図 8-5 2 台の Cisco SFS 3001 サーバスイッチを使用したファイバチャネルゲートウェイの冗長性

1 台の Cisco SFS 3001 サーバスイッチでは、電源装置の冗長性のみが利用できます。1 台の CiscoSFS 3001 サーバスイッチでは、ゲートウェイスロットが 1 つしかないため、ファイバチャネルゲートウェイの冗長性は利用できません。この製品の詳細については、第 4 章「Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性」を参照してください。

2 台の Cisco SFS 3001 サーバスイッチの設定ここでは、2 台の Cisco SFS 3001 サーバスイッチを設定する方法について説明します。2 台の CiscoSFS 3001 サーバスイッチを設定するには、次の手順を実行します。

ステップ 1 サーバスイッチへの Telnet を実行します。


telnet ip-address <switch address>SFS-3001-1> enable SFS-3001-1# configure


SFS 3001-1 SFS 3001-2

SAN

InfiniBand

1830

49



OL-12957-02-J


次に、IB イニシエータを設定してイニシエータの記述を変更するための show fc srp initiator コマンドの出力例を示します。

SFS-3001-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 auto-bindSFS-3001-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 description ib-fc-init-1



SFS-3001-1(config)# no fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 gateway-portmask-policy restricted 2/1-2/2



SFS-3001-1(config)# fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 discover-itl



SFS-3001-1(config)# fc srp lu <64 byte lu-id string> dynamic-gateway-port-loadbalancing

ステップ 6 2 台めの Cisco SFS 3001 サーバスイッチを設定するには、2 台めのスイッチでステップ 1 ～ステップ 5 を実行します。

Cisco SFS 3001 サーバスイッチの冗長性設定の確認Cisco SFS 3001 サーバスイッチの冗長性を確認するには、次の手順を実行します。

ステップ 1 1 台めの Cisco SFS 3001 サーバスイッチへの Telnet を実行します。


telnet ip-address <switch address>SFS-3001-1> enable



OL-12957-02-J


次に、イニシエータの設定内容を確認する例を示します。

SFS-3001-1# show fc srp initiator 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00

================================================ SRP Initiators================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 description: ib-fc-init-1 wwnn: 20:01:00:05:ad:00:1b:4f credit: 0 active-ports: none pkeys: bootup-target: 00:00:00:00:00:00:00:00 bootup-lu: 00:00:00:00:00:00:00:00 alt-bootup-target: 00:00:00:00:00:00:00:00 alt-bootup-lu: 00:00:00:00:00:00:00:00 action: discover-itl result: success wwpns: port wwpn fc-addr 2/1 20:01:00:05:ad:20:1b:4f 67:0f:04 2/2 20:01:00:05:ad:24:1b:4f 67:0e:04



SFS-3001-1# show fc srp it 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70

================================================SRP IT================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 description: it non-restricted-ports: 2/1-2/2 active-ports: none physical-access: 2/1-2/2 mode: normal-mode action: none result: none



OL-12957-02-J



SFS-3001-1# show fc srp itl 29:01:00:05:ad:00:24:fc 00:00:00:00:00:00:00:00 50:02:0f:23:00:00:08:70 00:00:00:00:00:00:00:00================================================SRP ITL================================================ guid: 29:01:00:05:ad:00:24:fc extension: 00:00:00:00:00:00:00:00 target-wwpn: 50:02:0f:23:00:00:08:70 fc-lunid: 00:00:00:00:00:00:00:00 srp-lunid: 00:00:00:00:00:00:00:00 logical-id (raw 64 bytes): 01:03:00:10:60:06:01:60:a2:70:0d:00:70:ad:1c:0a : 3b:a8:db:11:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 : 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00 logical-id (formatted display): 60060160A2700D0070AD1C0A3BA8DB11 description: itl device-category: random lun-policy: non restricted non-restricted-ports: 2/1-2/2 active-ports: none physical-access: 2/1-2/2 hi-mark: 16 max-retry: 5 min-io-timeout: 10 dynamic-path-affinity: false dynamic-gateway-port-loadbalancing: true dynamic-storage-port-loadbalancing: dynamic-gateway-port-failover: false dynamic-storage-port-failover: active-slots: none



SFS-3001-1# exit

ステップ 6 2 台めの Cisco SFS 3001 サーバスイッチの設定を確認するには、2 台めのスイッチでステップ 1 ～ステップ 5 を実行します。



OL-12957-02-J

C H A P T E R


OL-12957-02-J

9冗長性の一般的な使用例

この章では、Oracle Real Application Cluster（RAC）10g インストレーションの冗長性の一般的な使用例を示します。


図 9-1 完全冗長の Oracle RAC 10g インストレーションの例

2417

74

IB 1

SFS 7000D-1

16 1B

SFS 7000D-2

SFS 3504-2

HCA-1 HCA-2

IB 16

FCGW ENGW

HCA-1 HCA-2

SFS 3504-1

LUN

LAN

ENGW-2ENGW-1

FCGW-1

ENGW-2ENGW-1

FCGW-2 FCGW-2

VSAN 2

FCGW-1

VSAN 1

第 9章冗長性の一般的な使用例


OL-12957-02-J

図 9-1に、完全冗長の Oracle RAC 10g インストレーションの例を示します。このクラスタの環境は、シングルポイント障害が発生しないように設定されます。この環境には、次の冗長性が構築されます。

• HCA の冗長性：

HCA の冗長性の詳細については、第 6 章「ホストの冗長性、IPoIB の冗長性、および SRP の冗長性」を参照してください。

• IPoIB と SRP の冗長性：

IPoIB と SRP の冗長性の詳細については、第 6 章「ホストの冗長性、IPoIB の冗長性、およびSRP の冗長性」を参照してください。

• Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性：

Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性の詳細については、第 2 章「Cisco SFS 7008P および SFS 7000 シリーズサーバスイッチの冗長性」を参照してください。

• Subnet Manager の冗長性：

Subnet Manager の冗長性の詳細については、第 5 章「Subnet Manager の冗長性」を参照してください。

• Cisco SFS 3504 および SFS 3000 シリーズマルチファブリックスイッチの冗長性：

Cisco SFS 3504 および SFS 3000 シリーズマルチファブリックスイッチの冗長性の詳細については、第 4 章「Cisco SFS 3504 および Cisco SFS 3000 シリーズサーバスイッチの冗長性」を参照してください。

• イーサネットゲートウェイの冗長性：

詳細については、第 7 章「イーサネットゲートウェイと IPoIB の冗長性」を参照してください。• ファイバチャネルゲートウェイの冗長性：

詳細については、第 8 章「ファイバチャネルゲートウェイと SRP の冗長性」を参照してください。

A P P E N D I X

A-1Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

A略語

表 A-1 に、このマニュアルで使用される略語を定義します。

表 A-1 略語

略語説明

API Application Program Interface

APM Automatic Path Migration

CLI Command-Line Interface（コマンドラインインターフェイス）

HCA Host Channel Adapter（ホストチャネルアダプタ）

HSM High-Performance Subnet Manager

IB InfiniBand

IPoIB IP over InfiniBand

ITL Initiator/Target/LUN（イニシエータ /ターゲット /LUN）

LID Local ID（ローカル ID）

LU Logical Unit（論理ユニット）

LUN Logical Unit Number（論理ユニット番号）

MTBF Mean Time Between Failure（平均故障間隔）

OFED OpenFabrics Enterprise Distribution

RAC Real Application Cluster

RHEL Red Hat Enterprise Linux

SFS Server Fabric Switch（サーバファブリックスイッチ）

SLES SuSE Linux Enterprise Server

SNMP Simple Network Management Protocol（簡易ネットワーク管理プロトコル）

SRP SCSI RDMA Protocol

SSH Secure Shell（セキュアシェル）

VLAN Virtual Local Area Network（バーチャル LAN）

付録 A 略語

A-2Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

I N D E X

1Cisco SFS InfiniBand 冗長性コンフィギュレーションガイド

OL-12957-02-J

Numerics

2 ポート HCA　　6-2

C

CLI セッション　　2-2

D

Device Mapper Multipath　　6-10

E

Embedded Subnet Manager　　5-1

H

High-Performance Subnet Manager　　5-1, 5-4HTTP　　2-3

I

IBM BladeCenter　　3-1IP サブネット　　7-2IP ネットワーク　　4-4IPoIB確認　　6-8設定　　6-7ハイアベイラビリティ　　6-6フェールオーバー　　6-8

IPoIB 仕様　　6-4IPoIB の冗長性　　6-1

M

master-poll-interval　　5-8master-poll-retries　　5-8

MTBF　　5-10

N

Netperf　　6-8

O

Oracle RAC 10g　　9-1

R

Red Hat Enterprise Linux、RHEL を参照RHEL　　6-10

S

SFS、サーバファブリックスイッチを参照SLES　　6-10SNMP　　2-3SRP の冗長性　　6-1SSH　　2-3Subnet Manager

Embedded　　5-1High-Performance　　5-1, 5-4冗長性　　5-1スタンバイ　　5-1マスター　　5-1

SuSE Linux Enterprise Server、SLES を参照

T

Telnet　　2-3

V

VLAN　　7-1

Index


OL-12957-02-J

W

World-Wide Name、WWN を参照WWN　　6-10

あ

アクティブコントローラ　　4-7アクティブスタンバイコントローラ　　4-7

い

イーサネットゲートウェイの冗長性　　4-4, 4-7, 7-1イーサネットポート　　2-4

え

エンドストレージユニット　　6-10

お

オペレーティングシステム　　4-2

か

仮想ポート　　6-6簡易ネットワーク管理プロトコル、SNMP を参照管理インターフェイスモジュール　　2-3, 2-4, 2-5関連資料　　x

き

企業ソリューション　　1-1

く

組み込みプロセッサ　　5-4

こ

コアスロット　　2-5構成、マニュアル　　viiiコントローラカード　　5-3コントローラモジュールの冗長性　　4-6

さ

サーバファブリックスイッチ　　1-1最適なルーティング　　5-4

し

システムのマスターシップ　　2-5詳細モード　　6-7冗長性　　1-1ソフトウェア　　2-2

シリアルコンソールポート　　2-3シリアルポート　　2-4

す

スイッチモジュールの冗長性　　4-7スタンバイ Subnet Manager　　5-1スタンバイコントローラ　　2-2

せ

製品 ID　　8-4セキュアシェル、SSH を参照

そ

ソフトウェアの冗長性　　2-2, 4-2

た

大規模クラスタ　　5-10大規模ファブリック　　5-4対象読者　　viiダイナミックゲートウェイフェールオーバー　　8-3ダイナミックロードバランシング　　8-3ダイナミックなストレージの再設定　　6-10

て

データトラフィック　　5-1データベースの同期処理　　5-10プロトコル　　5-1

電源装置　　2-3電源装置の冗長性　　2-9, 4-5, 4-9

Index


OL-12957-02-J

電源ファンモジュール　　4-3

と

ドライバの動作　　6-6トラップメカニズム　　5-4

の

ノードカード　　2-3ノードスロット　　2-5

は

バーチャル LAN、VLAN を参照パーティション　　4-2ハイアベイラビリティ、IPoIB　　6-6パスアフィニティ　　8-3

ひ

表記法、マニュアル　　ix

ふ

ファイバチャネルゲートウェイの冗長性　　4-4, 4-7,8-1ファイバチャネルネットワーク　　4-4ファブリックカード　　2-3ファブリックコントローラ　　2-4, 2-5ファブリックの冗長性　　2-8, 4-8, 4-10ファントレイ　　2-4ファントレイモジュール　　4-9ファンの冗長性　　4-9フェールオーバー　　6-10複数の HCA　　6-3プライオリティ番号　　5-5, 5-7プライマリインターフェイス　　6-9プライマリコントローラ　　2-2ブランクパネル　　2-4ブリッジグループ　　7-1ブロードキャストトラフィック　　7-1ブロワーモジュールの冗長性　　4-6

ほ

ポートアグリゲーション　　4-8ポートフェールオーバー　　6-6ポートの冗長性　　2-10ホストの冗長性　　6-1ホットスタンバイ　　2-2ホットスワップ　　4-3, 4-5ボンディングドライバ　　6-6

ま

マージ解除、物理ポート　　6-5マージ、物理ポート　　6-4マスター Subnet Manager　　5-1マニュアル

関連　　x対象読者　　vii表記法　　ixマニュアルの構成　　viii

マルチ IC スイッチ　　4-7マルチキャストトラフィック　　7-1

ら

ラインインターフェイスモジュール　　2-6

り

リカバリモード　　2-3リセット　　2-2リブート　　2-2略語　　1-1

ろ

ロードバランシング　　4-8, 6-10

cisco sfs infiniband 冗長性 コンフィギュレーション … 1 概要 1-1 chapter 2 cisco...

Documents

cisco sfs infiniband 冗長性コンフィギュレーション … 1 概要 1-1 chapter 2 cisco...