ブロケード fc ファブリックスイッチオペレーション講座（前編）

ブロケード FC ファブリックスイッチオペレーション講座（前編）

はじめに

本資料はFabric OSが稼働するBrocade Fibre Channelスイッチの操作を理解するための参考資料として作成しています。

資料内に出てくるコマンド及び出力結果はFabric OS 7.3を元にしていますが、バージョンによっては結果が異なる場合があります。

詳細情報はFabric OS Command Reference及びAdministrator’s Guideをご参照下さい。

Brocade FC Switch Operation 1/2 2

目次

• SANスイッチ操作に必要な概念

• SANスイッチの初期設定

• 日常運用のための設定

‒ ゾーニング

‒ ファームウェア保守

• GUI画面集

‒ Webtool

‒ Brocade Network Advisor と SAN Health


SANスイッチ操作に必要な概念


ファイバ/チャネルのフレームヘッダ構造 Fibre ChannelのフレームとEthernetのフレームの相違

• Ethernetと同様に、送信先・送信元・フレームの管理方法についての情報がある

• FC特有な物としてOX_ID, RX_IDという項目がある。

• 転送は FCID ベースで行なう(Ethernet は MAC)


R_CTL Destination Address (D_ID)

CS_CTL Source Address (S_ID)

SEQ_ID DF_CTL SEQ_CNT

OX_ID (Originator Exchange ID)

RX_ID (Responder Exchange ID)

Parameter Field

TYPE Frame Control (F_CTL)

Word 0

Word 1

Word 2

Word 3

Word 4

Word 5

R_CTL: Routing Control Field CS_CTL: Class Specific Control Field DF_CTL: Data Field Control

Destination MAC

Destination MAC Source MAC

Source MAC

Type/Length field

<参考> Ethernet Frame

ファイバチャネルアドレス IPの世界における、DHCPによるIPアドレスの割り当てに相当


• ファイバチャネルアドレスとは

‒ Fabric に接続されたデバイスの各ポートに割り当てられるアドレス番号

• 送信元: S_ID

• 送達先: D_ID

‒ デバイスが Fabric にログインするプロセスの中で、スイッチがデバイスに対してファイバチャネルアドレスを通達する

‒ 24 bits (3 bytes) のアドレス空間

• ドメイン ID 部 (8 bits) … スイッチのドメイン番号(1～239) ⇒1ファブリックで最大239スイッチ

• ポート ID (エリア ID) 部 (8 bits) … スイッチのポートを特定する番号

• AL_PA 部 (8 bits) … ループ内のデバイスを特定。Fabric デバイスでは通常 00。最近はNPIVのノードIDとして使用

X X Y Y Z Z

Domain Port (Area)

AL_PA (Node)

ファイバチャネルアドレス (24-bits)

8-bits 8-bits 8-bits

World Wide Name Ethernetの世界における、MACアドレスに相当

• WWN とは

‒ 各 Fabric デバイスが保有する固定値

• 64 bits

‒ MACアドレスは 48bit

• ベンダーは IEEE よりアドレスブロックの割り当てを受けて、WWN内に組み込んで使用

• スイッチ、HBA、ストレージのそれぞれがWWNを持つ

‒ MAC レイヤを使うもの(ポート)が持つ

‒ ２種類のWWN

• Node WWN

‒ ノードとして保有する WWN

• Port WWN

‒ ポートとして保有する WWN


Node WWN 10:00:00:60:69:90:02:c0

Port WWN 20:06:00:60:69:90:02:c0

Port WWN 10:00:00:00:c9:26:41:8a 10:00:00:00:c9:26:41:8b

Node WWN 20:00:00:00:c9:26:41:8a

Port WWN 20:09:00:60:69:90:02:c0

Port WWN 10:00:00:00:0e:24:4d:19

Node WWN 10:00:00:80:17:84:74:dc

サーバ

ストレージ

HBA

Brocade Switch の WWNの例 MACアドレス同様に、ベンダコード(OUI)が埋め込まれる位置がある

• WWN のフォーマット

‒ 2 Bytes: 標準+ベンダ固有値

‒ 3 Bytes: IEEE 割り当て

‒ 3 Bytes: ベンダ固有値

• Brocade Switch の WWN

‒ IEEE 割り当て部分

• 00:60:69 または 00:05:1e など

‒ Node WWN

• 10:00:00:60:69:xx:yy:zz

‒ Port WWN

• 20:PP:00:60:69:xx:yy:zz


10:00:00:60:69:90:02:c0

ベンダ固有値

IEEE からの割り当て

20:06:00:60:69:90:02:c0

Brocade Switch の Port WWN は 2 で開始

スイッチのポート番号マザーボードのシリアル番号 (スイッチのシリアル番号とは別)

Fabric ポートの対応デバイスおよびスイッチにおけるポートの種類


Switch Port

Device (Node) Port Fabric

Node N_Port F_Port F_Port

E_Port

E_Port

FL_Port

Node N_Port

Switch 2

Switch 1

Node NL_Port

Node NL_Port

Node Port

(直接にFabricアタッチされたデバイス)

Node Loop Port

(ループにアタッチ

されたデバイス)

Universal Port

(汎用ポート)

Fabric Port

Expansion Port

(switchからswitch)

Fabric

Loop

Port

U_Port

Fabricプリンシパルスイッチ

• プリンシパルスイッチ = Fabric内に1個だけ存在

‒ Domain Address Manager (固有のDomain IDを割当てる)

‒ 時刻の同期（非Virtual Fabric環境のみ）

• プリンシパルスイッチの選定

‒ 最も WWN が低いスイッチがプリンシパルスイッチになる（設定情報は全てのスイッチが保有）

‒ プリンシパルスイッチとなるスイッチをあらかじめ明示的に指定しておくことも可能（fabricprincipal）


プリンシパルスイッチ

私はこのファブリックの代表です。あなたのDomain IDは６を使ってください

新たにこのファブリックに参加します。Domain IDを割り当ててください

１２３４

５

Fabric Login 通信


11

1) Login Serverへのlogin処理は、 WindowsやNISドメインへのログイン処理に該当 2) Name Serverへのlogin処理は、 DNSサーバへ名前解決のための登録を行う処理に該当

• ネットワークへのログイン (Fabric Login - FLOGI)

• Name Server への登録 (Port Login - PLOGI)

• 通信する許可を得る (Port Login - PLOGI)

ファブリック

Name Server (x‘FFFFFC’)

Login Server (x‘FFFFFE’) サーバストレージ

スイッチのポート番号３番に接続

ドメインID = 9

スイッチのポート番号１番に接続

FCアドレス

090300

サーバ： 090300

ストレージ： 090100

⑪PLOGI（接続要求）

⑫Accept（接続許可）

ストレージの FCアドレスは「090100」！

Extended Link Service

FCアドレス

090100

Registered State Change Notification RSCNの役割と発生要因

• ファブリックの状態変更を通知

‒ Nx_Port対象

‒ ファブリックにログインしているポートに通知

‒ 対象となるNx_PortはClass 2もしくは3をサポート

• SCR (State Change Registration)

‒ RSCNを受け取るように事前に登録

‒ スイッチはSCRを行ったデバイスにRSCNを送信

• 以下の起因により発生

‒ Nx_Portのログイン

‒ Nx_Portのログアウト

• HBA障害、ポート障害など含む

‒ ファブリックの構成変更 (Reconfigure)

‒ Zone情報の変更

• RSCNはファブリック (スイッチ)より送信される

‒ RSCN受信時の動作はデバイス (サーバ/ストレージ)の実装に依存 Brocade FC Switch Operation 1/2 12

デバイス障害、ポート障害により、RSCN発生

RSCN発生をファブリック内のデバイスに通知

新規デバイス追加により、 RSCN発生

RSCN発生をファブリック内のデバイスに通知

×

×

E_Port

F_Port

Fabric OS コマンドの特徴

• モードがない

‒ Ethernetスイッチのコマンドの様に設定モードなど階層構造ではない

• Show/enable/disableなどの動詞でコマンド名が終わる

‒ zonecreate, ipaddrset, switchstatuspolicyset, switchshow など

• インタラクティブモードと引数での設定が混在

‒ コマンドによって、カンマで複数の引数を区切るものと、オプションと引数をスペースで区切るものがある

• FOSの歴史的な要因で古くから存在するコマンドと新しく実装されたコマンドで引数の指定方法が異なる

• zonecreate “zone1”, “1,1;1,2” (FOS1.x/2.x由来)

• ipaddrset -ls 128 --add 10.32.72.70/24 (FOS4.x以降)

• Tabによるコマンドの補完、ヒストリ検索

• Help コマンドによるオンラインヘルプ


ライセンス機能一覧

ライセンス名機能機能分類備考

Port on Demand (PoD) Box型スイッチにおいて使用可能なポート数を拡張する機能接続拡張 Brocade6505,6510,6520用

ISL Trunking (TRK) ISLの帯域を拡張する接続拡張フレームレベルの負荷分散パフォーマンス

ISLの耐障害性を高める可用性

Extended Fabrics (EF) 10km以上100km程度の遠隔地とFC接続する（メトロ接続）接続拡張

Advanced Performance Monitor (APM) End to End デバイス間のパフォーマンスを計測する

監視・管理 FOS7.2以降でFabric Visionへ統合ファブリック内で負荷をかけているデバイスを特定する(Top Talker)

Fabric Watch (FW)

スイッチからイベントのメール通知させる

監視・管理 FOS7.2以降でFabric Visionへ統合

閾値設定によって障害予兆を監視・通知する

SANスイッチのCPU/メモリー使用率を計測する FOS7.4以降は標準機能

動作不安定になったポートを自動的にオフラインにする (Port Fencing) 可用性

Fabric Vision (FV) End-to-End性能情報や管理項目しきい値設定の変更、3rd Party Device Diagnostics Port機能などの運用管理のための先進機能

監視・管理 FOS7.2で登場 (FW/APM を統合したもの）

Integrated Routing (IR) ローカルとリモートのファブリックをマージせずに接続する接続拡張 Brocade6510,6520,8510,7800,7840用

Full Fabric (FF) SANスイッチ同士をカスケード接続する接続拡張 Brocade300専用 Gen5製品は標準機能

Enhanced Group Management (EGM) Network Advisorでスイッチを管理する監視・管理 Gen5製品以降は標準機能

Adaptive Networking (AN) FC経路上でQoSを行う

パフォーマンス FOS7.2以降は標準機能として統合デバイスから送られるトラフィックの帯域を制限する(Ingress Rate Limit)

Server Application Optimization (SAO) 仮想サーバ・アプリケーション毎のQoSを行う (対応HBA使用時) パフォーマンス

ICL POD / Enterprise ICL (ICL) Brocade 8510シャーシ間を接続し、大規模SANを構成する接続拡張 Brocade8510専用

10G Activation (10G) 10GbE FCIP / 10Gbps FCを使用する接続拡張 Brocade6510,6520,8510専用

FICON CUP (CUP) FICON環境でメインフレームのin-band Managementを利用する監視・管理 Brocade6510,8510,7800,7840 FICON専用

Accelerator FICON (AFI) FCIP接続でXRCやテープデバイスを利用するパフォーマンス Brocade7800,7840,8510 FCIP専用

Advanced Extension (AE) WAN回線を束ねて広帯域/高可用性FCIP接続をする (FCIP Trunking)

パフォーマンス Brocade7800,7840,8510 FCIP専用 WAN回線を複数のFCIP接続で共有しWANを効率よく利用する (Advanced Rate Limit)


Brocade製品に関する技術情報 Brocadeの技術資料はMyBrocade (http://my.brocade.com/)から入手可能

• Fabric OS Release Note

‒ Fabric OSの新機能やサポート構成、修正された障害情報などを記載

• Fabric OS Command Reference Manual ‒ Fabric OSのコマンドの使用方法を解説

• Fabric OS Admininstrator’s Guide ‒ Fabric OSベースのスイッチの機能や管理方法を紹介

• Hardware Reference Manual ‒ 各製品のハードウエアに関する情報

• Fabric OS Message Reference ‒ Fabric OSで出力されるメッセージとその対処方法を紹介

• Troubleshooting and Diagnostics Guide ‒ Fabric OSベースのスイッチ/ダイレクタ製品のトラブルシューティングの手法を解説

• Brocade Fabric OS Compatibility Matrix ‒ Brocadeおよびパートナー企業が検証済みの機器をリスト(www.brocade.comから取得可能)


http://www.brocade.com/

SANスイッチの初期設定


初期設定の概略


シリアルポート接続管理用IPアドレス設定

パスワード設定

セキュリティ設定

時刻/タイムゾーン設定

オプションライセンス導入

switchname/chassisname 設定

ゾーン設定

オプション

SNMP/syslog の設定

FOS アップグレード

初期設定開始 (結線済み)

使用開始

その他の設定

ドメイン ID 設定

設定情報の保存

スイッチの設定一番最初はシリアルコンソールから設定

• シリアルコンソールから設定

‒ RJ-45タイプのコネクタ

‒ 製品に付属の D-sub9 への変換ケーブルでシリアル接続

• 設定

‒ 速度 : 9600 bps

‒ データビット : 8

‒ パリティ : なし

‒ ストップビット : 1

‒ フロー制御 : なし


シリアルポート

(10101)

B8510ダイレクタの場合、

2個(CPブレード毎に1個)

シリアルポートでの設定管理ネットワークを使う前に、まずシリアル接続

• Windows

‒ Teraterm,putty 等のツールを使用

• Linux/Solaris/Mac OS X

‒ tip hardwire

‒ cu –l /dev/<usbserialデバイス>

‒ screen /dev/<usbserialデバイス>


Serial/telnet/ssh が同様に使用できるツールがおすすめ

putty

terminal

スイッチのデフォルト設定 ※ベンダーモデルによって異なる場合があります


IP アドレス

10.77.77.77 (スイッチ)

10.77.77.75 (director:cp0)

10.77.77.74 (director:cp1)

ネットマスク 255.255.255.0

ユーザ admin

パスワード password

スイッチ名 switch

Timezone PST

IPアドレスの設定


switch:admin> ipaddrset Ethernet IP Address [10.77.77.77]: 10.1.2.3 Ethernet Subnetmask [255.255.255.0]: 255.255.240.0 Fibre Channel IP Address [0.0.0.0]: <通常は未指定> Fibre Channel Subnetmask [255.255.0.0]: <通常は未指定>

Gateway IP Address [0.0.0.0]: 10.1.2.254 DHCP [OFF]: switch:admin> ipaddrset -ls 128 --add 10.32.72.70/24 IP address is being changed...Done. switch:admin>

インタラクティブ設定

(引数なしでコマンドを実行)

引数で設定 (引数で設定内容を指定)

IPアドレス設定の確認


switch:admin> ipaddrshow SWITCH Ethernet IP Address: 10.32.72.9 Ethernet Subnetmask: 255.255.240.0 Gateway IP Address: 10.32.64.1 DHCP: Off IPFC address for virtual fabric ID 128: 10.32.72.70/24

IPアドレスの表示

IPアドレスの設定コマンド


IP アドレス設定 ipaddrset

IP アドレス設定表示 ipaddrshow

IP アドレス設定の削除 Ipaddrset --clear

ipaddrset -cp cp_number -ipv4 -add -host hostname -ethip ipaddress -ethmask mask -gwyip gateway_ip

IPアドレスその他の設定を一度に行うときの例

アカウントパスワードの設定


switch:admin> passwd Changing password for admin Enter new password: Re-type new password: Password changed. Saving password to stable storage. Password saved to stable storage successfully. switch:admin> passwd -old password -new adminpass Password changed. Saving password to stable storage. Password saved to stable storage successfully.

インタラクティブ設定

(引数なしでコマンドを実行)

引数で設定

(引数で設定内容を指定)

パスワードポリシの設定パスワードの文字種類や長さを指定することでセキュリティ強化（任意）


switch:admin> passwdcfg --showall

passwdcfg.minlength: 8

passwdcfg.lowercase: 0

passwdcfg.uppercase: 0

passwdcfg.digits: 0

passwdcfg.punctuation: 0

passwdcfg.history: 1

passwdcfg.minpasswordage: 0

passwdcfg.maxpasswordage: 0

passwdcfg.warning: 0

passwdcfg.lockoutthreshold: 0

passwdcfg.lockoutduration: 30

passwdcfg.status: 0

passwdcfg.reverse: 0

パスワードポリシの設定パスワードの有効期限の設定（任意）


switch:admin> passwdcfg --set -uppercase 2 -maxpasswordage 90

switch:admin> passwdcfg --setuser admin -minpasswordage 2 ¥

-maxpasswordage 5 -warning 3

switch:admin> passwdcfg --deleteuser -all

All user password configurations are removed

switch:admin> passwdcfg --deleteuser admin The user(admin) password configurations are removed

セキュリティ設定 telnet (TCP:22)の停止でセキュリティ強化（任意）


switch:admin> ipfilter --addrule ex1 –rule 1 -sip 192.168.0.1 -dp 22 -proto tcp -act permit

switch:admin> ipfilter --activate ex1

switch:admin> ipfilter --show

Name: default_upv4, Type: ipv4, State: active

Rule Source IP Protocol Dest Port Action ・・・途中省略

Name: ex1, Type: ipv6, State: active

Rule Source IP Protocol Dest Port Action 1 192.168.0.1 tcp 22 Permit

switch:admin>

switch:admin> ipfilter --save ex1

使用するポートは要件により変わります

RADIUS・LDAPによるアクセス認証ユーザー認証を外部認証サーバで行う

• RADIUS・LDAPプロトコルを利用したユーザー認証

‒ Authentication,Authorization,and Accounting (AAA)情報に関してRADIUSまたはLDAPサーバを利用

‒ 認証は管理アカウントの認証が対象 (FCデバイス接続に関する認証ではない)

‒ 認証サーバは5台まで構成可能

‒ 認証サーバがダウンした場合はSwitch Databaseを利用

‒ 認証サーバで認証失敗した場合、Switch Databaseを使用する・しないは設定次第

‒ aaaconfigコマンドで設定


RADIUS1

管理コンソール

① ②

③

④ ⑤

⑥

スイッチ

RADIUS2

① アクセス要求

② RADIUS1へ認証要求

③ 認証応答

（③でtimeoutした場合）

④ RADIUS2へ認証要求

⑤ 認証応答

（⑤でtimeoutした場合）

⑥ Switch DBによる認証

スイッチ名,シャーシ名の設定

• スイッチ名スイッチもしくは論理スイッチの名前 • シャーシ名ダイレクタの筐体名もしくはVirtual Fabricがある場

合のハードウェア名


switch:admin> switchname hoge

Committing configuration...

Done.

Switch name has been changed.Please re-login into the switch for the change to be applied.

switch:admin> exit

my-mac:~ usera$ ssh [email protected]

hoge:admin>

ライセンスの導入手順 - 1(メーカによってはユーザは設定できません)

• スイッチにログイン

• licenseidshow コマンドを使い、ライセンスID (LID)を取得

‒ 右の例では10:00:00:05:33:zz:yy:xxが必要な情報

‒ メモしておく (texteditorなどにコピーしておくと確実)


switch:admin> licenseidshow 10:00:00:05:33:zz:yy:xx

ライセンスの導入手順 – 2

• トランザクションキーのパッケージからトランザクションキー(紙)を出す

• my.brocade.com にアクセスし、自分のアカウントでログイン(なければ無料で作成)

• Software License Keys を選択


トランザクションキー

SLK

ベンダーによってURLが異なることがあります。

詳細はライセンスパック（トランザクションキー）に記載されている手順を参照してください

トランザクションキーは数字の0～9,アルファベットA～Fまでの文字で構成されています。L(エル）やO(オー)は使いません。

ライセンスの導入手順 - 3

• License Management の中の必要なOSを選択し、License Generation を選択する

• 必要な項目を入力し、Generate をする

‒ Unique ID は licenseidshow の結果をペーストする

‒ Transaction Key を入力し、確認する

‒ 誤って生成してしまうと、その場での再発行はできないので要注意


ライセンスの導入手順 - 4

• 生成されたライセンスコードを入力


switch:admin> licenseadd DXXtN3LmRSMWCSW3XmfSBPfrWKLZ3HMTN

adding license-key [DXXtN3LmRSMWCSW3XmfSBPfrWKLZ3xxxx]

switch:admin> licenseshow

be9cSRSQyRcxxxxx:

Ports on Demand license - additional 12 port upgrade license

C4aFTCZr9E9WYBWXR4WfWRGMSMHSxxxxxxxxx:

Extended Fabric license

Fabric Watch (Fabric Vision capable) license

Performance Monitor (Fabric Vision capable) license

Trunking license

Adaptive Networking - obsolete license

Server Application Optimization - obsolete license

代表的なライセンス関係コマンド


ライセンスユニークIDの表示 licenseidshow

ライセンスの表示 licenseshow

ライセンスの追加 licenseadd

ライセンスの削除 licenseremove

タイムゾーンの設定タイムゾーンを日本標準時(JST)に設定（各スイッチ毎に設定）


switch:admin> tstimezone

Time Zone Hour Offset: 0

Time Zone Minute Offset: 0

switch:admin> tstimezone –interactive

Please identify a location so that time zone rules can be set correctly.

Please select a continent or ocean.

1) Africa

2) Americas

3) Antarctica

4) Arctic Ocean

5) Asia 以下省略

Enter number or control-D to quit ?5

次ページに続く

タイムゾーンの設定（続き）


Please select a country.

1) Afghanistan 18) Israel 35) Palestine

2) Armenia 19) Japan 36) Philippines 以下省略

Enter number or control-D to quit ?19

The following information has been given:

Japan

Therefore TZ='Asia/Tokyo' will be used.

Local time is now: Wed Apr 22 11:13:53 JST 2015.

Universal Time is now: Wed Apr 22 02:13:53 UTC 2015.

Is the above information OK?

1) Yes

2) No

Enter number or control-D to quit ? 1

時刻の設定手動の日時設定


switch:admin> date

Tue Oct 22 14:05:10 UTC 2013

switch:admin> date "1022140613"

Tue Oct 22 14:06:00 UTC 2013 MMddhhmmyy 形式で指定

時刻の設定 NTPサーバの設定


switch:admin> tsclockserver 123.123.123.123

Updating Clock Server configuration...done.

switch:admin> tsclockserver

123.123.123.123

switch:admin> tsclockserver "12.134.125.24; 12.234.87.01"

Updating Clock Server configuration...done.

最大8カ所指定可能

Fabric内の時刻同期

• ファイバチャネルファブリックにおける時刻同期の意義

‒ 各スイッチの時刻が同期されることにより、各スイッチのログのタイムスタンプが統一されログ解析時に便利

‒ データI/O等ファブリックの動作に影響しない（スイッチ毎の時刻がずれていてもI/Oに影響しない）

• 非Virtual Fabric環境スイッチにおける時刻同期

‒ Principalスイッチの持つ時刻をE_Port/VE_Port経由(Principal ISL)でSubordinateスイッチへ配信

‒ FCIPも同じ様にFCIPトンネルを経由して同期する

‒ 管理用LANは利用しない

• Virtual Fabric環境のスイッチにおける時刻同期

‒ 各Logical Switchは自身が属するシャーシのDefault Switchの時刻を参照する

‒ Default Switchはtsclockserverコマンドの設定内容に従う

• tsclockserverコマンドは外部NTPサーバを指定するコマンド

‒ tsclockserverでLOCLを指定するとスイッチ内部の時刻を参照

‒ 複数のNTPサーバを指定可能（例:tsclockserver “[NTP IP#1]; [NTP IP#2];･･･” ）

‒ tsclockserverの設定変更はファブリック内のスイッチにも同様に伝播する ※どこかのスイッチで設定を変更すると他のスイッチの設定も同じように変更される

‒ NTPサーバは8つまで登録可能

‒ NTPサーバへの参照は64秒毎

‒ FCスイッチの時刻は閏秒もサポートしている Brocade FC Switch Operation 1/2 39

FCスイッチの時刻参照先非Virtual Fabric環境とVirtual Fabric環境で参照の仕組みが異なる

Brocade FC Switch Operation 1/2

LS

DS

DS: Default Switch LS: Logical Switch FID: Fabric ID

LS

NTP Server

Principalはtsclockserverの設定に従い、NTP Serverの時刻を参照する。 tsclockserverの設定はSubordinateにも反映されるが、SubordinateはFC ISLを経由してPrincipalの時刻を参照する。

NTP Server

P ISL

S 管理

LAN

P: Principal Switch S: Subordinate Switch

S P

LSはPrincipal/Subordinateに関係なく、DSの時刻を参照する。 DSはtsclockserverの設定に従い、NTP Serverを時刻を参照する。 tsclockserverの設定内容は各FID毎に個別設定可能だが、LSではこの設定は使用されない

管理

LAN

非Virtual Fabric環境 Virtual Fabric環境

DS

ISL

LS LS S P

S P

ISL

ISL

FID:1 FID:1 FID:2 FID:2

FID:128 FID:128

このISLを繋いでもPrincipalとSubordinateの時刻同期はしない

40

Domain ID の設定

• ドメインIDとは

‒ スイッチの識別ID

‒ FC アドレス空間の先頭1バイト

‒ マニュアルで割り当てる必要性は必ずしもない

• 自動設定が可能

‒ プリンシパルスイッチがアサイン

• 管理上は手動設定が望ましい

• Zone を Domain ID, Port Number で設定する場合は必ず手動で指定する

• Insistent Domain IDモードに設定すると自動設定されない

switch:admin> switchshow switchName: switch switchType: 118.1 switchState: Online switchMode:Native switchRole: Subordinate switchDomain: 1 switchId: fffc01 switchWwn: 10:00:00:05:33: zoning: ON switchBeacon: OFF Index Port Address Media Speed ============================== 0 0 010000 id N16 1 1 010100 id N16 2 2 010200 id N16


Domain ID の設定

• Switchdisable でスイッチを disable 状態にする

• Configure コマンドでdomain IDを設定

‒ Fabric parameter の設定

• Domain ID を入力

• Control + D でinteractiveモードを抜ける

• Switchenable でスイッチを enable 状態にする

• 確認

switch:admin> switchdisable

switch:admin> configure

Configure…

Fabric parameters (yes, y, no, n): [no] y

Domain: (1..239) [1] 101

WWN Based persistent PID (yes, y, no, n): [no] ^D

switch:admin> switchenable

switch:admin> switchshow

switchName: switch

・・・途中省略

switchDomain: 101

switchId: fffc65


設定パラメータのバックアップ設定完了後にバックアップを必ず取得

• コンフィグレーションの保存先

‒ ftp, scp, local, USB


switch:admin> configupload （対話形式）

Protocol (scp, ftp, sftp, local) [ftp]: sftp

Server Name or IP Address [host]: 192.168.38.245

User Name [user]: jdoe File Name [<home dir>/config.txt]: Section (all|chassis|switch [all]): Password: ******

switch:admin> configupload -all -USB config.txt

設定を読み込むためのコマンドは

configdownload

日常運用のための設定


日常運用で起こる設定変更、操作

• ゾーニング設定

‒ ファブリックの中におけるアクセス制御機構の一つ

‒ ファブリックを安定運用する為に必須の設定

‒ ホストやストレージにおけるボリュームマッピング機能(LUN mappingやhost affinityと呼ばれる機能)とは別の機能

• ファームウェア更新

‒ スイッチのファームウェアの更新

‒ トラフィックの途絶は発生しない

‒ ファブリックサービスは停止する時間がある


ゾーニング


ゾーニングファブリック内のアクセスグループを構成する機能


• ゾーニング(Zoning)の目的

‒ Fabric内のNode間のアクセスを制御する機能

• 1つのFabricを論理的なアクセスグループに分割する機能

• Ethernet L2-SwitchにおけるVLAN(Virtual LAN)と似た機能

‒ セキュリティーの向上 • 他のデバイスによるストレージへのアクセスを制限することでデータの一貫

性を保証

‒ 障害伝搬範囲の低減

• RSCNやLIPの伝達範囲を、影響のあるゾーン内に制限

‒ RSCNはソフトウェア処理であるため、大規模環境では負荷が大きい

‒ 無関係なRSCNの受信を低減し、安定したデータI/Oを提供

0 1 2 3 4 5 6 7

8 9 10 11 12 13 14 15

zone2 zone3

zone4 zone1

ゾーン設計 1イニシエーター1ゾーンが推奨

• Zoneのメンバー

‒ Zoneに含めるメンバーは2つの方法で指定可能

• デバイスの固有名(WWN)で指定

‒ WWNゾーニング

• デバイスを接続するスイッチのポートで指定

‒ Portゾーニング

‒ スイッチ間接続ポート(ISL)はメンバーに含めない

• 推奨設計

‒ 1つのZone内には1つのイニシエータのみ指定

• イニシエータ（サーバHBA）のこと

• 複数のターゲット（ストレージ）を含んでも構わない

‒ 一つのメンバーを複数のZoneで指定可能

‒ 同一ファブリック内ではWWNかPortゾーニングで統一

• WWNゾーニング、Portゾーニングの混在も可能だが推奨しない


LUN1

zone2

0 1 2 3 4 5 6 7

8 9 10 11 12 13 14 15

WWN1 WWN2 WWN3

LUN2 LUN3 LUN4 LUN5 LUN6

WWN4 WWN5

LUN1 LUN2 LUN3 LUN4 LUN5 LUN6

zone1 zone3

zone1: (1,0;1,10)

zone2: (1,2;1,10;1,12)

zone3: (WWN1;WWN5)

DomainID:1

Zone Objectの階層構造

• 3つのゾーンオブジェクト

‒ Alias

• ポートやpWWN, nWWNをAlias（別名 ex: Server_1,Disk_A）で定義

• 最大64文字まで

‒ Zone

• ゾーンに所属するメンバーを記述

• 単一のゾーンに3つ以上の複数のメンバーを登録可能

• 同一メンバーは複数ゾーンに所属できる

‒ Zone configuration (もしくはzonesets)

• ファブリック内で有効化するZoneのグループ

• 複数の zone configuration (cfg) を作成できるが、有効化にできるのは一つの cfg のみ


alias D,I pWWN nWWN

zone (alias1;alias2;alias3)

cfg (zone1;zone2)

ゾーニングの導入手順

• エイリアスを作成

‒ WWNやPortロケーション(Domain, Port number)に分かりやすい名前を付けると後の管理が容易

‒ alicreateコマンド alicreate “server_1”,”01:23:45:67:89:ab:cd:ef” alicreate “storage_A”,”1,23”

• ゾーンを作成

‒ アクセスさせるメンバーをまとめたゾーン定義を作成

‒ zonecreateコマンド zonecreate “sample_zone”,“server_2;storage_B”

• ゾーンコンフィグレーションを作成

‒ ゾーン定義を1つ以上含んだコンフィグレーションを作成

‒ cfgcreateコマンド crgcreate “sample_cfg”,”sample_zone1;sample_zone2;sample_zone3”

• ゾーンコンフィグレーションを有効

‒ 作成したゾーンコンフィグレーションを１つ選んで有効化

‒ cfgenableコマンド cfgenable “sample_cfg”

• 情報をセーブ

‒ 動作確認後、問題がなければセーブします（ゾーニング設定編集のみの場合）

‒ cfgsaveコマンド


ゾーンエイリアス別名をつけてデバイス管理を簡単にする

• Alias（別名）はデバイスやデバイスのグループに割り当てる名前

• Aliasを作ることで、デバイスに分かりやすい名前を付けたり、複数のデバイスを一つの名前で扱うことができる

• 面倒なエントリーを簡略化したり、直感的な名前空間を作ることができる

• Zone Aliasesはゾーンオブジェクトの繰り返しの入力、たとえばPort WWNを簡略化する

• Alias指定は以下の制約を持つ

‒ 名前

• アルファベットから始まる

• 大文字、小文字を区別した英数字とアンダースコアのみ

• 最大64文字

‒ メンバー

• Domain, Index (Indexはポート番号のこと)

• Node World Wide Name

• Port World Wide Name

‒ Node WWNがゾーンオブジェクトになった場合、そのデバイスのすべてのポートがゾーンに含まれる

‒ Port WWNがゾーンオブジェクトになった場合、当該ポートだけがゾーンに含まれる


Portゾーニングの設定

• Domain,Index (D,I) の形式で指定

‒ Indexとはスイッチのポート番号のこと

‒ ダイレクタではスロット毎に同じポート番号が存在する為、Indexはダイレクタ筐体全体におけるポートの通し番号

• カスケードポートはメンバーに含めない

• デバイスを入れ替えてもゾーンの変更は不要

‒ サーバHBA,ストレージコントローラの交換保守等

• デバイス接続ポート移動時にはゾーンの変更が必要

‒ FCスイッチのモデル変更、ポート保守等


0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Domain ID:1 Domain ID:2

Storage#A

Storage#B

Server#1

Server#2

Server#3

Blue_Zone 1,10 ; 2,1 Red_Zone 1,12 ; 2,4 Green_Zone 1,14 ; 2,2

Server#1とServer#3のみがStorage#Aにアクセス可能 Server#2のみがStorage#Bにアクセス可能

WWNゾーニングの設定

• デバイスのWWNを指定

‒ pWWNとnWWNどちらでも可能

‒ pWWNを指定するのが一般的

• カスケードポートはメンバーに含めない

• 接続ポートを変更してもゾーンの変更は不要

‒ FCスイッチのモデル変更、ポート保守等

‒ 仮想サーバ(NPIV)デバイスのマイグレーション

• デバイスの入れ替え時にゾーンの変更が必要

‒ サーバHBA,ストレージコントローラの交換保守等

• ゾーンメンバ入れ替えコマンドの実装によりWWNゾーンの運用が容易になっている（FOS7.1以降）

• スイッチのポート構成に依存しないので移行が容易


0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Domain ID:1 Domain ID:2

Storage#A

Storage#B

Server#1

Server#2

Server#3

Blue_Zone WWN_1;WWN_A1 Red_Zone WWN_2;WWN_B Green_Zone WWN_3;WWN_A2

Server#1とServer#3のみがStorage#Aにアクセス可能 Server#2のみがStorage#Bにアクセス可能

WWN_A1

WWN_A２

WWN_B

WWN_1

WWN_2

WWN_3

ゾーニングの実装方法 Brocade スイッチはASICによるHardware Enforced

• ゾーニングの実装方法

‒ Frame based hardware Enforcement

• ASICが送信先ポートをチェックし、ゾーン定義されていない場合はフレームを破棄

• Brocadeの推奨

• Portゾーニング、WWNゾーニング、PortゾーニングとWWNゾーニングが重なっていない状態

‒ Session based hardware Enforcement • PLOGI (+ADISC/PDISC)セッションによる実装

• Name Serverの情報を元にPLOGIセッションでアクセス制御

• Mixedゾーニング、PortゾーニングとWWNゾーニングが重なっている状態

• 同一ファブリック内ではWWNかポートどちらかに統一


ゾーニングの構成名称

ポート(D,P)のみ Portゾーニング

pWWNのみ WWNゾーニング

ポートとpWWN Mixedゾーニング

0 1 2 3 4 5 6 7

8 9 10 11 12 13 14 15

WWN1

Domain 2

(2,0)

Mixed Zoning

Session Enforced

WWN2 WWN3

WWN Zoning

Frame Enforced

(2,9) (2,8)

Port Zoning

Frame Enforced

WWN4 WWN5 (2,14) (2,15)

WWN Zoning

Session Enforced

Port Zoning

Session Enforced

portzoneshowコマンドで実装方法を確認可能

Switch:FID128:admin> portzoneshow PORT: 0 (0) E-Port PORT: 1 (1) F-Port Enforcement: SESSION BASED HARD defaultHard: 0 IFID: 0x43020005 PORT: 2 (2) F-Port Enforcement: HARD WWN defaultHard: 0 IFID: 0x43020002

ゾーンコンフィギュレーションたくさんのゾーン定義をまとめて有効化する

• Zone Configurationは、有効にしたいゾーン定義の集合体

‒ ゾーン定義は複数のzone configurationに属することができる

‒ 複数のconfigurationを用意して用途毎に使い分ける（本番用、保守用等）

‒ Zone configurationを有効にすると、zone configurationに含まれる全てのゾーンが有効となる

• Defined configuration

‒ ファブリックで定義されたすべてのゾーンオブジェクト

• Effective configuration

‒ 今有効になっているzone configuration

‒ zone configurationを有効にした時点で形成される


B6510-01:FID128:admin> cfgshow Defined configuration: cfg: Smpl_cfg Zone_1 zone: zone_1 Svr_1; Stor_1 alias: Stor_1 50:0a:09:81:99:fb:8f:f9 alias: Stor_2 50:00:00:e0:da:81:38:30 alias: Svr_1 10:00:8c:7c:ff:08:f9:00 Effective configuration: cfg: Smpl_cfg zone: Zone_1 10:00:8c:7c:ff:08:f9:00 50:0a:09:81:99:fb:8f:f9

Zoning関係コマンド


Create

オブジェクト

作成

Delete

オブジェクト

削除

Add

メンバー追加

Remove

メンバー削除

Replace

メンバー入替

(FOS7.1～)

Renameオブジェクト

名変更

Show

設定表示

Alias aliCreate aliDelete aliAdd aliRemove zoneObjectReplace

zoneObjectRename

aliShow

Zone zoneCreate zoneDelete zoneAdd zoneRemove zoneShow

Config cfgCreate cfgDelete cfgAdd cfgRemove － cfgShow

Zone 設定の有効化 cfgEnable

Zone 設定の無効化 cfgDisable

Zone 設定の Flash への格納 cfgSave

Zone 設定のクリア cfgClear

その他

Zoning操作

• ゾーンを有効にする

‒ Cfgenableコマンドを使う

‒ 指定されたzone configurationは未定義なゾーン名、ゾーンの別名、その他の一貫性に誤りが無いかを確認される

‒ 失敗した場合、直前の状態が維持される（ゾーンが無効か、直前に有効であったzone configurationが有効）

• ゾーンを無効にする

‒ Cfgdisableコマンドを使う

‒ ゾーンを無効にするとDefault Zoneで指定したアクセスポリシーが適用される (All Access / No Access)

• ゾーンを削除する

‒ Cfgclearコマンドを使うと、全てのゾーン情報が削除される

‒ Cfgclearをコマンドを使った後、cfgsaveコマンドを使って全てのスイッチのフラッシュメモリの設定を削除する

‒ ゾーンデータベースを完全に削除するには下記コマンドを実行

• Cfgdisable ; Cfgclear ; cfgsave


Zoning操作（続き）

• ゾーンを保存する

‒ Cfgsaveコマンドは、現在編集中のゾーン設定を保存する

‒ Cfgenableでゾーンを有効化したときも自動的に保存される

‒ ゾーン設定が保存されると、defined configurationおよびeffective configurationがファブリックのすべてのスイッチのフラッシュメモリに書き込まれる

‒ 保存された設定は、電源投入時に呼び出される

‒ Configurationを保存する際には、有効なconfigurationが正しいかどうかを、有効にするときと同じように確認する

• テストに失敗するとエラーとなり保存に失敗する

‒ Cfgsaveコマンドは現在のトランザクションを終了しコミットする

• ファブリック内の別のスイッチでトランザクションがオープンな状態の場合、cfgsaveを実行すると別のスイッチのトランザクションは自動的にアボートされ、メッセージが表示される

‒ Defined configurationがサポートされているゾーンデータベースのサイズを上回った場合、以下のメッセージが表示される

Commit zone DB larger than supported - <zone db size> greater than <max zone db size>


Zone DBとトランザクション

• ゾーン情報は、スイッチ内でデータベース (Zoning DB)として保持されている

‒ cfgsizeコマンドでDBサイズを確認

• v2.6.x,v3.1.xは96KB、v3.0.x, v4.0～4.2.xは128KB、v3.2.x, v4.4.x, v5.0～5.1.xは256KB

• v5.2x以降,v6.x以降は1MB

‒ 複数のスイッチで構成されるファブリックのゾーンDBの最大値はDBサイズの小さいFOSバージョンに合わせる

• ゾーンオブジェクトの作成・編集は、「トランザクション」として管理される

• 以下のコマンド実行時にトランザクションは「コミット」される

‒ cfgenable/cfgdisable、cfgsave

• コミット時にリモートスイッチとZoning DBを同期

‒ cfgtransshowコマンド

• トランザクションIDと中止 (abort)可能かどうかを表示

‒ cfgtransabortコマンド

• トランザクションを中止 (abort) = 「ロールバック」


エイリアス (alias) 作成

ゾーン (zone) 作成

コンフィグ (zone config) 作成

コンフィグ有効 (cfgenable)

トランザクションのコミット

トランザクションのロールバック

(cfgtransabort)

Zoning コマンドの実行例とメモリイメージゾーニング設定後は有効化するか編集内容を保存する

aliCreate “Alias_Name1”,”member10;member11…”

aliCreate “Alias_Name2”, “member20;member21…”

zoneCreate “Zone_Name1”, “Alias_Name1; Alias_Name2”

zoneCreate “Zone_Name2”, “Alias_Name1; 1,2; WWN5”

zoneCreate “Zone_Name3”, “2,13; 3,14; 5,15”

cfgCreate “Cfg_Name1”, “Zone_Name1; Zone_Name2”

cfgCreate “Cfg_Name2”, “Zone_Name3”

cfgEnable “Cfg_Name1”

cfgSave


設定の定義

Enable な設定

不揮発メモリ揮発メモリ

Default Zoning

• Default Zoneは、zoningが無効になっている場合のデバイスアクセスを制御する

• defzone –allaccess により、全てのデバイスがアクセス可能

• defzone –noaccess により、全てのデバイスで通信不可

• Default zoneはユーザーが定義したゾーン設定が無効な場合に効力を持つ

• Default zoneの機能はファブリック単位で設定により有効・無効にできる

‒ Default zoneはFC-GS (Fibre Channel – Generic Service) 標準に基づく

• defzoneコマンドはdefault zoneの設定と現在の設定の表示を行う

• Default zoneの設定はzoningのトランザクションバッファに保存される

‒ 通常、cfgsaveによりcommitされる

‒ Cfgenableあるいはcfgdisableもcfgsaveと同様にcommitを暗黙的に行う

‒ Cfgtransabortコマンドにより、defzoneコマンドの結果もアボートできる


ゾーニング関連コマンドの機能拡張 FOS7.1で実装されたゾーンメンバーの入れ替えコマンド

• zoneObjectReplaceコマンド

‒ ゾーンメンバー (WWN/Domain,Index)を、他のメンバーと置き換え

‒ Zone DB上のすべてのオブジェクトを置き換え

‒ TI Zoneなど特殊なゾーンは対象外

‒ 入替後に設定を有効にするには、cfgEnableコマンドを実行


B6510-01:FID128:admin> zoneshow Defined configuration: cfg: smpl_cfg smpl_zone zone: smpl_zone stor_0; svr_0 alias: stor_0 50:0a:09:81:99:fb:8f:f9 alias: stor_1 50:00:00:e0:da:81:38:30 alias: svr_0 10:00:8c:7c:ff:08:f9:00 Effective configuration: cfg: smpl_cfg zone: smpl_zone 50:0a:09:81:99:fb:8f:f9 10:00:8c:7c:ff:08:f9:00

B6510-01:FID128:admin> zoneobjectreplace “50:0a:09:81:99:fb:8f:f9” “50:0a:09:81:99:fb:ab:cd” B6510-01:FID128:admin> zoneshow Defined configuration: cfg: smpl_cfg smpl_zone zone: smpl_zone stor_0; svr_0 alias: stor_0 50:0a:09:81:99:fb:ab:cd alias: stor_1 50:00:00:e0:da:81:38:30 alias: svr_0 10:00:8c:7c:ff:08:f9:00 Effective configuration: cfg: smpl_cfg zone: smpl_zone 50:0a:09:81:99:fb:8f:f9 10:00:8c:7c:ff:08:f9:00

ゾーニング関連コマンドの機能拡張 FOS7.1からAliasをワイルドカード指定可能

• Aliasにおけるワイルドカード (*)の使用

• zoneCreate/zoneRemoveコマンドなどで、Aliasをワイルドカード指定が可能


B6510-01:FID128:admin> zonecreate “new_zone”,”s*” B6510-01:FID128:admin> zoneshow Defined configuration: cfg: smpl_cfg smpl_zone zone: new_zone stor_0; stor_1; svr_0 zone: smpl_zone stor_0; svr_0 alias: stor_0 50:0a:09:81:99:fb:8f:f9 alias: stor_1 50:00:00:e0:da:81:38:30 alias: svr_0 10:00:8c:7c:ff:08:f9:00

ゾーニング関連コマンドの機能拡張 FOS7.1からトランザクションの差分情報表示

• zoneShow/cfgShowコマンド: 以下のオプションを追加

‒ -transdiffs: 実行中のトランザクション情報を含めて、ゾーン情報を表示

‒ -trasdiffsonly: 実行中のトランザクションがあるゾーン情報のみを表示

• 表記については以下の通り

‒ “*”: 変更が行われているゾーン (トランザクションが実行中)

‒ “+”: トランザクションで追加されたメンバー

‒ “-”: トランザクションで削除されたメンバー


B6510-01:FID128:admin> zoneshow --transdiffs Defined configuration: cfg: smpl_cfg smpl_zone *zone: +new_zone stor_0; stor_1; svr_0 zone: smpl_zone stor_0; svr_0 alias: stor_0 50:0a:09:81:99:fb:8f:f9 alias: stor_1 50:00:00:e0:da:81:38:30 alias: svr_0 10:00:8c:7c:ff:08:f9:00

B6510-01:FID128:admin> zoneshow --transdiffsonly *zone: +new_zone stor_0; stor_1; svr_0

Zoning 設定における注意事項

• Zone 設定はファブリック内に伝播する

‒ どこかのスイッチで行った変更は、全てのスイッチに自動的に伝播する

• トラフィックは中断しない

• Zone 更新はトランザクション処理

‒ ファブリック内で同時に複数箇所からZone変更はしない運用が望ましい

• トランザクションの矛盾が発生する可能性（設定保存時にワーニングで通知される）

• ZoneのメンバーはデバイスのWWNもしくはポートのみ指定

‒ ISLポートは含めない（ただし、Traffic Isolation Zoning等の特殊なZoningは除く）


ゾーニングの設計まとめ

• LUNマスキングをする/しないに関わらず、ファブリックでゾーニング設定は必ず実施

• メンバー指定はpWWNで統一するのがセキュリティと操作の一貫性において推奨

• エイリアスを作成するとデバイスの特定が容易

• オブジェクトの名前は判りやすく、かつ最小限の文字数にする

• 1イニシエーターにつき1ゾーニングを定義(Single Inisiator Zoning)

‒ ターゲットは複数でもよい

‒ DiskストレージとTapeストレージは別ゾーンに分ける

• default zoneはnoaccessを設定

• ゾーン設定するスイッチ

‒ (エッジスイッチよりも)コアスイッチから実施した方が良い

‒ Fabric OSのバージョンの新しいスイッチから実施した方が良い

• ゾーン情報はconfiguploadコマンドでバックアップ Brocade FC Switch Operation 1/2 66

コアスイッチ

エッジスイッチ

FOS6.x

FOS7.x (最新)

FOS7.x

fcpingによるデバイス接続確認

• fcpingコマンド

‒ Fibre Channel ELS ECHOリクエストを発行

‒ 送信元とあて先をファイバチャネルアドレス (24ビット/3バイト)またはWWNで指定

‒ ゾーニングのチェックなどに有効

‒ ELS ECHOリクエストは、fcpingコマンドを発行したスイッチのEmbedded Port (SID = 0xFFFCxx, xx = domain id)から発行される

‒ fcpingコマンドを発行するスイッチは、source/destinationのいずれかを含むスイッチとすることを推奨

‒ 第三者となるスイッチから発行することも可能だが、送出されるリクエストは実際の経路と異なる場合がある

‒ 全てのデバイスがELS ECHOに対応しているとは限らないので注意


fcpingはSANスイッチからSource/Destinationデバイスに送信

特殊なゾーニングトラフィックを制御する特別なゾーニング

• トラフィック制御を目的とするゾーニング

‒ LSAN zone • 独立したファブリック間をルーティングする論理SANを構成する

‒ Traffic Isolation zone (TI zone) • 静的にISL経路を指定する

‒ QoS zone

• 特定のホストとターゲットの間のトラフィックに優先度を設定


LSAN Zone

• LSAN (Logical SAN)ゾーン

‒ 異なるセグメント間のデバイス同士をpWWNゾーン定義することで通信を実現する（要FC Routing）

‒ ゾーン定義名を”lsan_”で始まる文字列にする（大文字可）


Backup

DataBase

Traffic Isolation 静的な経路指定手段

• ファブリック上に専用の経路を設定

‒ 通常のゾーン定義とは別定義

• 専用のzoneコマンドで指定

‒ 他のアプリケーションによる帯域消費の影響を防ぐ

‒ アプリケーションが必要とする帯域を確保する

‒ FCルーティング経路(LSAN)にも適応可能

‒ Fabric OS 6.0以降が動作する全ての製品でサポート

‒ オプションライセンスは不要

• 適用例

‒ Backup専用パス (赤)

‒ 専用のTrunkingやISL (E_Port)を指定し、経路を確保

‒ DataBase: TIゾーンの設定無し (黒)

‒ Backup用以外の経路を使用


Traffic Isolation専用のゾーン定義(TI Zone)を指定すると

特定のノード間通信で使用するISLを明示的に指定できる。

Traffic Isolation (続き)

• 導入における注意点等

‒ TI ZoneはDefined Configにのみ現れ、Effective Configには現れない

‒ TI ZoneにはE_PortおよびN_Portを必ず含める

‒ NL_Portはサポートしない

‒ {Domain, Index (≒port)}で設定

‒ Backboneファブリック (FC Routing環境)でTI Zoneを設定する場合は、ポート以外にinitiator/targetをpWWNで指定

‒ TI Zoneの設定はCLIのみ (Web Toolsは不可)

‒ TI ZoneはRouting情報は変更しない

• サポート構成

‒ Fabric OS 6.0以上

‒ EX/VEX_PortはFabric OS 6.1でサポート

• Failover mode

‒ Enable: TI Zone内の最後のISLがオフライン時、同一コストの他のISLへフェールオーバー

‒ Disable: TI Zone内の最後のISLがオフライン時、他のISLへフェールオーバーしない


QoS Zone

• QoS Zone

‒ FCトラフィックの優先順位を指定するゾーニング

‒ 通常のゾーニングとして定義する

‒ ゾーン定義名は”QOSH_”, “QOSL_”から始まる文字列にする

‒ ゾーンメンバーはWWNで指定する

‒ 利用するにはAdaptive Networkingライセンスが別途必要


ファームウェア保守


ファームウェアの更新トラフィック無停止のアップデート

• 留意事項

‒ スイッチのファームウェアの更新はオンライン状態で実施可能

• 稼働中のサーバ・ストレージのI/Oは無停止

‒ FOSは再起動するが、ASICが独立可動しているのでI/O無停止を実現

‒ FOS再起動中はファブリックサービスが数十秒停止

• ダイレクタはCP切替により1秒程度の停止

• 無停止アップデートはメジャーバージョンは一世代 (FOS7.0→7.1→7.2)

‒ 一世代飛ばす場合、I/Oの停止を伴うアップデート (FOS7.0→7.2)

• 制限事項はリリースノートに記載

‒ アップデート前に必ずリリースノートの記述を確認すること

• ftp, scp, USBメモリからの更新が可能


更新のメカニズムボックススイッチの場合


Partition

#1

Partition

#2

Flash

Control Processor

Firmwaredownload Partition #2 へファームウェアを読み込み Partition #2 をブート用に切り替えて CP をリブート(hareboot) Partition #1 へファームウェアを読み込み Partition #2, #1 の同期がとれているか確認

更新のメカニズムダイレクタの場合


Partition

#1

Partition

#2

Flash

Control Processor 1

Active Firmwaredownload stand-by CP(CP2) の Partition #2 へファームウェアを読み込み

CP2 の Partition #2 をブート用に切り替えて CP2 をリブート

CP2 の Partition #1 へファームウェアを読み込み

CP2 の Partition #2, #1 の同期がとれているか確認

active CP, stand-by CP の切り替え(hafailover)


CP1 の Partition #2 をブート用に切り替えて CP2 をリブート


CP1 の Partition #2, #1 の同期がとれているか確認

Partition

#1

Partition

#2

Flash

Control Processor 2

Stand-by

ファームウェアの更新 FTPサーバを使った実行例


B6510-01:FID128:admin> firmwaredownload

Server Name or IP Address: 172.24.197.10

User Name: ftp （FTPユーザーアカウント）

File Name: v7.2.1d (FTPサーバ上のFOSパッケージのディレクトリ名）

Network Protocol(1-auto-select, 2-FTP, 3-SCP, 4-SFTP) [1]: 1

Password:(FTPパスワード）

Server IP: 172.24.197.10, Protocol IPv4

Checking system settings for firmwaredownload...

System settings check passed.

You can run firmwaredownloadstatus to get the status of this command.

This command will cause a warm/non-disruptive boot but will require that existing telnet,

secure telnet or SSH sessions be restarted.

Do you want to continue (Y/N) [Y]: y

Firmware is being downloaded to the switch. This step may take up to 30 minutes.

Preparing for firmwaredownload...

Start to install packages...

代表的なファームウェア関係コマンド


firmwaredownload ファームウェアダウンロード

firmwaredownloadstatus ダウンロードのステータス表示

firmwareshow ファームウェアバージョン表示

firmwarecommit autocommitしていない場合、一つのパーティションにダ

ウンロードしたファームウェアを他方に適用

firmwarerestore autocommitしていない場合やダウンロードに失敗したと

き、元のバージョンに戻す

その他操作


その他の代表的なオペレーションリブート,フェイルオーバ


reboot スイッチのリブート

fastboot スイッチのファストブート。ramTest,portRegTest などの診断ステップをスキップ

hareboot データの流れを妨げないでリブートを可能(non-disruptive reboot)

hafailover ダイレクタにおいて、2つあるCPの切り替えを行うコマンド

日常的に使うステータス表示コマンド


switchShow スイッチの状態表示

portcfgShow ポート設定の一覧表示

nsShow/nsAllShow Name server に登録されたノードの表示

fabricShow Fabricを構成するスイッチの表示

topologyShow トポロジ情報を表示

portStatsShow ポート状態の表示

supportShow サポート/トラブルシュートに必要な情報を表示

supportSave メーカーへエスカレーションする際に必要な情報を取得する

switchshow コマンドスイッチ、各ポートの状態を表示


switch:admin> switchshow

switchName: Spirit_125

switchType: 66.1

switchState: Online

switchMode: Native

switchRole: Subordinate

switchDomain: 2

switchId: fffc02

switchWwn: 10:00:00:05:1e:xx:xx:xx

zoning: ON (longevity_cfg)

switchBeacon: OFF

Index Port Address Media Speed State Proto

==================================================

0 0 650000 id N16 Online FC F-Port 10:00:8c:7c:ff:08:f9:01

1 1 650100 id N16 Online FC F-Port 10:00:8c:7c:ff:08:81:01

2 2 650200 id N16 Online FC F-Port 10:00:8c:7c:ff:07:d4:01

23 23 651700 id N8 Online FC E-Port 10:00:00:05:1e:08:ce:9a "switch_3" (upstream)(Trunk master)

スイッチの状態

ポートの状態

portCfgShowコマンド各ポートの設定を一覧表示


Switch:admin> portcfgshow Ports of Slot 0 0 1 2 3 4 5 6 7 ----------------------+---+---+---+---+-----+---+---+---+ Speed AN AN AN AN AN AN AN AN AL_PA Offset 13 .. .. .. .. .. .. .. .. Trunk Port ON ON ON ON ON ON ON ON Long Distance .. .. .. .. .. .. .. .. VC Link Init .. .. .. .. .. .. .. .. Locked L_Port - - - - - - - - Locked G_Port .. .. .. .. .. .. .. .. Disabled E_Port .. .. .. .. .. .. .. .. Locked E_Port .. .. .. .. .. .. .. .. ISL R_RDY Mode .. .. .. .. .. .. .. .. RSCN Suppressed .. .. .. .. .. .. .. .. Persistent Disable .. .. .. .. .. .. .. .. LOS TOV enable .. .. .. .. .. .. .. .. NPIV capability ON ON ON ON ON ON ON ON NPIV PP Limit 126 126 126 126 126 126 126 126 NPIV FLOGI Logout .. .. .. .. .. .. .. .. QOS Port AE AE AE AE AE AE AE AE EX Port .. .. .. .. .. .. .. ..

設定変更はportCfgXXXXコマンド

ポート設定の差異比較が容易

nsshow コマンド Name Serverに登録されたデバイス情報を表示


switch:admin> nsshow

{

Type Pid COS PortName NodeName TTL(sec)

N 650000; 3;10:00:8c:7c:ff:08:f9:01;20:00:8c:7c:ff:08:f9:01; na

FC4s: FCP

PortSymb: [89] "Brocade-1860-2p | 3.2.3.0 | PC-SERVER6 | Windows Server 2008 R2 |"

NodeSymb: [41] "Brocade-1860-2p | 3.2.3.0 | PC-SERVER6 | "

Fabric Port Name: 20:00:00:05:33:d4:42:da

Permanent Port Name: 10:00:8c:7c:ff:08:f9:01

Port Index: 0

Share Area: No

Device Shared in Other AD: No

Redirect: No

Partial: No

LSAN: No 以下省略

fabricshow コマンドファブリック内のメンバスイッチを表示


switch:admin> fabricshow

Switch ID Worldwide Name Enet IP Addr FC IP Addr Name

----------------------------------------------------------------------

64:fffc40 10:00:00:60:69:00:06:56 192.168.64.59 192.168.65.59 "sw5"

65:fffc41 10:00:00:60:69:00:02:0b 192.168.64.18 192.168.65.180>"sw180"

66:fffc42 10:00:00:60:69:00:05:91 192.168.64.60 192.168.65.60 "sw60"

67:fffc43 10:00:00:60:69:10:60:1f 192.168.64.17 0.0.0.0 "sw187”

The Fabric has 4 switches

Fabric Name: mainFabricA “>” はプリンシパルスイッチを指す

switch:user> topologyshow

6 domains in the fabric; Local Domain ID: 7

Domain: 1

Metric: 10500

Name: fcr_xd_1_1

Path Count: 1

Hops: 2

Out Port: 11

In Ports: 0 1 2 3 4 5 6 7

Total Bandwidth: 8.000 Gbps

Bandwidth Demand: 1275%

Flags: D

Domain: 2

Metric: 1000

Name: fcr_fd_2 以下省略

topologyshow コマンドトポロジーの表示


ファブリック内の各スイッチの位置関係や接続帯域などが判る

portstatsshow コマンドポートの統計情報を表示


switch:admin> portstatsshow 0

stat_wtx 3038687215 4-byte words transmitted

stat_wrx 3152005280 4-byte words received

stat_ftx 60791157 Frames transmitted

stat_frx 69297215 Frames received 省略

tim_rdy_pri 0 Time R_RDY high priority

tim_txcrd_z 0 Time TX Credit Zero (2.5Us ticks) 省略

er_enc_in 0 Encoding errors inside of frames

er_crc 0 Frames with CRC errors

er_enc_out 0 Encoding error outside of frames

er_bad_os 60 Invalid ordered set 以下省略

Credit Recoveryで説明

configupload/configdownloadコマンド構成・設定情報は必ず保存すること

• スイッチの設定をバックアップする手順

‒ configupload –vf コマンドを使い、Virtual Fabricsの構成情報を保存

‒ configupload –all コマンドを使い、スイッチパラメータなどの設定情報を保存

‒ 仮想スイッチを定義していない場合、configupload –allのみでよい

• 設定ファイルをダウンロードした際には必ずリブートする

‒ CPが2つあるプラットフォームでは両方のCPをリブートしなければならない

• スイッチの設定を復元する手順は以下のようになる

• Switchdisableでスイッチを無効にする

‒ 論理スイッチの構成情報を configdownload –vf コマンドで復元する

• 最初に論理スイッチの設定を復元する

• 自動的にリブート

‒ 通常の設定情報を configdownload –all コマンドで復元する


supportSave コマンド何かあったらすぐsupportsaveを取得

• supportSave

‒ サポートにエスカレーションする際に必要な、ほぼすべてのスイッチ情報を出力

• RASlog, TRACE, supportShow, Core file, FFDC data等を一つのコマンドで取得

• FTP,SCPサーバ、USBメモリにファイルとファイル出力される

• supportShow

‒ supportshowは複数のFOSコマンドの集合体

‒ コンソール画面に表示される為、ターミナルソフトのログ保存機能などで出力を保存する

‒ supportSaveの結果に含まれる

‒ supportshowに含むコマンド (群)を増やす/減らす場合には、supportshowcfgenable/supportshowcfgdisableコマンドを実行


supportSave コマンド実行例


switch:admin> supportsave

This command collects RASLOG, TRACE, supportShow, core file, FFDC data

and then transfer them to a FTP/SCP/SFTP server or a USB device.

This operation can take several minutes.

NOTE: supportSave will transfer existing trace dump file first, then

automatically generate and transfer latest one. There will be two trace dump

files transferred after this command.

OK to proceed? (yes, y, no, n): [no] y

Host IP or Host Name: 172.24.190.87

User Name: kommy

Password:

Protocol (ftp | scp | sftp): scp

Remote Directory: /tmp

Saving support information for switch:switch, module:RAS...

.................................................................................

GUI画面集


Web Tools の代表的な画面


FabricWatch(FV)



Switch administration

Performance Monitoring

WebTools の代表的な画面 Zone Administration


CLIで行える操作は概ねWebTools上で可能。WWNやポートの誤記によるトラブルが少ない。

オンライン/オフラインのデバイスがわかりやすい。

日々のゾーン追加・変更作業がしやすい。

WebToolsでは自身のFCポートしか表示されないため、ISLを経由した他スイッチのFCポートを指定する場合は”Add Other”でDomain,Indexを直接入力する。もしくは、Network AdvisorからZone定義を行う。



SNMP

syslog

SAN Health


SAN構成の詳細 FabricやZoneの一覧設定内容の表示

各ポートの詳細トポロジー図パフォーマンスグラフ

SAN Healthダウンロード


「Download」ボタンを押して、 SAN Healthを入手して下さい (2015年4月の最新版は4.0.5b)

http://www.brocade.com/services-support/drivers-downloads/san-health-diagnostics/download_san_health.page

Brocade Network Advisor


Dashboard

ドリルダウンしていく様子

Brocade Network Advisor


Point-in-time Playback Flow Vision(Flow Monitor)

ありがとうございました

本件に関するお問い合わせブロケードコミュニケーションズシステムズ株式会社 https://www.brocadejapan.com/form/contact

ブロケード fc ファブリックスイッチオペレーション講座（前編）

Technology