fibre channel 基礎講座

Fibre Channel基礎講座

はじめに

本資料はFibre Channelを理解するための参考資料として作成しています。

資料内に出てくるコマンド及び出力結果はFabric OSのバージョンによって結果が異なる場合があります。

詳細情報はFabric OS Command Reference及びAdministrator’s Guideをご参照下さい。

© 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 2

目次

• Fibre Channel基礎

• Fibre Channel基本特性

• ファブリックサービス


Fibre Channel の基礎

4 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE ONLY

オープン規格としてのFibreChannel T11は、Ethernet/IPの世界におけるIEEE, IETFに相当

• Fibre Channelの開発は1988年に開始し、NCITS T11: I/Oインタフェース(X3.230-1994)規格が1994年に完成。URL: http://www.t11.org を参照

• 多くの規格団体やベンダーからの支持


業界標準

ビジネスソリューション

製品相互操作性

ANSI DMTF IETF

オープン,

マルチ-ベンダー

SAN

FC-PH

FC-GS

FC-SW

FC-AL

FC-CT

FC-LS

FC-FG

FC-FLA

1. FC-SB (Single Byte Mapping Protocol) 2. FC-SB-2 (Single Byte Protocol Mapping 2) 3. FC-LE (Link Encapsulation) 4. FC-PH (Physical and Signaling) 5. FC-PH (Physical and Signaling) Amendment 1 6. FC-PH (Physical and Signaling) Amendment 2 7. FC-PH-2 (Physical and Signaling 2) 8. FC-PH-3 (Physical and Signaling 3) 9. FC-FG (Fabric Generic Requirements) 10. FC-GS (Generic Services) 11. FC-GS-3 (Generic Services 3) 12. FC-SW (Switch Fabric) 13. FC-SW-2 (Switch Fabric 2) 14. FC-AL (Arbitration Loop) 15. FC-AL-2 (Arbitration Loop 2) 16. FC-BB (Backbone) 17. FC-FP (Mapping to HIPPI-FC) 18. HIPPI-FC (FC-PH Encapsulation)

http://www.t11.org/

Fibre Channelの成り立ち Network技術とChannel技術の融合


FibreChannel

Network Channel

高速度低レイテンシーデータ整合性大規模データの移動上級のエラー検出

もろいブロックデータ転送なし不良エラー検出

ルーティング大規模接続性長距離管理性

メインフレームにおける技術 IPなどのネットワーク技術

制限された拡張性短距離制限された管理性

FCとOSIのネットワークスタックの実装の違い FCもOSI参照モデルに該当するレイヤーがある


Ethernet

TCP IP

Hardware Software 実装形態:

Ethernet TCP/IP Fibre Channel

OSI参照モデル

アプリケーション

プレゼンテーション

セッション

トランスポート

ネットワーク

データリンク

物理

アプリケーション:

- データベースアクセス

- ファイルアクセス

セッション:

ルーティングプロトコル

トランスポート: フローコン

トロール、

転送順序保障

ネットワーク:

アドレス、ルーティング

リンク層: フレーミング

物理層: シグナリング

FC-4：上位レイヤプロト

コルマッピング

FC-3：共通サービス

FC-2：データ配信

FC-1：バイト符号化

FC-0：物理層

一部ソフトウエア実装

全てがハードウエア実装

ファイバチャネルとイーサネットの比較


Fibre Channel ： I/O保障あり Gigabit Ethernet ： I/Oはベストエフォート

物理層の帯域幅 14.025 GB （全二重通信のみ） 1.03Gbps （半二重・全二重に対応）

最大フレーム長(パケット長) 2148バイト（固定長） Payloadは2112バイト

1518バイト (MTUに依存), Jumbo Frameは9000バイト前後、Payloadは1478バイト～(MTU - IP/TCP

ヘッダ)

フロー制御 Port-to-Port , BBクレジットによるビット誤り率の要求値は10-12以下

End-to-End , Pauseフレームによるビット誤り率の要求値は10-9以下

ネットワーク速度の依存関係ネットワーク速度に依存しないバッファ制御ネットワーク速度の差を吸収できるだけのバッファ

を用意

バルクデータ転送 FCフレームの “Sequence” で対応

128MB = 2KB (最大フレームサイズ) x 64K (最大シーケンスカウント)

TCPウィンドウで対応 (上位レイヤ)

ルーティング FSPFによる複数パスで負荷分散可能 STPによる負荷分散不可能

(1パスのみ利用可能)

アドレス管理 Loginサーバによる自動管理 BOOTP/DHCPなどの上位プロトコルによる

名前管理 Nameサーバによる自動管理 ARPはホストにより管理

DNSなどの上位プロトコルによる

FCトポロジの種類


コンピュータ

ストレージ

現在の SANの形 SANではない

(DAS)

初期の SANの形

Point to Point Switched Fabric Arbitrated Loop

2デバイスのみ (直接接続) •1:1の接続 •帯域は独占使用

1600万デバイスまで (FCスイッチ) •帯域はポートごと •拡張性がある

126デバイスまで (FCハブ) •帯域を共有 •アドレス調停が必要

FC-SANの構成要素


ストレージプール

サーバプール

IPネットワーク

ホストバスアダプタ

(HBA)

ファイバーケーブル

トランシーバ

(GBIC/SFP)

ストレージサブシステム

SAN (FC) スイッチ

FCコンポーネント : Host Bus Adapter LAN環境では「NIC」に該当

• サーバの内部バスと FC ネットワークを接続するためのインタフェース

‒ 1/2/4/8/16 Gbpsなどのインタフェース速度を持つ

• HBAソフトウェアドライバは様々なストレージ情報を提供する

‒ I/Oや制御情報の取り扱い

‒ ファームウエアやドライバのバージョン情報を提供


ブレードサーバー用HBA

PCIe用HBA

FCコンポーネント :ケーブル・トランシーバ

• ケーブルは、光ファイバケーブルを使用。2/4/8/16Gbpsでは、主にLCコネクタ形状の物を使用

• モジュールは、2/4/8/16Gbpsの製品ではSmall Form-factor Plug (SFP/SFP+)を使用

• Short Wavelength Laserでは、500m (1Gbps), 300m (2Gbps), 150m (4Gbps), 100m (8Gbps)まで対応

• Long Wavelength Laserでは、10Kmまで対応

• Extended Long Wavelength Laser では、25Km (16Gbps) まで対応


光ファイバケーブル LCコネクタ

光トランシーバ

SFP/SFP+

光トランシーバ

QSFP

LW (Long Wave)

SW (Short Wave)

FCコンポーネント : FC Director/Switch LAN環境では、「LANスイッチ」に該当

• SANの中心において、サーバとストレージを接続する役割を持つコンポーネント

• スイッチでも、2種類に分別される

• コントローラが二重化されたり、ブレード型で拡張性のあるダイレクタと呼ばれる製品

• シンプルな構造で作成されている、スイッチ（ボックス型とも）呼ばれる製品

• ダイレクタ/スイッチ間でトランクなどを設定して、使用することもできる。


Brocade 6510 Switch

Brocade 6505 Switch

Brocade 8510 Back born Director

Brocade 6520 Switch

FCコンポーネント : ストレージデバイス

• ストレージデバイスの分類

‒ RAID – Redundant Array of {Independent | Inexpensive} Disks

• 高機能ストレージアレイ

• 複数のスピンドルから論理ボリュームを構成する機能のこと

‒ JBOD – Just a Bunch of Disks

• 安価なストレージ

• 複数のスピンドルがそのまま論理ボリュームとして見えるディスクのこと

‒ Tape / Tape Library / Virtual Tape Library

• バックアップリカバリ用メディアの主流

• ディスクの種類

‒ SSD : Solid State Drive

‒ Fibre Channel

‒ Serial-Attached SCSI

‒ Serial ATA


ストレージの例

テープライブラリの例

Fibre Channel基本特性

15 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE ONLY

Fibre Channelプロトコルマッピング FC上でSCSI, IPなどのマルチプロトコルが使用可能


CCWs

(CUP)

FC-SB2/FC-SB3

(FICON)

IP

FCリンクカプセル化

FC-LE

上位レベルプロトコル (ULP)

• 既存プロトコルのサポート • OSに対し透過的 • 変更なし + 新しい能力

SCSI-3

SCSI-3 コマンドセットマッピング(FCP)

IPI-3 コマンドセットマッピング(IPI-3 STD)

FC-4

FC - AL -2

FC-3

FC-0

FC-1

FC-2 FibreChannel 物理的 & 信号インタフェース

(FC-PH,FC-PH2, FC-PH3) 物理的各種

エンコード / デコード

フレーミングプロトコル FC - AL

8B/10B (64/66B) 符号化

カッパー,オプティカル

Common Services

FC-0 レイヤー（FC-PI-5）メディア層（物理インタフェース）：物理面は、Ethernetとほぼ同等

• データ伝送メディアと速度、伝送距離、コネクタ等を規定

‒ メディア

• 光ケーブル

• STP (Shielded Twisted Pair)

• 同軸ケーブル etc.

‒ 速度

• 1/2/4/8/16 Gbps

• 32/128 Gbpsは規格化中

‒ コネクタ

• SC

• LC

• DB-9

• HSSDC など

• ファイバケーブルの種類

‒ 大まかな種別

• シングルモード

‒ 伝送性能に優れ、高速・長距離通信が可能

• マルチモード

‒ 通常使うファイバーケーブル

‒ 波長

• 長波 (Long Wave)

‒ 1300nm(シングルモード用)

• 短波 (Short wave)

‒ 850nm(マルチモード用)


ケーブル・コネクタ


銅線ケーブル DB9コネクタ

銅線ケーブル HSSDCコネクタ

光ファイバケーブル SCコネクタ

光ファイバケーブル LCコネクタ

銅線ケーブル(2Gのみ) HSSDC2コネクタ

GBIC DB9コネクタ

GBIC HSSDCコネクタ

GBIC SCコネクタ

SFP/SFP+ LCコネクタ

SFP (2Gのみ) HSSDC2コネクタ

1GFC製品で使用 2,4,8,16GFC製品で使用

現在の主流

QSFP MTPコネクタ

光ファイバケーブル MTPコネクタ/DACケーブル

【参考】接続規格と接続距離


規格ケーブル速度メディア距離

SWL （Short Wavelength Laser

770nm–860nm）

62.5µm MMF (OM1)

1 SFP 0.5m – 300m

2 SFP / SFP+ 0.5m – 150m

4 SFP / SFP+ 0.5m – 50m

8 SFP+ 0.5m – 21m

16 SFP+ 0.5m – 15m

50µm MMF (OM2)

1 SFP 0.5m – 500m

2 SFP / SFP+ 0.5m – 300m

4 SFP / SFP+ 0.5m – 150m

8 SFP+ 0.5m – 50m

16 SFP+ 0.5m – 35m

50µm MMF (OM3)

1 SFP 0.5m – 860m

2 SFP / SFP+ 0.5m – 500m

4 SFP / SFP+ 0.5m – 380m

8 SFP+ 0.5m – 150m

16 SFP+ 0.5m – 100m

50µm MMF (OM4)

4

SFP+

0.5m – 400m

8 0.5m – 190m

16 0.5m – 125m

LWL （Long Wavelength

Laser1270nm–1355nm）

9µm SMF (OS1)

1 SFP

2m – 10km 2, 4 SFP / SFP+

8, 16 SFP+

FC-1 レイヤー(FC-FS-3) シリアル・パラレル変換層（符号化、フレーミング）

• 8B/10B(64B/66B) Encode/Decode

‒ 安定したビット列の転送を実現するための変換

‒ “1”や”0”が連続することを防いで、光信号の同期をとりやすくする

• Ordered Sets

‒ 特殊な意味を持つ4ワード (=40ビット)のビット列

• デリミタオーダセット - OF (Start of Frame)やEOF (End of Frame)

• プリミティブシグナルオーダセット - R_RDYやIDLE/ARBなどのレスポンス

• プリミティブシーケンスオーダセット - リンク制御 (確立、切断、初期化)

• Link Control Protocols

‒ リンク制御を使って、ポートの状態遷移 (Port State Machine)が定義されている

‒ 大まかには、4つの状態

• Active State (AC)

• Link Reset (LR1, LR2, LR3)

• Offline (OL1, OL2, OL3)

• Link Failure (LF1, LF2)


8b/10b、64b/66b符号化 10/16GFCは、64b/66b 符号化を行う

• 信号の直流成分を少なくするために2ビットの冗長化を行い、信号を符号化する方法

• Running Disparity +/-が交互に伝送される

• Bit Error Rate (BER)が非常に小さい


0 1 0 1 1 0 0 1

0 1 0 1 1 0 0 1

3B/4Bエンコーダ 5B/6Bエンコーダ

1 0 0 1 0 1 1 0 0 1

RD

元データ

符号化済みデータ

1 0 0 0 0 0 0 0 0 0 0 0 1

※ もし0や1が連続しすぎると、

信号を区別できなくなる恐れがあるため、

0と1が適度な割合で混合していることが望ましい

符号化の背景

E-of-F S-of-F

Payload Area of Frame – up to 2112 bytes of data

8b/10b (since 1950s but patented in 1983)

8b/10b符号化と64b/66b符号化


8bit BYTE

c111c11111

8bit BYTE

c111c11111

8bit BYTE

c111c11111 8bit BYTE

c111c11111 °°°

8b/10b: 8ビット毎に2ビットのチェックビットを付加する。 – オーバーヘッドは 20%

E-of-F S-of-F

Payload Area of Frame – up to 2112 bytes of data

64b/66b (available since 2003)

8 BYTEs

cc◊◊◊◊◊◊◊◊

8 BYTEs

cc◊◊◊◊◊◊◊◊

8 BYTEs

cc◊◊◊◊◊◊◊◊

8 BYTEs

cc◊◊◊◊◊◊◊◊ °°°

64b/66b: 8バイト毎に2ビットのチェックビットを付加する – オーバーヘッドは約3%

All Rights Reserved.

1/2/4/8Gbps は8b/10b 符号化を採用 10/16Gbps は 64b/66b 符号化を採用

Ordered Set


• FCフレームよりも小さな (4バイト)情報伝達単位

‒ フレームの始まりや終わり、バッファ制御のメッセージ等を表す特殊なバイト

‒ リンクレベル制御には最適

‒ フレーム解析が必要ないため FibreChannel

Transmission Word

Ordered Set Data Word

【フレームデリミタ】

-ファイバチャネルフレームの区

切り

・SOF (Start Of Frame)

・EOF (End Of Frame)

【プリミティブシグナル】

-レスポンスを返す際に使用

IDLE/ARB

R_RDY

VC_RDY 等

【プリミティブシーケンス】

-リンク確立/切断、ループ初期化

NOS/OLS/LR/LRR/AC

LIP 等

Primitives

• プリミティブはシグナルイベントで使用

• FCの転送は常時行われている

‒ フレーム

‒ プリミティブ

• フレームが無いときは下記のプリミティブが送信されている

‒ R_RDY：受信バッファが空いて他のフレーム受信が可能になったときに通知される

‒ IDLE/ARB：リンクの維持 (Fill word)


N_Port F_Port

IDLE

IDLE

RRDY

FRAME

IDLE

IDLE

IDLE

IDLE

IDLE

IDLE

FRAME

IDLE

IDLE

1～4Gbps FCではFill WordとしてIDLEが使用される

8Gbps以降ではIDLEの代わりにARBが使用される様になった

FC-2 レイヤー (FC-FS-3) シグナリング層（ファイバチャネルの中心となるレイヤ）

• ノード / ポートタイプ / トポロジーの規定

• フレーム・シーケンス・エクスチェンジの規定

• 「プロトコル」の規定

‒ プリミティブシーケンスプロトコル

‒ アービットレイテッドループ初期化プロトコル

‒ Fabric/N_Port Loginプロトコル

• ファブリックモデルに関する規定

• フロー制御に関する規定

• Class of Serviceの規定

‒ トポロジーには依存しない

‒ Class N (1/2/3/4/6)

‒ Class F

• 基本/拡張リンクサービスコマンド

• アービットレイテッドループ機能

• エラー検知およびリカバリ


FC-2 ポートタイプ接続デバイスによるポートタイプの変化

• Switch Port が取りうるポートタイプ

‒ U_Port = “Universal Port” (自動でポート検出する表現の語)

‒ FL_Port = “Fabric Loop Port”

‒ G_Port = “Generic Port” — EあるいはFポートとして操作可能

‒ F_Port = “Fabric Port”

‒ E_Port = “Expansion Port” (switchからswitch)

• Device (Node) Port が取りうるポートタイプ

‒ N_Port = “直接にFabricアタッチされたデバイス”

‒ NL_Port = “ループにアタッチされたデバイス”


Port

リンク送信

受信

• Point-to-Point • Arbitrated Loop • Fabric

EX_Port/VE_Port/VEX_Port

• EX_Port

‒ ファブリックを分離する特殊なE_Port

• EX_Portを境にして、ファブリックを分離

‒ FC Routing環境で使用

‒ 以下の機種でサポート

• Brocade 6510,6520,8510-4,8, 7800, 7840

• (Integrated Routingライセンスが必要)

• VE_Port

‒ IPネットワーク上に構成される特殊なE_Port

‒ FCIP (Fibre Channel over IP)環境で使用

• Brocade 7800、FX8-24ブレードなどでサポート

• VEX_Port

‒ IPネットワーク上に構成される特殊なEX_Port

‒ FCIP (Fibre Channel over IP)環境で使用


EX_Port

FC-SAN

EX_Port

FC-SAN IP-WAN

VE_Port VEX_Port

FC-SAN

FC-2 ポートタイプ構成例 FC Routingで二つのファブリックを接続した構成例


E_Port

N_Port

NL_Port F_Port

E_Port EX_Port

E_Port

N_Port N_Port

FL_Port

F_Port

VE_Port VE_Port

VEX_Port

IP Network

左図はFCIPを使う構成例（スイッチのみ記載）

Fabric ポートの対応デバイスおよびスイッチにおけるポートの種類


Switch Port

Device (Node) Port Fabric

Node N_Port F_Port F_Port

E_Port

E_Port

FL_Port

Node N_Port

Switch 2

Switch 1

Node NL_Port

Node NL_Port

Node Port

(直接にFabricアタッチされたデバイス)

Node Loop Port

(ループにアタッチ

されたデバイス)

Universal Port

(汎用ポート)

Fabric Port

Expansion Port

(switchからswitch)

Fabric

Loop

Port

U_Port

Brocadeスイッチのポート初期化プロセス


y/n

成長したら私は何になりたい?

y/n ループに話掛けたい?

G - Port 誰かが私に話し掛けるのを待っている…

yes

no

あなたはswitch？あるいは Fabric point-to-point デバイス? F - Port Fabric pt-to-pt

E - Port

switch

y/n ポートに何か接続されている? no

yes

U - Port

FL - Port

FibreChannelフレーム形式


フレームは分割できない最小のデータパケットであり、FibreChannelリンク (上位レイヤのプロトコルには見えない)上に送出される

S O F

4

PAYLOAD

Up to 2112

E O F

4

C R C

4

HEADER

24

2148 bytes

フレーム

Fibre Channel Frame

ファイバ/チャネルのフレームヘッダ構造 Fibre ChannelのフレームとEthernetのフレームの相違

• Ethernetと同様に、送信先・送信元・フレームの管理方法についての情報がある

• FC特有な物としてOX_ID, RX_IDという項目がある。

• 転送は FCID ベースで行なう(Ethernet は MAC)


R_CTL Destination Address (D_ID)

CS_CTL Source Address (S_ID)

SEQ_ID DF_CTL SEQ_CNT

OX_ID (Originator Exchange ID)

RX_ID (Responder Exchange ID)

Parameter Field

TYPE Frame Control (F_CTL)

Word 0

Word 1

Word 2

Word 3

Word 4

Word 5

R_CTL: Routing Control Field CS_CTL: Class Specific Control Field DF_CTL: Data Field Control

Destination MAC

Destination MAC Source MAC

Source MAC

Type/Length field

<参考> Ethernet Frame

フレーム/シーケンス/エクスチェンジ FC-2レイヤの構成と動作における役割


エクスチェンジ

シーケンス x

フレーム1 フレーム2 フレーム3 フレーム4 フレーム5

シーケンス x+1

フレーム6 フレーム7 フレーム8 フレーム9 フレーム10

ホスト FCスイッチストレージ

FCP_CMND READフレーム

FCP_DATAフレーム (SEQ CNT = 0)



FCP_DATAフレーム (SEQ CNT = N)

FCP_RSP Statusフレーム

SCSI READの例

シーケンス

シーケンス

シーケンス

エクスチェンジ

Buffer Credit について


Exchange Link Parameters

(ELP)

E_Port から E_Portへ

Fabric Login (FLOGI)

N_PortからF_Portへ

5個のバッファを使えます。 2個のバッファを使えます。

5個のバッファを使えます。 2個のバッファを使えます。

5個のバッファを保有 2個のバッファを保有

2個のバッファを保有 5個のバッファを保有

1 3 2

2個のバッファを受領可能

VC_RDY VC_RDY (Virtual Channel Ready)

使用可能なバッファ数 2 1 0

VC_RDY

送信可能なフレーム数: 2 1 0

VC_RDY

送信バッファ受信バッファ

【参考】 TCP/IPにおけるバッファ制御動作イメージ


1000 Mbps Ethernet

100 Mbps Ethernet

IP WAN

バッファ

領域

入力されるレート > 出力されるレート

100 Mbps

Overflow

1000Mbps

パケット

ルータなど

TCP セグメントのWindowサイズ Bit Bucket

フロー制御「クレジット」ベースの制御方式


Node Node

N_Port

Node N_Port

SAN Fabric

F_Port F_Port

F_Port

N_Port

Buffers

Buffers

Buffers Buffers Buffers

Buffers

Routing

EE クレジット(End-to-End)

BBクレジット

BBクレジット (Buffer-to-Buffer)

BB_Credit

物理的に接続しているポート間でのフロー制御

すべてのクラスのデータ伝送で使用(Class3

除く) R_RDYの受信により BB_Credit を増加

EE_Credit

送信元ポートとあて先ポートの間でのフロー制御

ACKの受信により EE_Credit を増加

Class-of-Services 柔軟なノードのデリバリサービス

• 広範囲の通信要求に適応するように、FibreChannelはデリバリの要請とプロセス指令と合致する様々なサービスクラスを定義する


N_Port

N_Port

パスリソース確保?

コネクション優先

Class 1 (circuit switching)

Class 4 (virtual circuits)

Yes

コネクションレス

Class 2 (frame switching)

Class 3 (frame datagram)

No 製品あり

※Class1～4の他、スイッチ間通信用のサービスクラスとしてClass Fが定義されている。 BrocadeスイッチではClass 2/3/Fをサポート

製品なし

IPの世界では、TCPに該当

IPの世界では、UDPに該当

クラス2とクラス3の比較


Initiator N_Port

Responder N_Port

ファブリック

データフレーム

ACK R_RDY

EE Credit -1

EE Credit +1

Initiator N_Port

Responder N_Port

ファブリック

R_RDY

BB Credit -1

BB Credit +1


ACK


ACK




クラス3 BBクレジットのみによるフロー制御 R_RDYによるフロー制御のみ

クラス2 BBクレジットとEEクレジット両方によるフロー制御 ACKによるEnd-to-Endの送達確認あり ※クラスFはクラス2に近いコネクションレス型で、ACKを使用

Fabric Class F : 管理サービス

• Class FはFibreChannelスイッチ間でのみ使用

‒ スイッチ間リンク情報交換

• スイッチはClass Fフレームを用いて、ネームサーバ同様の調整サービスやFabric階層の解決を行う

• N_PortsからはClass Fトラフィックは認識する必要がない

• E_Port間通信はコネクションレスサービス (Class 2)

• Class FではE_Portにより、フレームを基に要求を行う


Fabric

F_Port F_Port

E_Port

E_Port

FL_Port

Switch 2

Switch 1

U_Port

Class F サービス

FC-3（FC-FS-3）サービス層

• 複数のポートに共通するサービスを提供するレイヤ

‒例えば暗号化

• 将来のために非常に緩やかに定義された階層で、現時点でこのレイヤに属する機能は無い


FC-4 (FC-DA-2) マッピング層（ULPマッピング）

• 上位プロトコル (Upper Layer Protocol ： ULP)とのマッピング

‒ FC-4の定義を変更することにより、FibreChannelをさまざまなプロトコルに対応させることが可能

• 代表的なULP

‒ Fibre Channel Protocol ： SCSI-3

• 最もよく使用されるFC-4プロトコル

• SCSIとのマッピングを提供することにより、OSカーネルはFibreChannel機器をSCSI機器として取り扱うことが可能

‒ ISO/IEC 8802-2 LLC ： IP

• IPFC (IP over FibreChannel)として使用

‒ SBCCS ： FICON

• IBM製メインフレームで使用


ファブリックサービス

42

FC-SW-5

© 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE ONLY

ファブリックサービスとは何か

•ファブリックサービスとは ‒FCファブリック内で行なわれる、データ転送以外の様々なサービス

• アドレス管理

• ネームサーバ管理

• 通知サービス

• ルーティングサービス

• ゾーニング

• 時刻サービス

• その他


スイッチ型Fabricのアドレス空間

• Fabricは一般的なスイッチング環境を説明するのに使われる用語

• 1個、もしくはそれ以上の相互接続スイッチ(ドメイン)から構成「1個のFibreChannelスイッチ = １個のFabricドメイン」

• Fabric階層は、24-bitsアドレス空間の分割に基づく

• 1個のFabricで最大239ドメイン


特別なエージェント: • プリンシパルスイッチ特別なデリバリ: • Class Fサービス

ファイバチャネルアドレス： FC ID , Port ID IPの世界における、DHCPによるIPアドレスの割り当てに相当


• ファイバチャネルアドレスとは

‒ Fabric に接続されたデバイスの各ポートに割り当てられるアドレス番号

• 送信元: S_ID

• 送達先: D_ID

‒デバイスが Fabric にログインするプロセスの中で、スイッチがデバイスに対してファイバチャネルアドレスを通達する

‒ 24 bits (3 bytes) のアドレス空間

• ドメイン ID 部 (8 bits) … スイッチのドメイン番号(1～239) ⇒1ファブリックで最大239スイッチ

• ポート ID (エリア ID) 部 (8 bits) … スイッチのポートを特定する番号

• AL_PA 部 (8 bits) … ループ内のデバイスを特定。Fabric デバイスでは通常 00。最近はNPIVのノードIDとして使用

X X Y Y Z Z

Domain Port (Area)

AL_PA (Node)

ファイバチャネルアドレス (24-bits)

8-bits 8-bits 8-bits

NPIV 概要

• NPIVの必要性

‒ VMware, Zen, LPAR などの仮想マシン環境を使用する際に、仮想マシン毎に別々のWWNを持つための機能

• 通常では、仮想マシンは１つのHBAを共有できるが、仮想マシン毎に別々のWWNを持つことが出来ない

• （従来の方法では仮想マシンはHBAのWWNを共有使用しなければならない）

• LUNマスキングやWWNゾーニングが仮想マシン単位で設定できない →セキュリティ上問題がある

• NPIV – “N-Port ID Virtualization”

‒ ‘N-Port’はサーバHBAなどデバイスを指す。NPIVはN-Portデバイスを仮想化する標準化された手法

• NPIVのメリット

‒ 柔軟性と可用性が向上:

• OS インスタンスとアプリケーションがハードウェアに拘束されない

• 他のサーバハードウェアへアプリケーションのフェイルオーバー・マイグレーションが容易

‒ セキュリティーが向上:

• 複数の仮想マシン単位にゾーニング、ボリュームマッピングが設定可能

• NPIVを利用するために必要なもの

‒ NPIV対応 OS; NPIV対応 FC HBA; NPIV対応 FC Switch


NPIV概要続き


FC switch

NPIVがない場合

共有HBAのWWNを使うため、どの仮想マシンからでも同じLUNにアクセスできてしまう

NPIVがある場合

各仮想マシン毎にWWNを持つことが出来るので、各仮想マシン毎にLUNマスキングとWWNゾーニングでアクセス制御が出来る

VM1 VM2 VM3

FCP Channel

FC switch

VM1 VM2 VM3

FCP Channel

Fibre Channel Address 例


FL Port

09 0C E9

09: デバイスはFabric Aware, Domain=9 0C: ループはポート12に接続 E9: Arbitrated Loop ﾎﾟｰﾄ･ｱﾄﾞﾚｽはE9

Switch Domain 09

09 03 00 N Port

09 :デバイスのDomain ID=9 03 : デバイスはポート 3に接続 00 : ファブリック･デバイス

N Port 09 0A 00

09: デバイスのDomain=9 0A: デバイスはポート１０に接続 00: ファブリックデバイス

09 0C 04

09: Fabric Awareデバイス, Domain=9 0C: ループはポート12に接続 04: Arbitrated Loop ﾎﾟｰﾄ･ｱﾄﾞﾚｽは04

NL Port

NL Port

F Port

F Port

N Port

F Port

09 17 00

09: Fabric Awareデバイス, Domain=9 11: 物理サーバ（NPIV)はポート17に接続 01: 仮想サーバ#1 02: 仮想サーバ#2 03: 仮想サーバ#3

09 17 01

09 17 02

09 17 03

VM

VM

VM

Well-known Fabricアドレス FCファブリックで予約されている特別なアドレス

x‘000000’— 未確認 N_Port

x‘FFFFF5’ — マルチキャストサーバ

x‘FFFFF6’ — クロック同期サーバ

x‘FFFFF7’ — セキュリティキー配布サーバ

x‘FFFFF9’ — QoSファシリテータ

x‘FFFFF8’ — エイリアスサーバ

x‘FFFFFA’ — 管理サーバ

x‘FFFFFB’ — タイムサーバ

x‘FFFFFC’ — ネームサーバ

x‘FFFFFD’ — Fabricコントローラ

x‘FFFFFE’ — Fabricログインサーバ

x‘FFFFFF’ — ブロードキャストアドレス

-------------------------------------------------------

x’FFFCxx’— Brocade Domain Controller

(Brocade Switch自身のアドレス)

ネームサーバや他のSwitchとの通信で利用


・ファブリックコントローラの主な機能

ファブリック初期化の実施

Well-known Address宛てフレームの処理

ルーティング

F_BSYおよびF_RJTの生成

SCRやRSCNへの応答

・ログインサーバの主な機能

FLOGIへの応答、アドレス割り当て

・ネームサーバの主な機能

接続ノードの情報管理

・管理サーバの主な機能

ファブリックの情報を管理ソフトなどへ提供

(SNMP管理、MIB)

IPの世界における、IANA割り当てのWell-knownアドレスに相当

World Wide Name Ethernetの世界における、MACアドレスに相当

• WWN とは

‒ 各 Fabric デバイスが保有する固定値

• 64 bits

‒ MACアドレスは 48bit

• ベンダーは IEEE よりアドレスブロックの割り当てを受けて、WWN内に組み込んで使用

• スイッチ、HBA、ストレージのそれぞれがWWNを持つ

‒ MAC レイヤを使うもの(ポート)が持つ

‒ ２種類ある

• MAC はポートのみに設定される

• Node WWN

‒ ノードとして保有する WWN

• Port WWN

‒ ポートとして保有する WWN


Node WWN 10:00:00:60:69:90:02:c0

Port WWN 20:06:00:60:69:90:02:c0

Port WWN 10:00:00:00:c9:26:41:8a 10:00:00:00:c9:26:41:8b

Node WWN 20:00:00:00:c9:26:41:8a

Port WWN 20:09:00:60:69:90:02:c0

Port WWN 10:00:00:00:0e:24:4d:19

Node WWN 10:00:00:80:17:84:74:dc

サーバ

ストレージ

HBA

Brocade Switch の WWNの例 MACアドレス同様に、ベンダコード(OUI)が埋め込まれる位置がある

• WWN のフォーマット

‒ 2 Bytes: 標準+ベンダ固有値

‒ 3 Bytes: IEEE 割り当て

‒ 3 Bytes: ベンダ固有値

• Brocade Switch の WWN

‒ IEEE 割り当て部分

• 00:60:69 または 00:05:1e など

‒ Node WWN

• 10:00:00:60:69:xx:yy:zz

‒ Port WWN

• 20:PP:00:60:69:xx:yy:zz


10:00:00:60:69:90:02:c0

ベンダ固有値

IEEE からの割り当て

20:06:00:60:69:90:02:c0

Brocade Switch の Port WWN は 2 で開始

スイッチのポート番号マザーボードのシリアル番号 (スイッチのシリアル番号とは別)

Fabric Login 通信

52

52

1) Login Serverへのlogin処理は、 WindowsやNISドメインへのログイン処理に該当 2) Name Serverへのlogin処理は、 DNSサーバへ名前解決のための登録を行う処理に該当

• ネットワークへのログイン (Fabric Login - FLOGI)

• Name Server への登録 (Port Login - PLOGI)

• 通信する許可を得る (Port Login - PLOGI)

ファブリック

Name Server (x‘FFFFFC’)

Login Server (x‘FFFFFE’) サーバストレージ

スイッチのポート番号３番に接続

ドメインID = 9

スイッチのポート番号１番に接続

FCアドレス

090300

サーバ： 090300

ストレージ： 090100

⑪PLOGI（接続要求）

⑫Accept（接続許可）

ストレージの FCアドレスは「090100」！

Extended Link Service

FCアドレス

090100

© 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.

FC の初期化フロー


P O S T -

Power On

Test

Light/ Signal

Char Sync/ Word Sync

Loop Init / Link Init

F L O G I

P L O G I

N S

Query/ Registr.

ゾ

| ニング

セキュリティ

ACL

スイッチの電源投入

Nx_port同士の通信手順

デバイスがNSに追加

S p e e d

N e g

デバイスがリモート

NSに追加

スイッチ上の動作 End-to-Endの動作

Ordered Set でやりとり

FC-2 Link Serviceでやりとり

HBAとFCスイッチ間のやりとりスイッチのポートのログ


19:20:14.531 SPEE sn 19 WS 00000000,00000000,00000000 19:20:14.827 SPEE sn 19 NM 00000000,00000000,00000000 19:20:14.827 SPEE sn 19 NF 00000000,00000000,00000000 19:20:14.827 SPEE sn 19 NC 00000004,00000000,00000000 19:20:14.827 LOOP loopscn 19 LIP 8002 19:20:14.870 LOOP loopscn 19 TMO 4040001 19:20:14.870 LOOP loopscn 19 LIP 801e 19:20:14.920 LOOP loopscn 19 TMO 4040001 19:20:14.920 LOOP loopscn 19 LIP 801e 19:20:14.970 LOOP loopscn 19 TMO 4040001 19:20:14.970 LOOP loopscn 19 LIP 801e 19:20:15.020 LOOP loopscn 19 TMO 4040001 19:20:15.020 LOOP loopscn 19 LIP 801e 19:20:15.070 LOOP loopscn 19 TMO 4040001 19:20:15.070 LOOP loopscn 19 LIP 801e 19:20:15.120 LOOP loopscn 19 TMO 4040001 19:20:15.121 INTR pstate 19 OL1 19:20:15.128 INTR pstate 19 AC 19:20:15.128 PORT scn 19 11 00000000,00000000,00000002 19:20:15.129 PORT Rx3 19 116 22fffffe,00000000,22a4ffff,04000000 19:20:15.129 PORT scn 19 1 00000000,00000000,00000001 19:20:15.129 PORT debug 19 00000001,00654320,00000001,00000000 19:20:15.129 PORT debug 19 00000001,00654320,00000002,00000000 19:20:15.129 PORT scn 19 1 00000000,00000000,00000020 19:20:15.129 PORT debug 19 00000001,00654320,00000003,00000000 * 8 19:20:15.139 PORT Tx3 19 116 23011300,00fffffe,22a40001,02000000 19:20:15.139 PORT Rx3 19 116 22fffffc,00011300,22a6ffff,03000000 19:20:15.140 PORT Rx3 19 8 22fffffd,00011300,22a8ffff,62000000 19:20:15.140 PORT scn 19 2 00011300,00000003,00000004 19:20:15.140 PORT Tx3 19 116 23011300,00fffffc,22a60002,02000000 19:20:15.140 PORT Tx3 19 4 23011300,00fffffd,22a80003,02000000

Speed Negotiation

Loop Initialization

Port State Machine/Link Control Protocol

Fabric Login (FLOGI)

Reply from FLOGI

Port Login (PLOGI)

State Change Registration

Name ServerとFabric Controller LANではName ServerはDNSに該当

• Name Serverの機能 ‒ Name Serverは下記のデータベースを保持しています。

‒ Port属性 • Port ID (Fabricからアサインされた24bitのファイバーチャネルアドレス）

• Port Name (Port WWN) • サービスClasss (2,3)

• FC-4 Type (SCSI,IP) • Port Type (N,NL) • Symbolic Port Name (形式自由な情報)

‒ Node属性 • Node Name (Node WWN) • Fibre Channel IP Address • Symbolic Node Name (形式自由な情報)

‒ 複数のFC Switchが相互に接続している場合、全FC Switchは同じ情報を保持し、単一障害点を排除しています

• Fabric Controllerの機能 ‒ ファブリック初期化の実施 ‒ Well-known Address宛てフレームの処理 ‒ フレームルーティング ‒ F_BSYおよびF_RJTの生成 ‒ SCRやRSCNへの応答

‒ SCR (State Change Registered) ‒ RSCN (Registered State Change Notifications)


E_Port初期化プロセス Fabricコンフィグレーションプロセス


Ste

p 1:

リンクの初期化

Fabric

初期化

Ste

p 2

:

ポート操作モードの検出

Ste

p 3

:

プリンシパルスイッチ選択

Ste

p 4

:

ドメインアドレス配布

Ste

p 5

:

パス選択 (F

SP

F)

Fabric

作動可

CLASS F通信

(Switch Fabric内部リンクサービス)

E_Port初期化プロセス (続き)

• SW_ISL (Switch Internal Link Service)

‒ ファブリックの構成に関連する一連のコマンド群

1. リンク初期化 (前述)

2. ポート操作モードの検出 -> ポートが「E_Port」に決定

‒ ELP (Exchange Link Parameters) SW_ILSを送受信

• タイムアウト値 (E_D_TOV、R_A_TOV)を交換

• PWWN / Switch Nameを交換

• フロー制御の方法 (ISL Flow Control Mode)を交換

‒ ESC(Exchange Switch Capabilities)

• ベンダー情報の交換

• Virtual Fabric Support情報の交換

3. プリンシパルスイッチの決定

‒ EFP (Exchange Fabric Parameters) SW_ILSの交換

• プリンシパルスイッチの選定

• スイッチ名 (WWN)、優先度 (Priority)、ドメインIDリストを交換

‒ 優先度が等しい場合は、スイッチ名の大小比較でプリンシパルスイッチを決定

• ベンダー固有情報の交換

• ゾーニングデータベースの交換


E_Port初期化プロセス (続き)

4. Domain IDの割り当て

‒ プリンシパルスイッチ = ドメインアドレスマネージャ

‒ DIA (Domain Identifier Assigned) SW_ISL

• プリンシパルスイッチが選定されたことを、ファブリック内の他のスイッチに通知

‒ RDI (Request Domain Identifier) SW_ISL

• プリンシパルスイッチに対してドメインIDを要求

5. パス選択

‒ FSPF (Fabric Shortest Path First)アルゴリズム


Fabricプリンシパルスイッチ

• プリンシパルスイッチ = Fabric内に1個だけ存在

‒ Domain Address Manager (固有のDomain IDを割当てる)

‒ 時刻の同期（非Virtual Fabric環境のみ）

• プリンシパルスイッチの選定

‒ 最も WWN が低いスイッチがプリンシパルスイッチになる（設定情報は全てのスイッチが保有）

‒ プリンシパルスイッチとなるスイッチをあらかじめ明示的に指定しておくことも可能（fabricprincipal）


プリンシパルスイッチ

私はこのファブリックの代表です。あなたのDomain IDは６を使ってください

新たにこのファブリックに参加します。Domain IDを割り当ててください

１２３４

５

Fabric Shortest Path First (FSPF) IPの世界における、OSPFより派生したルーティング技術


• FSPFはリンクにおけるパス選択プロトコル (OSPFから派生)

‒ リンクコスト/ウェイトを使用

‒ ホップカウントの考慮

‒ 利用可能な帯域の認識

‒ 複数の同コストリンクをラウンドロビンで負荷共有

• ファブリックアドレス (スイッチのドメインナンバ)によるルーティング

‒ WWNによるフレームフォワーディングはしない

• 容易な6個のステップ:

‒ 隣接スイッチ間で “Hello”

‒ 全体のリンク状況をとなりと交換

‒ リンク状況記録を更新

‒ ソースと宛先間の最短パスを計算

‒ ルートをセットアップ

Hello!

Hello!

Hello!

Hello!

Hello!

※それぞれの丸はスイッチを示します

※パスコストは横切るリンクコストの合計

1000

1000 1000

500

500

???

すべてのスイッチが、他のスイッチへの最短パスを計算

Registered State Change Notification RSCNの役割と発生要因

• ファブリックの状態変更を通知

‒ Nx_Port対象

‒ ファブリックにログインしているポートに通知

‒ 対象となるNx_PortはClass 2もしくは3をサポート

• SCR (State Change Registration)

‒ RSCNを受け取るように事前に登録

‒ スイッチはSCRを行ったデバイスにRSCNを送信

• 以下の起因により発生

‒ Nx_Portのログイン

‒ Nx_Portのログアウト

• HBA障害、ポート障害など含む

‒ ファブリックの構成変更 (Reconfigure)

‒ Zone情報の変更

• RSCNはファブリック (スイッチ)より送信される

‒ RSCN受信時の動作はデバイス (サーバ/ストレージ)の実装に依存 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 61

デバイス障害、ポート障害により、RSCN発生

RSCN発生をファブリック内のデバイスに通知

新規デバイス追加により、 RSCN発生

RSCN発生をファブリック内のデバイスに通知

×

×

E_Port

F_Port

Zoning Ethernetの世界における、VLAN機能に相当


• Zoningの目的

‒ Fabric内の任意のNode間でのアクセスを制御する機能

• 1つのFabricを論理的なアクセスグループに分割する機能

• L2-SwitchにおけるV-LAN(Virtual LAN)に似ている

‒ セキュリティーの向上

‒ 障害伝搬範囲の低減

• RSCNやLIPの伝達範囲を、影響のあるゾーン内に制限

• Zoneとは

‒ Zoning機能を使用する際に、アクセスを可能にするNode群を1つにまとめたグループの単位

• Best Practice: イニシエータ1つにつき1つのゾーン

‒ Brocade Switchでは、任意の数のZoneを作成することが可能

‒ 各メンバーは任意の数のZoneに含まれることが可能

• Overlappingする事が可能

0 1 2 3 4 5 6 7

8 9 10 11 12 13 14 15

zone2 zone3 zone4 zone1

ゾーニングの構成名称

ポートのみポートゾーニング

WWNのみ WWNゾーニング

ポートとWWN Mixedゾーニング

一般的なゾーニングの実装


• スイッチ側はポートゾーニングし、ストレージ側ではLUNマスキング

• スイッチ側でポートゾーニング

‒ 下記のようなゾーンを設定

• Zone1 “port1, port10”

• Zone2 “port2, port10, port12”

• Zone3 “port4, port12”

• ストレージ側でLUNマスキング

‒ 下記のような設定をストレージ側で実施

• LUN1とLUN2をWWN1に見せる



LUN5 LUN6 LUN3 LUN4 LUN1 LUN2

zone2

zone1 zone3

0 1 2 3 4 5 6 7

8 9 10 11 12 13 14 15

WWN1 WWN2 WWN3

5 6 3 4 1 2

RSCNの抑制 (ゾーニング)

• Registered State Change Notification (RSCN)はファブリックの状態変化を通知するためのサービス

‒ ゾーニングの変更、スイッチのon/off、新規デバイスの追加で発生

‒ RSCNが発生するとパス変更やデバイス検索のためにI/Oが中断する

‒ FC-FS標準に準拠

• ゾーニングによりRSCNやLIPの伝達範囲を、影響のあるゾーン内に制限する。

‒ 「1 (イニシエータ):n (ターゲット)」ゾーンを推奨

• Brocade Fabric OSはRSCNの発生を最低限に抑え、アプリケーションレベルの可用性を向上

‒ Zone変更、デバイスオフライン、スイッチ名変更等により発生


Zone 1

Zone 2

RSCN が通知される

新規サーバが接続されるとスイッチがRSCN を発生

RSCN が通知されない




RSCN Zoneが切ってあると他のZoneには影響なしでゾーン構成変更が可能

ファブリックサービスのまとめ

• フレーム損失の無い転送

‒ BB Credit によるフロー制御

• 高効率なデータ転送

‒ Exchange/Sequence 単位

‒順序配信

• 各種設定の自動構成

‒ルーティング構成

‒アドレッシング

‒ネームサービス

• セキュリティ

‒ Zone によるアクセス分離

‒ WWN, デジタル証明書による認証

( この資料ではカバーしていません )


ありがとうございました

本件に関するお問い合わせブロケードコミュニケーションズシステムズ株式会社 https://www.brocadejapan.com/form/contact

fibre channel 基礎講座

Technology