Brocade 通讯系统有限公司 :存储网络领域的领导者 全球 SAN 信息架构的领导者 与全球所有存储系统供应商保持良好的合作关系 全球销售了 1,500,000

SAN 交换机端口 占有全球 90% 的光纤通道

Fabric 交换机市场 *

全球雇员约 1100 人 SAN技术和标准的制定者 拥有全线 SAN 交换机产品 拥有 22个 OEM 合作伙伴

* Source: IDC

Brocade 智能 Fabric 服务体系结构

智能交换平台

SAN 管理和支持存储资源管理存储管理存储虚拟化LAN-Free 备份

应用

光纤通道多协议支持 FICON IP Infiniband

高级网络服务 开放网络管理企业级安全Fabric OS 网络操作系统

Brocade SilkWorm 产品系列

API

端到端的互操作性– Brocade 互操作实验室负责验证

Brocade 产品与领先解决方案的互操作性 :存储、磁带、 HBA 、服务器、网桥SAN 网络互连： DWDM, IP, ATM存储和 SAN 应用

– 网络认识计划40 家合作伙伴负责验证与 Brocade 产品的兼容性

– 解决方案说明库83 份参考指南：经过验证的配置可以加速

SAN 的实施可从 www.brocade.com 免费得到

SAN•Ed 101 SAN Fabric 基础

Brocade 认证培训 Fabric 技术专家

SAN 设计师

欢迎参加 Brocade SAN•Ed

SAN•Ed 301: DAS到 SAN 的迁移

SAN•Ed 201: 灾难恢复及业务持续性

SAN•Ed 101: SAN Fabric 基础

SAN•Ed 101: SAN Fabric 基础内容培训目标 :

本次技术交流将为各位介绍以下内容 :

– SAN 技术及主要概念– SAN 解决方案的优点– 了解并掌握光纤通道技术的一些基本概念– 基于光纤通道的服务及其工作方式– 从直连存储迁移至基于存储区域网络 (SAN) 系统的策略– SAN Fabric 的结构

议程第一章 :

– SAN 概念及优点简介第二章 :

– 光纤通道技术基础第三章 :

– 建立 SAN Fabric

• SAN 的基本概念• SAN 的硬件概览• SAN 的业务优势

第一章 : SAN 的构成及特点介绍

看看身边 , 我需要存储空间我的笔记本电脑硬盘容量高达20GB, 现在几乎存满了照片…需要追加外接存储空间 , 于是我订购了一块 80GB的 USB 硬盘… $$$

我喜欢将照片组织起来并分类存放以便日后查询我喜欢自己排的照片 , 可是一旦我丢失了自己的笔记本怎么办 ? 我需要一套省时的备份方案以免浪费时间 !

现代企业

欢迎进入数字世纪 !

总结 : 数据的不断增长

用户希望数据在线使用

开始转向外置存储系统数据在不断增长 我的笔记本电脑硬盘容量高达20GB, 现在几乎存满了照片…

需要追加外接存储空间 , 于是我订购了一块 80GB的 USB 硬盘… $$$

我喜欢将照片组织起来并分类存放以便日后查询我喜欢自己排的照片 , 可是一旦我丢失了自己的笔记本怎么办 ? 我需要一套省时的备份方案以免浪费时间 !

缩短备份时间并保留多个备份版本

让我们来看看系统性能的发展

微处理器的速度 , 内存 , 磁盘 , 磁带的容量以及网络交换机的性能都以每 18 到 24 个月翻一翻的速度增长系统吞吐能力必须与技术的不断发展相适应 ( 包括性能和距离两个方面 )

微处理器

内存

网络

系统吞吐能力

大型主机存储吞吐系统的发展IBM 大型主机 (MVS, IMS)

Bus-and-Tag

ESCON

FICON

性能

4.5MB/秒

18 MB/秒

100 MB/秒

距离

120米

9-60公里

20公里

接口方式并行

(半双工 )

串行(半双工 )

串行(全双工 )

存储吞吐接口的发展IBM 大型主机 (MVS, IMS)

Bus-and-Tag

ESCON

FICON

开放系统 (NT, UNIX)

IDE/ATA

SCSI

光纤通道

未来 :iSCSI?

Infiniband?

通道连接模式与网络连接模式的对比直接连接存储 ( 通道技术 )难以实现系统优化计算资源存储资源带宽

我们需要网络连接模式以提高存储系统利用率

光纤通道 = 通道和网络的完美结合

光纤通道网络 通道有限的扩展能力短连接距离有限的管理能力

高速度 低延迟 数据完整性 大量数据传输 超级错误检测能力

脆弱非阻塞数据传输错误检测能力

路由 连接能力 远距离 管理能力

光纤通道 = 是 SAN Fabric 的基础为存储系统提供一个网络连接模式客户机

LAN( 局域网 )

广域网

存储区域网

Fabric“Fabric” 是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络 , 这一网络可以提供企业级的性能 , 扩展能力 , 可管理能力 ,

可靠性和可用能力

服务器

存储子系统

SAN 硬件概览服务器端的主机接口卡

电缆 光纤通道交换机GBIC

存储子系统

光纤通道主机接口卡 (HBA)

为服务器或客户机内部总线 (PCI和 SBUS等 )提供与光纤通道网络的接口HBA软件驱动为操作系统提供所须存储信息

– 对 I/O进行操作 I/O同时对正常请求进行控制– 铜 /光介质支持 ( 可能是双接口卡 )

连接线和接口部件光纤通道并不等于只使用光纤连接线铜缆和光纤连接线

介质种类 速度 距离 (m=米 )9µm单模光纤( 长距离 )

100 MB/秒200 MB/秒

2 m – 10 km

50µm 短模光纤( 短距离 )

100 MB/秒200 MB/秒

2 m – 500 m

电信号 (铜介质 ) 100 MB/秒 0 m – 24 m

1Gb 光纤使用 SC 接口 , 2Gb 使用 LC 接口 (SFP)

千兆接口转换器(Gigabit Interface Converters; GBICS)

铜 GBIC 光纤 SFP 光纤 GBIC

GBIC = 小型串行到串行热交换模块 , 主要功能是提供相应介质接口 (铜或光 )2Gbit 设备使用的 GBIC叫做 Small Form Factor Plug-able (SFP)

• 短波光 GBIC或 SFP – 最大 500米• 长波激光 GBIC或 SFP – 最大 10公里• 增强长波激光 GBIC - 最大 80公里

光纤通道交换机 : 网络智能的核心连接多个端口 (8, 16, 32, 64, 128 口 )支持交换 Fabric 和传统 loop 设备1Gbit/秒和 2Gbit/秒传输速率 ( 自适应 )全双工性能 , 使用 cut-through路由算法交换机间提供 8Gbit/秒逻辑干线合并拓扑结构自动协调 , 自动配置 ( 自恢复 )端到端性能监控

存储设备RAID – 冗余独立磁盘阵列系统JBOD – 只是一组盘 ( 磁盘组 )磁带 – 主要用于数据备份和恢复

选件 : 桥接器和光扩展器FC-SCSI 路由 /桥接器

– 将 SCSI 设备映射为一个单独的 AL-PA地址– 可配置映射表– SNMP管理功能

光扩展器– 允许光纤通道的连接距离 > 10公里

SAN 硬件示例SAN Fabric 案例

光纤通道的优点一个新的多用途网络信息基础结构 , 用于连接开放系统存储 , 网络 , 视频应用和服务器集群应用 .为上层协议 (SCSI, IP等 )提供一个通用硬件传输平台。光纤通道不是一种新的协议高速 : 现在可以提供 2Gbit(200MB)/秒的数据传输速率 , 全双工专有连接 ,未来可升级至 10Gbit/秒无阻塞数据传输最大 10公里连接距离 ( 通过扩展器可连接上千公里 ,非常适于灾难恢复应用 )先进的流控制系统保证数据按顺序传输 .多平台系统支持( 包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等 )支持传统环境和应用

光纤通道网络 – SAN 魔术般的扩展能力

SAN 及数据管理

SAN 应用

SAN 网络级联

SAN 信息基础结构

WAN

问题 : SAN 是否会取代传统以太网络 ? 可能性极小 !

SAN与NAS: 区别何在 ?NAS ( 网络附加存储 )

LAN

存储区域网

NAS•支持远程文件访问•使用现有 LAN资源•使用传统网络协议

注 : 当 NAS扩展时通常会选择SAN 结构以集成其优点 !

SAN 的商业利益允许用户独立选择服务器和存储设备实现存储整合 ( 存储管理集中化 )为服务器提供一个集中平台 , 从而减少所须服务器数量更有效而可靠的实现商业关键数据的备份 ( 高可用能力 )成为容灾系统的设计(远程数据镜像和归档 )

提高存储设备利用率存储区域网络 (SAN)

仅需 20% 的备用空间 可立即按需提供存储容量 SAN 连接存储设备可以有效减少备用空间 整和 UNIX与 NT 存储增长需求

NT

NTUNIX 80%

直接连接存储 (DAS)

服务器直接连接可能有超过 50% 的存储设备闲置，以备扩容之需 ( 空白空间 )管理成本 5至 6倍于购买成本

“让我们的存储设备发挥更大作用”

50% 50% 50%

NT UNIX NT

NT UNIX NT

提高企业信息的可用性（通过基于 SAN 的备份 /恢复系统设计）存储区域网络 (SAN)

与基于网络或直接连接式的备份， SAN可令备份操作更快完成 企业应用程序可更快速恢复服务 缩短意外服务中断时间，尽快恢复遗失或损坏的数据 提高企业生产力

直接连接存储 (DAS)

备份传输堵塞企业局域网备份 / 恢复时间冗长在备份 / 恢复期间应用软件和信息需中断服务

信息的可用能力保障业务的正常运行

NT UNIX

LAN LAN

NT UNIX 备份服务器备份服务器

提高对应用系统的保护存储区域网络 (SAN)

基于 SAN群集提供高可用解决方案，明显降低成本 一台备用服务器可支持多台工作服务器

N:1切换 减少投资 / 软件开支 减少维护开支

直接连接存储 (DAS)

三台重要应用软件服务器需要三台备用服务器1:1故障切换，成本高昂

降低高可用关键业务应用的构建成本

P S P S P S

P P P S

SAN 的利益可以衡量 !让我们看一个实际案例SAN 的利益 每年的回报

(US$)

提高信息基础结构和应系统用的可用能力 $200,000

提高系统管理效率 $110,000

提高存储系统利用率和可用能力 $11,551

减少备份窗口其他

$32,032$26,334

SAN 的年均回报 : $379,917

SAN 成本 : $250,000

8 个月的 SAN ROI

DAS到 SAN迁移的三步骤

LAN LAN 步骤一激活 SAN

DAS到 SAN 的迁移LAN

主磁盘

镜像

步骤二磁盘镜像

步骤三 : 切换磁盘任务

LAN

附属磁盘(镜像 )

主磁盘

第一章 : 总结回顾存储传输技术的发展回答光纤通道的意义演示 SAN物理部件的不同部分阐明 SAN 与网络附加存储 (NAS)之间的差异解释 SAN 实际的商业用途说明从直接连接存储 (DAS)到 SAN 的简单迁移步骤

第一章 : 复习题1. 列出 SAN中的重要组成部件2. SAN 的商业价值何在 ?3. DAS,NAS和 SAN之间的差异在哪里 ?

光纤通道拓扑结构存储与网络融合的力量底层智能操作控制

第二章 : 光纤通道的基本要点

作为开放标准的光纤通道光纤通道标准开发始于 1988年由 NCITS T11 开发 :

I/O 接口 (X3.230-1994) 国际标准完成于 1994年 . 参考链接地址 : http://www.t11.org 获得其他标准伙伴和厂商的认可

企业标准

商业解决方案

产品的互操作能力

ANSI DMTF IETF

FCIA

SNIA

FibreAlliance

开放 , 多供应商的 SAN

FC-PH

FC-GS

FC-SW

FC-AL

FC-CT

FC-LSFC-FG

FC-FLA

1. FC-SB (Single Byte Mapping Protocol)2. FC-SB-2 (Single Byte Protocol Mapping 2)3. FC-LE (Link Encapsulation)4. FC-PH (Physical and Signaling)5. FC-PH (Physical and Signaling) Amendment 16. FC-PH (Physical and Signaling) Amendment 27. FC-PH-2 (Physical and Signaling 2)8. FC-PH-3 (Physical and Signaling 3)9. FC-FG (Fabric Generic Requirements)10. FC-GS (Generic Services)11. FC-GS-3 (Generic Services 3)12. FC-SW (Switch Fabric)13. FC-SW-2 (Switch Fabric 2)14. FC-AL (Arbitration Loop)15. FC-AL-2 (Arbitration Loop 2)16. FC-BB (Backbone)17. FC-FP (Mapping to HIPPI-FC)18. HIPPI-FC (FC-PH Encapsulation)

光纤通道的技术能力不存在无线电信号散射 (RFI), 从而消除了电磁信号串行数据传输 , 每传输一位需要 0.94纳秒 (极小的时间延迟 )使用 8b/10b编码方式将 8 位转换为 10b 格式进行串行传输( 内置时钟信号 )2Gb/秒连接可以提供 8Gb/秒的合并带宽最多可以连接 1千 6百万个节点 ( 交换 Fabric模式 )帧大小可调整 , 最大用户有效载荷 2,112字节 , 支持128MB 的批量数据传输 .强大的错误更正能力 (位错误率 = 1x10-12), 比原有铜连接网络强大 1,000倍支持全双工 (同时进行传输与接收同工作 )

配置灵活的拓扑结构点对点

只能连接 2 个设备( 直接连接 )

交换式 Fabric

最多支持 1 千 6百万个设备( 光纤通道交换机 )

Arbitrated Loop (仲裁环 )

最多支持 126 个设备( 光纤集线器 )

普及 !

可把光纤通道看做超级 SCSI

速度更快…更好的连接线…更多的连接数量…较低的管理费用…可以连接更长距离…更强大的管理能力…

光纤通道类似于超级 SCSI

SUPE

R

SCSI FC FRAME

SCSI FC FRAME

SCSI FC FRAME光纤通道高速公路

( 一个新的底层数据传输途径 )

并行与串行接口之间的比较光纤通道基于核心 SCSI协议设计 , 光纤通道通过将并行接口转换为串行接口极大的提高了 SCSI 的性能

Data 1

Control 1

Data 2

Control 2

Data 3

Control 3

SCSI 的并行接口多条连接线

光纤通道的串行接口Data 3 Control 3 Data 2 Control 2 Data 1 Control 1 单连接线

并行总线难以保证在远距离上数据的传输顺序 (电磁干扰 )

光纤通道存储特性SCSI- 命令集- 物理传输

光纤通道第一代Arbitration Loop

光纤通道第二代交换式 Fabric

节点连接能力 15126 (28)( 光纤通道集线器 )

1 千 6百万个 (224)( 光纤通道交换机 )

距离限制 25 米 10公里 10公里 ( 可扩展 )

最大带宽 160MB/秒 (半双工共享带宽 )

100MB/秒(全双工共享带宽 )

200MB/秒(全双工独占带宽 )

多协议支持 否 是 是管理支持能力 否

(非热插拔 )是 先进

(telnet, SES, SNMP, GUI, API)

错误隔绝 否 最低程度 是

将光纤通道看做一个聪明的网络先进的分层体系结构

底层智能操作控制( 基于硬件 )

广泛的上层协议映射

概要 : 可预测的网络性能

以太网络看看网络的协议层

Ethernet

TCP

IP

数据和应用

如果没有 TCP/IP, 以太网自身能做什么 ?

Har

dwar

eS

oftw

are

OSI 参考模型将传输的信息转换为接收服务器可以识别的格式 (例如 ASCII) 应用层对信息传输 , 压缩和加密 表示层有关通信会话的详细信息 会话层数据分块 传输层追加地址和路由信息 网络层为向专用途径或物理媒介通信准备数据 数据链路层从服务器向媒介进行传输 (例如 . 铜 , 光 ) 物理层

光纤通道分层体系结构光纤通道

数据和应用

FC-0: 物理界面

FC-3: 通用服务FC-2: 数据分发FC-1: 字节编码

FC-4: 高层协议映射

Har

dwar

e

减少对处理器的中断次数 , 应用可以更快运行 !

OSI 参考模型将传输的信息转换为接收服务器可以识别的格式 (例如 ASCII) 应用层对信息传输 , 压缩和加密 表示层有关通信会话的详细信息 会话层数据分块 传输层追加地址和路由信息 网络层为向专用途径或物理媒介通信准备数据 数据链路层从服务器向媒介进行传输 (例如 . 铜 , 光 ) 物理层

光纤通道协议映射

ATM

FC - ATM

IP

FC链路封装FC - LE

高层协议 (ULPs)• 支持现有协议• 对于操作系统是透明的• 不做更改 + 新的能力 SCSI-3

SCSI – 3命令集映射 IPI - 3 命令集映射 (IPI-3 STD)

FC-4

FC - AL -2

FC-3 通用服务

FC-0

FC-1

FC-2光纤物理与信号接口

( FC- PH, FC-PH2, FC-PH3 )物理变换

编码 / 解码结构协议 FC - AL

8b/10b 编码铜 , 光连接

观察 FC-2 的智能底层控制

端口类型逻辑结构固定和动态寻址Well-known地址网络服务注册过程灵活的节点分发服务先进的流控制RSCN

让我们研究以下光纤通道网络特性…

光纤通道 FC-2 端口类型

设备 (节点 )端口– N_Port = “Fabric直接连接设备”– NL_Port = “Loop连接设备”

交换机端口– E_Port = “扩展端口” (交换机到交换机 )– F_Port = “Fabric端口”– FL_Port = “Fabric Loop端口”– G_Port = “普通 (Generic)端口 — 可以转化为 E或 F”– U_Port = “通用 (Universal)端口” (用于描述自动端口检测的术语 )

端口 链接输入输出

• 点对点• Arbitrated Loop• Fabric

Fabric 端口清晰可见

Fabric

节点 N_Port F_Port F_Port

E_Port

E_Port

FL_Port

节点N_Port

交换机 2

交换机 1

节点NL_Port

节点NL_Port

U_Port

光纤通道交换机端口智能初始化过程长大后我要做什么呢 ?

y/n 你要与 Loop 通讯吗 ?

G - Port 现在开始等待有人与我通话…

yesno

你是交换机还是一个 Fabric 点对点设备 ?F - Port Fabric

pt-to-pt

E - Port

交换机

y/n 有什么东西插入到这一端口上来吗 ?no

yes

U - Port

FL - Port

光纤通道的帧格式

帧SOF

4

数据载荷

最大 2112

EOF

4

CRC

4

帧头

242148 字节

一个帧是在光纤通道连接中数据包的最小单位 (上层协议不可见 ).

FibreChannelFrame

SCS

I

Reque

st IP

Reque

st

光纤通道 FC-2逻辑结构传输规则 每一个帧必须是一个序列

(Sequence)或交换 (Exchange)的一部分序列是传输的单位 ,最多可以包含 216个帧 (批量传输 128 MB)

= 映射高层协议信息单位 交换是一组非并发相关序列 ,同时只能有一个序列处于工作状态智能错误恢复规则 8b/10b 时间信号帧 CRC校验 以序列 (Sequence) 为恢复单位 4 种交换 (Exchange) 错误策略

Command 1 Command 2 Command 3

命令 1

FC-2

命令 2 命令 3

命令 1 命令 2 命令 3

1 2 3 4

FC-0

1

2

3

高层协议

信息交换

多个序列

帧

端口

信息单元 信息单元 信息单元FC-4 映射

光纤通道 FC-2地址OSI 模型

应用层表示层会话层传输层网络层

数据链路层

物理层

以太网和 TCP/IP应用层

(i.e. POP3, SMTP, DNS, DHCP,FTP,

WWW 协议 )

TCP / UDP

动态 IP 地址10.77.77.77

固定 MAC 地址x‘00-00-0E-21-17-6B’

物理接口

光纤通道高层协议 (ULP)

FC-4: ULP Mapping

FC-3: 通用服务动态 Native 地址 (8/24-bits)固定 World-Wide Name (64-bits)

FC-1: 8b/10b 编码FC-0:物理接口

光纤通道可以在没有任何高层协议支持的条件下生成所有网络地址 (固定与动态 ) — 智能 !

固定与动态地址格式固定地址 (64-位 )WWN ( 类似于出生证明编号 )每个 fabric 设备 (HBA, 交换机 , 存储 )都拥有一个 (或多个 )WWN地址使用 IEEE 分配的地址格式

动态地址 (8/24-位 )本地生成 ( 类似于家庭住址 )注册到光纤通道网络时动态获得

– FC-AL = 8-位 (例如 x‘E0’) = 126 AL_PA地址

– FC-SW = 24-位= 16,000,000 Fabric地址

DomainID

8 Bits

AreaID

8 Bits

Port ID

8 Bits

24位地址空间

10:00:00:60:69:00:60:02

N_Port/F_Port 可用范围 :x‘01 0000’到 x‘EF EFFF’

IEEE 格式节点 WWN: 1 = b‘0001 000 000 000’端口 WWN: 2 = b‘0010 000 000 000’

厂商定义

Well-known Fabric地址

在交换式的 Fabric之中 , 某些地址已经被一些特殊功能占用 , 包括 :– x‘00 0000’ — 未被定义的 N_Port– x‘FF FFF5’ — 多路发送服务器– x‘FF FFF6’ — 时钟同步服务器– x‘FF FFF7’ — 安全密匙分发服务器– x‘FF FFF8’ — 别名服务器– x‘FF FFF9’ — 服务质量推动者– x‘FF FFFA’ — 管理服务器– x‘FF FFFB’ — 时间服务器– x‘FF FFFC’ — 名称服务器– x‘FF FFFD’ — Fabric控制器– x‘FF FFFE’ — Fabric登录服务器– x‘FF FFFF’ — 广播地址

FC-2 内置以上先进的网络功能 , 可以通过 well-known 硬件地址简化使用工作 . 这从另外的一个方面证明了光纤通道的确是一个智能网络 !

FC-2 内置网络服务的实例

名称服务器 (x‘FF FFFC’), 是FC_GS规范中的组成部分

负责关于 Fabric 连接设备的目录信息设备连接到网络必须在名称服务器注册名称服务器使用 FC-CT (普通传输 ) 协议在 整个 Fabric 内部分发信息 (动态扩展能力 )

光纤通道设备可以向名称服务器查询网络资源信息 ( 简单请求和响应模式 )

光纤通道名称服务器广播地址

名称服务器与 TCP/IP 的域名服务器 (Domain Name Server) 服务相似

智能名称服务器与 TCP/IP DNS 的对比功能 分布式名称服务器

(x‘FF FFFC’)

TCP/IP DNS 服务器(Socket 53 UDP)

服务器目标自动定位 是(Well-Known)

是 ( 通过 DHCP)

成员动态注册 是 是 (动态 DNS)

支持成员特性介绍 是 否 (仅包含 IP 和名称 )

支持所有或有限查询 是 否 (只支持部分查询 )

数据库自动复制 是 否 (手工分区传送 )

在整个网络中多点控制(支持读 ,写 ,更改全部能力 )

是 否 ( 主从 )

自动统一资源信息 是 否 ( 必须手工进行 )

FC-2 端口注册过程

设备为何要注册到网络 ? 为什么这是必须的 ?

– 发送数据前 , 一个 N_Port 必须执行注册进程以确定一个高性能操作环境•需要找出相互连接的拓扑结构•需要知道本环境中存在其他 N_Ports•Fabric和 N_Ports支持的服务类•协商高性能服务参数•选择错误恢复手段

– 最终结果 : 智能网络和客户端高性能

网络服务器 注册到服务器 注册到网络以太网络 光纤通道

Fabric FC-2注册通讯注册到网络 (Fabric Login - FLOGI) 注册到名称服务器 (Port Login - PLOGI)获得会话许可 (Port Login - PLOGI)

Fabric

名称服务器 (x‘FF FFFC’)

注册服务器 (x‘FF FFFE’)

发起者 应答者

FLOGI

接受 (地址 )

PLOGI (注册 )

接受PLOGI

接受

FC-2灵活的节点分发服务为满足不同的数据传输需求 , 光纤通道定义了多种服务等级以满足数据传输和操作要求

N_Port

N_Port

保存通道资源 ?

面向连接Class 1( 专线交换 )

Class 4(虚拟专线 )

exclusive usage

fractional usage

Yes

非连接Class 2

(帧交换 )

Class 3(帧数据报 )

acknowledgement

no confirmationNo 普及 !

FC-2 先进的 Fabric 流控制为何要流控制 ? 确保没有端口会因为接收了超过其极限的数据而导致崩溃 . 光纤通道中 , 我们先行检查 ! (在 TCP/IP中 , 包在发送时并不考虑接收方是否已经准备就绪 )

节点 N_Port F_Port

交换机

基于缓冲到缓冲信用的流控制

可用传输

_端口缓冲 缓冲 缓冲

buffer buffer buffer

智能 ASIC缓冲

•每端口信用数量• 动态缓冲池

• 完整和微型缓冲

当一个帧到达接收端口后 , 端口会首先将其储存在共享动态缓冲池之中 !

当前网络技术对比千兆以太网(IEEE 802.3z)

ATM(ATM 论坛 )

光纤通道(ANSI T11)

技术应用范围 网络 网络 , 视频 存储 , 网络 , 视频 , 机群速度扩展能力 无

(1.25 Gb/秒 )是 (OC-x)(2.488 Gb/秒 )

是(2.12 Gb/秒 , 8 Gb/秒trunking)

拓扑结构 点对点 , 集线器 , 交换 交换 点对点 , Loop集线器 , 交换式 Fabric

传输保障 无( 丢弃帧 )

无(抛弃信元 )

是 ( 保证不丢失阻塞数据 )

分发选择 分组 分组 分组 , 专线 , 虚拟专线 (Class 1 到 4)

长距离连接 是 (无 QoS) 是 是 ( 使用 DWDM或 ATM)

流控制 基于速率 基于速率 基于信用帧大小 可变 (0-1.5KB) 固定 , 53B 可变 , 0-2KB

等一下 !还有…

是 Fabric 内部的强制服务一个 Fabric 应当拥有一个或多个

Fabric控制器负责管理 Fabric 的运转

– Fabric初始化– Fabric 配置– 生成连接响应– 启动 /中断连接– 帧路由管理

Fabric控制器 (x‘FF FFFD’)

注册状态变更通知 (Registered State Change Notification; RSCN)

注册状态变更通知 (Registered State Change Notification)Fabric控制器发出唯一的通知到所有注册节点

Hi Fabric, 如果有新的磁盘请通知我 ,好吗 ?

网络自动通知为消除不必要的循环检查数据流 , 智能的 Fabric使用一种通知机制来报告

Fabric 内发生的变化

结论 : 光纤通道与 SAN

光纤通道 = SAN

全面支持高层协议映射

超级 SCSI

先进的分层体系结构

智能底层操作控制 ( 基于硬件 )

第二章 : 总结介绍了三种光纤通道拓扑结构进行了光纤通道与 SCSI之间的比较比较光纤通道与以太网之间的差异图解说明光纤通道的端口类型通过多种服务和分发机制证明光纤通道是一个智能网络说明在光纤通道网络中网络注册过程是必须的同时展示了在光纤通道网络中流控制的重要性

第二章 : 复习题1. 我们可以在一个光纤通道交换式 Fabric 网络上连接多少个设备 ?

2. 请列出光纤通道网络所拥有关键智能 .3. 在交换机级联时使用什么端口 ?

• SAN Fabric 内幕• 理解交换概念• 扩展 SAN Fabric

第三章 : 建立 SAN Fabric

SAN 交换式 Fabric 的内幕是什么 ?

节点 N_Port 节点N_Port

节点N_Port

SAN Fabric

存储网络后台操作• Fabric 分层结构

• 逻辑管理单元• 内部交换功能

• 交换机之间通讯• 路由选择

F_Port F_Port

F_Port

对于 N_Ports, 内部操作和结构是不可见的

N_Port 并不知道路径 . 这就无须在

N_Port 内部建立本地路由表 . 这一转化简化了连接与管理工作

SAN Fabric 的层次Fabric 是描述一种交换环境的术语 . 它内部可以包含一个或多个相互连接的交换机 ( 域 ; domain) 一个光纤通道交换机 = 一个

Fabric 域Fabric 的分层基于 24 位地址空间的划分一个 Fabric 内最多可以包含 239 个域

域ID

8 Bits

区ID

8 Bits

端口 ID

8 Bits

24 位地址空间

特别代理 :• 主交换机特别发送 :• Class F 服务

Fabric

Fabric 主交换机在 Fabric之中存在并只存在一个主交换机 !

– Domain地址的管理者 ( 分配唯一的 Domain ID)– 不存在单点故障 ! 如果当前主交换机失败 , 那么拥有最低 WWN — 将被选为主交换机

主交换机我是新的主管 , 谁要确认或获取一个新的 Domain ID?

NodeN_Port我需要一个 !我需要为自己所连接的节点分配一个动态地址 I

NodeN_Port

Fabric Class F 管理服务在光纤通道交换机之间只使用

Class F用于 Fabric 的内部控制和协调交换机使用 Class F帧以协调名称服务器和确定 Fabric层次等服务Class F传输对于 N_Ports完全是透明的类似于 E_Port 之间的 Class 2无连接服务Class F 流使用点对点的方式 , 单功能是基于每个帧来实现的 .

Fabric

F_Port F_Port

E_Port

E_Port

FL_Port

交换机 2

交换机 1

U_Port

Class F 服务

Fabric配置过程

步骤 1:

链接初始化

Fabric初始化 步骤 2:

区分端口操作类型

步骤 3:

选择主交换机

步骤 4:分配D

omain

地址

步骤 5:

路径选择 (FSP

F)

Fabric运行

CLASS F 通讯( 交换机 Fabric 内部连接服务 )

服务类对比特征 Class 1 Class 2 Class 3 Class 4 Class F

保留带宽 ? 100% No No 部分 No

面向连接 ? Yes No No Yes No

传输顺序保证 ? (按顺序发送 )

Yes No No Yes No

延迟保证 ?(传输可预测 )

Yes No No Yes (QoS)

No

分发确认 ? Yes Yes No Yes Yes

流控制 ? Yes Yes No Yes Yes

帧通道 ? No No No No Yes

Class F 与 Class N (Class 1 到 4) 分发服务

节点 N_Port

Fabric逻辑管理单元

Fabric

节点 N_Port F_Port F_Port

E_Port

E_Port

U_Port

节点N_Port

交换机 2

交换机 1

F_Port

Zone 1

Zone 2

分区单独的逻辑管理单元 可以使用 WWN 和端口作为成员 可以跨多个域 / 区 /端口 可以包含 Fabric 内任意数量的交换机支持相互交叉与 E_Port无关

分区的好处

NT

Solaris Disks

HP-UX

NTDisks

HP-UXDisks

Solaris

分区 满足 SAN Fabric任意连接的要求 真正支持异构平台的

SAN

普通交换概念交换是将两个以上的组连接起来而不在任何两个节点之间建立永久的专用连接

A D

EB

C F

不使用交换技术每两个节点之间直接连接

15 个连接

A

B

C

D

E

F

使用交换技术简单的将节点连接起来

1 个连接

网络交换的发展光纤通道OSI 参考模型

应用层表示层会话层传输层网络层 • 包交换 (X.25)

• IP 交换数据链路层

( 第二层 )

• 以太网 /令牌环交换• ATM/LAN 交换• 帧中继

物理层( 第一层 )

• 链路交换 (拨号 , ISDN)• SONET 交换

数据和应用

FC-0: 物理接口

FC-3: 普通服务FC-2: 数据分发FC-1: 数据编码

FC-4: 高层协议映射

通过分析每个帧的前 64字节 , 我们可以做得更多 !

第五层交换

交换机内部实现多端口交换 ( 基于内存 )

– ASIC进行交换控制( 本地通信本地完成 )– Cut-through路由 (非存储转发模式 )– 输出端口可以实现缓冲区负载平衡– 支持多种速率

(1/2/10 Gb/秒 )串行交叉交换 ( 基于矩阵 )

– 在交叉点进行交换(只依靠调度器进行 )

– 串行端口到端口(等待 , 直到连接成功 )

– 没有输出缓冲区(队列阻塞 )

– 只支持一种速度

共享内存

ASIC ASIC

ASIC ASIC

串行交叉

ASIC ASIC

ASIC ASIC

调度器输出缓冲存储器输入缓冲存储器

SELECTORFram

e Filtering

交换机级联

解决方案 : 将交换机互相连接(注意 : 与以太网集线器只能有一个级联端口不同 , 光纤通道交换机的所有端口都可以用于级联 )

观察光纤通道交换机内部的工作方式相当有趣 , 可是如果交换机无法提供足够的设备连接端口 , 我们又将如何是好 ?

将多个光纤通道交换机级联从而获得配置的灵活性• 可以建立更大的网络

• SAN Fabric 可以在物理上分布化• 可以为错误事件提供额外保护

交换机的互连能力

跳跃数量在到达目标前经过的 ISL 数量(最多 7 次跳跃 )

交换机间链接 (ISL)( 在两台交换机之间的链接 )

E_Port到 E_Port

节点 N_Port 节点N_Port

链接延迟(ISL 每公里将产生 5 微秒的时间延迟 )这比磁盘以毫秒衡量访问速度快 1000倍

单点与多点交换部分人仍然认为…

– 单交换机更好 ! 大盒子 , 更高的端口数量 (更多端口 )及易于管理– 这叫做“单交换机交换”

为什么 ? 由于级联…– 过于复杂 , 太多工作 !– ISL 浪费宝贵的端口资源 !– 通过 ISL进行交换比在一个盒子内进行速度慢 !

事实上– 盒子的管理与网络管理相比更困难– 不可避免的操作错误– 没有端口速度更快或更慢– 智能软件简化管理工作 , 不存在单独的硬件解决方案– 可怜的 ISL支持能力 ( 在一个

Fabric 内可能最多只支持 32个ISL)

– 难以实现干线合并 (ISL Trunking)?可级联交换机称为 “多交换机交换 (Multi-Stage Switching)”

单点故障 高可用 Fabric

步骤 2: 将原有核心交换机移到边缘

多点交换设计 : 核心—边缘模型步骤 1: 在 SAN Fabric 的核心配置较大的交换机

类似于FDDI骨干网

大交换机可以在如下多点交换环境之中使用 :–提高边缘节点的连接能力–替换原有核心交换机以提高核心节点连接能力– 连接各个 SAN孤岛

设备通常不与核心节点直接连接 !• 减低边缘节点扩展能力• 直接连接核心节点将降低系统的路径冗余保护能力

SAN Fabric 扩展的三块基石

概要 : SAN具有与 WAN 相似的扩展能力 !

网络自愈 (Self-Healing) (F.S.P.F)

ISL 优化 远距离支持> 10公里

自恢复的 SAN Fabric

FSPF 将交换机结合在一起并建立一个受到保护的网络的基础自动 Fabric拓扑分析和路径选择在 SAN 配置变化时动态配置路由 (自学习 )可以设定静态路由发生故障自动选择下一条最佳路径FSPF只保护网络本身 , 节点需要拥有两条路径连接到 SAN Fabric

Fabric最短路径优先算法自动故障切换在故障情况下

( 数据传输继续进行… )

当 ISL或交换机故障 (或重新启动 ) 时SAN Fabric继续工作

Fabric最短路径优先 (FSPF)

是指连接状态路径选择协议 (源于 OSPF)

– 使用链路权值 /权重– 考虑跳跃数量– 确保可用带宽

Domain ID 分配进程结束后立即启动六个简单步骤 :

1. 通知相邻的交换机2. 与相邻交换机相互交换全部连接状态数据库信息3. 更改连接状态记录4. 计算数据源与目标之间的最短路径5. 建立路由6. 运行 !

最短路径优先Hello!

Hello!

Hello!

Hello!

Hello!

每个圆代表一台交换机

连接权值为路经权值之和

每台交换机计算到达其他交换机的最短路径

1000

1000

1000

500

500

交换机间链接 (ISL) 优化

ISL 内部干线合并– 虚拟通道

ISL 外部干线合并– 动态负载分担– 动态负载均衡

这些解决方案将多点交换建立成为一个真正高性能网络模型

让我们研究几个用于提高 ISL吞吐能力的解决方案…

即连接即工作 !

缓冲池

ISL 内部干线合并 – 虚拟通道

0 (Class F)

1 (Link Control)

2 (class 2/3 data)

34567

ISL ISL

虚拟通道

缓冲池

ISL 内部干线合并用于 ISL 通讯性能优化– 每个物理 ISL 连接划分为 8 个虚拟通道– 4 个优先层 (0-3)允许提供保障服务 (QoS) 分发服务– 每个虚拟通道拥有独立的流控制– 当一个虚拟通道成为瓶颈时 , 不会影响其他虚拟通道

优点– 减少拥塞和确保数据流效率 (平衡 )– 区分不同的网络传输类型

在每个 ISL 内部

ISL 内部干线合并

ISL动态负载分担动态负载分担 ( 外部干线合并 )

– ISL 基于循环分配原则 (智能路由 )在多点交换 Fabric中平衡传输负载– 不同节点在所有可用 ISL上实现智能共享– 追加的 ISL 带宽可以立刻获得利用– 固定路由可以保证专用带宽– 保持传输顺序

全速连接 , 无阻塞 !

1G

1G1G.5G1G1G

1G1G.5G1G

所有 ISL都可以以全速运行第五台设备可以分配给可用

ISL

ISL动态负载均衡动态负载均衡 (8Gb/秒干线合并 )

– 可以将最多 4条 ISL 合并成为一条逻辑 ISL 连接提供最大 8Gb/秒的数据传输速率– 通过干线合并将 SAN上沉重的帧传输均分到所有的 ISL上– 如果干线合并之中任意连接失败不会导致重新路由– 通过使用更少的 ISL 简化管理工作– 保证顺序传输

2G1.5G.5G1G2G

2G1.5G.5G1G2G

最多 4条 ISL组合

所有数据流共享 8Gb/秒 ISL干线合并带宽FSPF将 ISL干线合并看做单一链路

E_Port

交换机 1

远距离支持能力 (> 10 公里 )

建立一个远距离的 SAN Fabric:1. 自然延伸 (DWDM, 光纤放大器 , 增强长波激光 GBIC) – 最大可以连接 120公里2. 可以在 IP或 ATM 网络上建立帧隧道 (帧封装 )

先进的缓冲信用管理系统是系统保持高吞吐性能的关键

E_Port

交换机 2

自然延伸

帧隧道缓冲池

总结 : SAN Fabric 基础智能 ASIC + 智能网络服务 = 高性能 SAN Fabric

ISL 优化

FSPF 内部交换

远距离连接支持 多点交换

高性能 SAN Fabric

分区

充分利用带宽

优化传输流

Fabric 扩展能力

Fabric 保护

回顾您的 SAN 信息基础架构我们希望您能更好的理解 SAN 技术 , 同时我们愿意与您共享更多信息如果您需要更多有关 SAN Fabric 的信息 , 请告诉我们或将 email发到以下地址 : san.ed@brocade.com如果您的 SAN项目已经启动 , 我们非常愿意协助您建立一个高性能的 SAN Fabric. 我们拥有的 SAN 设计师可以在以下地址访问 : china-info@brocade.com

=Ask SAN Expert

Dual Fabrics SAN 信息架构为最大限度的保护 SAN

Fabric, 您可以考虑 — Dual Fabrics

曾经发生过的灾难事件证明了系统弹性和稳定性的重要我们将在下一级 Brocade

SAN•Ed课程之中介绍Dual Fabrics 和其他的SAN 解决方案 —

SAN•Ed 201: 灾难恢复与业务持续性

No connection!

Hosts andStorage

Dual connections

SANA

SANB

第三章 : 总结图解说明 SAN Fabric 的分层结构介绍作为逻辑管理单元的分区技术对混合 SAN环境的支持回顾交换的一般概念并且指出内部交换与外部交换之间的差异

利用 FSPF 解释 SAN Fabric 的自恢复和自识别特性介绍优化 ISL 性能的三种方式

第三章 : 复习题1. 什么是 ISL?

2. 说出三种优化 ISL 性能的方式

3. 如何实现对 SAN Fabric最大保护 ?

SAN•Ed 101: 课程总结学习项目

– 介绍 SAN 术语和关键概念* HBA, GBIC, RAID, JBOD等 .

– SAN 解决方案的核心优势* LAN-free 备份 , 数据整和 , 灾难恢复等 .

– 了解光纤通道技术的基本内容* WWN, 动态地址 , Fabric, 端口类型等 .

– 光纤通道服务及其工作方式* 名称服务器 , Fabric控制器 , 注册程序 (FLOGI)等 .

– 从直接连接存储 (DAS)到 SAN 存储系统的迁移策略* 简单步骤 1-2-3. 激活 SAN 以及磁盘镜像…

– SAN Fabric 结构及配置* 级联 , ISL 优化 , 分区 , FSPF等

谢谢大家 !! 在 Brocade SAN•Ed 201再见

NEW

http://www.brocade.com/SAN.Ed