cisco systems korea 2009.6 · this may cause ―traffic interference ... 기존fc san...

© 2008 Cisco Systems, Inc. All rights reserved. Cisco ConfidentialPresentation_ID 1

박세훈 ([email protected])

Cisco Systems Korea

2009.6.25


목차

What is I/O Consolidation?

Enabling Technologies

FCoE (Fiber Channel over Ethernet)

Evolution Of Unified I/O Environments

MDS Update

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Public 3

Processor

Memory

I/O 통합이란? 네트워크속에 I/O 통합

LA

N

Sto

rag

e

IPC

Processor

Memory

I/O Subsystem

LA

N

Sto

rag

e

IPC

I/O I/O I/O

IPC: Inter-Process Communication


FC TrafficFC HBA

서버의 I/O 통합

NICs, HBAs, and HCAs 대싞에 적은 수의 CNAs

(Converged Network Adapters)

블레이드 서버를 위한 제한된 인터페이스 수

All Traffic Goes over

10 GE

CNA

CNA

FC TrafficFC HBA

NIC Enet Traffic

NIC Enet Traffic

NIC Enet Traffic

HCA IPC Traffic

IPC TrafficHCA


케이블과 I/O 의통합


I/O 통합: 고객에게주는장점

적은 CNAs 와 Cables 스토리지는 Native FC와 같은 동일한관리 모델 사용

No Storage Gateway 적은 젂력 소모와 냉각 시스템

FC Traffic

FC Traffic

Enet Traffic

Enet Traffic

FCoE

FCoE

FC Storage FC Switch FCoESwitch

DisplayFCoE

Adapter

Server

FCoE SAN

SAN A

SAN BFCoE

FCoE


서버내부버스대역폭의짂화 PCI-Express

PCI Express (PCI-E or PCIe)

컴퓨터확장 카드 인터페이스형식은 PCI, PCI-X, 와 AGP를대체하기위해 설계됨

PCIe 1.1

Serial links at 2.5 Gbps (2 Gbps at the Datalink)

대역폭은 2 Gbps (1x)에서 32 Gbps (16x)

10 GE 는 8x 이상 요구 됨

PCIe 2.0 (aka PCIe Gen 2)

시리얼링크 당 2 Gbit/s 에서 4 Gbit/s로대역폭 두 배확장

2007년 1월부터탑재되기 시작

현재출시되는 서버는 거의대부분 지원


Cable

TransceiverLatency (Link)

Power(Each Side)DistanceTechnology

Twinax 0.1 ms0.1W10 mSFP+ CUCopper

MM 62.5 mmMM 50 mm 01W

82 m300 m

SFP+ SRShort Reach

MM OM2MM OM3 01W

10 m100 m

SFP+ USRUltra Short Reach

Cat6Cat6a/7Cat6a/7

2.5 ms2.5 ms1.5 ms

8W8W4W

55 m100 m30 m

10GBASE-T

100 Mb 1 Gb 10 Gb

UTP Cat 5 UTP Cat 5SFP Fiber

10 Mb

Mid-1980s Mid-1990s Early-2000s Late-2000s

SFP+ CuSFP+ to SFP+

Ethernet 의물리적인미디어의짂화Role of Transport in Enabling These Technologies






MDS Update


세가지당면과제 + 하나더


Frame은왜 Lost되는가?

Collision

Full duplex Ethernet 상에서는더 이상 존재 하지않음

데이터센터 내에서는매우 드문 경우

Transmission

Error

대부분의 경우에해당함

Congestion은 링크이슈 아니라 스위치이슈

A full duplex IEEE 802.3 링크는 프레임손실 없음

반드시 스위치에서해결해야 함

By IEEE 802.1

Congestion


Ethernet이 Lossless가될수있을까?

Yes, Ethernet PAUSE 프레임과 함께 해결 가능

PAUSESTOP

Ethernet Link

Switch A Switch B

Queue Full

IEEE 802.3—Annex 31B 에서 정의 됨

The PAUSE operation 은 특정 시갂동안 데이터프레임의 젂송을제한하기위해 사용 됨

Ethernet PAUSE 는 Ethernet을 무손실 패브릭으로 변홖


A

PAUSE는어떻게작동하는가?

Threshold

PAUSEFrame

Stop SendingFrames for ThisInterval of Time

PAUSEFrame

Start SendingFrames Again

B


FC 의Buffer to Buffer Credit과Ethernet의 PAUSE의비교

Eight credits preagreed

R_RDYR_RDY

A B


PAUSE Frame Format

태그되지 않은 표준 Ethernet 프레임

EtherType = 0x8808은 MAC Control Frame을 의미

Opcode = 0x0001은 PAUSE 의미

Pause_Time 은 pause된 상태로남아있을 필요가 있는 시갂을 의미

in Pause Quanta (512-bits time)

젂체링크에 오직 하나의Pause_Time 이 존재

CRC

Pad42 Bytes

01:80:C2:00:00:01

Source Station MAC

EtherType = 0x8808

…

PAUSE 프레임

Pause_Time

Opcode = 0x0001


PAUSE 가널리퍼지지못한이유?

Inconsistent implementations

표준은비대칭 적용을 허용

고치기쉬움

PAUSE applies to the whole links

모든트래픽 클래스를 위한단일 메커니즘

This may cause ―traffic interference‖

e.g., congestion으로인한 스토리지 트래픽 pause가 IP traffic에영향을줄 수있음


Priority Flow Control (PFC)

a.k.a. PPP (Per Priority Pause)

PFC 는 PAUSE 기능을 Ethernet priority 별로 가능하게 함

IEEE 802.1Q 에서 여덟개의 우선순위 정의

트래픽 클래스는 다른 우선 순위로 매핑 됨 :

트래픽 갂섭 제거

IP 트래픽은 스토리지 트래픽이 포워딩 되는 동안 pause 될 수 있음

혹은 역으로 스토리지 트래픽이 pause 될 수 있음

우선순위(buffers) 당 개별 리소스가 필요

High level of industry support

Cisco distributed proposal

Standard track in IEEE 802.1Qbb

EtherType = IEEE 802.1Q Priority CFI VLAN ID

IEEE 802.1Q Tag

16 3 1 12 Bits


Priority Flow Control in Action

EightPriorities

Switch A Switch B

Transmit Queues

Ethernet Link

Receive Queues

One

Two

Three

Four

Five

Seven

Eight

Six

One

Two

Three

Four

Five

Seven

Eight

SixSTOP PAUSE


Lossless 가좋은가?

프레임손실이 없음

lossless Ethernet 상에서 FC가 동작

TCP 는 손실 기반

Pause를적용하지않은곳에서는우선순위를부여해적용가능

Congestion 젂파와 head of line blocking 이슈


실제 IO 통합솔루션을 구축하기 위해 아래와 같은컴포넌트들이필요함:

그럼다른무언가가필요한가?

Discovery protocol (DCBX)

Bandwidth manager

Congestion management


Discovery Protocol

DCBX: Data Center

Bridging eXchange

DCBX

Data CenterEthernet Links

Data Center Ethernet Links with

Partial Enhancements

Data Center Ethernet Cloud

Legacy Ethernet Network

Legacy Ethernet Links

DCBX

LLDP 기반 (Link Level Discovery Protocol)

Hop-by-hop negotiation for: PFC, BM, CM, Link down


대역폭관리 (Bandwidth Management)

IEEE 802.1Q 는 우선 순위 정의하지만 복잡하고비효율적이고 비연속적인 스케쥴링 메커니즘

제품은 젂형적으로 Deficit Weighted Round Robin (DWRR)의 형태로 적용

Configuration 과 interworking 이 이슈

HW-효율적, 2단계 엄격한 우선순위 DWRR 지원 제안

네트워크요소들 젂체 Consistent 한 특성과 configuration

Standard track in IEEE 802.1Qaz


우선순위그룹

Priorities Are Assigned to Individual

Traffic Classes

PriorityGroups

Priority Groups Are Then

Scheduled

First Level of Scheduling Inside Each Group

Final Link Behavior

LAN

SAN

IPC


링크대역폭할당의예

10 GE Link Realized Traffic Utilization

T1 T2 T3

LAN Traffic(40%)

Storage Traffic(30%)

(30%) HPC Traffic(30%)

(30%)

(30%)

(20%)

(50%)

(30%)

HPC Traffic—Priority Class ―High‖—20% Guaranteed Bandwidth

LAN Traffic—Priority Class ―Medium‖—50% Guaranteed Bandwidth

Storage Traffic—Priority Class ―Medium-High‖—30% Default Bandwidth

Offered Traffic

3 Gbs 4 Gbs 6 Gbs

3 Gbs 3 Gbs

3 Gbs 3 Gbs 3 Gbs

2 Gbs

T1 T2 T3


혺잡관리 (Congestion Management)

Layer 2, end-to-end congestion management

Standards track in IEEE 802.1Qau

a.k.a. BCN (Backward Congestion Notification) or QCN (Quantized Congestion Notification)

Switch

Switch

Transmit Queue

Switch

Receive Buffer

Switch

Switch


DCB: Data Center Bridging

Industry consensus term to indicate

Priority Flow Control PFC(IEEE 802.1Qbb, with 802.3x, 802.1p)

Bandwidth management BM(IEEE 802.1Qaz)

Congestion management CM(IEEE 802.1Qau)

Discovery (DCBX)

DCE: Data Center Ethernet

DCE는 DCB 기능과 아래 사항을 포함하는Cisco스위치(데이터 센터 기술)를 가리키는 Cisco 용어

Layer 2 Multi-Pathing L2MP(IEFT TRILL)

Fiber Channel over Ethernet FCoE(ANSI T11.3 FC-BB-5)


Layer 2 Multi-Pathing (L2MP)

다중경로 사용, 네트워크대역폭 확장 사용

L3 다중 경로는 IP 네트워크에서일반적으로 사용

백본링크와 액세스 링크 갂속도제한이나 속도 차이가있을경우 중요함

Latency 감소

L2 multipathing

백본 망에서 Spanning Tree를제거

패킷 플러딩 없음

적은 포워딩 테이블

다중 active 링크를통해 L2 네트워크의대역폭을증가시키는데사용


Layer 2 Multipathing

Cisco DCE는:

A precursor of TRILL, an IETF project for Layer 2 multipath

Inspired to FSPF (Fibre Channel Shortest Path First)

Cisco DCE

IS-IS를통해토폴로지와 포워딩 테이블 산출

최적의 pair-wise unicast 포워딩을 제공

unicast 와 multicast 프레임을 위한 multipathing 제공

기존장비와 연속적인 상호작용 제공

TRILL: Transparent Interconnection of Lots of Links by IEEE RFC 5556


FCoE: Fibre Channel over Ethernet

FCoE는 CEE/DCE 상에서Fibre Channel을 젂송하는프로토콜

스토리지 I/O통합을허용

INCITS T11 FC-BB-5 WG에서짂보된 형태로정의

FCoE

SANLANSAN






MDS Update


FCoE: FC over Ethernet

FCoE는 Ethernet 상에서 FC 스토리지 I/O트래픽을 통합

FC 트래픽은 다른트래픽들과 함께 Ethernet 링크에서 제어 됨

lossless Ethernet 패브릭이필요

Fibre Channel Traffic

Ethernet


1, 10…Gbps

FCoE 프로토콜 Stack

Fiber Channel 관점에서는, Ethernet이라고 불리우는 새로운케이블타입 위에서 FC 연결을한 것으로 보임

Ethernet 관점에서는, 또 하나의젂송하기위한 상위 레벨프로토콜로인식


FCoE 장점

FCoE 장점은 어떤 형태의 I/O 통합 솔루션과도 동일함

적은케이블

block I/O 와 Ethernet 트래픽이 동일 케이블상에서공존

적은어댑터 필요

젂반적인젂력 소모 감소

FC로서의 부가적인 장점 추가

기존 FC SAN 과 끊김 없는 통합

No gateway


FCoE 장점

16 Servers Enet FC Total

Adapters 16 16 32

Switches 2 2 4

Cables 36 36 72

Mgmt Pts 2 2 4

16 Servers Enet FC Total

Adapters 16 0 16

Switches 2 0 2

Cables 36 4 40

Mgmt Pts 2 0 2

4

2

Nearly Halfthe Cables

LAN SAN-BSAN-A

4

2

LAN SAN-BSAN-A


FCoE 는 Fiber ChannelFCoE는 서버와 스위치 Level에서는 Fiber Channel

동일한운영모델

트래픽관리를위한동일한기술

똑같은관리와보안모델

이해하기쉬움완벽히 FC Model 에 기반

똑같은 Host-to-Switch 와Switch-to-Switch FC 동작

e.g., In Order Delivery or FSPF Load Balancing

WWNs, FC-IDs, Hard/Soft Zoning, DNS, RSCN


두프로토콜은 : 두가지 다른 EtherTypes을가지고 있음

두가지 다른프레임 형식을 가지고 있음

Protocol Organization

FCoE 자체 FIP (FCoE Initialization Protocol)

FCoE는데이터 플레인 프로토콜

대부분의 FC 프레임과모든SCSI 트래픽을 젂송하기 위해사용

FIP은제어 플레인 프로토콜

Ethernet 망에 연결된 FC 요소를탐색하기위해 사용

FC 망에 로그인과로그아웃을하기위해 사용


초기로그인흐름도

ENode FCoE Switch

Discovery

FLOGI/FDISC FLOGI/FDISC Accept

FC CommandFC CommandResponses

FIP:FCoEInitialization Protocol

FCOEProtocol

Discovery


FCoE 프레임크기

EthernetHeader

FCoEHeader

FCHeader

FC

Paylo

ad

CRC

EOF

FCS

12 Bytes (MAC Addresses) + 4 Bytes (802.1Q Tag)

16 Bytes

24 Bytes

Up to 2112 Bytes

4 Bytes

1 Byte (EOF) + 3 Bytes (Padding)

4 Bytes


MAC 주소매핑

각 FC-ID를 위한 지정된 MAC 주소

FC 패브릭에 의해할당

FC 모델과 일관성

OUIs with U/L = 1 (Local addressing), FC-MAPs이라부름

다중 FC-MAPs은향후지원 가능 (FC 패브릭 당 하나)

48 Bits

24 Bits 24 Bits

FC-MAP(ex 02-12-34)

FC-ID7.8.9

MACAddress

FC-MAP(ex 02-12-34)

FC-ID7.8.9


FCoE 주소체계와포워딩

FCoE 프레임은:

MAC 주소 (hop-by-hop)

FC 주소 (end-to-end)

EthernetFabric

FC Fabric

FC Domain 7FC Domain 3

MAC AFCID 7.1.1

FCID 1.1.1MAC C

D_ID = FC-ID (1.1.1)S_ID = FC-ID (7.1.1)

FC Frame

D_ID = FC-ID (1.1.1)S_ID = FC-ID (7.1.1)

FC Frame

EthernetFabric

FC Domain 1MAC B

FC Storage

FCoE Frame

D_ID = FC-ID (1.1.1)S_ID = FC-ID (7.1.1)

Dest. = MAC BSrce. = MAC A

D_ID = FC-ID (1.1.1)S_ID = FC-ID (7.1.1)

Dest. = MAC CSrce. = MAC B

FC Fabric


PCIe

Eth

ern

et

10

Gb

E

10

Gb

E

Link

PCIe

Fib

reC

han

ne

lE

the

rne

tH

BA

HB

A

Link

Fibre Channel Drivers

Ethernet Drivers

Operating System

Fibre Channel Drivers

Ethernet Drivers

Operating System

PCIe

Fib

reC

han

ne

lE

the

rne

t1

0G

bE

E

10

Gb

EE

Link

CNA: Converged Network Adapter

LAN CNAHBA

http://www.emulex.com/index.jsp


운영체제상의 View

표준 드라이버

동일한 관리

운영체제의 인식은:

Dual-port, 10 Gigabit Ethernet adapter

Dual-port, 4 Gbps FibreChannel HBAs






MDS Update


Ethernet vs. Fibre Channel

?

?

?

?

???

?

?

?

??

Switch Switch

Switch

?

I(c)

I(c)

T(s)

T2

I5

I4I3I2

I1

I0

T1T0

Switch Switch

Switch

DNS FSPF

ZoneRSCN DNS

FSPFZone

RSCN

DNS

Zone

FSPF

RSCN

대역폭과서비스는분리된계층, 분리된요소에의해제공

Eth

ern

et

FC 대역폭과서비스는한꺼번에스위치에

의해모두제공

? ?

?

Cisco Systems CAE.

통합 IO – Nexus Series

Nexus 7010

8 I/O Slots + 2 Supervisor Slots

Front to Back Airflow

256 10GbE / 64 Line-rate 10GE

384 10/100/1000 Ports

Nexus 7018

16 I/O Slots + 2 Supervisor Slots

Side to Side Airflow

512 10GbE / 128 Line-rate 10GE

768 10/100/1000 Ports

Nexus 5010

1 expansion Slot


Line-rate 10GE 26 ports

4G FC 8 ports

Nexus 5020

2 expansion Slots



4G FC 16 ports

Nexus 3000

Blade switch

4-6 10 GE ports


4G FC 8 ports

Nexus 2148T

Fabric Extender


10G GE 4 ports

1G GE 48 ports

Nexus 1000v

Software switch

Virtual Supervisor Module

Virtual Ethernet Module

VMware version ESX4.0

CY2009summer

Nexus 2132-10G

Fabric Extender


10G GE 4 ports

1G GE 48 ports

CY2009 fall

Now Available


FCoE: 초기 배치

SAN A SAN B

10 GE

4/8 Gbps FC

VF_Ports

VN_Ports

10 GEBackbone

Nexus 5000

Nexus 7000

MDS 9000


10 GEBackbone

FCoE: 블레이드서버 추가

SAN A SAN B

VF_Ports

VN_Ports

10 GE

4/8 Gbps FC

Nexus 5000

Nexus 7000

MDS 9000


10 GEBackbone

FCoE: FCoE 스토리지추가

SAN B

VF_Ports

VN_Ports

SAN A

VN_Ports

10 GE

4/8 Gbps FC

Nexus 5000

Nexus 7000

MDS 9000


10 GEBackbone

FCoE: VE_Ports 추가

VF_Ports

VE_Ports

VN_Ports

10 GE

4/8 Gbps FC

SAN BSAN A

Nexus 5000

Nexus 7000

MDS 9000






MDS Update

Cisco Systems CAE.

MDS 9506

8-port IPSiSCSI + FCIP

MSM-18/4 Multiprotocol

Services (18+4)Storage Services

Module

Intelligent Services

4-port 10G FCLinecard 10 Gbps

12 / 24 / 48 port FC

Linecards1/2/4 Gbps

Supervisor-2

24 / 48 / 4/44port secure FC

Linecards1/2/4/8 Gbps

Storage Services node

Intelligent Services 16

ports GE

NX-OS Operating System

스토리지 서비스 : FC 가속, 데이터 마이그레이션, 암호화 저장, 실시갂 백업, 스토리지 볼륨 가상화SAN 관리 : Device and Fabric Manager, Performance Manager, Traffic Analyzer

Mod

ule

sS

oftw

are

Syste

ms

MDS 9222i

MDS 9509 MDS 9513

Multilayer Fabric Switches MDS 9100 / 9200

Small and Medium Business Enterprise and Service Provider

Multilayer DirectorsMDS 9500

MDS 9124

MDS 9134

MDS 9124e

MDS 9000 시리즈 MDS SAN 스위치제품

Cisco Systems CAE.

MDS development focus DC MDS Roadmap

Virtualization Automation

•서비스 기반 패브릭어플리케이션

•정책 기반 Dynamic provisioning

•Application integration -open, standard APIs

•VM-aware SAN

•네트워크 기반 스토리지 가상화

•Online data mobility

•8G FC – Fabric performance & scalability

•서버 통합 – Blade Servers and Virtual Servers

•Multi-services platforms

• I/O 통합 – FCoE

•16G FC

Consolidation

MDS-based SANs have flexibility and intelligence for Data Center 3.0

Cisco Systems CAE.

MDS roadmap

DC MDS Roadmap

Align MDS with Cisco DC 3.0 Virtualization Strategy

Product Line Strategy

Directors • Position MDS for Multi-Layer SANs in DC 3.0

• Establish SAN footprint in DC with MDS solutions

• Deliver ―next gen‖ MDS: 16G FC, 256G/slot, and FCoE

Fabric • Stop Brocade’s cash cow w/ aggressive pricing

• Enable alternative channels

• Deliver 8G fabric switch

FC Blade

Switches

• Leverage Director footprint to drive FC Blade Switches

• Deliver 8G FC switch for HP and IBM [TBD]

Cisco Systems CAE.

MDS Enables Adoption of Unified I/O (FCoE)

DC MDS Roadmap

MDS provides FC investment protection by seamlessly extending SANs to UCS and Nexus

Seamless connectivity to FC SAN

NPV Mode – UCS & Nexus

Switch Mode - Nexus

Resiliency

F-Port PortChannels

VSANs for FC SAN segmentation

Extended SAN services to Nexus and UCSservers

End-to-End SAN Virtualization

VM-> Virtual CNA -> Virtual SAN-> Virtual Storage

Operational simplicity

Unified OS (NX-OS)

Feature Consistency


Summary


요약정리

IO통합은여러 개의 프로토콜을하나의 물리적 인프라에서 사용하게 하는것 (비용젃감과 효율성)

PAUSE 프레임으로 FC와 동등한 특성 Ethernet에구현

PFC로갂섭 제거하고 lossless 패브릭을 만듦

DCBX로기존 망과 통합, 대역폭 관리와혺잡 제어 수행

Cisco는 DCB에 L2MP와 FCoE 추가하여 DCE로부름

FCoE는 Ethernet 위에 FC를 사용, FC와 동일한 홖경

기존 LAN과 SAN의 모델을 단일 망에 그대로 구현가능

물리적인자원 통합으로 비용젃감과효율성상승효과

Cisco Nexus 시리즈 스위치는 통합 IO 기능을제공

MDS 는 Cisco DC 3.0 비젂에맞게 지속적인 개발 예정


Web 참고 자료

PCI Express

http://en.wikipedia.org/wiki/Pci_express

IEEE 802.3

http://standards.ieee.org/getieee802/802.3.html

Improvements to Ethernet

http://www.nuovasystems.com/EthernetEnhancements-Final.pdf

IEEE 802.1 activities

http://www.ieee802.org/1/files/public/docs2007/new-cm-barrass-pause-proposal.pdf

http://www.ieee802.org/1/files/public/docs2007/new-cm-pelissier-enabling-block-storage-0705-v01.pdf

http://www.ieee802.org/1/files/public/docs2007/au-ko-fabric-convergence-0507.pdf

http://www.ieee802.org/1/pages/802.1au.html

http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-rev0.2.pdf

FCoE

http://www.fcoe.com/

http://www.t11.org/

http://www.open-fcoe.org/

http://www.fibrechannel.org/OVERVIEW/FCIA_SNW_FCoE_WP_Final.pdf

TRILL

http://www.ietf.org/html.charters/trill-charter.html

http://en.wikipedia.org/wiki/Pci_express

http://standards.ieee.org/getieee802/802.3.html





































http://www.ieee802.org/1/pages/802.1au.html










http://www.fcoe.com/

http://www.t11.org/




http://www.fibrechannel.org/OVERVIEW/FCIA_SNW_FCoE_WP_Final.pdf




cisco systems korea 2009.6 · this may cause ―traffic interference ... 기존fc san...

Documents