가상화 클라우드 위한 - cisco · • stp issue • 대량의 물리적 tor switch 관리...

© 2011 Cisco and/or its affiliates. All rights reserved. Cisco Connect 1 1 © 2013 Cisco and/or its affiliates. All rights reserved.

Seoul, Korea

최 우 형 수석부장

[email protected]

Cisco Systems Korea

가상화/클라우드 컴퓨팅을 위한

데이터센터 디자인

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Connect 2

데이터센터의

도전과제

Cisco Connect Korea 2013

일반적 데이터센터 구조 Zone 별 핵심 기술 조건 – Core/Network 서비스

Service A Zone Service B Zone Service C Zone

Core Zone

Network Service

Dist/Access/Server/Storage zone

Core Zone

• 대용량 코어 스위치

• 고성능/ 고집적 10GE 요구

• 다양한 L2/L3 Feature 지원

• 고가용성 / 안정성 기반 구성

Network Service

• 대용량 방화벽 / L7 Switch 서비스

• 고성능 및 10G Interface 지원

• 유연성 있는 디자인 /고가용성/안정성 필요

Core Switch

방화벽 L7 Switch L7 Switch

Facility Network

Server Storage


일반적 데이터센터 구조 Zone 별 핵심 기술 조건 – Dist/Access 영역

Dist Switch Zone (EoR : End of Row)

• 대용량 분산 스위치

• 높은 L2 처리 성능 및 Latency Issue

• 다양한 L2 Feature 지원

• 고가용성 / 안정성 필요

Access Switch (ToR : Top of Rack)

• 1U Size / ToR Switch

• Low Latency Switching

• 1/10G Switch 기술 제공


Core Zone

Network Service


Core Switch


Facility Network

Server Storage


일반적 데이터센터 구조 Zone 별 핵심 기술 조건 – 서버/스토리지 영역


Core Zone

Network Service


Core Switch


Server Zone

• 서버 관리 및 집적도

• 하이퍼바이저 아키텍쳐에 종속

• IO 디자인 이슈 (네트워크, 스토리지)

Storage Zone

• 스토리지 프로토콜 (iSCSI / FC / NAS) 선택

• 스토리지 IO 처리 기술

• HA 및 대역폭에 대한 디자인

• 디스크 (SATA/SAS/SSD) 선택

• RAID 구성에 대한 이슈

Facility Network

Server Storage


일반적 데이터센터 구조 물리적 구성 – 서버 랙, 스토리지 랙

Server Rack Storage Rack Network Rack

Ne

two

rk S

ide

St

ora

ge S

ide

서버 랙 /POD

• 1U 또는 2U server 구성

• 10G NIC/ 4G FC HBA (Storage Access) , 1G NIC (Network Access & Mgmt Access)

• Network ToR Switch – Network Service 용

• Storage ToR Switch – iSCSI /NAS,FC Switch

• Management Switch – OOB 관리용

Storage Rack / POD

• 10GE 기반의 iSCSI / FC 기반의 SAN

• Disk Array 구성 – SSD / FC/ SAS/ SATA Disk

• FC Case – EoR 형태의 SAN Director 사용

Network ToR

Storage ToR

Facility Network

Server Storage


일반적 데이터센터 구조 물리적 구성 – 네트워크 랙


Net

wo

rk S

ide

St

ora

ge S

ide

Network Rack

• EoR 형태의 Network Switch 구성

• EoR 형태의 iSCSI/NAS Switch 구성

• Mgmt 용 Network Switch 연결 구성

Network ToR

Storage ToR

Facility Network

Server Storage


일반적 데이터센터 구조 기술적 과제 – 서버 및 네트워크

현재 Cloud Computing Network 도전 과제들

Server

• vSwitch/VEB 이슈

• VMDirect Path 이슈

• NIC Teaming/Bonding 이슈

Access Switch

• Server NIC 디자인 이슈

• STP Issue

• 대량의 물리적 ToR Switch 관리 이슈

• Storage Layer 안정성 / 대역폭 확보 이슈

Dist Switch

• STP Issue

• 대량의 물리적 ToR Switch 관리 이슈

• Storage Layer 안정성 / 대역폭 확보 이슈

• 대규모 L2 Domaion 구조 및 motion 이슈

Facility Network

Server Storage




Network Service

• Virtualization 지원 이슈

• In-line / DSR / Out Of Path 구조 등에

대한 정의

• Multi-Tenant를 위한 디자인

Core Switch

• 스위치 가상화 지원 이슈

• Site to Site VMotion 을 위한 기술 지원

Facility Network

Server Storage




Server 의 기술적 도전 과제

• Green Computing

- 저전력 CPU /Memory

• IO 복잡성에 대한 고민

• 효율적인 가상화 구현에 대한 고민

• Point Product 증가에 따른 관리 고민

• 집적도에 대한 고민

Facility Network

Server Storage


데이터센터

네트워킹


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크의 AS-IS

Access Switch

Hypervisor

Dist Switch

vSwitch / VEB

VM

가상화 환경에서의 서버 네트워크 이슈

vSwitch 기술/관리

Server NIC Teaming/Bonding.

vSwitch 성능 – VM 집적도 및 응답속도.

VM 간 Traffic Monitoring & Filtering 불가능.

VM / Cloud Service 별 Traffic Engineering 불가능.

VMotion 발생 시 정책의 이동성 지원 문제.

Active Standby Active Standby

[ 가상화 환경에서의 서버 네트워크]


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크의 AS-IS : 가상 스위치

vSwitch

ESX

가상머신

vmnic

vnic Port Group Port Group Port Group Port Group

vSwitch

ESX

가상머신

vmnic

vnic

VGT

VST

EST

가상 스위치 기반의 정책 적용 이슈

네트워크 관련 정책 적용의 어려움.

네트워크 모니터링 구성 지원 불가 (SPAN,RSPAN,ERSPAN)

vMotion 과 연계한 정책의 이동성 지원 불가

관리적인 이슈

Virtual Switch 관리 주체에 대한 이슈

블레이드 스위치 / 가상화 스위치 관리에 대한 지속적인 이슈 발생


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크 AS-IS :가상화 스위치의 Trend

Hypervisor Switching

802.1Q 기반의 표준화/범용적 기술 기반

Nexus 1KV 기반의 Virtual Switching 기술

S.W 기반의 Switching 이 가지는 잠재적 이슈에 대한 고민

External Switching

가상화를 위한 장기적인 로드맵 필요

802.1BR 기반의 VN-Tag 기술 (Cisco, VMWare, Qlogic, Emulex, Broadcom 등…)

802.1Qbg 기반의 Tag 기술 (HP, Brocade, Juniper 등…)


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크 To-Be : VN-LINK 기반의 소프트웨어 스위치 N1KV

S.W 기반의 VN-LINK 스위치

802.1 Q 기반

다양한 스위치 기능

정책의 이동성 보장

기존 관리 모델 유지 가능

NX OS 그대로 사용

VSN 서비스 제공

편리한 설치 구성

VMware, MS 2012, KVM,

Citrix Xen 지원

솔루션 : Nexus 1KV

[ 소프트웨어 스위치 도입 모델] : Nexus 1000V

ESX

가상머신

vmnic ESX

가상머신

vmnic

Nexus 1KV

vnic

VMware vCenter MS System Center Citrix Xen Center

[ Nexus 1KV 구성 범례 ]

Nexus 1K VSM (Virtual Service Module)

VM 또는 Appliance

다양한 정책 구현

정책의 이동성 보장

기존 운영 모델의 보장

vPath



vCloud 의 유연성 기술

수많은 multi-tenant 발생시,

VLAN 숫자의 부족/ 네트워크

확장성 부족 이슈를 해결

VxLAN :

MAC-in-UDP encapsulation

24bit ID 기반 기술

L3 Across 기반 가능 및 N1KV

기반 기술 모두 사용 가능

표준화 진행

솔루션 : VxLAN

[ 소프트웨어 스위치 도입 모델] : Nexus 1000V 기반 VXLAN




Bridge Domain Switch – N1KV VEM

vnic

ESX

vmnic

VTEP

Bridge Domain Switch – N1KV VEM

vnic

ESX

vmnic

VTEP

IP Multicast Enabled 기반 네트워크



VSG (CY 2010)

범용 가상 방화벽 기능 제공

vASA (CY 2011)

시스코 가상 방화벽 기능

제공

vWAAS (CY 2011)

가상 어플리케이션 가속 기능

제공

vNAM (CY 2012)

가상 어플리케이션 분석 기능

제공

솔루션 : VxLAN


Tenant B Tenant A VDC

vApp

vApp

vSphere

Nexus 1000V vPath

VDC

Virtual Network Management Center (VNMC)

vCenter

VSG VSG VSG

VSG

Virtual ASA Virtual ASA


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크 To-Be : VN-Tag 기반의 가상화 스위칭 기술

[ 하드웨어 기반의 FEX 기술] : Adapter FEX, VM-FEX

[ 802.1BR 기반의 VM-FEX/Adapter-FEX 적용 모델] 지원 모델 – Cisco VIC, Broadcom 10G NIC

H.W Tag 기반 VM-Direct path

802.1 BR Pre-Standard 모델

Nexus OS 기반 구현 모델

가상화 성능 향상 가능

관리 모델의 승계 – SVR

/Net Admin

대부분의 가상화 솔루션

지원

VMWare vSphere 5.0 의

경우 VMotion 기능 지원

솔루션 : VM-FEX/ Adapter FEX

Hypervisor VMWare ESX MS HyperV RHEL KVM

UCS /VM-FEX VM-FEX

Nexus 6K/5K 또는 UCS FI

Nexus 2K 또는 UCS IOM

Hypervisor

Adapter FEX

VMWare Citrix Xen RHEL KVM MS HyperV Linux, Win

x86 /Adapter FEX

Nexus 6K/5K 또는 UCS FI

Nexus 2K 또는 UCS IOM 8

02

.1B

R

80

2.1

BR


클라우드 컴퓨팅 네트워크 디자인 서버 네트워크 To-Be : 전략적 디자인 로드맵

802.1Q Standard 모델 Nexus OS 기반 vSwitch - ESX, HyperV , KVM*, Xen*

Nexus OS 기반 정책 결정 - 보안, QoS , 장애 관리 정책 - VSM 기반의 가상 샤시

기존 vSwitch 사용 Nexus 1KV 기반 Switch 적용 Tag 기반 Switching

[ Phase I : vSwitch ] [ Phase II : Nexus 1KV ] [ Phase III : VM-FEX, Adapter-FEX ]

802.1Q Standard 모델 Hypervisor vSwitch 사용 - vSwitch 특성 파악 - .1Q Model 적용 여부 결정 vSwitch 정책 결정 - 보안, QoS, 장애 관리 정책

Tag 기반 802.1BR 모델 VM-FEX 모델 (성능) - VMWare, KVM 적용 모델 - MS,Citrix SR-IOV 적용 - Nexus 5K/2K 연동 모델

Adapter-FEX 모델 (디자인) - 대부분의 가상화 지원 - Nexus 5K/2K 연동 모델

목표 :

Server & Network Team R&R

정의 필요

목표 :

가상 스위치를 Network

Team에서 운영

VMWare 의 경우에만 해당

목표 :

물리적 서버에서 모든

네트워크 기능을 가상화를

인지하는 네트워크

스위치로 이전 모델. * 2013년 지원 예정


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 AS-IS – 기술적 이슈

Access Switch

Hypervisor

Dist Switch

vSwitch / VEB

VM

Cloud Computing – Access/Dist Switch 이슈

Active Standby Active Standby

Server Access/ Dist Switch - ToR

• ToR 스위치의 관리 이슈.

ToR Switch 관리를 위한 Mgmt Overhead

• STP 구성에 대한 이슈.

복잡한 STP 구조 이슈로 인한 불안정

Blade Switch / vSwitch 등….

• 네트워크 기반의 스토리지 구성 이슈

iSCSI/NAS 를 위한 성능 향상 이슈

iSCSI/NAS 안정성 향상 요구

• 가상화를 위한 다양한 Security .

ACL , DAI (Dynamic ARP Inspection)

Server


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 AS-IS – STP 이슈

Hypervisor Hypervisor Hypervisor Hypervisor

STP STP

STP ? STP ?

STP 의 복잡성

• 가상화 기반에서의 L2 Switching 구조 이해

• 블레이드 스위치, 가상화 스위치의 STP

비효율적인 Flow

• Network - Data/Storage Flow 모두 Active/Stdby

• Storage - Failover Time 이슈.

• Server - Server NIC Teaming/Bonding 구조 이슈.

• East to West Traffic의 급격한 증가 이슈.


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 AS-IS – 정책 이슈

Hypervisor Hypervisor Hypervisor Hypervisor

ACL 정책 구현의 이슈

• ACL(Access Control List) 적용 이슈.

• ACL 정책 관리에 대한 고민

L2 Layer 보안 이슈

• 가상화 기반에서 ARP Spoofing 문제.

• MAC Spoofing 에 대한 대책.

802.1Q


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : vPC기반 no STP

STP Free 구조 Design

STP Free 구조

vPC 기반 가용성 향상

vPC 기반 대역폭 향상

vPC+, EvPC 등의 다양한

디자인 기술 제공

가상화 스위치와 유연한

연동 구성 기술 제공

솔루션 : Nexus vPC

[STP Free 구조] : vPC(Virtual Port Channel) & FEX(Fabric Extender) 솔루션 구현

Hypervisor

Active Active Active Active

vPC vPC

vPC vPC

Hypervisor

vPC의 물리적 View vPC의 논리적 View

Nexus 2K

Nexus 7K

Server

[ Nexus vPC 구조]


FabricPath (FP)

클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : Fabric Path 기반 no STP

STP Free 구조 Design

STP Free 구조

손쉬운 구성 (PnP)

Convergence Time 향상

Latency 이슈 개선

대역폭의 대폭 확장

높은 확장성 기대

vPC+ 와의 연동의 통한

데이터센터 모든 환경의

no STP 환경 구현

솔루션 : Nexus Fabric Path

[STP Free 구조] : Fabric Path 솔루션 구현

Classical Ethernet (CE)

S10 S20 S30 S40

S100 S200 S300

1/1 1/2

A B

[ Nexus Fabric Path 구조]


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : 넥서스 OS 서비스 기능

NX-OS Security Feature

PBACL 구현 – .1Q 구간의 대규모 ACL에 대한 최적의 구성 솔루션

H.W 기반 Netflow Monitoring – Flow 분석

DAI 구현 – 가상화 기반 ARP Spoofing 방지

MAC Security – Dedicate OS 기반의 MAC Spoofing 방지

솔루션 : Nexus 스위치 솔루션

[보안성 강화] : Cloud Computing DC 보안성 강화 모델

Hypervisor


vPC vPC

vPC vPC

Nexus

2K

Nexus

7K

Server

PBACL[정책기반] PVLAN 구성

MAC Security – MAC Spoofing

DAI – ARP Spoofing


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 AS-IS – 물리적 구성 이슈


Net

wo

rk S

ide

St

ora

ge S

ide

Network Switch 관리 포인트 = Rack x ToR Switch

Network Switch 관리 포인트 = Rack x ToR Switch

Network Switch 관리 포인트 = Rack x EoR Switch

ToR Switch Mgmt Overhead

• 네트워크 구성 관리 Overhead

• 장애시 Trouble Shooting 시간 증가 (ex. STP 이슈 분석)

• 물리적 스위치 또는 VM 이동시 정책 재설정 필요

투자비/ L2 성능

• ToR Switch의 과도한 투자로 인한 CapEx 증가

• ToR-EoR 구성 방식으로 인한 Hop 증가


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 AS-IS – ToR ? EoR?

Top of Rack (ToR)

가격적인 장점 ToR 스위치와 서버간의 편리한 케이블링 ToR 스위치와 EoR 스위치간의 광케이블링

End of Row (EoR)

간편한 관리와 효율성 서버와 EoR 스위치간 광 또는 UTP 케이블링 적은 네트워크 스위치 관리 적은 STP 이슈 Local Switching 이 가능


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : 가상화 샤시 디자인

단일 Network Mgmt Nexus OS 기반 구현 모델 Single Mgmt Point 신속한 장애 진단 및 변경 관리

Hop 단순화를 통한 성능 향상

FCoE / 10GE / 1GE 등 다양한 옵션 지원

Nexus 7K/ /6K/ 5K & VDC 기반 지원을 통한 디자인의 유연성 확보 가능

솔루션 : Nexus FEX

[ToR Management 의 혁신] : Virtual Chassis 구현

[ Nexus 7K/6K/5K/2K 기반의 Virtual Chassis]

Nexus 7K/6k/5K Virtual Chassis

Nexus 2K


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : 케이블링

[10GE 시대를 대비하기 위한 Cabling] : 10GE Cabling에 대한 분석

[10GE Cabling 비교 분석]

케이블 전송 지연 시간 소모 전력 최대 거리 기술

Twinax ~0.25ms ~0.1W 5m SFP+ CU Copper

MM OM1 MM OM3

~0.1ms

1W 33m 300m

SFP+ SR short reach

SMF ~0.1ms

1W 10km SFP+ LR long reach

Cat6/6a/7 Cat6/6a/7

~3ms ~3ms

~3W

100m 10GBASE-T –

65nm


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : 케이블링

[10GE 시대를 대비하기 위한 Cabling] : 10GE Cabling에 대한 분석 (Intel 자료 인용)


클라우드 컴퓨팅 네트워크 디자인 Dist/Access 네트워크 To-Be : 전략적 디자인 로드맵

STP Free Mode vPC 적용 - NIC teaming/bonding 모두

Active/Active 구성 - Failover Time 향상 - 대역폭의 효율적 사용 FabricPath/ FEX 적용 - Latency 개선 - 관리성 향상

Virtual Chassis vPC / FEX/ FabricPath NX OS 보안 기능 적용

[ 관리 혁신 솔루션] [ 최적의 디자인 솔루션] [ 보안성 강화]

Nexus 7K/6K/5K/2K 가상샤시 단일 관리 솔루션 구현 - TOR 스위치 단일 관리 - VIF/HIF 기반의 Switch 기반의 FEX(Fabirc Extender)

유연한 디자인 구성 - FCoE /40GE/ 10GE /1GE

Cloud Security 기술 적용 PBACL - ACL 최적화 구성 기능 제공

DAI & MAC Security - Layer 2 구간의 보안성 향상

- MAC/ARP Spoofing 방지

목표 :

Cloud Service 별 네트워크

단일 관리

목표 :

Cloud Computing 데이터센터

내에서 L2 구조의 복잡성

제거를 통한 , 서비스 안정화

목표 :

Cloud Computing 내에서의

보안사고에 대한 네트워크

레벨의 보안


클라우드 컴퓨팅 네트워크 디자인 Core/Dist 네트워크 AS-IS

Cloud Computing – Core/ Dist Switch 이슈

Hypervisor

Service 별 EoR Switch Service 별 EoR Switch

Cloud Service A

Cloud Service B

Cloud Service C

Core/Dist Switch 이슈 – EoR Switch

• 서비스별 과도한 Switch 투자 이슈.

서비스별 과도한 물리적인 EoR Switch

DataFlow기반의 가상화로 구성

(VLAN, VRF, MPLS 등…)

• Site to Site Motion을 위한 기능적 요구.

DR 의 효율적인 활용

Site to Site vMotion 대한 기술적 이슈

L2 VPN 사용시 Mac learning 이슈

Pseudo-Wire Issue 관리 포인트

Broadcast/Multicast 전파 이슈

Site/Site 에 대한 Active/Active 요구

[일반적인 DataCenter 내에서의 EoR Switch 구성]


클라우드 컴퓨팅 네트워크 디자인 Core/Dist 네트워크 AS-IS

일산 DC 과천 DC ?

강남 DC 분당 DC

Subnet A

Subnet A

L2 VPN EoMPLS VPLS Dark Fiber

Cloud Computing – Core/ Dist Switch 이슈

Core/Dist Switch 이슈 – EoR Switch

• 서비스별 과도한 Switch 투자 이슈.

서비스별 과도한 물리적인 EoR Switch

DataFlow기반의 가상화로 구성 (VLAN,

VRF, MPLS 등…)

• Site to Site Motion을 위한 기능적 요구.

DR 의 효율적인 활용

Site to Site VMtion 대한 기술적 이슈

L2 VPN 사용시 Mac learning 이슈

Pseudo-Wire Issue 관리 포인트

Broadcast/Multicast 전파 이슈

Site/Site 에 대한 Active/Active 요구

[데이터센터간의 이동성 문제]


클라우드 컴퓨팅 네트워크 디자인 Core/Dist 네트워크 To-Be : VDC 기반의 네트워크 가상화

VDC (Virtual Device Context)

VDC 기반의 서비스 구현 –

N7K 기준 8개까지 가상

스위치 구현을 통한 비용

절감.

Cloud Service 또는 Layer별

VDC Switch 구성 가능

Data Plane / Control Plane

/ Management Plane 분리

솔루션 : Nexus 7000 VDC

[Cloud Computing Core 네트워킹 기술] : VDC 기반의 스위치 가상화

[Cloud Center 기반 데이터센터에서의 Nexus 7000 VDC 구성 예]

Hypervisor


vPC vPC

vPC

Nexus 2K

Nexus 7K

Server

Network Service

iSCSI/NAS Service

Internet Access

vPC vPC

vPC


클라우드 컴퓨팅 네트워크 디자인 Core/Dist 네트워크 To-Be : OTV 기반의 데이터센터 Overlay

Site to Site Motion

Control Plane 기반 MAC 학습

Dynamic Encapsulation - IP

기반 Frame Encapsulation

STP Loop Free /Unknown

Unicast 차단/ARP Broadcast

효과적 관리

Multi Homing 지원 –

per VLAN 로드밸런싱 지원

솔루션 : Nexus 7000 OTV

[Cloud Computing Core 네트워킹 기술] : OTV (Overlay Transport Virtualization)

OTV

VXLAN

Fabric Path

VXLAN

Fabric Path


클라우드 컴퓨팅 네트워크 디자인 Core/Dist 네트워크 To-Be : 전략적 디자인 로드맵

VDC (Virtula Device Context) VDC 기술 적용 - Data/Control/Mgmt Plane 가상화

- 현재 최대 8개 까지 지원 Mgmt Overhead 최소화 - 단일 물리적인 장비를 최소화 하기 위한 VDC 기반의 유연성 있는 설계

네트워크 서비스 가상화 네트워크 가상화 데이터 센터간 이동성 보장

[ 네트워크 서비스] [ 네트워크 가상화] [ 데이터센터간 이동성 보장]

ASA/ASASM Virtual Context 적용 네트워크 서비스 가상화 - Access/Dist Switch & Core

Switch 사이에 적용 - 802.1Q 또는 VRF 기반을 통해 네트워크 데이터 가상화와 연계

- Cloud Service 별 가상화

OTV OTV - Site to Site의 Server 또는

VM의 원할한 이동성 보장 - vPC/FP/VXLAN/ MPLS 와 연계한 가상화 기반 OTV 적용 방안 고려

VMWare SRM / EMC VPLEX,NetApp Metro 기술과 연계한 Cloud DR

목표 :

End to End 가상화를 위한

네트워크 서비스 가상화

구현

목표 :

Mgmt Overhead 감소 및

CapEx 최소화를 위한

네트워크 가상화

목표 :

DataCenter Site to Site

Seamless 이동성 보장을

위한 기술 구현


클라우드 컴퓨팅 네트워크 디자인 클라우드/가상화 데이터센터 네트워킹 매트릭스

현재 적용 기술 Issue 차세대 기술 차세대 솔루션

서버네트워크가상화 vSwitch 일반적 Switch 기술 지능형 가상스위치 802.1Qbh 기술

Nexus 1KV LACP VXLAN VM-FEX Adapter-FEX

서버 네트워크 관리 vCenter / XenCenter기반

전문성 부족 VN-LINK

서버 네트워크 정책 없음 VM기반의 정책 이슈 지능형 가상 스위치 802.1Qbh 기술

서버 IO 효율화 vSwitch 기반 Bonding

ToR Switch 관리 없음 Mgmt Overhead 서비스 신속성 결여

Virtual Chassis 기능

Cisco Nexus FEX 기술

STP 디자인 MSTP / VLAN LB STP 구조의 복잡성 vPC / MLAG/ LAG Cisco Nexus vPC 기술 Fabric Path

Link 안정성 RSTP / Flex LINK iSCSI Storage 안정성 vPC / vPC+(FabricPath)

네트워크 가상화 Data Plane 가상화 (Vlan,MPLS,VRF…)

Control/Mgmt Plane 가상화 불가

VDC (Virtual Context)

Cisco Nexus 7K VDC

데이터센터간 이동 vMotion Site to Site L2 이동성 보장 불가

OTV

Cisco Nexus 7K (VXLANvPC,FP,OTV)

네트워크 보안 적용하지 않음 L2 공격에 대한 이슈 MAC Security/ DAI NX OS 보안 Feature


클라우드 컴퓨팅 네트워크 디자인 클라우드/가상화 데이터센터 To-Be

Cloud Computing 구현을 위한 기술 구현

Server

• 802.1Q 기반 N1KV / VM-FEX / Adapter-

FEX 기술 구현

• QoS, VXLAN 구현

Dist Access Switch

• Nexus FEX 기술

• vPC & Fabric Path 기술

Core/Dist Switch

• VDC

• vPC & Fabric Path 기술 구현

• Nexus FEX 기술

• PBACL / DAI 적용

Network Serivce

• VSS & Virtual Context 구현

VDC

vPC

OTV

VM-FEX

A-FEX

N1KV

FEX

vPC

FEX

PBACL, DAI

VDC

vPC

FEX

VSS

ASASM

Fabric Path


데이터센터

컴퓨팅


클라우드 컴퓨팅 서버 디자인 서버 자원의 선택 AS-IS

CPU 선택에 대한 이슈 - Sandy Bridge EP, EX, EN ? - 고사양 CPU ?

Memory 선택에 대한 이슈 - 4GB , 8GB, 16GB … 저전력 메모리… Memory Speed - 메모리 집적도

HDD 선택 - Disk Type : SATA , SAS, SSD & RPM, RAID - IO Protocol : FC , iSCSI, NAS

IO 선택 - Bandwidth : 1GE, 10GE, 4G FC/ 8G FC - IO : Ethernet , FCoE, FC


클라우드 컴퓨팅 서버 디자인 서버 타입의 선택 AS-IS : 랙마운트 vs 블레이드

Rack

Server

Server

Server

Server

Server

Server

Server

Blade Server Se

rve

r

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Management Management Management Management

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

Serv

er

VS


클라우드 컴퓨팅 서버 디자인 서버 AS-IS 요약

Cloud Computing – Server 이슈

Server

• Green Computing.

RackMount Server vs Blade Server

Virtualization

• 복잡한 IO

1/10GE, iSCSI, NAS, VM-Mgmt, FC ….

IO 가상화

• Memory

대부분의 서버는 메모리에 대한

요구가 가장 높음

• 관리성

서버 관리에 대한 효율성 이슈

[ Rack Mount Server]

Network ToR 10GE or 1GE

Storage ToR 10GE or FC


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 집적도 디자인

[ Blade Server기반의 고집적 디자인] : Cisco UCS

Cisco UCS Blade

8대 서버 / 6U

42U 서버랙 기준 48대

서버 탑재

Sandy Bridge - 768Core

Westemere-EX 960Core

Memory – 최대 24.5TB

IO – 1.920 Tbps

48개 IO Card

IO Cable - 12 ~ 96개

저전력 Architecture 구현

솔루션 : UCS Blade Solution

= 1

9” 인치

표준

Rac

k 2

10

cm ~

Cisco UCS RackMount Server


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : Green Computing 디자인

[ Blade Server 기반의 저전력 디자인] : Cisco UCS

Cisco UCS Blade

80 Plus Platinum 인증 :

전력변환 효율 최대 95%

Grid 전원구성

데이터센터 환경 최적을

위한 블레이드 내부 63%

개방율(타사 대비 최대 3배

이상 개방율)

저소음 팬 설계 및 저전력

팬 설계

Grid 팬 방식 구성

솔루션 : UCS Blade Solution

공인인증 저전력 전원공급장치

63% 개방율 기반 구조

[ Cisco UCS Blade Solution]


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : Green Computing 디자인

[ 대용량 메모리 기술 기반 저전력] : Cisco UCS 기반의 대용량 메모리 지원

Cisco B200M3 기반

메모리집적도

Intel E5 프로세스 기반의

Memory DIMM 24개 제공

업계 최대 용량의

블레이드 메모리 구성

제공

CPU 성능 확장으로 인한

VM 집적도 향상 및 메모리

대용량 확보

솔루션 : 메모리 확장 기술

[ Memory 고집적 사례 디자인 비교 ]

Cisco UCS E5-2680 2.70 GHz

16GB x 24DIMMs = 384GB

데스크톱 가상화 OS : Window 7 Memory : 4 GB

1000 대 VM 서버당 90명

12~13대 UCS 서버 필요

일반 x86 서버 E5-2680 2.70GHz

16GB x 16DIMMs = 256GB

데스크톱 가상화 OS : Window 7 Memory : 4 GB

1000대 VM 서버당 62명

17~18대 x86 서버 필요


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 서버 IO 디자인

[ FCoE & IO 가상화 ] : Cisco FCoE & IO 가상화 구현

FCoE & IO 가상화

10GE 기반의 FCoE (Fiber

Channel Over Ethernet)

기술 구현

IO 가상화 기술을 통한

다량의 IO Card 생성

FCoE & IO 가상화를 통한

비용 절감.

IO 가상화 기술을 통한

디자인 구성의 유연성

확보

솔루션 : FCoE & IO 가상화

일반적 가상화 환경 구조

FCoE

Ethernet

FC traffic

FCoE & 시스코 IO 가상화 기술


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 서버 IO 디자인

[ 신개념 IO 가상화 기술] : IO Virtualization 기술

ASIC 기반의 가상화 기술

SR-IOV 구성의 제약점 극복

최대 256개 IO card 가상화

Win2K8/RHEL 6.0 기준

30개 이상 IO card 구성

(FC, 10GE Card 기준)

VMWare 기준 116개 IO

Card 지원

VM DirectPath 지원

Cut Through Switching 지원

솔루션 : FCoE & IO 가상화 Server

일반적 CNA

2 x 10G port

2 NICs 2 HBAs

Server

2~8 x 10G port

최대 256개 vNIC 또는 vHBA

Cisco 가상화 카드

vNIC vNIC vNIC vHBA vHBA vHBA



vNIC vNIC vHBA vHBA

Server

전통적 10GE

2 x 10G port

전통적 HBA

2 x 4G

Server

2 x 10G port

8 NICs

HP 가상화 카드

vNIC

vNIC

vNIC

vNIC

vNIC

vNIC

vNIC

vNIC


클라우드 컴퓨팅 서버 디자인 서버 AS-IS : VMware on UCS 방식 예제

[ VMWare 기반 전통적 구성 ] : 일반적 VMWare IO 구성

vSwitch

물리적 IO Card

vmnic

vnic

NIC

vmkernel

물리적 IO Card

vmnic

NIC

Mgmt vMotion

vmkernel

물리적 IO Card

vmnic

NIC

iSCSI/NAS

vmkernel

물리적 IO Card

vHBA

HBA

FC

일반 x86 구성의 복잡성

8개 이상의 IO Port 필요 – VM Network, VMKernel Network, Storage Network

이중화를 위해 상단에서의 네트워크와의 Teaming 고려

vMotion 이동성 보장을 위해 상단 네트워크와의 802.1Q 적용 및 Vlan Tagging 고려

일부 벤더의 가상 IO 기술을 적용하더라도, Rate Limit 기반의 비효율적인 대역폭 정책


클라우드 컴퓨팅 서버 디자인 서버 To-Be : VMware on UCS 방식

[ VMWare on UCS ] : Cisco Adapter FEX 적용시

vSwitch

vmnic

vnic

vmkernel

vmnic

Mgmt vMotion

vmkernel

vmnic

iSCSI/NAS

vmkernel

vHBA

FCoE

FC

Cisco Adapter FEX 기반의 장점

최소 2개의 물리적 IO에서 최대 256개 가상 IO 제공 (Ethernet, iSCSI, HBA 제한 없음)

H.W Teaming을 제공함으로 vSwitch의 이중화 구성이 필요 없음.

802.1Q 및 Vlan Tagging은 모두 UCS에서 적용 가능함.

가상화 IO 기술 적용시 Rate Limit , shapping 기술 동시 제공하여 대역폭을 효율적 사용

CoS Tagging이 구현 가능하므로, SLA 구현에 유리

Cisco VIC 최대 256개 가상 IO Card 제공



[ VMWare on UCS ] : : Cisco Adapter FEX + Nexus 1KV 적용시

Nexus 1000V VEM

vmnic

vnic

vmnic

Mgmt vMotion

vmnic

iSCSI/NAS

vmkernel

vHBA

FCoE

FC

Cisco Adapter FEX + Nexus 1000V 기반의 장점

정책 구현 편리 – ACL , QoS , Portmirroring 구현 가능 및 정책 이동시에도 유지

분석 및 장애 처리 편리 – Netflow, Portmirroring 구현

다양한 이더채널 기술 적용 가능 – 16가지 방식

VM 형태의 다양한 서비스 탑재 가능 – 방화벽, 로드밸런서, 어플리케이션 가속,

어플리케이션 분석 장비 등…




vmnic

vnic

vmkernel

vmnic

Mgmt vMotion

vmkernel

vmnic

iSCSI/NAS

vmkernel

vHBA

FCoE

FC

Cisco VM FEX 기반의 장점

vSwitch를 사용하지 않는 방식으로, Hypervisor를 Bypass 함.

성능 30%, IO Latency 40% 이상 , CPU 20% 이상 향상 효과

vSwitch를 사용하지 않으면서, vMotion이 가능한 UTP/VM DirectPath v2 업계 유일 구현

VM 집적도를 타사 대비 극대화 가능함.

서버 가상화 또는 대규모 가상화에 매우 유리


[ VMWare on UCS ] : : Cisco VM FEX 적용시


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 서버 IO 혁신에 의한 디자인비교

[ IO 구조 비교] : Cisco UCS 구조 vs HP/IBM 구조

FCo

E

Eth

ern

et

Eth

ern

et

Fib

er

Ch

ann

el

Network

NAS

File Server

FC Storage

Eth

ern

et

Eth

ern

et

Fib

er

Ch

ann

el

Network

NAS

File Server

FC Storage

[ Cisco UCS 구조] [ HP/IBM 구조]

VS

Network Network 구조 이슈 Chassis 증가에 따른 네트워크 포트 증설 지속 발생

Blade Chassis 구조 이슈 IO 연결 구조 증가에 따른 포트 및 IO Module 증가 Ethernet & FC Module 별도 구성 필요

Network 구조 이슈 Chassis 증가에 따른 네트워크 포트 증설 지속 발생

FC 구조 이슈 Chassis 증가에 따른 FC 포트 증설 지속 발생

Network 구조 최적화 Chassis 증가 시 대역폭 필요에 따른 최소 증설

Blade Chassis 구조 최적화 FCoE 및 IO 가상화 구조로 최초 구성후 변경 사항 없음.

Network 구조 최적화 Chassis 증가 시 대역폭 필요에 따른 최소 증설

FC 구조 최적화 Chassis 증가시 대역폭 필요에 따른 최소 증설


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 하드웨어 상태 가상화 디자인

[하드웨어 상태 가상화] : Cisco Service Profile

Cisco Service Profile

하드웨어 상태 가상화

구현

SAN/iSCSI Boot를 통한

간편한 관리 및 신속한

관리 복구 구현

하드웨어의 모든 속성 및

부트를 위한 속성을 UCSM

기반을 통해 관리를 구현

솔루션 : Service Profile

[ Cisco UCS Service Profile]


클라우드 컴퓨팅 서버 디자인 서버 To-Be 요약 : 하드웨어 상태 가상화 디자인

[하드웨어 상태 가상화] : Cisco Service Profile

Cisco Service Profile

하드웨어 상태 가상화

구현

SAN/iSCSI Boot를 통한

간편한 관리 및 신속한

관리 복구 구현

하드웨어의 모든 속성 및

부트를 위한 속성을 UCSM

기반을 통해 관리를 구현

솔루션 : Service Profile

[ Cisco UCS Service Profile]

Service Profile


클라우드 컴퓨팅 서버 디자인 클라우드/가상화 데이터센터 서버 매트릭스

현재 범용 기술 Issue 차세대 기술 시스코 UCS 기술

CPU 성능 Intel Sandy Bridge 고사양 CPU 지원 고사양 샌디브릿지 샌디브릿지 4P

E5 2690지원 4P 서버 지원

Memory 집적도 / 성능

대용량 메모리 메모리 성능 저전력메모리 저전력메모리 및 24DIMM기반 1.3GHz 지원

Disk 집적도/성능 2U 기반 고집적 SAS SSD

Disk IO 고성능 SSD PCIe 기반 Fusion IO, LSI IO 기술 지원

저전력 기술 저전력 CPU, Memory 블레이드, FCoE

쿨링, PCIe 슬롯 부족 지능형 쿨링 Intel SR-IOV

Adapter/VM-FEX 개방률 63% FCoE 지원 IO 가상화

ToR Switch 상용칩 기반 스위치 ToR 스위치 증가 SDN, SoftSwitch SDN 기반 Nexus UCS FI 솔루션

관리 Remote KVM 비용 및 복잡성 표준 관리 기술 Service Profile UCSM 기반 관리 다중 DC 관리

가상화 IO iSCSI, 1/10GE,NAS,CIFS,FC

비용 증가 하드웨어 구조 문제

FCoE FCoE 범용화 및 검증된 솔루션


가상화 기반의 DR

디자인


클라우드 컴퓨팅 DR 디자인 클라우드/가상화 기반 DR 모델

[클라우드/가상화 기반 DR ] : To Be Model

DataCenter Core/Service

Access

Compute

Storage

Core Switch Firewall L4 Switch

Cisco Nexus 7K

Cisco UCS FI

Cisco UCS

Storage

vPC

vPC

2x10GE

2x10GE

2x10GE

2x10GE

Internet

Server

Network

Storage

DataCenter Core/Service

Access

Compute

Storage

Core Switch Firewall L4 Switch

Cisco Nexus 7K

Cisco UCS FI

Cisco UCS

Storage

vPC

2x10GE 2x10GE

Internet

vPC

Main Center DR Center

H.V

VM VM

VM VM

H.V

VM VM

VM VM

FC IP

GSLB

vPC vPC

MDS 9222i Nexus 5500

MDS 9222i Nexus 5500

DR Network

DR Network



[클라우드/가상화 기반 DR ] : Network & Storage 고려 사항

GSLB DNS 기술 적용 Service URL Main Center L4 VIP DR Center L4 VIP

LAN Extension 기술 적용 - 1

LAN Extension 기술 적용 - 2

A. Traffic Flow Optimize GSLB 장비와 L4 장비간 CAL-AP 기술을 통해 Network Traffic 분산 기술 적용

B. 인터넷 회선 장애시 우회 서비스 Main Center 회선 장애 또는 네트워크 서비스 장애시 GSLB 기술을 통해 DR Center L4 VIP로 서비스 인입 우회

A. 최적의 OTV(Overlay Transport Virtulaization) 기술 적용 OTV 기술 적용을 통해, Control Plane 기반의 ARP Table을 Site to Site 코어 스위치에서 Flat Network으로 공유 HA 또는 VMotion 적용시 편의성 제공

** Nexus 7000 스위치 반드시 필요

A. DarkFiber / DWDM Nexus 5500 기반의 vPC 기술 적용 MPLS 기존 스위치의 EoMPLS 또는 VPLS 기술 적용

VMotion 을 위해서는 반드시 622Mpbs 대역폭 이상, 10msec 이하의 Laytency를 보장해야 함. VMWare 권고 사항 (Metro Cluster 적용)

OTV

DCI




Site to Site VMotion - L2 Extension 기반

SRM 기반의 Site to Site Data Replication

A. L2 Extension 기반의 VMotion Site to Site VMotion 을 위해 L2 Extension 기반의 VMotion 적용 (Network 파트 기술 참조)

B. Metro Cluster VMWare Metro Cluster 적용

C. 제약 조건 622Mbps / 10msec 이하의 네트워크 환경이 선수 조건이 됨. (VMWare Metro Cluster)

A. SRM (Site Recovery Manager) 기반 솔루션 적용 VMWare 에서 제공되는 솔루션으로, Storage 벤더들의 Data Replication 솔루션과 연동하여 Data 복제 및 DataCenter 의 컨디션을 점검하여 장애 발생 시, DR Center의 SRM에 통보하여 해당 DR Center의 vCenter에서 VM을 구동하여 사용함.

VMotion

SRM

B. SRM 기반 DR Center 동작시 고려 사항 RPO (Recovery Point Object)는 Netapp SnapMirror 기술 연동과 함께 조절이 가능하나, RTO (Recovery Time Object)는 예상 할 수 없음.




최적의 Data Replication 구현

FCIP 기반의 DR 구성

FCIP기반 DR

Data Replication / Mirror

A. FCIP 기반 DR 구성 FCIP 기반의 DR 구성을 통해 , 효율적인 DR 네트워크 구축 MDS 9222i / Nexus 5500 Switch 추가적으로 구축 필요

B. 추가 제안 FCIP 구성시 TCP/IP 효율성 증가를 위해, WAAS기반의 Application 가속 솔루션을 구성


데이터센터

스토리지


클라우드 컴퓨팅 스토리지 디자인 Scale up vs Scale Out

Bottleneck 발생

IO Latency

성능 이슈

스토리지 비용

Network 의존

HA

OpenSource

Bulk Data

신뢰성

서비스 체계

Disk 안정성

성능

가격

확장성

VS


클라우드 컴퓨팅 스토리지 디자인 Scale up vs Scale Out

SAN 기반 스토리지

$2 - $10/Gigabyte

$1M 투자시 효과 : 0.5Petabytes 200,000 IOPS

1Gbyte/sec

NAS Filer 기반 스토리지

$1 - $5/Gigabyte

$1M 투자시 효과: 1 Petabyte

400,000 IOPS 2Gbyte/sec

로컬 스토리지

$0.10/Gigabyte

$1M 투자시 효과: 10 Petabytes 800,000 IOPS

800 Gbytes/sec

출처: VMWare Strata Conference


클라우드 컴퓨팅 스토리지 디자인 SATA,SAS,SSD 그리고 RAID

SATA 7.2K SATA 10K SAS 15K SSD Disk SATA 10K

75~100 IOPS 125~150 IOPS 140 IOPS 175~210 IOPS 100K~ IOPS

IOPS = 1 / (평균 Latency + 평균 Seek Time)

PCIe 기반 SSD Disk = 500K ~ 600K IOPS


클라우드 컴퓨팅 스토리지 디자인 SATA,SAS,SSD 그리고 RAID

RAID IO Penalty IOPS (RPM 15K 기준)

RAID-0 0 175

RAID-1 2 85

RAID-5 4 40

RAID-6 6 30

RAID-DP 2 85

(예)VDI 1000 명 사용자, 사용자당 최대 40 IOPS

SAS 15K = 286개 필요 SAS 10K = 356개 필요 SATA 7K = 667개 필요

계산 공식 (전체 IOPS x Read %) + ((전체 IOPS x Write %) x RAID 페널티)


클라우드 컴퓨팅 스토리지 디자인 알아 두면 도움 되는 VDI 스토리지 이야기

[VDI Sizing을 위한 Storage 구성

기준]

VM OS boot : 35 IOPS

VM Login/Off : 20 IOPS

App 최초실행 : 20 IOPS

백신 Scan/Update : 40 IOPS

[VDI Sizing을 위한 Storage

Network]

VM OS Boot : 3Mbps

VM Login / App 최초 실행 :

5.6Mbps

백신 Scan / 업데이트 :

6.4Mbps

- Window Block Size 20KB

Storage Sizing

[ VDI Sizing] : Storage Sizing

[ Disk Sizing을 위한 VM별 IOPS 기준]

OS boot

Login App 최초 실행

백신 Scan

백신 Update

Log Off

IOPS 35 20 20 40 40 20

Read 90% 60% 50% 80% 20% 20%

Write 10% 40% 50% 20% 80% 80%

[ Disk Sizing을 위한 Disk 구성 기준]

RPM IOPS

SSD 6000

15K RPM 220

10K RPM 170

7.2K RPM 75

RAID IO Penalty Write IOPS(15K)

0 0 220

1 2 110

5 4 55

6 6 36

DP 2 110


클라우드 컴퓨팅 스토리지 디자인 스토리지 IO 선택 - FC vs iSCSI vs NAS

iSCSI Appliance

File System

Application

SCSI Device Driver iSCSI Driver

TCP/IP Stack

NIC

Volume Manager

NIC

TCP/IP Stack

iSCSI Layer

Bus Adapter

iSCSI Gateway

FC

File System

Application

SCSI Device Driver iSCSI Driver

TCP/IP Stack

NIC

Volume Manager

NIC

TCP/IP Stack

iSCSI Layer

FC HBA

NAS Appliance

NIC

TCP/IP Stack

I/O Redirector

File System

Application

NFS/CIFS

NIC

TCP/IP Stack

File System

Device Driver

Block I/O

NAS Gateway

NIC

TCP/IP Stack

I/O Redirector

File System

Application

NFS/CIFS

FC

NIC

TCP/IP Stack

File System

FC HBA

FCoE SAN

FCoE

SCSI Device Driver

File System

Application

Computer System Computer System Computer System Computer System Computer System

Block I/O File I/O

Ethernet Ethernet

Block I/O

NIC

Volume Manager Volume Manager

FCoE Driver

Ethernet Ethernet Ethernet


클라우드 컴퓨팅 스토리지 디자인 스토리지 IO 선택 - FCoE

운영체제 / 어플리케이션

SCSI Layer

FCP iSCSI FCP FCP FCP SRP

FCIP iFCP

TCP TCP TCP

IP IP IP FCoE

FC 이더넷 IB

1,2,4,8,16G 1,10,40,100G 10.20G…


클라우드 컴퓨팅 스토리지 디자인 스토리지 IO 선택 - FCoE

이더넷 Header

FCoE Header

FC Header FC Payload CRC EOF FCS

2229Byte

1. FC , Ethernet 동시 사용 가능

2. iSCSI, FC, NAS, NFS, CIFS 등 모든 IO 동시 사용 가능

3. 64b/66b 인코딩 방식으로 FC에 비해 월등히 뛰어난 성능

4. iSCSI의 대역폭 성능과 FC의 안정성을 모두 수용한 방식

5. SAN/Ethernet 스위치를 50% 이상 줄일 수 있는 CapEx 절감 효과


클라우드 컴퓨팅 스토리지 디자인 스토리지 IO 선택 – FCoE 는 Ethernet/FC 기술 동일합니다.!!!


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point

1. NIC Card Level의 Checksum Offload를 Enable

2. NIC Card Level의 Segment Offload를 Enable

3. NIC Card Level의 LRO (Large Receive Offload)를 Enable

4. NIC Card Level의 RSS (Receiveed Side Scaling)을 Enable

5. NIC Card Level의 Jumbo Frame을 적용

6. NIC Card Level의 Teaming , Bonding의 올바른 적용

iSCSI는 Block Access 이고, NAS는 File Access 이다. 다르다…

iSCSI, NFS를 Active/Active Bonding을 적용하더라도 속도가 빨라지지 않는다.

iSCSI/NFS Target이 많아지지 않으면, 속도는 동일하다.

그럼에도 불구하고, 사용을 권장하는 이유는 Failover 때문이다.

여러분들께 꼭!!! 알려드려주고 싶은 이야기


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – Server NIC Level

Linux NIC Tuning Point SR-IOV Tuning Point

VMware NIC Tuning Point Vmware PathThru Tuning Point

VMware는ESX Level에서 NetQueue로 대체됨.


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – Server NIC Level

Windows NIC Tuning Point


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – Jumbo Frame

iSCSI,NAS 들이여 Jumbo를 반드시 사용하라 !!!

- Disk Cluster 단위는 4KB 이상이다.

- IO가 많을 수록 Jumbo의 위력을 실감한다.

- 대역폭이 커질 수록 더 차이난다.

- 점보는 모두 적용해야 한다 !!!

Hypervisor - ESX, Xen, HyperV, KVM

Netowork & Storage.


클라우드 컴퓨팅을 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – RSS 미적용

RSS Capable NIC

Rec

eive

FIF

Os

Interrupt Logic

Incoming Packets

Core 1

Has

h

Core 2 Core 3 Core 4

CPU 1 CPU 2


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – RSS 적용

RSS Capable NIC

Rec

eive

FIF

Os

Interrupt Logic

Incoming Packets

Core 1

Has

h

Core 2 Core 3 Core 4

CPU 1 CPU 2


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – LRO미적용

device driver

MSS MSS MSS MSS

OS Data record

application

I/O library

유저

모드

커널

모드

CPU Core의 오버헤드

100%

전송 프로세싱 수행 40%

전송을 위한 버퍼 복사 20%

I/O Adapter

Data record

MSS MSS MSS MSS

TCP/IP

Core 1


클라우드 컴퓨팅 스토리지 디자인 ethernet 기반 Storage IO를 위한 Tuning Point – LRO 적용

device driver

MSS MSS MSS MSS

OS

application

I/O library

유저

모드

커널

모드

CPU Core의 오버헤드

100%

전송을 위한 버퍼 복사 20%

I/O Adapter

Data record

TCP/IP MSS MSS MSS MSS

Core 1


클라우드 컴퓨팅 스토리지 디자인 FC 기반 Storage IO를 위한 Tuning Point

Linux HBA Tuning Point VMware HBA Tuning Point

Window FC Tuning Point


우리 모두 클라우드형 엔지니어가 됩시다.


Thank you.

가상화 클라우드 위한 - cisco · • stp issue • 대량의 물리적 tor switch 관리...

Documents