Data center Network 전망

2013. 6. 24.

KRnet 2013

ETRI 통신인터넷연구부문

스마트네트워크연구부

스마트노드플랫폼연구실

이범철

KRnet 20131

목 차

1. 머신 및 가상화 12. 데이터센터 및 ISP 현황 63. 응용기반/멀티테넌트 네트워크 114. OpenStack 네트워크 235. 네트워크 설치 모델 30

KRnet 20132

The Free Lunch Is Over /Herb Sutter(2009)

반도체 공정기술 발전으로집적도가증가함에 따른부수적 효과 클럭 속도 개선 소모 전력 개선 성능 개선

상기 효과들로인한 프로세서성능 향상으로소프트웨어규모를 손쉽게확대시켰음

2005년 이후 더 이상 부수적인 효과 종료 대안은 Multicore 병렬 프로그래밍 기법 및 관련 도구 개발 필요 Virtual Machine 등장

KRnet 20133

Welcome to the Jungle /Herb Sutter

싱글 프로세서 머신멀티코어 클라우드 코어 Unicore(1975-2005) Multicore(2005~) Cloud core(2010~)

Good News Moore’s Machine 10년 더 지속 Cloud Machine의 발견 및

Moore의 법칙 보다 더 빠른 증가

가상화 2016년 세계 가상화 서비스 시장

$31.9B, 년 9.6% 성장 예상 가상화 서비스 시장: 시스템

통합, IT 컨설팅, 하드웨어 지원및 개발 등 가상화 이용 시장: 클라우드,

서버/OS통합, VDI 등

0

2

4

6

8

10

12

2011 2012 2013 2014 2015 2016

$B 세계 가상화 서비스 시장(IDC 2012/9)IT consulting

Systems integration

Network consulting andintegrationIT consulting (storage)

Systems integration(storage)Hardware supportservicesSoftware supportservicesIT education and training

KRnet 20134

저전력 서버 필요성 중앙 집중 기반의 연산 중심 응용

대비 Web 처리 Scale-out 응용증가 데이터센터 운영비의 30~50%가

전력 사용 요금 서버 설치 공간 저전력 CPU 기술 발전 Cloud Machine 기술 발전 및

장점(Scale-out) 부각

Density 및 Workload 최적화 서버에 탑재되는 프로세서,

메모리, 스토리지 용량을수행되는 Workload 속성에 따라맟춤형으로 배치 가능 Rack 당 node 수를 1K개 이상

크게 할 수 있음 Web, 데이터베이스 검색에 유리

Micro/Density Optimized Server

KRnet 20135

저전력 프로세서 현황 Intel x86 Atom 및 ARM CPU Intel x86 기반 S1200 출시(2012/12/11)

• 64bit ECC 지원(세계 최초)• 8W(1.6GHz), 32nm공정, $50

ARM Quad 32bit Cortex-A15(2013년 말출시) ARM Octal 64bit Cortex-A57(2013년 말

제작 예정) 고성능 CPU 대비 가격 1/5배 절감,

소모전력 1/10 절감, 공간 ½ 절감

On-chip Fabric Switch 혁신적으로 소모전력, latency, 비용을

줄임 로컬 버스 기반 프로세서간 통신 다양한 접속 방식 제공 IO 가상화 PCIe, Infiniband Switch 사용 기존 가상 스위치를 대체

저전력 프로세서 및 On-chip Fabric Switch

AtomTM

S1200 2.0GHz

Xeon® E3-1265Lv2

Xeon® E3-1265Lv2

AtomTM

S1200 2.0GHz

*Based on HP internal testing(HP 2012).

LightScale-Out Apps

ComputeIntensive Apps

KRnet 20136

목 차

1. 머신 및 가상화 12. 데이터센터 및 ISP 현황 63. 응용기반/멀티테넌트 네트워크 114. OpenStack 네트워크 235. 네트워크 설치 모델 30

KRnet 20137

데이터센터 및 통신 노드 현황

Legacy 데이터센터: 다계층/다단 네트워크 구조 통신 사업자/기업망 장비 그대로 사용 50~75% East-West 트래픽(ONS2012) 비효율적인 스위칭

• 데이터센터내: 76%, 데이터센터간: 7%, 데이터센터-사용자간: 17%(Cisco, 2012) 다계층 다단 구조 Latency 및 부하 관리 복잡, 완벽한 가상화 및 QoS 어려움

통신 사업자: 다계층/다단 네트워크 구조 및 많은 종류의 네트워크 장비 복잡한 오버레이 네트워크 구조 자원 관리 및 확장 한계 Tree 구조의 Aggregation/Distribution, North-South 트래픽 대부분(90% 이상) 신규 서비스에 대해서 case-by-case로 대응(설치장소, 소모전력, 관리, 수익 창출 어려움)

Legacy 데이터센터: 다계층/다단 네트워크 구조 통신 사업자/기업망 장비 그대로 사용 50~75% East-West 트래픽(ONS2012) 비효율적인 스위칭

• 데이터센터내: 76%, 데이터센터간: 7%, 데이터센터-사용자간: 17%(Cisco, 2012) 다계층 다단 구조 Latency 및 부하 관리 복잡, 완벽한 가상화 및 QoS 어려움

통신 사업자: 다계층/다단 네트워크 구조 및 많은 종류의 네트워크 장비 복잡한 오버레이 네트워크 구조 자원 관리 및 확장 한계 Tree 구조의 Aggregation/Distribution, North-South 트래픽 대부분(90% 이상) 신규 서비스에 대해서 case-by-case로 대응(설치장소, 소모전력, 관리, 수익 창출 어려움)

KRnet 20138

데이터센터 현황

VM 증가에 따른 클라우드 변화 VM 밀도 증가 관리 비용 증가 융합

시스템(관리 비용 절감)

서버 관리 비용 증가 (IDC2012/12) 관리 비용 2000년 대비 2012년 30% 증가 데이터센터에서 80%가 관리 비용에 소요

현재 네트워크, IT 인프라, 응용 별개로존재 네트워크+IT 인프라+응용+보안 밀결합 응용에신속 대응 및 신규 시장 창출

융합시스템:서버+스토리지+네트워크+자동화 소프트웨어

통합(Integrated) 또는융합(Converged) 시스템은 서버, 스토리지, 네트워크 및 자동화소프트웨어를 밀결합하여 일체형 관리체계를 통해 데이터센터 비용 증가요인을 해결

VM 증가에 따른 클라우드 변화 VM 밀도 증가 관리 비용 증가 융합

시스템(관리 비용 절감)

서버 관리 비용 증가 (IDC2012/12) 관리 비용 2000년 대비 2012년 30% 증가 데이터센터에서 80%가 관리 비용에 소요

현재 네트워크, IT 인프라, 응용 별개로존재 네트워크+IT 인프라+응용+보안 밀결합 응용에신속 대응 및 신규 시장 창출

융합시스템:서버+스토리지+네트워크+자동화 소프트웨어

통합(Integrated) 또는융합(Converged) 시스템은 서버, 스토리지, 네트워크 및 자동화소프트웨어를 밀결합하여 일체형 관리체계를 통해 데이터센터 비용 증가요인을 해결

KRnet 20139

트래픽 증가 및 속성 변화

2011년 대비 2015년 유선 트래픽6배(97.2EB/Month), 모바일 트래픽 30배증가(19.3EB/Month)

2010년부터 2015년까지 매년 평균 유선 트래픽59% , 모바일 트래픽 145% 증가

2020년 Things는 사람 및 정보보다 더 많은트래픽 생성

클라우드 데이터센터 트래픽 2011년 대비2016년 6배 증가

2016년 전체 Workloads의 2/3를 클라우드데이터센터에서 처리

2011년 대비 2015년 유선 트래픽6배(97.2EB/Month), 모바일 트래픽 30배증가(19.3EB/Month)

2010년부터 2015년까지 매년 평균 유선 트래픽59% , 모바일 트래픽 145% 증가

2020년 Things는 사람 및 정보보다 더 많은트래픽 생성

클라우드 데이터센터 트래픽 2011년 대비2016년 6배 증가

2016년 전체 Workloads의 2/3를 클라우드데이터센터에서 처리

0

2

4

6

0

40

80

120

160

2010 2011 2012 2013 2014 2015

Giga Bytes

Giga Bytes

Worldwide Traffic (Per Month & User)IDC 2012/2

WirelineMobile

Trends in the Expansion of Meaningful Interactions via the Internet

KRnet 201310

CSP 현황 및 전망

통신 사업자는 트래픽 폭증 네트워크 용량 증설 압력 트래픽 용량 증가와 매출의 불일치 심각한 가격 인하 압력을

경험하게 될 것임(Gartner 2012/3 : Market Insight: The Impact of Green Broadband Technologies and Network)

Communications Service Provider Cloud Service Provider (Gartner 2012/9 : Gartner's Advice for CSPs Becoming Cloud Service Providers)

CSP는 2016까지 기존 네트워크 서비스(음성, 데이터 등)에서 매년 3.7% 감소 예정

통신 사업자는 기존 서비스에서 수익 감소를상쇄하기 위해 클라우드 서비스 도입 불가피

2015년 세계 상위 100 CSP 중 50%가클라우드 인프라 중계 서비스 지원 예상

클라우드와 모바일은 IT와네트워크간 융합 가속화 요구(Gartner 2012/9 : Market Insight: Ten Success Factors for CSPs Offering Cloud and IT Services Through 2017)

통신 사업자는 트래픽 폭증 네트워크 용량 증설 압력 트래픽 용량 증가와 매출의 불일치 심각한 가격 인하 압력을

경험하게 될 것임(Gartner 2012/3 : Market Insight: The Impact of Green Broadband Technologies and Network)

Communications Service Provider Cloud Service Provider (Gartner 2012/9 : Gartner's Advice for CSPs Becoming Cloud Service Providers)

CSP는 2016까지 기존 네트워크 서비스(음성, 데이터 등)에서 매년 3.7% 감소 예정

통신 사업자는 기존 서비스에서 수익 감소를상쇄하기 위해 클라우드 서비스 도입 불가피

2015년 세계 상위 100 CSP 중 50%가클라우드 인프라 중계 서비스 지원 예상

클라우드와 모바일은 IT와네트워크간 융합 가속화 요구(Gartner 2012/9 : Market Insight: Ten Success Factors for CSPs Offering Cloud and IT Services Through 2017)

KRnet 201311

목 차

1. 머신 및 가상화 12. 데이터센터 및 ISP 현황 63. 응용기반/멀티테넌트 네트워크 114. OpenStack 네트워크 235. 네트워크 설치 모델 30

KRnet 201312

가상 머신 및 네트워크

가상 머신 및 서버 가상화 18개월 마다 서버당 가상 머신 수 2배씩

증가(Gartner) 2012년 이후 서버 작업량의 50% 이상이

가상화될 것임(Gartner)

Port/Link/Path 속도 증가 높은 Aggregation으로 Port/Link/Path

당 많은 Session 속도 증가에 따라 네트워크 유연성,

재구성, 가상 포트 수 부족 등 문제점 발생

데이터센터 네트워크 변화 Flat 스위치 : Full-mesh Flat topology TRILL(IETF)/SPB(802.1aq Shortest Path

Bridging) EVB(Edge Virtual Bridge) Virtual Switch

• L2 Virtual Switch• Flow based Open vSwitch(L2-4

Virtual Switch): Nicira(VMware) Tunneling 기반 Overlay

네트워크(VXLAN, NVGRE, STT)

가상 머신 및 서버 가상화 18개월 마다 서버당 가상 머신 수 2배씩

증가(Gartner) 2012년 이후 서버 작업량의 50% 이상이

가상화될 것임(Gartner)

Port/Link/Path 속도 증가 높은 Aggregation으로 Port/Link/Path

당 많은 Session 속도 증가에 따라 네트워크 유연성,

재구성, 가상 포트 수 부족 등 문제점 발생

데이터센터 네트워크 변화 Flat 스위치 : Full-mesh Flat topology TRILL(IETF)/SPB(802.1aq Shortest Path

Bridging) EVB(Edge Virtual Bridge) Virtual Switch

• L2 Virtual Switch• Flow based Open vSwitch(L2-4

Virtual Switch): Nicira(VMware) Tunneling 기반 Overlay

네트워크(VXLAN, NVGRE, STT)Hypervisor

Session/FlowPort/Link/Path

Rate-limit

KRnet 201313

가상 스위치(Open vSwitch) 특징 플로우 기반 가상 머신 다계층 스위치 Xen, KVM, Proxmox VE, VirtualBox

지원 Apache 2.0 License Quantum Plug-in

기능 Lookup : L2-4 flows, Full wildcarding &

priorities Forwarding : 플로우 기반, LACP(Link

Aggregation Control Protocol), Port bonding, GRE tunneling

QoS : Rate-limiting, Filtering 관리 인터페이스 및 프로토콜 : Netflow,

SFlow, Mirroring

최신 동향 NVP(Network Virtualization

Platform)과 연계 네트워크 가상화 및QoS 부분적 해결 연구

OpenStack의 Quantum과 연동 연구

문제점 성능 한계 end-to-end QoS, …

특징 플로우 기반 가상 머신 다계층 스위치 Xen, KVM, Proxmox VE, VirtualBox

지원 Apache 2.0 License Quantum Plug-in

기능 Lookup : L2-4 flows, Full wildcarding &

priorities Forwarding : 플로우 기반, LACP(Link

Aggregation Control Protocol), Port bonding, GRE tunneling

QoS : Rate-limiting, Filtering 관리 인터페이스 및 프로토콜 : Netflow,

SFlow, Mirroring

최신 동향 NVP(Network Virtualization

Platform)과 연계 네트워크 가상화 및QoS 부분적 해결 연구

OpenStack의 Quantum과 연동 연구

문제점 성능 한계 end-to-end QoS, …

VI

Phy

sica

l In

terf

ace

Phy

sica

l In

terf

ace

VI

VI

VI

KRnet 201314

Multitenant Network

Multitenancy 사용자 또는 처리가

독립적이 되도록 컴퓨팅, 스토리지, 네트워크 등자원을 분할

자원 범위가 계속확대되고 있음

Multitenancy 범위 하드웨어(VM, 스토리지,

네트워크 등) 분할 OS 분할 DataBase, Container

분할 Application 분할

Multitenancy 사용자 또는 처리가

독립적이 되도록 컴퓨팅, 스토리지, 네트워크 등자원을 분할

자원 범위가 계속확대되고 있음

Multitenancy 범위 하드웨어(VM, 스토리지,

네트워크 등) 분할 OS 분할 DataBase, Container

분할 Application 분할

KRnet 201315

Network Overlay(Tunneling 기반)

DC 내/간에 Multitenant 네트워크 구현 시급

STP, VLAN 범위, ToR 스위치 MAC 수등으로 네트워크가 걸림돌

VMware, Citrix 등 가상 머신 관련회사의 성장 동력

Tunneling 기반의 Network Overlay 기술 종류

VXLAN(Virtual eXtensible Local Area Network)

NVGRE(Network Virtualization using GRE)

STT(Stateless Transport Tunneling)

최신 동향 SDN controller, OpenStack의

Quantum과 Network Overlay 각각연동 연구

IETF Network Virtualization over L3 WG 표준화 진행 중

Network Overlay 문제점 End-to-end QoS 안됨 네트워크 노드에서 트래픽 예측 불가

DC 내/간에 Multitenant 네트워크 구현 시급

STP, VLAN 범위, ToR 스위치 MAC 수등으로 네트워크가 걸림돌

VMware, Citrix 등 가상 머신 관련회사의 성장 동력

Tunneling 기반의 Network Overlay 기술 종류

VXLAN(Virtual eXtensible Local Area Network)

NVGRE(Network Virtualization using GRE)

STT(Stateless Transport Tunneling)

최신 동향 SDN controller, OpenStack의

Quantum과 Network Overlay 각각연동 연구

IETF Network Virtualization over L3 WG 표준화 진행 중

Network Overlay 문제점 End-to-end QoS 안됨 네트워크 노드에서 트래픽 예측 불가

MultitenantNetwork

(Tenant View)

Datacenter/EnterpriseNetwork

Internet(ISP Network)

Encapsulated Frame

Original Frame

L2L3L4-7GW/FW

L2 & L3

vSW

Tunnel

VirtualMachineVirtualSwitch

Publlic/Private IP

Public IP

KRnet 201316

Tunneling 기반 Network Overlay 종류 VXLAN(Virtual eXtensible Local Area Network)

• L2 Frame over IP/UDP, IETF Network Virtualization Over L3 (nvo3) WG• 참여기관 : Cisco, VMware, Broadcom, Citrix, Red Hat, Arista

NVGRE(Network Virtualization using GRE)• L2 Frame over IP/GRE, IETF Network Virtualization Over L3 (nvo3) WG

• 참여기관 : Microsoft, Intel, Hewlett-Packard, Broadcom, Emulex, Arista

STT(Stateless Transport Tunneling)• L2 Frame over IP/TCP, IETF Network Virtualization Over L3 (nvo3) WG

• 참여기관 : Nicira(VMware) VXLAN, NVGRE 및 STT의 프레임 구조

KRnet 201317

NFV 필요성 다양한 전용 장치로 채워진

네트워크 노드에 새로운 서비스를수용하기 위해 장치를 추가할 공간, 전력 부족 새로운 서비스에 case-by-case로

대응하는 하드웨어 기반 장비로네트워크 서비스에서 수익이 없음 서비스 혁신 가속화에 하드웨어

장치가 전혀 대응 못하고 있음

NFV 전망 네트워크 기능 가상화(NFV) 기술이

적용된 상용 서버-스토리지-네트워크가 네트워크 노드의 기존전용 하드웨어 네트워크 장치 대체 NFV는 구현 가능 하드웨어 추상화,

탄력성, 유연성 및 자동화 제공

NFV 참여기관 NFV ISG(Industry Spec Group)은

2013년 4월 108개 회원사등록(주로 ISP)

Network Functions Virtualization(NFV)

Network Functions Virtualisation – Introductory White Paper, October 22-24, 2012 at the SDN and OpenFlow World Congress, Darmstadt-Germany.

KRnet 201318

NFV 조직 NFV 조직

Chairman & Vice Chairman ISG Plenary Network Operator

Council Technical Manager ESTI Secretariat Technical Steering

Committee

Technical Steering CommitteeArchitecture of the Virtualization InfrastructureManagement & OrchestrationSoftware Architecture Reliability & AvailabilityPerformance & Portability Security

Support from ETSI Secretariat

KRnet 201319

API 기반 네트워크 필요성 주소 기반 라우터/스위치는 현재

요구되는 다양한 응용에 대응이 어려움 전체 네트워크에 걸쳐서 전체적으로

최적화된 라우팅/전달 및 구성 변경필요

API 기반 네트워크 관련 주요 기술 SDN(Software Defined Networking):

ONF Quantum: OpenStack I2RS(Interface to the Routing

System): IETF(Cisco, Juniper, ...)

I2RS 요구사항 요약 표준 기반으로 IP 라우팅 시스템에서

기능적 네트워크 요소를 기술할 표준용어 필요 네트워크에서 라우팅 상태 변경을 위해

Client가 라우터/스위치로 정보 교환을신속하게 할 수 있는 응용 친화적인메커니즘 필요

API Based Network (I2RS 중심)

KRnet 201320

SDN 구조

Policy Managem

ent and Enforcem

ent Engine

KRnet 201321

OpenFlow/SDN 스위치

KRnet 201322

SDN 설치 모델

KRnet 201323

목 차

1. 머신 및 가상화 12. 데이터센터 및 ISP 현황 63. 응용기반/멀티테넌트 네트워크 114. OpenStack 네트워크 235. 네트워크 설치 모델 30

KRnet 201324

OpenStack (Folsom) OpenStack(2010/10)

클라우드 OS 네트워크, 컴퓨팅, 스토리지의

자원 관리 및 서비스 준비를위한 자동화된 통합 도구 제공

IaaS에 대한 open source 소프트웨어 플랫폼

Essex edition(2012/4) 네트워크 API가 Nova(Compute)

API에 밀결합 유연하지 않은 OpenStack

네트워킹 모델 model(Flat Network, VLAN 기반 종속적) 네트워크 구조에서 Pluggability

부재 Folsom edition(2012/9)

Compute(Nova)와 Network (Quantum) 분리

Block Storage (Cinder) 분리 Grizzly edition(2013/4)

Ceilometer, Heat 추가

Dashboard(Horizon)

Network(Quantum)

Compute(Nova)

Image(Glance)

Object Storage(Swift)

Block Storage(Cynder)

Identity(Keystone)

UI (REST

API)

OpenStackFolsom

(2012/9)

가상 머신 운용, 관리, 드라이버정의, API

Object 저장, 대규모 스토리지서비스 제공, 중복 및 분산구현, API

Compute를위한 가상네트워크제공

OpenStack서비스를Web 환경에서제공

서비스 및사용자 인증

사용자 이미지및 사용자 정보등록, 가상디스크파일을Object에 저장

Compute를위한 볼륨 저장 제공, Nova-volume에서 복잡도증가로 Nova에서 분리, API

KRnet 201325

API based Cloud Network(Quantum) Quantum 필요성

VLAN 확장을 넘어 네트워크에tenant 제어 기능 필요 새로운 네트워크 기술에 대한

끊김 없는 연동 필요

Quantum 특징 API 및 Plugin 기반으로

자동화, 이종 기술, 이종 회사장비에 적용 가능 Network as a Service 지향

Quantum 기능 Multitenant 네트워크 구성 IP 주소 제어 네트워크 상태 감지 Quantum API extensions

• 진보된 제어+Visibility(QoS, Security), 진보된네트워크서비스(FW, LB, ...)

새로운 기술 연동• Flat Network(Qfabric, ...),

Network Overlay(VXLAN, ...)• SDN/OpenFlow

KRnet 201326

OpenStack Quantum 구조(Folsom/Grizzly)다른 벤더의 Switch/Controller를 지원하기 위해서는 Multiple Plugins 제공 필요

Monolithic Plugin MetaPlugin

KRnet 201327

OpenStack Quantum 구조(Havana, 2013/10)

끊김 없는 물리 또는 가상 네트워크 provisioning을 위한개방 및 멀티 벤더 솔루션

Modular Plugin

KRnet 201328

OpenStack Networking 설치 모델(1/2)

KRnet 201329

OpenStack Networking 설치 모델(2/2)

KRnet 201330

목 차

1. 머신 및 가상화 12. 데이터센터 및 ISP 현황 63. 응용기반/멀티테넌트 네트워크 114. OpenStack 네트워크 235. 네트워크 설치 모델 30

KRnet 201331

플랫폼 진화

Gartner 2011/5

KRnet 201332

융합 시스템 세계 시장

신규 융합 시스템 세계 시장(IDC2012/11, 2012년 11월 처음발표)

스마트 노드 플랫폼(융합시스템) 시장은신규 시장임

신규 융합(서버-스토리지-네트워크) 시스템 연 54.7% 성장(2011-2016)

기존 범용 시스템 연 1.2% 성장(2011-2016)

융합시스템 2016년 세계 시장 $B 17.8

상위 6개국의 서비스, 소프트웨어및 하드웨어 시장)이전세계(기업소비)의 70% 차지(IDC 2012/8)

시장 규모는서비스>소프트웨어>하드웨어

새롭고 다양한 서비스 창출을 위해선새로운 생태계를 선도적으로 구축해야가능

신규 융합 시스템 세계 시장(IDC2012/11, 2012년 11월 처음발표)

스마트 노드 플랫폼(융합시스템) 시장은신규 시장임

신규 융합(서버-스토리지-네트워크) 시스템 연 54.7% 성장(2011-2016)

기존 범용 시스템 연 1.2% 성장(2011-2016)

융합시스템 2016년 세계 시장 $B 17.8

상위 6개국의 서비스, 소프트웨어및 하드웨어 시장)이전세계(기업소비)의 70% 차지(IDC 2012/8)

시장 규모는서비스>소프트웨어>하드웨어

새롭고 다양한 서비스 창출을 위해선새로운 생태계를 선도적으로 구축해야가능

020406080

100120140

2012 2013 2014 2015 2016

융합 및 범용 시스템 세계 시장

Converged Systems

General Purpose

$BU

SA

RoW

E

Japan UK

Ger

man

y

Fran

ce

PRC

Can

ada

Aust

ralia

Bra

zil

Ital

y

India

Russ

ia

Mex

ico

South

Afr

ica

Pola

nd

Turk

ey

RO

W

KRnet 201333

Cloud Network 및 SDN 설치 모델

KRnet 201334

OpenStack Network 및 SDN 설치 모델

KRnet 201335

감사합니다.