巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～...

巨大支え

イ構築事例学べ！

攻情イン

構築そ極意

松谷憲文株式会社

サイョン本部本部長

1 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

尾方一成コニョン株式会社

SDN/NFV ネ開発本部

巨大ポータルを支えるプライベート・クラウド構築事例

から学べ！

～攻める情シスのためのインフラ構築、その極意とは？～

ヤフー株式会社サイトオペレーション本部本部長

松谷憲文

SDx

2

SDxとは？

3

ソフトウェアによって抽象化されたインフラサービス

4

5

ファイアフォール

ロードバランス

ネットワーク製品をソフトウェアによってサービスとして抽象化

A社 Switch

B社 vSwitch

C社 Switch

A社 Firewall

B社 Firewall

C社 vFirewall

A社ロードバランサ

B社ロードバランサ

C社 vロードバランサ

ex) Software Defined Networkの場合の関係図

 ベンダロックインされない

 柔軟な設計が可能  迅速に制御可能  マイグレーションが容易

L2 ネットワーク

ルータ

Software Defined x

6

x = Network?, Storage?, Data Center?

x = すべてのインフラを抽象化

抽象化のメリットは？

7

8

ネットワーク製品をソフトウェアによってサービスとして抽象化

A社 Switch

B社 vSwitch

C社 Switch

A社 Firewall

B社 Firewall

C社 vFirewall

A社ロードバランサ

B社ロードバランサ

C社 vロードバランサ

ex) Software Defined Networkの場合の関係図

 ベンダロックインされない

 柔軟な設計が可能  迅速に制御可能  マイグレーションが容易




ルータ

インフラ抽象化の目的は？

古いデータセンタとハードウェア

仮想データセンタ

 利用効率の向上  消費電力の低減  パフォーマンスの向上

新しいデータセンタとハードウェア

仮想データセンタ

データセンタのマイグレーション

SDxは何で実現できる？

10

openstackによってすべてのインフラは抽象化される

11

　SDx = openstack

openstackへの取り組み

12

openstackの取組みは？

13

14

50,000

2013

Temporary

OpenStackと自社開発ツールにより管理される仮想サーバ数の遷移

2009 2010 2011 2012 2013 2014

OpenStack

in-house

50,000VM

インフラリソースをopenstackに

集中

15

2013年：LBaaS の実現

openstack上で実現

Brocade ADXとopenStackの連携イメージ

ヤフーではL3DSRというロードバランス方式を採用

16

2014年：ネットワークの完全抽象化

Brocade Plug-in

Virtual Routing Interface (SVI/VE)

Neutron

Gateway ACL (FWaaS)

Subnet management (VLAN)

Load Balancing (LBaaS)

ハードウェアの抽象化




ルータ

Open vSwitch

ヤフーのプライベートクラウド

17

HW vs SW

18

どの抽象化モデルがベスト？

19

20

構成 Kernel Open

vSwtich ML2 driver

Open vSwitch + VDX

2.6.32 2.3 Open

vSwitch + VDX Plugin

Open vSwitch

+ gre tunnel 2.6.32 2.3

Open vSwitch

今回の検証構成

21

VDX 8770

VDX 6740T

VDX 8770

VDX 6740T

VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM

VDX 6740T

VDX 6740T

Neutron Neutron

gre tunnel VLAN

Avalanche

Open vSwitch + gre tunnel

Open vSwitch + VDX

今回の検証環境

Open vSwitch

GW

GW

0.0Gbps

5.0Gbps

10.0Gbps

15.0Gbps

20.0Gbps

gre tunnel VDX

0Kpps

1000Kpps

2000Kpps

3000Kpps

gre tunnel VDX

0.00ms

1.00ms

2.00ms

3.00ms

gre tunnel VDX 22

検証結果 50VMに対して

数倍の性能差

圧倒的性能差

通信速度転送速度

応答時間

8倍 9倍

0.5倍

0.0Gbps

1.0Gbps

2.0Gbps

3.0Gbps

gre tunnel VDX

0Kpps

150Kpps

300Kpps

450Kpps

gre tunnel VDX

0.00ms

1.00ms

2.00ms

3.00ms

gre tunnel VDX 23

検証結果 1VMに対して

greのoverhead

1VMでも

通信速度転送速度

応答時間

1.35倍 1.45倍

0.3倍

ハードウェア抽象化モデルを選択

24

  パフォーマンスは落とせない   シングルテナントなので分割の必要性は薄い

  今までの運用ノウハウが活かせる   ソフトウェアのコストが掛からない

まとめ

25

1. インフラ（データセンタ)の抽象化が重要 2. Openstackでハードウェア抽象化 3. Overheadポイントを極力排除

26

end

27

巨大支えイ構築事例学べ！

攻情イン構築そ極意


尾方一成コュニョン株式会社

SDN/NFV ネ開発本部

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 2

Yahoo! JAPAN

OpenStack

イ

イう！ OpenStack 始

小始

イン

OpenStack

1. イ開始

2. 同 HW イン構築

3. 同ン拡張性

Openstack 支えイン

Brocade SDx 向


ョン Service Chaining, Network Analytics, Traffic Engineering

ネワサ

サ / コン

ネワ

ネワ仮想化

サ

仮想サ

イン

物理イン

ネワンョン

仮想

4

ョン

運用管理ョン

コンネワコン

Brocade ンキ SDx 構築ュョン群

運用管理

簡単

高

自在

時間勝負

サ

い

サ

企画構築

御担当者

攻ネ展開

＜ : イン仮想化

1. イン仮想化

2.自由自在ネワ分割

3.運用自動化

＜ : イン整備

1. 利用率向上

2.冗長化耐障害性向上

3. 障害い心ネワ

価

全

定障害事故

無い価

必要

ネワ

構築運用

担当者

5

届贈物

時代本当必要そ

6

い抽象化い

箱空小始

大育

ネワ

物理世界自動化運用論理設計構築

従来階層型キ

Co

re

Aggre

ga

tio

n

Acce

ss

イサネキ

Ed

ge

C

ore

コ

7

50% VLAN

ACL

QoS

ン障害

．ネワ構成複雑化

．仮想環境運用負荷

．STP問題設定管理複雑

自律構成

設定必要い

最短経路選択

VDX6740T-1G

能イ

業界高いン

1. 1RU : 48 10GE + 4 40GE

2. 40GE 4 10GE 変

3. イ内イン 850ns 低遅延

2 Port

40GE

40G 追加

イン

10G

イン

16 Port

10GE

VDX6740

24P 10GE 最小実装

2 Port

40GE

2 Port

40GE

40G 追加

イン

8Port

10GE

10G 追加

イン

48Pport 1GE 2 Port

40GE 標準実装

最適帯域販売

1. 1GE 10GE

2. FCやFCoE 変

3. サ止

16 Port

10GE

16 Port

10GE

8Port

10GE

8Port

10GE

32Port 10G FCoE /16G FC

Brocade VDX 6740/6740T

究極ネワ拡張

無駄効率

ンイネワ管理

2014/9/19 © 2013 Brocade Communications Systems, Inc. 9

箱空

従来型ネワ課題解決

課題．ネワ拡張

作業負担

課題．活用

無駄投資発生

課題．増設やョン

時ネワ停止

解決

解決

解決

VDX イ

実現

Openstack

発展続 Brocade OpenStack


Brocade OpenStack 概要

仮想ネワサ


クラサービ

OpenStack ク

仮想マン Nova

オク・ー

Swift

ック・ー Cinder

仮想ネッワーク Neutron

ダッュボー Horizon

高い拡張性ン API

Vyatta vRouter

ADX vADX MLX FC SAN VDX

• OpenStack コサ

仮想ンコンュ

置場

仮想ネワ

ュ

• コンネン

イ管理 Glance)

認証 Keystone)

eth0

VDX

eth1

br-ex

br-int

vm1 vm2

tagged

vm3

vm4

br-eth1

vlan20 vlan10

Router

Tenant1

Tenant2

Router

LB

vm1 vm2

vm3 vm4

vlan10 vlan11

vlan11

vm1

vm2

vm3 vm4

vlan11

vlan11

vlan10 vlan11 Ve Interface 10

ip address 10.0.10.1/24

Tenant1

Tenant2

Ve Interface 11

ip address 10.0.11.1/24

ip address 10.0.10.0/24

ip address 10.0.11.0/24 .1

Virtual IP 10.0.2.253

Ne

utro

n

Ho

rizon

Bro

ca

de

Plu

gin

ADX


サーバ

FW

Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT

ACL

Src x.x.x.x/x Dst y.y.y.y/y PERMIT

小始大育

イ始イ

全ネワ抽象化

全DC製品い OpenStack対応


Grizzly / Havana

2013年4月

OpenStack API / Dashboard

Brocade Ethernet

Fabric

Icehouse (Neutron ML2/Cinder)

2014年4月

Red Hat RHEL OS

Brocade Ethernet and

SAN Fabrics

App OS

App OS

App OS

App OS

SAN

DC2

DC1

MLX

App OS

App OS

ADX

vADX

Vyatta

vRouter

Future Releases: DC Network Multitenancy Orchestration

2014–2015

OpenStack Ecosystem

LBaaS,FWaaS,

DC間接続

快適 SDx イ


世界自動化運用

合わ

性能引出

巨大ポータルを支える

プライベート・クラウド構築事例から学べ！

攻める情シスのためのインフラ

構築、その極意とは？


尾方一成

ブロケードコミュニケーションズシステム株式会社

SDN/NFV ビジネス開発本部


Yahoo! JAPAN

OpenStack

プライベートクラウド

プライベートクラウドをつくろう！

OpenStack 始めてみませんか？

小さく始める

ハイパフォーマンス

OpenStack

1. スイッチ２台からまずは開始

2. 同じHW・プラグインで構築

3. 同じパフォーマンスと拡張性

Openstack を支えるインフラ

Brocade の SDx 向けハードウェアとは？


アプリケーション（Service Chaining, Network Analytics, Traffic Engineering）

ネットワークサーバストレージ

サーバ/ストレージコントローラ

ネットワーク

ネットワーク仮想化

サーバ

仮想サーバ

ストレージ

ソフトウェアデファインドストレージ

物理インフラファブリック

ネットワーク・ファンクション

仮想リソース

4

アプリケーション

運用管理・オーケストレーション

コントローラネットワーク・コントローラ

Brocade データセンター・アーキテクチャ SDx クラウド構築のためのソリューション群

運用・管理ツール

簡単

高速

自在とにかく時間との勝負で、すぐにサービスをスタートしたいのです。

システム＆サービス企画・構築御担当者

はじめにしっかりと守りつつ、攻めのビジネスを展開するには？

＜ソフトウェア : インフラの仮想化＞

1. アプライアンスの仮想化

2. 自由自在なネットワーク分割

3. 運用の自動化

＜ハードウェア : インフラの整備＞

1. システム利用率の向上

2. 冗長化による耐障害性の向上

3. ループ障害のない安心のネットワーク

安価

安全

安定とにかく、障害・事故の無い、安価なシステムが必要なのです。

ネットワーク

構築・運用

ご担当者

5

ブロケードがお届けする３つの贈り物

クラウド時代に本当に必要なもの。それは・・・

6

速い抽象化。いかがですか？

箱を空けてつなぐだけ小さく始めて

大きく育てる

つなぐだけのネットワークとは？

物理の世界は自動化運用。論理で設計・構築。

従来の階層型アーキテクチャ

Co

re

Aggre

ga

tio

n

Acce

ss

イーサネット・ファブリックアーキテクチャ

Ed

ge

C

ore

コア・ルータ

スケールアップ

7

50% VLAN

ACL

QoS

ヘアピンループ障害

３．ネットワーク構成の複雑化

２．仮想環境の運用負荷

１．STP問題。設定・管理の複雑さ

② ループフリー

① つなぐだけで、自律構成

③ 設定の必要がないポート

④ 最短経路を選択

VDX6740T-1G

スモールスタート可能な「フレックスファブリックスイッチ」

業界をリードする高いパフォーマンス

1. 1RU : 48ポート10GE + 4ポート40GE

2. 40GEポートは4ポート10GEに可変

3. スイッチ内レイテンシ 850ns の低遅延

2 Port 40GE

40Gポート追加ライセンス

10Gアップグレードライセンス

16 Port 10GE

VDX6740

24P 10GE 最小実装

2 Port 40GE

2 Port 40GE


8Port 10GE


48Pport 1GE 2 Port 40GE 標準実装

スモールスタートに最適な帯域販売

1. 1GEから10GEにアップグレード

2. FCやFCoEポートにも可変

3. サービスを止めずにアップグレード

16 Port 10GE

16 Port 10GE

8Port 10GE

8Port 10GE

フレックスポート

32Port 10G FCoE /16G FC

Brocade VDX 6740/6740T

究極の【ゼロ】タッチネットワーク拡張

無駄が【ゼロ】なスモールスタート効率

ダウンタイム【ゼロ】ネットワーク管理

2014/10/24 © 2013 Brocade Communications Systems, Inc. 9

箱を空けてつなぐだけ

従来型ネットワークの課題を解決

課題１．ネットワーク拡張の

作業負担とリスク

課題２．リソースをフル活用できず

無駄な投資が発生

課題３．増設やバージョンアップ

時のネットワーク停止

解決

解決

解決

VDXスイッチで

３つの【ゼロ】を実現

Openstack ロードマップ

さらに発展し続ける Brocade OpenStack


Brocade OpenStack の概要仮想ネットワークとブロックストレージをサポート


クラウドサービス

OpenStack プロジェクト

仮想マシン Nova

オブジェクト・ストレージ

Swift

ブロック・ストレージ Cinder

仮想ネットワーク Neutron

ダッシュボード Horizon

高い拡張性、オープンなクラウドAPI

Vyatta vRouter

ADX vADX MLX FC SAN VDX

• OpenStack コア・サービス

仮想マシン（コンピュート）

オブジェクトストレージ（オブジェクト、データ置き場）

ブロックストレージ

仮想ネットワーク

ダッシュボード

• 「ミドルウェア」コンポーネント

イメージ管理（Glance)

認証（Keystone)

eth0

VDX

eth1

br-ex

br-int

vm1 vm2

tagged

vm3

vm4

br-eth1

vlan20 vlan10

Router

Tenant1

Tenant2

Router

LB

vm1 vm2

vm3 vm4

vlan10 vlan11

vlan11

vm1

vm2

vm3 vm4

vlan11

vlan11

vlan10 vlan11 Ve Interface 10

ip address 10.0.10.1/24

Tenant1

Tenant2

Ve Interface 11

ip address 10.0.11.1/24

ip address 10.0.10.0/24

ip address 10.0.11.0/24 .1


Ne

utro

n

Ho

rizon

Bro

ca

de

Plu

gin

ADX


サーバ

FW

Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT

ACL

Src x.x.x.x/x Dst y.y.y.y/y PERMIT

小さく始めて、大きく育てるスイッチ２台から始められるプライベートクラウド

全てのネットワークリソースを抽象化

ブロケード全DC製品においてOpenStack対応


Grizzly / Havana

2013年4月

OpenStack API / Dashboard

Brocade Ethernet Fabric

Icehouse (Neutron ML2/Cinder)

2014年4月

Red Hat RHEL OS

Brocade Ethernet and SAN Fabrics

App OS

App OS

App OS

App OS

SAN

DC2

DC1

MLX

App OS

App OS

ADX vADX

Vyatta vRouter

Future Releases: DC Network Multitenancy Orchestration

2014–2015

OpenStack Ecosystem

LBaaS,FWaaS, DC間接続

まとめ

快適な SDx ライフのために


ハードの世界は自動化運用

ハードも合わせてスモールスタート

ハードの性能を１００％引き出す

ありがとうございました！

15

本件に関するお問合せ

https://www.brocadejapan.com/form/contact2

ブロケードコミュニケーションズシステムズ

株式会社




巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～...

Technology