巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～...

巨大 支え

イ 構築事例 学べ！

攻 情 イン

構築 そ 極意

松谷 憲文 株式会社

サイ ョン本部 本部長

1 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

尾方 一成 コ ニ ョン 株式会社

SDN/NFV ネ 開発本部

巨大ポータルを支える プライベート・クラウド構築事例

から学べ！

～攻める情シスのためのインフラ 構築、その極意とは？～

ヤフー株式会社 サイトオペレーション本部 本部長

松谷 憲文

SDx

2

SDxとは？

3

ソフトウェアによって 抽象化されたインフラサービス

4

5

ファイアフォール

ロード バランス

ネットワーク製品を ソフトウェアによってサービスとして抽象化

A社 Switch

B社 vSwitch

C社 Switch

A社 Firewall

B社 Firewall

C社 vFirewall

A社 ロードバランサ

B社 ロードバランサ

C社 vロードバランサ

ex) Software Defined Networkの場合の関係図

 ベンダロックイン されない

 柔軟な設計が可能  迅速に制御可能  マイグレーションが容易

L2 ネットワーク

ルータ

Software Defined x

6

x = Network?, Storage?, Data Center?

x = すべてのインフラ を抽象化

抽象化のメリットは？

7

8

ネットワーク製品を ソフトウェアによってサービスとして抽象化

A社 Switch

B社 vSwitch

C社 Switch

A社 Firewall

B社 Firewall

C社 vFirewall

A社 ロードバランサ

B社 ロードバランサ

C社 vロードバランサ

ex) Software Defined Networkの場合の関係図

 ベンダロックイン されない

 柔軟な設計が可能  迅速に制御可能  マイグレーションが容易

ファイアフォール

ロード バランス

L2 ネットワーク

ルータ

インフラ抽象化の目的は？

古いデータセンタ とハードウェア

仮想データセンタ

 利用効率の向上  消費電力の低減  パフォーマンスの向上

新しいデータセンタ とハードウェア

仮想データセンタ

データセンタのマイグレーション

SDxは何で実現できる？

10

openstackによってすべてのインフラは抽象化される

11

　SDx = openstack

openstackへの取り組み

12

openstackの取組みは？

13

14

50,000

2013

Temporary

OpenStackと自社開発ツールにより 管理される仮想サーバ数の遷移

2009 2010 2011 2012 2013 2014

OpenStack

in-house

50,000VM

インフラリソースをopenstackに

集中

15

2013年：LBaaS の実現

openstack上で実現

Brocade ADXとopenStackの連携イメージ

ヤフーではL3DSRというロードバランス方式を採用

16

2014年：ネットワークの完全抽象化

Brocade Plug-in

Virtual Routing Interface (SVI/VE)

Neutron

Gateway ACL (FWaaS)

Subnet management (VLAN)

Load Balancing (LBaaS)

ハードウェアの抽象化

ファイアフォール

ロード バランス

L2 ネットワーク

ルータ

Open vSwitch

ヤフーのプライベートクラウド

17

HW vs SW

18

どの抽象化モデルがベスト？

19

20

構成 Kernel Open

vSwtich ML2 driver

Open vSwitch + VDX

2.6.32 2.3 Open

vSwitch + VDX Plugin

Open vSwitch

+ gre tunnel 2.6.32 2.3

Open vSwitch

今回の検証構成

21

VDX 8770

VDX 6740T

VDX 8770

VDX 6740T

VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM VM

Open vSwitch

VM VM

VDX 6740T

VDX 6740T

Neutron Neutron

gre tunnel VLAN

Avalanche

Open vSwitch + gre tunnel

Open vSwitch + VDX

今回の検証環境

Open vSwitch

GW

GW

0.0Gbps

5.0Gbps

10.0Gbps

15.0Gbps

20.0Gbps

gre tunnel VDX

0Kpps

1000Kpps

2000Kpps

3000Kpps

gre tunnel VDX

0.00ms

1.00ms

2.00ms

3.00ms

gre tunnel VDX 22

検証結果 50VMに対して

数倍の性能差

圧倒的性能差

通信速度 転送速度

応答時間

8倍 9倍

0.5倍

0.0Gbps

1.0Gbps

2.0Gbps

3.0Gbps

gre tunnel VDX

0Kpps

150Kpps

300Kpps

450Kpps

gre tunnel VDX

0.00ms

1.00ms

2.00ms

3.00ms

gre tunnel VDX 23

検証結果 1VMに対して

greのoverhead

1VMでも

通信速度 転送速度

応答時間

1.35倍 1.45倍

0.3倍

ハードウェア抽象化モデルを選択

24

  パフォーマンスは落とせない   シングルテナントなので分割の必要性は薄い

  今までの運用ノウハウが活かせる   ソフトウェアのコストが掛からない

まとめ

25

1. インフラ（データセンタ)の抽象化が重要 2. Openstackでハードウェア抽象化 3. Overheadポイントを極力排除

26

end

27

巨大 支え イ 構築事例 学べ！

攻 情 イン 構築 そ 極意

1 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

尾方 一成 コ ュニ ョン 株式会社

SDN/NFV ネ 開発本部

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 2

Yahoo! JAPAN

OpenStack

イ

イ う！ OpenStack 始

小 始

イ ン

OpenStack

1. イ 開始

2. 同 HW イン 構築

3. 同 ン 拡張性

Openstack 支え イン

Brocade SDx 向

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 3

ョン Service Chaining, Network Analytics, Traffic Engineering

ネ ワ サ

サ / コン

ネ ワ

ネ ワ 仮想化

サ

仮想サ

イン

物理イン

ネ ワ ン ョン

仮想

4

ョン

運用管理 ョン

コン ネ ワ コン

Brocade ン キ SDx 構築 ュ ョン群

運用 管理

簡単

高

自在

時間 勝負

サ

い

サ

企画 構築

御担当者

攻 ネ 展開

＜ : イン 仮想化

1. イ ン 仮想化

2.自由自在 ネ ワ 分割

3.運用 自動化

＜ : イン 整備

1. 利用率 向上

2.冗長化 耐障害性 向上

3. 障害 い 心 ネ ワ

価

全

定 障害 事故

無い 価

必要

ネ ワ

構築 運用

担当者

5

届 贈 物

時代 本当 必要 そ

6

い抽象化 い

箱 空 小 始

大 育

ネ ワ

物理 世界 自動化運用 論理 設計 構築

従来 階層型 キ

Co

re

Aggre

ga

tio

n

Acce

ss

イ サネ キ

Ed

ge

C

ore

コ

7

50% VLAN

ACL

QoS

ン 障害

．ネ ワ 構成 複雑化

．仮想環境 運用負荷

．STP問題 設定 管理 複雑

自律構成

設定 必要 い

最短経路 選択

VDX6740T-1G

能 イ

業界 高い ン

1. 1RU : 48 10GE + 4 40GE

2. 40GE 4 10GE 変

3. イ 内 イ ン 850ns 低遅延

2 Port

40GE

40G 追加

イ ン

10G

イ ン

16 Port

10GE

VDX6740

24P 10GE 最小実装

2 Port

40GE

2 Port

40GE

40G 追加

イ ン

8Port

10GE

10G 追加

イ ン

48Pport 1GE 2 Port

40GE 標準実装

最適 帯域販売

1. 1GE 10GE

2. FCやFCoE 変

3. サ 止

16 Port

10GE

16 Port

10GE

8Port

10GE

8Port

10GE

32Port 10G FCoE /16G FC

Brocade VDX 6740/6740T

究極 ネ ワ 拡張

無駄 効率

ン イ ネ ワ 管理

2014/9/19 © 2013 Brocade Communications Systems, Inc. 9

箱 空

従来型ネ ワ 課題 解決

課題 ．ネ ワ 拡張

作業負担

課題 ． 活用

無駄 投資 発生

課題 ．増設や ョン

時 ネ ワ 停止

解決

解決

解決

VDX イ

実現

Openstack

発展 続 Brocade OpenStack

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 10

Brocade OpenStack 概要

仮想ネ ワ サ

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 11

クラ サービ

OpenStack ク

仮想マ ン Nova

オ ク ・ ー

Swift

ック・ ー Cinder

仮想ネッ ワーク Neutron

ダッ ュボー Horizon

高い拡張性 ン API

Vyatta vRouter

ADX vADX MLX FC SAN VDX

• OpenStack コ サ

仮想 ン コン ュ

置 場

仮想ネ ワ

ュ

• コン ネン

イ 管理 Glance)

認証 Keystone)

eth0

VDX

eth1

br-ex

br-int

vm1 vm2

tagged

vm3

vm4

br-eth1

vlan20 vlan10

Router

Tenant1

Tenant2

Router

LB

vm1 vm2

vm3 vm4

vlan10 vlan11

vlan11

vm1

vm2

vm3 vm4

vlan11

vlan11

vlan10 vlan11 Ve Interface 10

ip address 10.0.10.1/24

Tenant1

Tenant2

Ve Interface 11

ip address 10.0.11.1/24

ip address 10.0.10.0/24

ip address 10.0.11.0/24 .1

Virtual IP 10.0.2.253

Ne

utro

n

Ho

rizon

Bro

ca

de

Plu

gin

ADX

Virtual IP 10.0.2.253

サーバ

FW

Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT

ACL

Src x.x.x.x/x Dst y.y.y.y/y PERMIT

小 始 大 育

イ 始 イ

全 ネ ワ 抽象化

全DC製品 い OpenStack対応

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 13

Grizzly / Havana

2013年4月

OpenStack API / Dashboard

Brocade Ethernet

Fabric

Icehouse (Neutron ML2/Cinder)

2014年4月

Red Hat RHEL OS

Brocade Ethernet and

SAN Fabrics

App OS

App OS

App OS

App OS

SAN

DC2

DC1

MLX

App OS

App OS

ADX

vADX

Vyatta

vRouter

Future Releases: DC Network Multitenancy Orchestration

2014–2015

OpenStack Ecosystem

LBaaS,FWaaS,

DC間接続

快適 SDx イ

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 14

世界 自動化運用

合わ

性能 引 出

巨大ポータルを支える

プライベート・クラウド構築事例から学べ！

攻める情シスのためのインフラ

構築、その極意とは？

1 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

尾方 一成

ブロケードコミュニケーションズシステム株式会社

SDN/NFV ビジネス開発本部

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 2

Yahoo! JAPAN

OpenStack

プライベートクラウド

プライベートクラウドをつくろう！

OpenStack 始めてみませんか？

小さく始める

ハイパフォーマンス

OpenStack

1. スイッチ２台からまずは開始

2. 同じHW・プラグインで構築

3. 同じパフォーマンスと拡張性

Openstack を支えるインフラ

Brocade の SDx 向けハードウェアとは？

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 3

アプリケーション（Service Chaining, Network Analytics, Traffic Engineering）

ネットワーク サーバ ストレージ

サーバ/ストレージ コントローラ

ネットワーク

ネットワーク 仮想化

サーバ

仮想サーバ

ストレージ

ソフトウェア デファインド ストレージ

物理インフラ ファブリック

ネットワーク・ファンクション

仮想リソース

4

アプリケーション

運用管理・オーケストレーション

コントローラ ネットワーク・コントローラ

Brocade データセンター・アーキテクチャ SDx クラウド構築のためのソリューション群

運用・管理ツール

簡単

高速

自在 とにかく時間との勝負で、すぐにサービスを スタートしたいのです。

システム＆サービス 企画・構築 御担当者

はじめに しっかりと守りつつ、攻めのビジネスを展開するには？

＜ソフトウェア : インフラの仮想化＞

1. アプライアンスの仮想化

2. 自由自在なネットワーク分割

3. 運用の自動化

＜ハードウェア : インフラの整備＞

1. システム利用率の向上

2. 冗長化による耐障害性の向上

3. ループ障害のない安心のネットワーク

安価

安全

安定 とにかく、障害・事故の無い、安価なシステムが必要なのです。

ネットワーク

構築・運用

ご担当者

5

ブロケードがお届けする３つの贈り物

クラウド時代に本当に必要なもの。それは・・・

6

速い抽象化。いかがですか？

箱を空けてつなぐだけ 小さく始めて

大きく育てる

つなぐだけのネットワークとは？

物理の世界は自動化運用。論理で設計・構築。

従来の階層型アーキテクチャ

Co

re

Aggre

ga

tio

n

Acce

ss

イーサネット・ファブリック アーキテクチャ

Ed

ge

C

ore

コア・ルータ

スケールアップ

7

50% VLAN

ACL

QoS

ヘアピン ループ障害

３．ネットワーク構成の複雑化

２．仮想環境の運用負荷

１．STP問題。設定・管理の複雑さ

② ループフリー

① つなぐだけで、自律構成

③ 設定の必要がないポート

④ 最短経路を選択

VDX6740T-1G

スモールスタート可能な「フレックス ファブリック スイッチ」

業界をリードする高いパフォーマンス

1. 1RU : 48ポート10GE + 4ポート40GE

2. 40GEポートは4ポート10GEに可変

3. スイッチ内レイテンシ 850ns の低遅延

2 Port 40GE

40Gポート追加 ライセンス

10Gアップグレード ライセンス

16 Port 10GE

VDX6740

24P 10GE 最小実装

2 Port 40GE

2 Port 40GE

40Gポート追加 ライセンス

8Port 10GE

10Gポート追加 ライセンス

48Pport 1GE 2 Port 40GE 標準実装

スモールスタートに最適な帯域販売

1. 1GEから10GEにアップグレード

2. FCやFCoEポートにも可変

3. サービスを止めずにアップグレード

16 Port 10GE

16 Port 10GE

8Port 10GE

8Port 10GE

フレックスポート

32Port 10G FCoE /16G FC

Brocade VDX 6740/6740T

究極の【ゼロ】タッチネットワーク 拡張

無駄が【ゼロ】なスモールスタート 効率

ダウンタイム【ゼロ】ネットワーク 管理

2014/10/24 © 2013 Brocade Communications Systems, Inc. 9

箱を空けてつなぐだけ

従来型ネットワークの課題を解決

課題１．ネットワーク拡張の

作業負担とリスク

課題２．リソースをフル活用できず

無駄な投資が発生

課題３．増設やバージョンアップ

時のネットワーク停止

解決

解決

解決

VDXスイッチで

３つの【ゼロ】を実現

Openstack ロードマップ

さらに発展し続ける Brocade OpenStack

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 10

Brocade OpenStack の概要 仮想ネットワークとブロックストレージをサポート

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 11

クラウド サービス

OpenStack プロジェクト

仮想マシン Nova

オブジェクト・ ストレージ

Swift

ブロック・ストレージ Cinder

仮想ネットワーク Neutron

ダッシュボード Horizon

高い拡張性、オープンなクラウドAPI

Vyatta vRouter

ADX vADX MLX FC SAN VDX

• OpenStack コア・サービス

仮想マシン（コンピュート）

オブジェクトストレージ （オブジェクト、データ置き場）

ブロックストレージ

仮想ネットワーク

ダッシュボード

• 「ミドルウェア」コンポーネント

イメージ管理（Glance)

認証（Keystone)

eth0

VDX

eth1

br-ex

br-int

vm1 vm2

tagged

vm3

vm4

br-eth1

vlan20 vlan10

Router

Tenant1

Tenant2

Router

LB

vm1 vm2

vm3 vm4

vlan10 vlan11

vlan11

vm1

vm2

vm3 vm4

vlan11

vlan11

vlan10 vlan11 Ve Interface 10

ip address 10.0.10.1/24

Tenant1

Tenant2

Ve Interface 11

ip address 10.0.11.1/24

ip address 10.0.10.0/24

ip address 10.0.11.0/24 .1

Virtual IP 10.0.2.253

Ne

utro

n

Ho

rizon

Bro

ca

de

Plu

gin

ADX

Virtual IP 10.0.2.253

サーバ

FW

Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT

ACL

Src x.x.x.x/x Dst y.y.y.y/y PERMIT

小さく始めて、大きく育てる スイッチ２台から始められるプライベートクラウド

全てのネットワークリソースを抽象化

ブロケード全DC製品においてOpenStack対応

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 13

Grizzly / Havana

2013年4月

OpenStack API / Dashboard

Brocade Ethernet Fabric

Icehouse (Neutron ML2/Cinder)

2014年4月

Red Hat RHEL OS

Brocade Ethernet and SAN Fabrics

App OS

App OS

App OS

App OS

SAN

DC2

DC1

MLX

App OS

App OS

ADX vADX

Vyatta vRouter

Future Releases: DC Network Multitenancy Orchestration

2014–2015

OpenStack Ecosystem

LBaaS,FWaaS, DC間接続

まとめ

快適な SDx ライフのために

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 14

ハードの世界は自動化運用

ハードも合わせてスモールスタート

ハードの性能を１００％引き出す

ありがとうございました！

15

本件に関するお問合せ

https://www.brocadejapan.com/form/contact2

ブロケード コミュニケーションズ システムズ

株式会社