三協立山の仮想化基板の成長を支えるイーサネット・ファブリック

1

攻める情シスのためのデータセンター1-Day講座（Powered by Brocade）

『三協立山の仮想化基盤の成長を支える

イーサネット・ファブリック』

三協立山株式会社情報システム統括室システム企画部運用課松本行央

株式会社日立ソリューションズビジネス・プラットフォーム本部第2部奥山崇

2014年10月16日

2

＜建材事業＞

•ビル事業

•STER事業

•住宅事業

•エクステリア事業

＜マテリアル事業＞

•アルミ押出形材

•アルミビレット

•マグネシウム

＜商業施設事業＞

•商業施設

•サイン

•ショップサービス

名称三協立山株式会社

本社所在地富山県高岡市早川70番地

設立年月日 1960 (昭和35) 年6月20日

資本金 150億円

決算期 5月31日

発行株式数 31,554,629株 (1単元の株式数100株)

上場東京証券取引所市場第一部

(5932)

連結従業員数 5,759名 (2014年5月31日現在)

ＵＲＬ http://www.st-grp.co.jp

3

三協･立山ホールディングス

三協アルミニウム工業三協立山アルミ三協立山

立山アルミニウム工業

三協マテリアル

タテヤマ

アドバンス

1960

1948

2006

1952

2012.6

2012.12

三協立山

三協アルミ社

三協マテリアル社

タテヤマアドバンス社

2003

2007

2006’

ストレージ統合

2010’ サーバ統合

2014’ データセンタ利用

ストレージ数十台

サーバ数百台

ストレージ数台

サーバ百台余

増えるインフラ

減らないサーバ

ストレージ数台

サーバ数百台

高まるクラウド

DC利用に適したネットワーク基盤の構築

＜導入要件と課題＞・仮想化基盤の最大活用・通信の帯域確保・構成作業の容易さ

＜VDXの選定理由＞・10Gbpsの帯域・マルチベンダ供給・ＤＣ基盤の新しい技術

© Hitachi Solutions, Ltd. 2014. All rights reserved. 4

Contents

１. はじめに

２. イーサネット・ファブリック導入の背景

３. イーサネット・ファブリックが解決できること（主なメリット）

４. Brocadeのイーサネット・ファブリックを選択した理由

５. システム構成概要

６. イーサネット・ファブリックのその先に

７. まとめ


１．はじめに

BS500×Brocade VDX スイッチ導入事例：「BladeSymphony」と「Brocade VCS ファブリック」でサーバ仮想化の効果を最大限に引き出すネットワークを構築

VMware仮想基盤でのイーサネット・ファブリックの導入事例


２．イーサネット・ファブリック導入の背景

イーサネット・ファブリック導入を検討した背景

ハイパーバイザーの仮想スイッチの機能が充実

エッジ仮想ブリッジング (EVB) やVXLAN対応のCNAやスイッチの登場 Vyatta vRouterなどL3以上の機能がサーバーサイドでNFVとして動作する時代オーバーレイ・ネットワークの適用には、従来のネットワークでは役不足

仮想環境の拡大の影響で、East-Westトラフィックがさらに増加

データ容量の増加で、バックアップ用途のネットワーク負荷も増加ストレージへのフラッシュ技術導入で、ネットワーク帯域とのバランス再調整仮想スイッチの登場で、サーバー/ネットワークの責任分担が複雑（曖昧）

■世の中の技術動向

■三協立山の仮想基盤の状況

SDNが提供する付加価値の恩恵を受けるために、いち早く準備する！

柔軟な運用・構成のネットワーク基盤を手に入れる！

従来のネットワークの弱点（STP/帯域拡張）を克服した、イーサネット・ファブリックの導入！

高帯域・低遅延の強固なネットワーク基盤として、イーサネット・ファブリックの導入！


３．イーサネット・ファブリックが解決できること（主なメリット）

スパニング・ツリーブロッキングポート

vLAG

vLAG

従来の階層型L2トポロジ Single Path

VLAN, ACL, QoS

性能

信頼性

運用

物理パス数に対して Activeパスが少ない

障害発生時の収束時間が長い

拡張に伴い

設計の複雑さが増加

ループ障害！

利用効率：50%

基盤統合、効率的な仮想化により、サーバー間のトラフィックが増加する。

East-Westトラフィック

イーサネット・ファブリック Multi Path

性能

信頼性

運用

全ての物理パスをActive化することで性能を向上、リソースの無駄もなし

パス障害時の切り替え時間が短いビジネスの機会損失リスクを低減

増設に伴うSTP設計の必要性がなく、かつスイッチ接続は自動化。複雑さがもたらす属人性、潜在的なリスクの排除

コアVDX

エッジVDX

vLAG (virtual link aggregation) アップリンクにアクティブ/アクティブ接続

UP!

柔軟な運用・構成のネットワーク基盤を手に入れる！（帯域、運用性、柔軟性、信頼性）


４．Brocadeのイーサネット・ファブリックを選択した理由

イーサネット・ファブリックを実現する製品選定

仮想基盤が動作するブレードサーバーとの接続容易性

製品保守の体制面（製品提供側としては、信頼性を維持する上で重要）

仮想スイッチのアップリンクの効率化（広帯域、複雑性の排除）

ネットワーク・トポロジの自由度（小さくはじめて、大きく成長）

仮想基盤のアイランド化を防ぐ、共通ネットワーク基盤

ネットワークストレージの需要拡大（バックアップなど）と転送帯域の確保

ネットワーク機器メーカーごとの特徴、強み、弱み、色々あれど・・・

■技術的な製品比較（機能/性能/価格）

■仮想基盤の成長シナリオに最適な製品

ポイント



仮想基盤が動作するブレードサーバーとの接続容易性

製品保守の体制面（製品提供側としては、信頼性を維持する上で重要）


vLAG

vLAG

性能

信頼性

運用

全ての物理パスをActive化することで性能を向上、リソースの無駄もなし

パス障害時の切り替え時間が短いビジネスの機会損失リスクを低減

増設に伴うSTP設計の必要性がなく、かつスイッチ接続は自動化。複雑さがもたらす属人性、潜在的なリスクの排除

コアVDX

エッジVDX

vLAG (virtual link aggregation) アップリンクにアクティブ/アクティブ接続

BS500内蔵DCBスイッチ（VDX6749）

シンプル！広帯域！低遅延！（基盤ネットワーク要件）

論理スイッチとして、一元管理！

BladeSymphony





ブレードシャーシでVCSファブリックを構成するメリット

スタッキング機能無しのブレード内蔵LANスイッチでは、NICの有効利用が困難

CNA

BS500

VDX

CNA

BS500

論理的に同等

論理的に筐体内のスイッチが１台になり、サーバブレードのNICは１台のスイッチへの接続となる。

サーバブレードのNICで、リンク・アグリゲーションを設定すれば、フルアクティブで１本の論理接続に。２本で20Gbps、４本で40Gbps

10GbE-VDXスイッチモジュールが、 VCSイーサネット・ファブリックを構成。



１

２

Port-Channel 10 LAG

<通常スイッチ> １

<通常スイッチ>

２

MAC Table

MAC-A : Port-Channel 10 MAC Table (Switch-1)

MAC-A : Port-1

MAC Table (Switch-2) MAC-A : Port-2

MACフラップ！

１

２

<VDX>

vLAG

Port-Channel 10

MAC Table (VCS)

MAC-A : Port-Channel 10

ＮＩＣチーミングにＩＰハッシュを使う！

一つの仮想マシンが複数リンクを使用するため、複数ポートに同一のMACアドレスが現れる。スイッチ側で、一つの論理リンクとして扱う必要がある。

Active/Active NICチーミング







VCSの最小構成とトポロジ最小2台のVDXからVCS機能の利用が可能（スモールスタート）

VCSを構成するために特定のVDX筐体を必要とせず、

VCS内でのVDXトポロジは任意（初期投資コストの最適化）

小規模環境：Top of RackのみのVCS サーバ台数が少ない仮想化基盤に最適化

中～大規模環境：Spine(幹)/Leaf(葉)でのVCS 規模が大きい(将来拡張予定を含む)構成時規模感に応じたVCS機器選定

機種が固定されるわけではなく、トポロジは自由に！

スケール

（小さくはじめて、大きく成長）

２階層Fat-Tree (Leaf/Spine)

まだまだ先進的な分野。同時に、「ファイバチャネルSANで培われた技術」が多く活用されている安心感！

VCSの特徴：環境規模感に応じた投資最適化





（スタッキング）

vLAG

BS500のみで構成（ミニマム導入）

バックアップストレージ

VDX6730

（スタッキング）

vLAG

バックアップストレージ

外付けVDXをコアにVCSファブリック再構成（BS500シャーシ増設準備完了）

実際にVCSファブリックは段階的に導入（成長への対応）



仮想基盤のアイランド化を防ぐ、共通ネットワーク基盤


１つの大きな仮想基盤のイメージで捉える

スケールイメージ！

シャーシ追加！

VDX搭載他社製機器も同様

イーサネット・ファブリックをハイパーバイザーのＨＵＢのように考える概念

帯域は日進月歩！40G/100G/・・・とL2フラットは広帯域に。製品リプレースや拡張で進化。L3以上はソフトウェアで進化・・・



ネットワークストレージの需要拡大（バックアップなど）と転送帯域の確保


VMware vSphere

データストア

VM.vmdk

データストア

VM.vmdk

バックアップ・ストレージ（重複ブロック排除）

世代管理（テープレスDR）

NFS(10G)×2

クローン（Backup）

ESXiマウント

VMware vSphere

データストアバックアップ・ストレージ（重複ブロック排除）

JP1/VERITAS NetBackup

FC

FC

世代管理（テープレスDR）

VADP機能とバックアップソフトを使った、バックアップ・パターン

VMwareクローン機能を使った、バックアップ・パターン

FC NFS(10G)×2


５．システム構成概要

ストレージ/ネットワーク/サーバーのバランスを強く意識した安定基盤

10Gb DCBスイッチモジュール

CNA

Edge Edge

Core

FC

HAF

Storage Pools

HDT

「HAF」と「HDT」による高速化

SAS

vLAG

BS500

BS500 BS500

VDX

拠点①

拠点②

バックアップ・データの相互転送（重複ブロック排除レプリケーション）

VDX

VDX


５．システム構成概要

ストレージ/ネットワーク/サーバーのバランスを強く意識した安定基盤

VMware vSphere

設計バランス（性能/信頼性）

分析・サーバ（仮想アプライアンス）

プローブ・サーバ（仮想アプライアンス）

性能情報蓄積・分析システム（Cumulus MARS）

性能分析

設計バランス（性能/信頼性）

抽象化レイヤ

性能データ長期蓄積



長期間性能分析

システム最適化

性能情報のレコードキーピング


６．イーサネット・ファブリックのその先に

Brocade VCS Fabric の進化

NOS4.xの未使用の機能、NOS5.x の新機能への期待。

ロジカルシャーシ機能：最大48VDXのVCSファブリックを論理的に１台のスイッチとして管理

ソフトウェア・アップグレード（ISSU）：サービス無停止かつ、トラフィックへの影響がないバージョンアップ

Auto QoS： FCoE/iSCSI/NFSなどのネットワーク・ストレージトラフィックの自動保護

VTEP(VXLAN Tunnel Endpoint)機能： VMwareNSXのHardware-VTEPとして動作。 VXLAN非対応の物理機器をNSXの仮想オーバレイネットワークに参加

VCS Virtual Fabric： VLAN制約（4,096個）を超えるスケーラビリティのマルチテナント機能（テナント間でのVLAN IDの重複や変換要件に対応）


６．イーサネット・ファブリックのその先に

VXLANエクステンション（Virtual Fabric Extention）

User B

User C

User A User A

User B

User C

VXLANトンネル Vlan 1000

VF 5000

VF 6000

VTEP VTEP

VCS#1 VCS#2

既存L2/L3NW ・WAN環境

Vlan 1000

VF 5000

VF 6000

VDX6740 VXLAN gateway

VDX6740 VXLAN gateway

VLAN IDと、 Virtual Fabric ID にも対応可能

L2延伸：リモートサイト間でのVCSオーバレイ接続

VDXをVXLANのHardware VTEPとして動作させることで、DC間を跨いだテナント毎のオーバレイ仮想L2ネットワークを構成可能

VCS間同士でスタティックにトンネル形成可能なため、外部SDNコントローラーやマルチキャストルーティングを必要とせず、導入の敷居を低くすることが可能

既存ネットワーク上で構成可能なため、VPLSやQinQ等の特別なL2技術は不要

拠点② 拠点①


７．まとめ（ブロケードを選択した理由）

ブレードサーバーとの接続容易性

高い信頼性

広帯域、複雑性の排除

小さくはじめて、大きく成長

共通ネットワーク基盤に最適

ファイバーチャネル・ファブリックの圧倒的な実績

イーサーネット・ファブリックの先進性と技術革新

① 仮想基盤の成長シナリオに最適な製品

② データセンターネットワークに向けたリーダーシップ

21

ご清聴ありがとうございました！

攻める情シスのためのデータセンター1-Day講座（Powered by Brocade）

『三協立山の仮想化基盤の成長を支えるイーサネット・ファブリック』

三協立山株式会社情報システム統括室システム企画部運用課松本行央

株式会社日立ソリューションズビジネス・プラットフォーム本部第2部奥山崇

2014年10月16日

三協立山の仮想化基板の成長を支えるイーサネット・ファブリック

Technology