openstackネットワーク実装の現状と運用自動化開発の実際第一部:...

2015/7/22

ユニアデックス株式会社吉本昌平

OpenStack最新情報セミナー(2015年7月)夜の部『OpenStack+SDN最新動向』

OpenStackネットワーク実装の現状と運用自動化開発の実際

0

第一部： OpenStackネットワーク実装の現状

会社概要

1Copyright©2015 UNIADEX, Ltd. All rights reserved.

社名ユニアデックス株式会社

代表者代表取締役社長入部泰（いりべやすし）

住所/TEL 〒135－8560 東京都江東区豊洲1-1-1

03-5546-4900（大代表）

設立 1997年3月4日

資本金 7億5,000万円

従業員数 3,174名(2014年12月1日現在)

売上高 1,278億円（2014年3月期）＊旧ネットマークス分含む

日本ユニシスグループの『インフラトータルサービス』企業

吉本自己紹介

どんな人？›MSX → IBM PS/V Master → PC自作→ NE (ASP)→ PG（Linux)→ NE (企業コア)→ 企画 (仮想化 → SDN → IoT)

日々の仕事›エバンジェリスト／アーキテクト

趣味›PC自作

›コンピュータ全般

›写真

›車

OpenStackの主要コンポーネント


ボリュームオブジェクト

Neutron L2/L3Agent

Nova

コントローラーノード

ポータル画面

Horizon

仮想マシン管理

ネットワーク管理

Novaユーザ認証管理

リソース計測VMイメージ管理

オーケストレーション

Keystone Neutron

Ceilometer

Heat

Glanceデータベース管理

Trove

AMQP(RabbitMQ/QPID) Cinder Swift

SDN製品or

ビッグデータ解析

Sahara

MySQL

ネットワークノード

コンピュートノード

ストレージノード

OpenStackを実運用する上でのネットワーク面での課題

冗長化

ソフトウェア処理負荷の分散

物理スイッチの設定

離れたフロアや遠隔データセンタとの接続

ネットワーク状況の可視化


OpenStackはネットワークが苦手

標準OpenStackで実装できるネットワーク

標準Neutronで構成できるのはごく基本的なネットワークのみ


Kiloリリースでの変更点

L3-HA(ルータ冗長化)が正式採用

›JunoまではExperimental

サブネット割り当て›あらかじめ定義したアドレスプールからサブネットを作成

ML2 階層的ポートバインディング›スループット改善、VLAN4K問題対応

LBaaS バージョン2 API›SSL/TLSなど実用的な機能追加


L3 HA

KeepalivedによりL3 agentを冗長化

›ルータごとにVRRPハートビートによる死活監視

ゲートウェイのVIP移動によるフェールオーバー›Masterとbackupの違いはIPアドレスが付いているかどうかだけ

›９・１０ページ

スプリットブレイン対策のため3台以上の構成推奨›次頁以降は二台構成で説明


L3 HA 構成例


コントローラーノード

Horizon

Nova

Neutron-server

Keystone

ネットワークノードネットワークノードコンピュートノード

Nova-computekeepalived

Neutron-openvswitch-agent


Neutron-l3-agent

Neutron-dhcp-agent

Neutron-metadata-agent

keepalived


Neutron-l3-agent

Neutron-dhcp-agent

Neutron-metadata-agent

L3 HA 詳細(1)

133.1.1.1

Namespace:qdhcp-b2f5dbb6-...

Namespace:

qrouter-674d7792-...

br-ex

network2

Network Namespace

OVS intrnal port

OVS patch port

Open vSwitch

169.254.192.12

10.0.0.1

10.0.0.2

br-int

br-tun

qg-xxx

ha-xxx

qr-xxx

tap-xxx

Namespace:qdhcp-cb9cddf6-...

Namespace:


br-ex

169.254.192.11

10.0.0.3

br-int

br-tun

qg-xxx

ha-xxx

qr-xxx

tap-xxx

network1GRE tunnel

Compute

ノードへCompute

ノードへ

L3 HA 詳細(2)

133.1.1.1


Namespace:


br-ex

network2

Network Namespace

OVS intrnal port

OVS patch port

Open vSwitch

10.0.0.1

10.0.0.2

br-int

br-tun

qg-xxx

qr-xxx

tap-xxx

Namespace:qdhcp-cb9cddf6...

Namespace:


br-ex

10.0.0.3

br-int

br-tun

qg-xxx

qr-xxx

tap-xxx

network1GRE tunnel

169.254.192.11 169.254.192.12ha-xxx

ha-xxx

VRRPハートビート

L3 HA 詳細(3)


Namespace:


br-ex

network2

Network Namespace

OVS intrnal port

OVS patch port

Open vSwitch

10.0.0.2

br-int

br-tun

tap-xxx

Namespace:qdhcp-cb9cddf6...

Namespace:


br-ex

10.0.0.3

br-int

br-tun

tap-xxx

network1GRE tunnel

169.254.192.11 169.254.192.12ha-xxx

ha-xxx

qg-xxx 133.1.1.1

10.0.0.1

qg-xxx

qr-xxxqr-xxx

ここにアドレス付いてる方がマスター

テナントB

テナントC

テナントA

L3 HA 詳細(1)

network2

qrouter-AAABackup

network1

qrouter-BBBMaster

qrouter-CCCMaster

qrouter-DDDBackup

qrouter-AAAMaster

qrouter-BBBBackup

qrouter-CCCBackup

qrouter-DDDMaster

VRRP

VRRP

VRRP

VRRP

フェールオーバーの動き

network1 network2

Neutron-l3-agent

Keepalived-state-change

KeepalivedNeutron-l3-

agentKeepalived-

state-changeKeepalived

sending 0 priority

VRRP pri=0 14:05:51.638

14:05:51

Wrote state backup

accepted

Handling notification

Notified

Child process died

Entering BACKUP STATE

Transision to MASTER StATE

Entering MASTER StATE

Wrote state master

accepted

Handling notification

Notified

VRRP pri=50 14:05:52.443

VRRP pri=50 14:05:54.444

14:05:51.643

14:05:51.645

14:05:51.648

14:05:51.764

14:05:52

14:05:52

14:05:52

14:05:54

notify

notify

14:05:54.446

14:05:55.218

14:05:54.492

14:05:54.497

Neutron PluginによるSDNコントローラとの連携


NeutronL3 Agent ネットワークノード

Horizon

Neutron-Server

Neutron API

Neutron-Plugin

コントローラノード


NeutronL2 Agent

物理機器

Neutron PluginによるSDNコントローラとの連携


SDN API

SDNコントローラ


仮想スイッチ

Controller

API OpenFlow etc….

物理機器

Horizon

Neutron-Server

Neutron API

Neutron-Plugin


API

Neutron Pluginの実装


SDN製品によるNeutron実装連携パターン


Big Cloud Fabric



Controller

OpenFlow etc…

Horizon

Neutron-Server

Neutron API

Neutron-Plugin


SDN API

BigSwitch Networks

›Neutron L3/L2 が動作する為に必要な物理ネットワークを自動構成

API

NeutronL3 Agent

NeutronL2 Agent

L2機器

SDN製品によるNeutron実装連携／代替パターン


Cisco ACI



APICController

OpFlex

Nexus9000等

Horizon

Neutron-Server

Neutron API

Neutron-Plugin


SDN API

Cisco ACI

›ホスト内L2処理はNeutron/OVSを利用。ホスト間L2，L3、L4-7はSDN側で処理。

API

NeutronL2 Agent

DevicePack

L4-7機器

APIC WebUI

L3処理

L2 処理

SDN製品によるNeutron実装代替パターン


Nuage VSP



Nuage VSC

IPネットワーク

Horizon

Neutron-Server

Neutron API

Neutron-Plugin


SDN API

Nuage Networks VSP

›Neutron Plugin経由でほぼ全てのネットワーク機能をSDN側が代替

Nuage VSD

API

Nuage VRS

L3処理L2 処理

Neutron Pluginによる商用ロードバランサとの連携


LoadBalancer

Neutron

LBaaS Driver

HAProxy

LBaaS Driver

A10vThunder

HAProxy

LBaaS neutron-lbaas.confprovider=“xxxx.A10”

プールメンバー

VIPモニタを登録

REST API

CLI

Horizon管理画面

Agent

SDN、OpenStack、自動化実装の関係


(運用自動化) オーケストレーター

OpenStack Heat等

A運用自動化

B運用自動化

C運用自動化

SDNスイッチ

SDNスイッチ

サーバストレージ

新機能①

新機能②

新機能①

新機能②

新機能③

SDNコントローラ OpenStack Nova等APIAPI

openstackネットワーク実装の現状と運用 自動化開発の実際 第一部:...

Technology

openstackネットワーク実装の現状と運用自動化開発の実際第一部:...