ovs vxlan network accelaration on openstack (vxlan offload and dpdk) -...
TRANSCRIPT
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK)
Ikuo Kumagai – Bit-isie Equinix Inc.
Yuki Kitajima - Altima corp.
Masayoshi Oka - Netone systems
1
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Tokyo Summitにて
Hyper-Converged OpenStack についての取り組みの中で
‣ DPDKの評価は終わっていないと話しました
→今回はその続編です
http://www.slideshare.net/ikuokumagai/approaching-hyperconvergedopenstack
2
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
振り返り
前回発表したセッションの趣旨は
‣ できるだけ汎用的なHWで
‣ できるだけ標準的なSW/デプロイ方法で
‣ 一部のHW/SWの置き換えだけで
(VXLAN offload/DPDK/Ceph RDMA)
ハイパーコンバージドインフラをOpenStackで構築すること
3
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS/VXLANを選択する理由
[メリット]
Neutronのネットワーク機能はOVS/VXLANならば ほとんど使える。
既存ネットワークのデメリットを避けながら、そして周囲の環境との相互接続性が保てる(選択肢が多い)。
[デメリット]に対する考え方
パフォーマンスネック/拡張性の問題?
‣ Linux kernelによる パフォーマンスネック
‣ フルメッシュトンネリング ・VXLAN unicast/multicast 問題
4
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Why OVS, Why VXLAN
OVS(Open vSwitch) ‣ OpenStack環境で最も標準的なネットワーク
▪ "Open vSwitch is the most common choice for Neutron drivers, though the bulk of deployments selecting it are in proof of concept stage. ”
VXLAN(RFC7438)
‣ オーバーレイ方式で最も広く使われている
‣ 多くのOpenStackディストでデフォルト設定
‣ 既存ネットワーク内に組み込める
http://www.openstack.org/assets/survey/Public-User-Survey-Report.pdf 5
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS VXLAN Performance Test
with No Accelaration
6
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Test Items (Network)
KVM
Compute Node-2
OVS
VXLAN
VM VM VM VM
KVM
Compute Node-1
OVS
VM VM VM VM
VM to VM between physical nodes
1 – 16 VM per physical node
Metering by iperf3 TCP & UDP
7
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance TCP Bandwidth
Total & Average Performance(※iperf3 default)
Bandwidth(GBits/sec)
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
2.00
4.00
6.00
8.00
10.00
12.00
1-1 2-2 4-4 8-8 16-16
Total
Average
8
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance (UDP Bandwidth by packet size)
Total
Average
9
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance (UDP Laytency by packet size)
Laytency (Jitter)
Lost Packet
10
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN オフロード
11
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
OVS + Normal NIC [General Understanding]
‣ VXLAN process handled by OVS.
‣ It means that CPU works for packet process of VXLAN packets.
‣ Normal NIC can NOT take care about,
▪ Checksum, TSO, RSS, etc
12
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
What is the VXLAN offload
‣ Offload VXLAN protocol on edge-point (NIC)
‣ VXLAN offload engine enables TCP/IP offload
▪ Enable checksum, TSO, RSS, GRO
‣ Get more throughput, Less latency and less CPU resource
VM generate inner packet OVS generates outer packet
13
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
VXLAN offloadの特徴
‣ VTEP -> RSS/TSO/RSO
NIC Driver
Linux Kernel
OVS Flow Table
User Space
Virtio
VM
Virtio
VM
OVSDB (VTEP)
ポイント説明
①VXLANパケットのchecksum, RSO/TSO, のCPUオフロード
②[OVS] VTEP(CPU)によるVXLANの decap/encap
③VMとの受け渡しはVLAN
意外と多い勘違い
VTEPはオフロードしません*
ただし、VTEPオフロードをするNICも あります!
使いどころ
VM当たりのスループット性能の向上
CPU負荷の低減
OS inboxドライバ対応が進む
①
②
③
14
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
HW selection
型番 MCX311A-XCCT
MCX312B-XCCT MCX313A-BCCT MCX314A-BCCT
Port Single 10GbE
Dual 10GbE
Single /10/40/56GbE
Dual /10/40/56GbE
Port Type SFP+ SFP+ QSFP QSFP
Cable Cupper, Optical
Host Bus PCIe 3.0 x 8
Features VXLAN/NVGRE offload, RDMA, SR-IOV, etc
OS RHEL, SLES, Microsoft Windows Sever, FreeBSD, Ubuntu, VMWare ESXi
15
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload result(TCP Bandwidth)
Compair VXLAN offload and normal
Bandwidth(GBps) - VXLAN offload
1-1 2-2 4-4 8-8 16-16
Total 14.40 21.70 30.00 31.43 24.63
Average 14.40 10.85 7.50 3.93 1.54
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
Bandwidth(Gbps) normal
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
16
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
DPDK (6WIND)
17
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
まとめ
18
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLANオフロード
メリット
‣ 帯域の有効活用という点では非常に有効。 ※OVSでVXLANオフロードを使う場合にsegmentation offload がない場合は本番運用は難しいのでは。
‣ 利用が簡単。対応NIC/ドライバがあれば特別な設定は不要
デメリット
‣ Linux側のボトルネックを全て解消するわけではない。 → NW処理の負荷は多少なりともホスト全体に波及する。
想定する利用シーン
‣ 特殊な要件のない環境での帯域増速
19
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
DPDK
メリット
‣ OVSでNWの基本的な性能を求めるのであれば必須 (OVSオフロードは試していない)
デメリット
‣ まだまだ初期設定等には難しい部分がある。サポートがなければ運用は難しそう。(今後解消される可能性もある)
‣ インスタンス側のCPU pinning には注意する必要がある。
想定する利用シーン
‣ ショートパケットのリクエストが多い環境
‣ NW系の仮想アプライアンスを利用する場合
‣ その他NW系に高い要件をもつようなケース
20
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
ten
an
t netw
ork
NetworkノードにDPDKを設定
想定する利用方法(NWノードへ適用)
Compute
VXLAN offload
Compute
VXLAN offload
Compute
VXLAN offload
Compute
VXLAN offload
Backborn
Router
・・・
DPDK
DPDK
DPDK
DPDK
Network
DPDK
L3 agent
LBaas agent
VPN agent
21
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
ten
an
t netw
ork
sh
are
d n
etw
ork
NW機能を集約したコンピュートノードを配置
想定する利用方法(NW機能を集約したコンピュートノード)
Compute (NW Function)
DPDK
Compute
VXLAN offload
Compute
VXLAN offload
Compute
VXLAN offload
Compute
VXLAN offload
Backborn
Router
・・・
VLAN
VXLAN
DPDK
DPDK
DPDK
DPDK
LB
Router
VPN
例えば Instance Resource Quotaを適用するなども可能
22
Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
広告
ビットアイル・エクイニクスのOpenStackパッケージは デフォルトでVXLANオフロードを使用しています。 (DPDK(6WIND)は価格未決定ですが相談可能です)
23