クラウド基盤でOpenStack

Ryo Murakawa

SUSE APAC

Japan Territory

導入、活用すべきポイント

自己紹介

• SUSE 入社して、約3年

• 専門は、High Performance Computingです

• 肩書きは、Evangelistとなっており、この肩書きで２年経ちました。 • ただ、外向きに発表するためだけにつけていただいた肩書かも？

2

アジェンダ

3

アジェンダ

• SUSE OpenStack Cloud 7の紹介

• Reference Architectureの分析

• 導入&活用ポイント

• まとめ

4

SUSE OpenStack Cloudの特徴

5

SUSE OpenStack Cloud 7

crowbar

Nova

Compute

Scheduler Neutron

Software

Defined

Networking

Cinder

Block

Storage

Glance

VM Image

Repository

Heat

Orchestration

Keystone

Identity

Management

Telemetry

Event

Notifications

Swift

Object

Storage

Horizon

User

Dashboard

Ironic

Bare-metal

Compute

Scheduling Sahara

Big Data

Analytics aa

s Service

Designate

DNS as a

Service

Trove

DB as a

Service

“Rally”

Manila

File Server

as a Service

Magnum

Containers

as a Service

“TripleO”

Barbican

Secure

Password

Store Murano

Application

Catalogue

“Kolla”

OpenStack

Client (OSC)

“Kuryr”

Oslo

Libraries “RefStack”

“OpenStack

Ansible”

Full

Support

Tech

Preview

Package

Only

Tempest

Test Suite

Docs

SUSE OpenStack Cloud 5 – Projects

Out of

scope

Nova

Compute

Scheduler Neutron

Software

Defined

Networking

Cinder

Block

Storage

Glance

VM Image

Repository

Heat

Orchestration

Keystone

Identity

Management

Telemetry

Event

Notifications

Swift

Object

Storage

Horizon

User

Dashboard

Ironic

Bare-metal

Compute

Scheduling Sahara

Big Data

Analytics aa

s Service

Designate

DNS as a

Service

Trove

DB as a

Service

“Rally”

Manila

File Server

as a Service

Magnum

Containers

as a Service

“TripleO”

Barbican

Secure

Password

Store Murano

Application

Catalogue

“Kolla”

OpenStack

Client (OSC)

“Kuryr”

Oslo

Libraries “RefStack”

“OpenStack

Ansible”

Full

Support

Tech

Preview

Package

Only

Tempest

Test Suite

Docs

SUSE OpenStack Cloud 6 – Projects

Out of

scope

SUSE OpenStack Cloud 7 – Projects Nova

Compute

Scheduler Neutron

Software

Defined

Networking

Cinder

Block

Storage

Glance

VM Image

Repository

Heat

Orchestration

Keystone

Identity

Management

Telemetry

Event

Notifications

Swift

Object

Storage

Horizon

User

Dashboard

Ironic

Bare-metal

Compute

Scheduling Sahara

Big Data

Analytics aa

s Service

Designate

DNS as a

Service

Trove

DB as a

Service

“Rally”

Manila

File Server

as a Service

Magnum

Containers

as a Service

“TripleO”

Barbican

Secure

Password

Store Murano

Application

Catalogue

“Kolla”

OpenStack

Client (OSC)

“Kuryr”

Oslo

Libraries “RefStack”

“OpenStack

Ansible”

Tempest

Test Suite

Docs

Full

Support

Tech

Preview

Package

Only

Out of

scope

New

Status

SOCにおけるポリシー

• ライセンス的に問題になりそうなものを利用しない • Ex: Databaseとして、PostgreSQLを利用

• インストールフレームワークを変更しない

• Crowbarの機能拡張実施

• 不安定な要素のあるものでも、パッケージとしては、取り込む。ただし、Early Birdの扱い。ドキュメントも提供しない

• エンタープライズでの利用を想定した品質維持

10

SUSE OpenStack Cloud 7の特徴

SUSE OpenStack Cloud 7の特徴 • OpenStack Newtornベース

• ベースOSとして、SUSE Linux Enterprise Server 12SP2

- 商用Linuxとして、Kernel 4を搭載

• サービス無停止アップグレード機能

• Crowbarの拡張

• Computerノードのオプションとして

- Docker

- z/VM

- ARM

• 共有ファイルシステム(Manilla)の完全サポート

• Compute Node HA (Xen/KVMのみ) サポート

• Ironicサポート

11

Kubernetes-on-OpenStack

Containers-as-a-Service (CaaS)

Automated deployment

Auto-scaling

Each user gets their own environment

SUSE OpenStack Cloud 7 – Magnum

SUSE OpenStack Cloud 7 – Hypervisors

✓ ✓ ✓

✓ ✓ ✓

SUSE OpenStack Cloudフレームワーク

14

制御ノード HA

15

Compute Node HA

16

SES連携

17

Admin Server Control

(Data) Network

(奇数台) Nova

Control

(Service)

Radosgw

(S3-Compatible) Monitaring

(奇数台)

OSD

Server

SES連携

18

Admin Server Control

(Data) Neutron agent

(奇数台) Nova

Control

(Service)

Radosgw

(S3-Compatible) Monitaring

(奇数台)

OSD

Server

Controlとnetworkの

共存は可能

3rd パーティのneutron plug-inを使う場合

弊社開発同士が連携しているベンダー - Midokura

- Plumgrid

- Cisco ACI

- Contrail (検証中)

• どのベンダーも弊社が提供しているインストールフレームワークを使ってのDeployは、できないため、手動で変更する必要あり

19

容易なインストール (Adminサーバ)

20

Multi Data Centerサポート例

21

Reference Architectureの分析

22

Dell Reference Architecture

23

https://builders.intel.com/docs/cloudbuilders/SUSE-OpenStack-cloud-reference-architecture-with-dell-hardware.pdf

Block Diagram

24

Block Diagram

25 コントロールノード (３台構成)

特徴

• DBは、共有ストレージに配置

• Neutronに関しては、Controlノードと同居

• High Availabilityの監視は、DRACで実施

26

HPE社のReference Architecture

27

HPE社のReference Architcture

28 https://www.suse.com/docrep/documents/j2nd2zd2zq/HP_ProLiant_for_Private_Cloud.pdf

HPE社のReference Architcture

29 https://www.suse.com/docrep/documents/j2nd2zd2zq/HP_ProLiant_for_Private_Cloud.pdf

Control Nodeは3台

特徴

• DBは、共有ストレージに配置

• Neutronに関しては、Controlから分離することも視野に入れている

• High Availabilityの監視は、iLoで実施

30

Lenovo社のReference Architecture

31 https://lenovopress.com/lp0036.pdf

Lenovo社のReference Architecture

32 https://lenovopress.com/lp0036.pdf

特徴

• DBは、共有ストレージに配置

• Neutronに関しては、Controlと同居

• High Availabilityの監視は、BMCで実施

33

各社の総括

• SUSEの意向を考慮したControlノード３台でのHA • SUSE HAのStonithとして、サービスプロセッサを利用 • 共有ストレージ構成を取っているが、SBDの利用はしてない

• Neutronの部分に関しては、最低構成では、他Controlコンポーネントと同居

34

導入、運用のポイント

35

OpenStackのその昔

• 環境構築が手間だった • コンポーネントごとに、DBに登録、キーの取り出し、設定ファイルの書き換えなど • 数台のサーバで構成するのでさえも大変だった • 計算のノードの拡張が成功するためには、集中力が必要

• Controlノードがシングルであった • 各コンポーネントは、疎結合出会ったが…

36

OpenStackの今

• 導入するためのツールを提供

• SUSEは、リリース時から、Crowbarを提供

• 2012年当時はで、一番構築やしやすいOpenStack Distribution

• ControlノードのSingle Point of Failure (SPOF)の排除

• ネットワークは、10Gが使われるようになって、ネットワークのパフォーマンス問題もだいぶマシになった

• プロダクションでの利用においては、OVS以外のSDNが必要

37

SUSEの顧客の傾向

• 最初は、スモールスタートで(ノード数:10から)

• OVSで最初は、取り組まれますが、Computeノード20台を超えるとSDNへ

• メータリング機能に対する要求が高まりつつある

• AD連携をして使いたい

38

運用視点

• 半年に１回のアップデートをされることはない • SUSEは、リリースを昨年から1年に１回へ変更

• アップデートは、サービスを止めたくない • VMの冗長構成を担保したい • VMなどを保存するストレージは、安価で行いたい

39

実際に起きたこと

• SOC5から6へアップグレードを実施したが、

• サービス停止は避けられなかった

• 時間内に作業を終えることができなかった

• 未だに、アップグレードに失敗するケースもあった

• パッチ適用が上手くいかない

• VMまで意識したパッチ適用が、時間内に終わらない

• HAの切り替えがされなかった

• RAのように、サービスプロセッサを利用してないケースは、起きやすい

• サービスプロセッサによっては、上手く停止ができない (iRMC, iLo, DRAC以外..)

40

現在取り組んでいること

• SOC7のリリース間近ですが、SOC6からのサービスを停止することなくアップデート

• SOC7の注目すべき機能の一つとなっています

• SUSE Managerとの連携

• Spacewalkの作り的な問題もあって、時間内にパッチ適用が終わらなという部分をSaltStackにて修正

41

まとめ

42

まとめ

• SUSE OpenStack Cloud 7の機能の説明 • SUSEの取り組み

• 差別化

• 各HWベンダー様が発表されているReference Architectureの解説

• 運用におけるポイント

43