open stack development in sicr2jp

Copyright©2014 NTT corp. All Rights Reserved.

NTTにおけるOpenStackの取り組み及び課題

2014 年 8 月 22 日NTT ソフトウェアイノベーションセンタ水野伸太郎

2Copyright©2014 NTT corp. All Rights Reserved.

データーセンターネットワークお客様拠点

ユーザー LAN

お客様

NTT が目指すクラウド

WAN（インターネット、 VPN ）

データセンタネットワーク

End-End 　仮想ネットワーク

ネットワーク

柔軟・迅速・安価 End-End 品質

① 　オープンアーキテクチャーをベースとし、② 　クラウド・セキュリティ技術をアドオンして差異化を図り、③ 　ネットワーク仮想化技術を用いてキャリアとしての強みを伸ばす

安心

オープンアーキテクチャークラウド基盤


さまざまなユースケースに適用できる統一基盤

NTT East NTT West NTT Communications

Other group companies

Long distance and international communications business Other

business

100 ％ 100 ％ 100 ％ 54.2 ％

NTT DATA

Data communications business

Regional communications business

real estate, finance, construction and power business

66.2 ％

NTT DOCOMO

Mobile communications business

Strategy & R&D

？

http://www.ntt.com/

http://www.nttdocomo.co.jp/


OpenStack

（ Source ） http://www.openstack.org/software/

IaaS を構築するオープンソースソフトウェア開発プロジェクト 2010 年 6 月、米 Rackspace Hosting と NASA が立ち上げ全世界で 850 以上の企業・団体が参加特徴：オープンであること。ソースもコミュニティもオープンで参加自由

2010 2011 2012 2013 2014

2010.10.21

Austin(2010.1)

2011.2.3Bexar(2011.1)

2011.4.15Cactus(2011.2)

2011.9.22Diablo(2011.3)(2011.3.1)

2012.4.5Essex(2012.1)(2012.1.3)

2012.9.27Folsom(2012.2)(2012.2.4)

2013.4.4Grizzly(2013.1)(2013.1.5)

2013.10.17Havana(2013.2)(2013.2.3)

EOLSecurity-supported

Current stable release

Nova

Swift

Nova

Swift

Glance

Nova

Swift

Glance

Keystone

Horizon

Nova

Swift

Glance

Keystone

Horizon

Cinder

Neutron

Nova

Swift

Glance

Keystone

Horizon

Cinder

Neutron

Dashboard

Identity

Image service

Object Storage

Compute

Volume

NetworkFeatures

Nova

Swift

Glance

Keystone

Horizon

Cinder

Neutron

Ceilometer

Heat

Metering

Orchestration

Deprecated

2014.4.17Icehouse(2014.1)

Nova

Swift

Glance

Keystone

Horizon

Cinder

Neutron

Ceilometer

Heat

OpenStack のリリースの歴史

Nova

Swift

Glance

Keystone

Horizon

Cinder

Neutron

Ceilometer

Heat

…

TroveDatabase Trove

2014.10.16Juno(Under Dev.)

Under development


NTT の OpenStack への貢献 2010 年の立ち上げ直後から積極的貢献新規機能提案や、品質検証で見つかったバグの改修などを継続的に実施

Projects Major contributions

Horizon Dashboard

Keystone Identity

Nova Compute

Neutron Network

Glance Image

Cinder Block storage

Swift Object storaeg

Ceilometer Metering

Heat Orchestration

Sahara Hadoop

- Multiple NIC support- Mutiple plugin support- Static route for logical routers- L3-agent/DHCP-agent multi-node

- Live migration for KVM- IPv6 support

- Image transfer between Glance, volume - Restrict Licensed-Image download- Taskflow for cinder

- Add Network gateway resource

- Enhancement for Hadoop integration

- Global Cluster enhancement- Plugin I/F for ErasureCode- S3 compat. API M/W （ Swift3)

enhancement- Slogging enhancement- Fix for Tempest

- Sheepdog plugin


OpenStack について

• OpenStack はオープンアーキテクチャで柔軟性、拡張性に優れている

• エコシステムも確立してきており、商用利用も進んでいる

しかし、• OpenStack 導入・運用は

【まだ】簡単ではない


OpenStack はシステム

• オールインワンの「アプリケーション」ではない• 必要なモジュールを組み合わせてシステムとして構築す

る必要があるユースケースに応じ柔軟に利用できる反面、取捨選択が必要実装レベル、品質はモジュール毎に異なる

Novaコンピュート

Cinderブロック

ストレージ

Glanceイメージ

Neutronネットワーク

Keystone認証

Horizonダッシュボード

Heatオーケストレー

ション

Ceilometerメータリング

Troveデータベース

Swiftオブジェクトストレージ

Saharaビッグデータ

Ironicベアメタル …


OpenStack 導入時の要検討項目例

• 選択するのはモジュールまで、ではないNova: ハイパーバイザーは何を利用する？

• KVM, Xen, Hyper-V, ESXi(vSphere), さらに、コンテナCinder: ストレージは何を利用する？

• Ceph, EMC, NetApp …Neutron: 仮想 NW は利用する？利用する場合は何

を利用する？• VXLAN, GRE• Vmware, Cisco, Juniper, Ryu, NEC, Midokura,

OpenDayLight …API: 400 以上の API のどれを利用する？公開する？各種設定はデフォルトのままでよい？

• 設定項目多数


OpenStack 導入時の要検討項目例

• 非機能面での設計も必要スケール (Region/AZ/Cell 設計）高可用性設計保守・運用設計

• 増減設、ログ、監視、運用ツールなどトラブル対応・サポート体制

• OpenStack本体だけではなく、プラグイン提供ベンダ含めた体制が必要

アップデート対応• コミュニティでは最新の 2版しかサポートしない


「どの」 OpenStack を利用するか

• コミュニティで公開しているコードを利用するか自社にそれなりの技術者を用意する必要がある

• 設計、検証、インストール、アップデートなどは自前で実施• 問い合わせ先は「開発者」コミュニティ（回答保証なし）

• ディストリビューションを利用するか提供内容が異なる多くのディストリビューションが存在　 http://www.openstack.org/marketplace/distros/

迅速な導入サポートや検証済みのパッケージが期待できるが、自社の要件に応じた選択が必要

SLA ？　 LTS? 　費用？　提供パッケージ？　日本語サポート？


運用面での課題

• 研究所での経験検証環境の構築・運用（ 10環境以上）研究所内サービスでの運用事業会社の商用導入サポート


OpenStack は保守・運用機能が不十分

• ログプロジェクト毎（プロセスごと）にログが出るので、解析の際には関連付けが必要（簡単には出来ないものもある）ログレベルが十分統一されていない

• DEBUG レベルを出力する必要がある場合も

• 監視監視機能はない。自前で設計・準備が必要仮想サーバのオートスケールアウトなどの機能はまだない

• GUIHorizonで基本的な動作は可能、ただしすべての機能をGUI経由で利用できるわけで

はない。何かあったらCLI, APIの利用が必要となる。

• ドキュメントが不足、もしくは古い仕様なのか、バグなのかの判定が困難な場合があるAPIドキュメントが古く、最新の実装とあっていない、かつAPI仕様としての情報量が不足している

プロジェクトによって記載レベルが異なる運用ドキュメントがようやく作成された

• ドキュメントが最新版のコードにキャッチアップされるかが課題


アップデート課題

• OpenStack では１バージョンのアップデートをサポートする「方針」

実際は Nova 以外ではあまり考慮されていない頻繁なリファクタリング、 DB スキーマ変更常に最新版にキャッチアップする必要がある

• LTS から LTS へは？？

• 公式な手順書はない自社のシステムに合わせ手順を検討・検証する必要があるディストリビュータでのサポートに期待

• 無停止アップデートの実現は難しいプラグインで利用している外部アプリも含めアップデート検討が必要システム閉塞、通信断などはある程度想定する必要があるアップデートを考慮した事前のシステム設計が重要

• CI環境


最後に

• 課題はあるが、将来性、ビジネス的な発展可能性に期待している

• NTT の事業への適用を推進• 課題解決はパートナーやコミュニティと連携し

て実施引き続きコミュニティの一員として貢献していく

• 課題、制約を把握し、しっかりと設計することでトラブルは減らせるサポートパートナーとの協力構築後の運用やアップデートも考慮した設計

open stack development in sicr2jp

Software