openstack summit austin 2016 参加報告 - openstack最新情報セミナー 2016年5月

© 2016 NTT Software Innovation Center

（OpenStack最新情報セミナー）OpenStack Summit Austin 2016参加報告

2016 年 5 月 26 日市川俊一NTT

2Copyright©2016 NTT corp. All Rights Reserved.

OpenStack Summit Austin 2016 概要

• 名称： OpenStack Summit Austin 2016• 日時： 2016 年 4 月 25 日～ 2016 年 4 月 29 日• 場所： Austin 、テキサス州、米国• 主催： OpenStack Foundation• 参加者： 7800 名

• 5000 名 @Tokyo• 6000 名 @Vancouver• 4600 名 @Paris

• スポンサー： 116 社• 86 社＠ Tokyo• 119 社 @Vancouver• 91 社 @Paris

• 参加者の国数： 61 ヶ国• 56 ヶ国 @Tokyo• 55 ヶ国 @Vancouver• 62 ヶ国 @Paris

• 参加者の所属企業数： 1190 社• 736 社 @Tokyo• 976 社 @Vancouver• 876 社 @Paris

• サミット初回参加者： 54%• 50%@Tokyo• 54%@Vancouver• 58%@Paris


Mitaka リリース

• Mitaka リリース• 13 番目のリリース• 2016 年 4 月 7 日• 2336 名の開発者、 293 の組織 (Liberty では 1933 名・

285 組）• 新機能（分かりやすいところでは）

• Dashboard(Horizon) の VM 作成までの一連の流れの改善• OpenStack Client による統一された CLI の提供• などなど

https://www.openstack.org/software/mitaka/


Austin サミットの情報源

• Keynote & Breakout Session• スケジュール

• https://www.openstack.org/summit/austin-2016/summit-schedule/

• 講演ビデオ• https://www.openstack.org/videos/

• Design Summit etherpad• https://wiki.openstack.org/wiki/Design_Summit/

Newton/Etherpads• 各プロジェクトの議論結果まとめ

• http://hugh.blemings.id.au/2016/05/17/openstack-summit-austin-2016-summary-of-summaries/

• 膨大な情報がオンラインに


基調講演の内容 ( 初日 )• 基調講演 by Jonathan Bryce

• Disruption• 新しい技術を適用させて改善できる。一方で、既存の資産・技術・顧客ベー

ス・データの維持が必要なケースもある。• Cloud Hosted, Cloud Optimized, Cloud Native System のすべてに使える。

• Diversity• Enterprise Private Cloud• Public Cloud

• GoDaddy, Rackspace, OVH.com, DreamHost• Telcom and NFV ( 急速に進展）

• Verizon, AT&T, China Mobile, Comcast, Swisscom• Research and Big Data

• Los Alamos National Laboratory, UFCG, University of Cambridge, TACC• ユーザ調査

• Fortune 100 の半分は OpenStack は使っている• 65% の deployment は、商用環境で使われている• 97% の利用者が「標準化されたプラットフォームと API 」を OpenStack を使

う理由のトップ 5 の理由に挙げている。• 技術より文化・プロセスの改善が重要。

44 日 → 42 日（技術のみ）→ 2 時間（プロセスも見直した）

https://www.openstack.org/videos/video/embracing-datacenter-diversity


基調講演での AT&T の発表

• AIC: AT&T Integrated Cloud• ネットワークの成長

• 2015: 114 petabytes daily• 2015-2020: 10x network traffic growth

• Enterprise と Network service の両方の Workload• 最終的に 1000 zone 以上を目標、

すでに 74 の zone を配置• Fuel で Deploy を自動化• OpenStack Resource Manager （独自）

• 複数の Zone への操作• 最適な Zone の選択

• SDN や NFV の基盤として活用していく予定

• AT&T が、 Austin の Superuser Awards 獲得https://www.openstack.org/videos/video/at-and-ts-cloud-journey-with-openstack


基調講演での Mirantis の発表

https://www.openstack.org/videos/video/mirantis-sponsor-keynote

• Private Cloud で遭遇する問題• 一位： 31% が Operational model を変えることに失敗

• Technology(software) がすべてを解決するわけではなく、起こる問題に対処して、 Tenants への影響を最小化する Operation Team も重要

• Success with OpenStack is 1 part technology and 9 parts people and process

• Operations Team を DevOps Ninjas にしていくか• すべてを投げ出して Public Cloud を活用する• 中間解がもっとでてくるだろう (Managed service や Appliance ）

• マーケット（年間規模）• AWS: 10 billion USD 、〜 1 兆円• Datacenter Infrastructure & Virtualization (EC2 相当 ): 130

billion USD 、〜 13 兆円• 世界の IT 投資： 3.5 trillion USD 、〜 350 兆円• disruption はこれから。 Public か Private という単純なものではな

い。


基調講演の内容 ( 二日目 )

• 基調講演 by Mark Collier• 中国のスタートアップである EasyStack, UnitedStack が

OpenStack Foundation の Gold member に参加• 市中の予想

• 500 億のデバイスが 2020 までにネットワークに接続• データ処理のために 4 億台のサーバが新たに必要になる。どう管理す

る

• OpenStack にどの OSS をどう組み合わせていくか？が焦点• LAMP はどうなる？ NFV は？• 例えば、コンテナ、どれも 40% 以下だが

• 1. Kubernetes• 2. Cloudfoundry• 3. OpenShift

• Collaborate or die• 大きな会社であっても、ソフトウェアの進歩を取り入れ、生き残って

いくために必要。 Walmart 、 China Mobile等がその例。https://www.openstack.org/videos/video/not-invented-here-collaborate-or-die-in-the-billion-device-billion-core-era


基調講演で紹介されたコンテナ利用例

• Time Warner Cable• General-purpose multi-tenant container runtime for devs• Apache Mesos を使って、 4 engineers で、 2016 年 1 月に作業を始め ,

2016 年 5 月に 2 regions で商用利用開始• OpenStack がすでに整備されていたので、物理的なプロビジョニングで時間

がかかることはなかった。今後、 Ironic の利用を検討。• LivePerson

• ライブチャットサービスの SaaS provider• 150 micro-services からサービスは構成される• OpenStack

• 20,000 physical cores, 8000 instances, across 7 DCs• Since Diablo, upgrading to Kilo

• Kubernetes cluster (with docker) with puppet on OpenStack large VMs• 今後、 CoreOS, Project Atomic, Ironic の利用を検討

• CoreOS• Kubernetes を使って OpenStack プロセスをコンテナに入れるデモ

https://www.openstack.org/videos/video/apache-mesos-on-openstack-at-time-warner-cablehttps://www.openstack.org/videos/video/running-kubernetes-on-openstack-at-livepersonhttps://www.openstack.org/videos/video/openstack-and-kubernetes-inception


The Big Tent, One Year Later (1/2)

• Big Tent とは• OpenStackコミュニティが作り出すもので、一定の要件（主に

Open であること）を満たすもの。• Big Tent 以前は、 Incubation フェーズを設けて、 Top-down で重

要プロジェクトを公式と認定する Top-down アプローチだった。公式かそうでないか、が過度に気にされ、時間が費やされる点が問題になった。

• Kilo リリースから Big Tent 適用、プロジェクト数は増えている。活発。

https://www.openstack.org/videos/video/the-big-tent-one-year-later

• Horizontal とは、QA, Release Management, Security, Deployment tool等の横断的なもの

• Vertical とは、 Nova, Neutron のような機能


The Big Tent, One Year Later (2/2)

• Big Tent の下の公式プロジェクトのリスト• https://governance.openstack.org/reference/projects/

• 原本： https://github.com/openstack/governance/blob/master/reference/projects.yaml

• OpenStack の namespace の下にレポジトリを持っているものすべてではない。 Technical Committee の承認を得たもの。

• 良かった点• We are no longer stuck, More reactivity, Competition

• 悪かった点• Single-vendor, Confusion, Made joining harder for established

projects• 試行錯誤： Project Navigator, タグによって改善• https://www.openstack.org/software/project-navigator

• 今後• Inteoperability, End-user experience, overall technical design

https://www.openstack.org/videos/video/the-big-tent-one-year-later


Interoperability (1/2)

• DefCore Committee• OpenStack Interoperability Project• OpenStack の基盤ごとに App を変える、なんてことが必要

ないように、ガイドラインを定義。• コンポーネント：現状 Compute, Storage and both (Platform)• 提供すべき機能（パスすべき API テストによって定義される）

• OpenStack Powered ロゴを使うためには準拠する必要あり。• 最新のガイドラインは、” 2016.01” と” 2015.07”

• “2016.01” が対応するリリースは Juno, Kilo, Liberty, Mitaka• “2015.07” が対応するリリースは Icehouse, Juno, Kilo• 詳細は、 https://refstack.openstack.org/#/guidelines• 次のガイドラインは、 2016 年の 8 月に承認予定。• Networking Capability （ neutron ）を Required ・必須とす

る、 Keystone v2 を deprecated される（ v3 のみ）、といったことが議論中。

https://www.openstack.org/videos/video/making-cloud-interoperability-across-openstack-vendors-a-possibility-using-refstackhttps://www.openstack.org/videos/video/interoperability-the-elephants-in-the-room-and-what-were-doing-about-them


Interoperability (2/2)

• RefStack• RefStack クライアントを実行すると、テストが実行されて、

Defcore の要件を満たしているか確認できる。• https://github.com/openstack/refstack-client

• RefStack サーバ• テスト結果を匿名でアップロードして公開できる。• ガイドラインで必須とされていない機能の実装度合いを収集して、

将来のライドライン作成につなげるという狙いもある。

https://www.openstack.org/videos/video/making-cloud-interoperability-across-openstack-vendors-a-possibility-using-refstack


AT&T’s OpenStack Journey

• AIC: AT&T Integrated Cloud の History• 2014 年 AIC1.0 ・ Icehouse 、 2015 年 AIC2.0 ・ Juno

(Foundation)• 2016 年以降 AIC3.0 ・ Kilo (Virtualized Network)

• 規模• 2015 年 1 月から 10 月、 20 zones に配置• 2015 年 10 月から 12 月、 54 zones に配置（デプロイ自動化）

• アーキテクチャ• Control Plane は Zoneごとに独立している

• セキュリティ (isolation) とパフォーマンス (latency) のため• Fuel を使ったときの課題

• Day 2 operations, Multi-rack （セグメント）構成への対応、Fuel 自体のアップグレード、 Endpoint アクセスの SSL への対応

• アップストリーム• AIC Delivery Team と OpenStackコミュニティの Timeline は必ずしも合わない。 Community team を独立チームとして 30人の開発者を専任で新たに配置した。https://www.openstack.org/videos/video/at-and-ts-openstack-journey-driving-enterprise-workloads-using-

openstack-as-the-unified-control-plane


OpenStack at Carrier Scale, AT&T

• 70 以上の OpenStack を世界中に配置。 57 が商用利用されている。 15,000 VMs が稼働中。

• 1400万人の無線通信のユーザがいて、仮想化されたネットワークで接続されている。

• 5.7% のネットワークリソースが OpenStack の上にある• コンポーネントが 5.7% の仮想化に入っているか？という質問に対

しては、回答を避けた。 2020 年までに 75% が目標。• ワークロード

• Web, big data, analytics, network functions, voice, video• Orchestration

• ECOMP (Enhanced Control, Orchestration, Management & Policy) 。独自の実装、 White paper を公開。

• http://about.att.com/content/dam/snrdocs/ecomp.pdf• Networking

• OpenContrail を採用

https://www.openstack.org/videos/video/open-stack-at-carrier-scale


Lessons Learned from Deploying at Verizon • Timeline

• 2015 年 3 月にプロジェクト開始、 6 月・ 7 月：設計・試験• 2015 年 8 月〜 11 月：デプロイ、 2015 年 12 月：商用開始• 現在

• 商用・ 3 サイト・ 400 台以下• ベータ・ 2 サイト・ 100 台以上

• RedHat OpenStack Platform を利用• IPv6 support, SSL support, High Availability• Director によるデプロイの自動化

• Bigswitch を利用• Chaos monkey で試験して resilience を検証

• 640 component failures in 30 minutes• 32 leaf / 6 spine / 16 rack, 1k neutron networks / 48k VMs• Controller failover, Switch failover, Link failover

• アプリケーションに影響なし

https://www.openstack.org/videos/video/designing-for-nfv-lessons-learned-from-deploying-at-verizon


The Verizon User Story Journey

• Verizon の構成• Distributor として RedHat を採用

標準的な OpenStack構成• SDN には BigSwitch を採用

• VNF で苦労したこと• アプリケーションそれぞれを対応させるために、ベンダとプラット

フォーム・エンジニアの作業が必要だった• 動的なスケールアウトとロードバランシングはまだ限定的

• LBaaS v2.0 が基盤で有効でも、アプリケーション側が対応しておらずにまだ使えていないケースあり

• 動的なディプロイにライセンスモデルが合っていない• ツールやオーケストレータにも適用のための修正が必要

• その他の試行錯誤• 様々なトポロジの色々なネットワークパターンがあり、チケットベースだった Firewall rule, Network access rule の設定を自動化したものがセキュリティを保っているか・合っているのか

https://www.openstack.org/videos/video/embracing-openstack-the-verizon-user-story-journey


Live Migration, Mitaka and Beyond

• Live Migration & Block Live Migration の改善• 用途： Maintenance, Rolling-upgrade and Power Consumption

• Mitaka update (KVM/libvirt の実装を中心に）• Simple

• Block migration の APIパラメータ “ is_on_shared_storage” は不要

• Work• Live migration の移動先をスケジューラが正しく選択

• VM 作成時の Extra spec, scheduler hints, image properties を記録• Volume が Attached された VM の Block migration が安全に

• Libvirt 1.2.17 以降が必要。 Volume のコピーを行わない。• Config-drive を使う場合は形式を vfat にする必要あり (iso9660 か

ら ) 。

• Manageable• Progress details (disk progress, memory progress) を確認できる• Live migration を途中で（ API から）止められる• Live migration が終わるように VM を止められる（完了後に自動で VM再開）• Live migration に専用のネットワークを指定できる

• 将来 : Post-copy live-migration 、 NUMA 、 HugePages, SR-IOV 対応などhttps://www.openstack.org/videos/video/live-migration-mitaka-and-beyond


Virtual Routers on Compute Node (1/2)

• Time Warner Cable の商用環境で行ったネットワーク構成変更• Neutron の Router (L3) をどう収容するか

• 専用の Network node に• North-South の流れが主、リソースが使われずに非効率。• 10Gbps の帯域を使い切っても、 CPU, RAM は使われず（ OVS でも）。

• Control node に : 障害が起きた時の影響が大きい• Compute node に : Router を分散させて配置してはどうか？• DVR を使わなかった理由

• まだ安定していない• FixedIP を使った通信用に、

まだ結局 Network Node が必要

• VR-D (Virtual Routers - Distributed)• L3-Agent (Router) を nova-compute

(VM) と同じ Compute node に配置する• DVR と同じ構成になるが、 neutron は

DVRモードではない

https://www.openstack.org/videos/video/virtual-routers-on-compute-nodes-an-not-so-irrational-decision


Virtual Routers on Compute Node (2/2)

• やってみてどうだったか• 実装・デプロイの自動化は楽にできた。（既存の修正で）• 数カ月前に neutron のバージョンは Liberty に上げている• 問題になったバグ

• Neutron-server が l3-agent とのやり取りを単一スレッドで処理していた。台数増加で問題になった。 DVR でも同様に問題に。

• https://review.openstack.org/#/c/226686/• Mitaka で修正された。（ Austin サミット後に Liberty にもバック

ポートされた。）• TWC の Workaround: l3-agent を配置するノード数を 100 以下に制

限

• 運用は複雑になったが、大きな影響はない• Compute Node故障時に気にすることが 1つ増えた• ツール・モニタリングに修正

• 今後に向けて考えていること• HA router, custom scheduling• DVR: 安定するまで様子見、運用へのインパクトも要考慮

https://www.openstack.org/videos/video/virtual-routers-on-compute-nodes-an-not-so-irrational-decision


High Availability for Pets and Hypervisors

• Control plane の HA はほぼ確立されている• Compute Node の HA は必要か

• 本来、アプリケーション側で対応すべき (Cattle)• 一夜にして既存サービスを書き換えるのは難しい。同じ VM を自動

で再スタートして可用性を高める仕組みも有効 (Pets)

https://www.openstack.org/videos/video/high-availability-for-pets-and-hypervisors-state-of-the-nation


Fleet Management

• OpenStack operator による（ Deploy ではなく） Day 2 以降のオペレーションを効率化・自動化する共通ツールを作る動き

• これまで CMDB の共通化などあったがイマイチ• 機能・要件抽出の議論や API とデータモデルを作りが

進行中。 OpenStack Ansible から使えるInventory 管理部分を作る、という着想

• Rackspace が先導している• Austin で広く仲間集めが始まった• Craton という名前で

プロジェクト化を目指している• Austin サミットでの Etherpad

• https://etherpad.openstack.org/p/Fleet_Management• Product WG で議論された User Story

• http://specs.openstack.org/openstack/openstack-user-stories/user-stories/proposed/fleet-management.html

スキーマの図： https://github.com/rackerlabs/craton/files/224277/schema.pdf


今後の OpenStack Summit

• 次回の OpenStack Summit は、• Barcelona, SPAIN, Oct. 25-28, 2016

• その次は、• Boston, U.S.A., week of May 8th, 2017• Sydney, Australia, week of Nov. 6th, 2017

https://www.openstack.org/summit/barcelona-2016/


Evolving OpenStack Design Summit (1/2)

• Design Summit の形を変える議論が進行中• Summit の開催時期をリリースから早くても 2 ヶ月後にする

• 開発者が”what” に焦点をあてる” Forum”• User や Ops からのフィードバック収集、次サイクルの戦略・計画をコミュニティ横断で議論、、 Breakout sessionでの発表

• Summit の中間に開発者中心の会議を開く• 開発者が” How” に焦点をあてる” Project Teams Gathering”• 次サイクルの課題をプロジェクト横断で議論、各プロジェク

ト内で次サイクルの実装方針を議論・策定し、作業の開始• プロジェクト毎の mid-cycle は、各 PTL が維持するか決める

• 注： Summit の Conference/Marketplace の形に変更なし

• 状況• 2 月に Dev ML で提案され、 Austin サミットまでの議論で大

きな変更なし、コミュニティに意見照会中（ほぼ確定か？）• Barcelona サミットの後から実施予定という計画http://www.openstack.org/blog/2016/05/faq-evolving-the-openstack-design-summit/


Evolving OpenStack Design Summit (2/2)

http://ttx.re/splitting-out-design-summit.htmlhttp://lists.openstack.org/pipermail/openstack-dev/2016-February/087161.html


OpenStack Days Tokyo

• 次の国内の OpenStack Days イベント• OpenStack Days Tokyo 2016• 2016 年 7 月 6 日・ 7 日、東京、虎ノ門ヒルズフォーラム• http://openstackdays.com/