yahoo! japan meetup #8 （インフラ技術カンファレンス）lt②

OpenStack関連セッション

OpenStack Summit Barcelona 2016 参加報告

神尾皓立見祐介

Ansibleによるおっちょこちょいの運用自動化

高橋拓也

4年間、OpenStackをデプロイしてみた(ry

北田駿也

OpenStack on Kubernetes

木下裕太

2017年1月30日

クラウドオペレーション北田駿也（27）

4年間、OpenStackのデプロイをしてみたので、

今までのデプロイ方法の移り変わりや、

苦労、教訓、など軽く話す（LT）。

• 基礎知識編: OpenStackとは？

• OpenStack 1年目: 手動デプロイ、途中からコンピュートノードのChef化

• OpenStack 2年目: コントローラ群のChef化、だがしかし、、

• OpenStack 3年目: コントローラ群のAnsible化、だがしかし、、

• OpenStack 4年目: コントローラ群のChef化再び

• OpenStack 今年: Kubernetes化

基礎知識編: OpenStack

とは？

OpenStackとは？

= OSS= IaaSを提供するマイクロサービス群= ヤフーのプライベートクラウド

1クラスタ

コンピュートノード群サーバ50 ~ 500台コントローラ群サーバ6~50台

コンピュートノード

OpenStackをデプロイするということ

認証サービス

ディスクイメージサービス

ネットワークサービスコンピュートサービス

ダッシュボード

ボリュームサービス

認証サービス

データベースデータベース

メッセージングサービスメッセージングサービス

コンピュートノードコンピュートノードコンピュートノードコンピュートノードコンピュートノード

Virtual MachineVirtual Machine

Virtual Machine

etcetc

1クラスタ

コンピュートノード群サーバ50 ~ 500台コントローラ群サーバ6~50台

コンピュートノード

OpenStackをデプロイするということ

認証サービス

データベースデータベース

メッセージングサービスメッセージングサービス

コンピュートノードコンピュートノードコンピュートノードコンピュートノードコンピュートノード

Virtual MachineVirtual Machine

Virtual Machine

etcetc

これら全てのサーバに、パッケージインストール、設定ファイル配置、デーモン起動、カーネル設定、監視設定などを行う

利用しているデプロイツール

• 手• なんでもできる万能ツール• 心を込めて各サーバをセットアップする事ができる

• Chef• 各サーバの構成情報はChefサーバに集約される• 各サーバはその構成情報に従ってセットアップされる

• Ansible• 各サーバの構成情報は手元ファイルで管理される• SSHごしに各サーバのセットアップやオペレートができる

OpenStack 1年目

手動デプロイ、途中からコンピュートノードのChef化

OpenStackの手動デプロイ

コントローラ群: 10台程度

ー＞熟練の人なら余裕

コンピュートノード群: 数百台

ー＞みんなでがんばって構築。。。10

OpenStackの手動デプロイ

コントローラ群: 10台程度

ー＞熟練の人なら余裕

コンピュートノード群: 数百台

ー＞みんなでがんばって構築。。。11

Chef (チラッ

コンピュートノードのChef化

ChefServer

Keystone

Glance

Cinder

Neutron

Horizon

ChefWorkstation

ComputeCompute

Compute

その他クラスタ

CookbookやRole設定をアップロード

Chefでセットアップ

オペレータ

手動でセットアップ

1年目の教訓

• 手動デプロイ• 再現性がなく、作成者によって品質がマチマチ

• 心がこもるが、さばける台数に限界がある

• Chefでデプロイ• 再現性があり、誰でもデプロイ可能• 大量のサーバを簡単にデプロイ

OpenStack 2年目

コントローラ群のChef化、だがしかし、、

コントローラ群のChef化

全コンポーネントのパッケージ、設定ファイルをChefで配置できるようになった！

ChefServer

Keystone

Glance

Cinder

Neutron

Horizon

ChefWorkstation

ComputeCompute

Compute

オペレータ

だがしかし、、

1. Chefでデプロイしたサービスが動かない1. コンポーネントが多く、設定すべき変数やロール

も多く複雑化していた2. 複雑性が手動とたいして変わらない

2. 手動で動くところまで修正するはめに

3. 最終的に手動デプロイに落ち着いた。。

2年目の教訓

• マイクロサービス群をChefでデプロイするのは大変• デプロイ対象の種類が多く、設定すべきRole、設定値も増えデプロイ方法が複雑化してしまった。

• 複雑化したデプロイフローは流行らない• デプロイフローも定義できると楽そう

2年目の教訓

• マイクロサービス群をChefでデプロイするのは大変• デプロイ対象の種類が多く、設定すべきRole、設定値も増えデプロイ方法が複雑化してしまった。

• 複雑化したデプロイフローは流行らない• デプロイフローも定義できると楽そう

Ansible (チラッ

OpenStack 3年目

コントローラ群のAnsible化、だがしかし、、

コントローラ群のAnsible化

ChefServer

Keystone

Glance

Cinder

Neutron

Horizon

ChefWorkstation

ComputeCompute

Compute

オペレータ

コントローラ群のAnsible化

だがしかし、、、

1. Ansibleで設定を巻いた後に、手動で変更を加えられることが何度かあった。。次のAnsible実行時まで気づず、そのまま上書きされることも。。

2. Ansibleの実行忘れで、設定の反映漏れが何度か。。

3年目の教訓

• Ansibleでデプロイフローを制御• マイクロサービス群でもデプロイが簡単

• しかし、Ansibleを実行するのは人なので、• 実行し忘れによる変更漏れや、• 古い変更のデプロイなど、が発生

• デプロイはすべて自動化すべき

3年目の教訓

• Ansibleでデプロイフローを制御• マイクロサービス群でもデプロイが簡単

• しかし、Ansibleを実行するのは人なので、• 実行し忘れによる変更漏れや、• 古い変更のデプロイなど、が発生

• デプロイはすべて自動化すべき

Chef (チラッ

OpenStack 4年目

コントローラ群のChef化再び

すべてをChef化し、定期デプロイへ

ChefServer

Keystone

Glance

Cinder

Neutron

Horizon

ComputeCompute

Compute

GithubにPushされたCookbookやRoleを自動アップロード

初回デプロイ後は、定期的にデプロイされる

オペレータ

Github

Jenkins

ステージング

定期的なテスト

Chef Before(2年前） After（現在）

Role, CookBookの設計思想が変わった！

Before• 各マイクロサービスに対してそれぞれのRoleを定義

• 変数もそれぞれのRoleで細かく定義

• ＞設定が複雑化

After• １クラスタに対して1Roleを定義（AnsibleのInventryFileに近い）

• 変数はなるべく自動生成

• ＞設定が簡略化

4年目の教訓

• すべてをChef化し、定期デプロイ• 初回デプロイは少し大変• その後の変更はGithubにPushしたら、自動でデプロイされるので楽

まとめ

デプロイツール・まとめ

• 手• なんでもできる万能ツール（人によってまちまち）• デプロイできる台数に限界がある

• Chef• 初回デプロイは少し大変• 初回デプロイ後の変更は自動化できる

• Ansible• デプロイフローを組み立てられる• 実行し忘れや、実行間違いが怖い

４年間の教訓・まとめ

デプロイを自動化すると楽！

４年間の教訓・まとめ

デプロイを自動化すると楽！

現在のデプロイ規模: 65000VM on ４0クラスタ

= 1900 コントローラノード

+ 5200 コンピュートノード

を20人で運用

OpenStack 今年

Kubernetes化つづく

ご清聴ありがとうございました！

• 基礎知識編: OpenStackとは？

• OpenStack 1年目: 手動デプロイ、途中からコンピュートノードのChef化

• OpenStack 2年目: コントローラ群のChef化、だがしかし、、

• OpenStack 3年目: コントローラ群のAnsible化、だがしかし、、

• OpenStack 4年目: コントローラ群のChef化再び

• OpenStack 今年: Kubernetes化

ありがとうございました！

yahoo! japan meetup #8 （インフラ技術カンファレンス）lt②

Technology

phpカンファレンス2009 懇親会lt

meetup ansible montrÉal mmeeeettuupp...

swift - meetup

2013 html5カンファレンス ...

python meetup

datawiz.io meetup

グループディスカッションツールco-meeting @...

meetup html

yahoo! japan meetup #8...

meetup css

pixivのインフラになって2ヶ月がたった - nseg...

130316 高専カンファレンスin津山

meetup sencha

wordpress meetup

120512 phpカンファレンス用資料

meetup history

concrete5とコワーキング / コワーキング...

iot ai - アイセイ株式会社 · カンファレンス...

yahoo! japan meetup #8...

reluxカンファレンス代表挨拶