日本openstackユーザ会 atlantaサミット報告会 swift関連報告
DESCRIPTION
日本OpenStackユーザ会 第18回勉強会 アトランタサミット報告会のSwift Design Summit セッション報告で使用した資料です。TRANSCRIPT
Copyright©2014 NTT corp. All Rights Reserved.
日本OpenStackユーザ会 アトランタサミット報告会 (第18回勉強会)
Swift関連報告(2014/6/19)
日本電信電話株式会社 ソフトウェアイノベーションセンタ 露崎 浩太
Copyright(c)2009-2014 NTT CORPORATION. All Rights Reserved.
2 Copyright©2014 NTT corp. All Rights Reserved.
会議名:
• OpenStack Summit
会場・期間:
• Georgia World Congress Center,
Atlanta, GA, United States
• 5/12~5/16
内容:
• 企業展示 (OpenStack Marketplace)、Keynote
• 一般向けの事例紹介などのGeneral Session (Mon~Thu)
• Juno向けのDesign Summit (Tue~Fri)
OpenStack Summit 概要
3 Copyright©2014 NTT corp. All Rights Reserved.
[プロフィール]
氏名:露﨑 浩太 (28)
Launchpad: tsuyuzaki-kota
IRC: kota_
所属:日本電信電話株式会社 (NTT)
ソフトウェアイノベーションセンタ (R&D部門)
[OpenStackとの関わり]
2012年(Folsom) : Swift
2013年(Grizzly, Havana): Swift
2014年(Icehouse, Juno): Swift
自己紹介
4 Copyright©2014 NTT corp. All Rights Reserved.
今回の報告
General Session
(use case)
Design Summit Session
(Juno Design)
5 Copyright©2014 NTT corp. All Rights Reserved.
• 注目度
• 19セッションと発表数が多く、聴講者も多かったことから注目度は高い
• 特にSwiftStackのCase Study*ではLicense Fee, DC費を含めても$0.013/GB/monthとAWSよりコストが安いとのことで、聴講者が多かった
• ユースケース
• Scalabilityの必要なPrivateクラウド向けのデータ置場が中心
• 小中規模向けのAll-in-one OpenStackではCephが主流になりつつある(Canonical, RedHatがサポート)が、とにかくデータ量が多い、速度が必要といったケースに対してSwiftが強いというのを主張
• Ceph, Swift双方で競合というより補完関係のような構図、主張となっていた
• 最近の動向・方向性 • NFS Gateway, dropbox like usecaseなど既存のシステム、サービスとの結合、及び、Kinetic drive等の新アーキテクチャへのシームレスな以降の2つが主軸。Swift自体の新機能というより、既存システムのコスト削減、容量対応を目的としたソリューションの色が強く、特にSwiftStackはSwiftの第一人者としての影響力を持っている**
Swift General Session(事例・動向)
*http://www.slideshare.net/dirkpetersen/bio-it-fhcrceconomyfileproject0430
**https://swiftstack.com/blog/2014/05/22/openstack-summit-atlanta-we-are-in-the-majors-now/
6 Copyright©2014 NTT corp. All Rights Reserved.
Big Pictures:
• Storage Policies
• Erasure Coding
• Pluggable Backend
Operation/Efficiency:
• Dev/Ops session
• More Efficient Replication
• Swift Distributed Tracing Methods and Tools
Swift Design Summit
7 Copyright©2014 NTT corp. All Rights Reserved.
What is Storage Policies:
- 冗長度、ディスク構成等の異なるSwiftを1クラスタで提供する機能
Why Storage Policies:
- 既存のSwiftに新しい構成をシームレスに追加できる
- 複数のポリシーを1クラスタ内に持てるので資源の効率化ができる
How it works:
- Swift内部ではポリシー毎に異なるobject ringを持つ
- 運用者がポリシーをデプロイしユーザにポリシー名を公開する
- 利用者はコンテナ作成時に公開されているポリシーを設定する
7月上旬頃 Release予定
Storage Policies
SSD HDD
SSD Policy
Container
HDD Policy
Container
8 Copyright©2014 NTT corp. All Rights Reserved.
What is Erasure Coding:
- データを分割、符号化して保存するストレージ方式
Why Erasure Coding:
- 分割したデータを保存するためReplica方式より容量削減できる
- 符号化を用いることにより、ディスク故障時にも復旧できる
How it works:
- Storage Policyの1種として組み込み
- PyECLib* を用いてProxyが符号化、複合を行う
- EC用のバックグランドプロセスも作成予定
Junoサイクル中に Release予定
Erasure Coding (EC)
* https://pypi.python.org/pypi/PyECLib
EC fragments
Erasure Coding
Policy Container
9 Copyright©2014 NTT corp. All Rights Reserved.
What is Pluggable Backend:
- ディスクへの読み書き部分を抽象化し、プラガブルにする方式
Why Pluggable Backend:
- ユースケースに応じた柔軟なバックエンドの選択
- Swiftの汎用ルーチンとバックエンド依存部分の切り離し
How it works:
- 抽象化されたファイルとしてdiskfileクラスをSwift内で定義し、read/writeに相当する操作をdiskfile内で実施する
既存実装のdiskfile抽象化は実装済
Seagate Kineticドライブ、GlusterFS等、
バックエンド別には、各ベンダが対応予定
Pluggable Backend
Object-Server
Kinetic Drive GlusterFS
diskfile abstraction layer
10 Copyright©2014 NTT corp. All Rights Reserved.
• Dev/Ops Session • ログの監視、ディスク交換頻度、Regionの活用方法などの話題
• Pain Points as an Operator
• 監視がstatsdなので、real-time(not persistent) pluggableなものが欲しい
• Failure Driveのチェックが大変(一括管理や定期チェックなど)
• RingのDeployが大変(ring-masterをcoreかecosystemで作れないか)
• SLA監視にinformant-middlewareを使う等
• Authのintegrationなど新規ユーザがDeployで問題になる部分に関してはコミュニティも課題意識を持ち始めている
• More Efficient Replication • 広域分散時のReplicationの効率化
• 従来のReplicaを全部のPrimaryにpushする方式にAffinityの概念を追加
• マージに向けて改良案を実装中
• Swift Distributed Tracing Methods and Tools • リクエストの開始からデータ読み書き完了までの実行パスをTraceするツール
• 従来のTransaction IDを置き換えてまで導入する意義があるかで議論中
Operation/Efficiency
提案
11 Copyright©2014 NTT corp. All Rights Reserved.
•性能、容量、コストが両立できるオブジェクトストレージとしてSwiftの導入、成功事例が増えてきた
• 2014秋のJuno版ではStorage Policies、Erasure Codeと新機能が多数導入され、より幅広いユースケースに対応できるようになる見込み
• Ops対応についてもコミュニティは意識している
Presenter Info:
Kota Tsuyuzaki
まとめ