red hat storage server 2jp-redhat.com › forum › 2012 › pdf › 2-a.pdf · red hat storage...

2

Red Hat Storage Server 2.0～大量データ保存に最適な

　ソフトウェアストレージ・ソリューション〜

レッドハット株式会社Senior Solution Architectand Cloud EvangelistEtsuji Nakai / 中井悦司

v1.0 2012/10/23

3

Red Hat Storage Server 2.0

Contents

Red Hat Storage Server 2.0の概要アーキテクチャ Public Cloud (AWS)での構成パターン参考資料

4


Red Hat Storage Server 2.0の概要

5


Red Hat Storage Server 2.0の特徴

コモディティ・ハードウェア（x86サーバ）を利用して、　　　　スケールアウト型の大容量ストレージ環境を構築するソフトウェア

– Nativeクライアント（FUSEマウント）/ NFSv3 により標準的なファイル　　システムとしてアクセスが可能

– REST APIでオブジェクトストレージとしても利用可能– サポート上限として、最大64ノード、8PBのボリュームを構成可能– クラスタ間での非同期データコピー（GeoReplication）が可能

オンプレミス、およびパブリッククラウドで利用可能

– 「Red Hat Storage Server 2.0 For On-premise」• OS (RHEL6)、分散ファイルシステム機能（GlusterFS）、管理ツールなどを　　　　

パッケージングしたソフトウェア・アプライアンスとして提供– 「Red Hat Storage Server 2.0 For Public Cloud」

• Amazon EC2で利用可能なAMI（マシンイメージ）として提供

6


GlusterFSとRed Hat Storage Serverの関係

GlusterFSは、コミュニティメンバによるオープンソースプロジェクトとして新機能の　　開発を継続

Red Hat Storage Serverは、Red Hat独自の品質テストを行った安定バージョンのGlusterFSを同梱したソフトウェア・アプライアンスとして商用サポートを提供

GlusterFS Advisory Board Member (as of 2012/04) Richard Wareing, Storage Engineer, Facebook Jeff Darcy, Filesystem Engineer, Red Hat; Founder, HekaFS Project AB Periasamy, Co-Founder, GlusterFS project Ewan Mellor, Xen Engineer, Citrix; Core contributor, OpenStack project David Nalley, CloudStack Community Manager, Citrix; Member, Fedora Advisory Board Louis Zuckerman, Sr. System Administrator, Picture Marketing Joe Julian, Sr. System Administrator, Ed Wyse Beauty Products Greg DeKoenigsberg, Community VP, Eucalyptus; co-founder, Fedora project John Mark Walker, Gluster.org Community Guy (Chair)

GlusterFS

Red HatStorage Server

新機能の開発

商用サポートとメンテナンス

7


Red Hat Storage Server 2.0のアーキテクチャ

8


システム構成イメージ

ストレージノードは、最小構成4ノードから必要に応じて追加可能

10GbEスイッチ x 2

10GbE接続

10GbE / 1GbE接続

・・・

ストレージノード x 4

クライアントノード群

9


スループットのリニアなスケールアウト特性

シーケンシャルリードに対するパフォーマンス測定結果の例– ストレージノード1台あたりの転送速度がほぼ一定で、ストレージノードを　　　　　　

追加した分だけ、総転送速度がリニアに向上していることが読み取れます。

ストレージノード数（出典）http://rhsummit.files.wordpress.com/2012/03/england-rhs-performance.pdf

総転

送速

度 M

B/s

Native Client (replica 1)Native Client (replica 2)NFS Client (replica 1)NFS Client (replica 2)

１ノ

ード

当た

り転

送速

度 M

B/s

ストレージノード数

10


アーキテクチャ

11


メタデータノードを持たない分散アーキテクチャ

分散ストレージを構成する各ノードの通常のファイルシステムを　　　　　　　バックエンドデバイスとして使用します。

ファイル名のハッシュ値から、DHT（Distributed Hash Table）を参照して、　保存するノードを決定します。

– DHTはクライアント上に動的に構成されるため、専用のメタデータサーバは不要

file01 file02 file03

・・・ストレージノード

file01, file02, file03

クライアントマシン

クライアントからは1つのファイルシステムに見える

実際には各ノードのファイルシステムに分散して保存されている

ボリューム

12


ノード / ブリック / ボリュームの階層構造

・・

・

ボリューム vol01

ファイルシステム /data

/data/brick02

/data/brick01　ブリック（単なるディレクトリ）

・・

・/data/brick02

/data/brick01

・・

・

/data/brick02

/data/brick01

1つのボリュームは、各ノードが提供する「ブリック」の集合として作られる

ノード1

１つのノードが複数のブリックを提供することも可能です。ノードごとに提供するブリック数、ディレクトリ名などを揃える必要はありません。ボリュームサイズを拡大／縮小する際は、ボリュームに対するブリックの追加／削除を行います。

ノード2 ノード3オンラインでボリュームの拡張、縮小が可能

13


/brick01

/brick02

/brick03

/brick04

/brick01

/brick02

/brick03

/brick04

/brick01

/brick02

/brick03

/brick04

ボリュームの構成例

/brick01

/brick02

/brick03

/brick04

ストレージノード

ファイル単位で各ブリックに分散保存（1つのファイルは1つのブリックに存在）

node01-node02、node03-node04でそれぞれレプリケーション

1つのファイルを各ブリックに分散保存

レプリケーションレプリケーション

ストライピング

レプリケーションレプリケーション

ストライピング

レプリケーションとストライピングの組み合わせ

node01 node02 node03 node04

ボリューム単位でアクセスパターンに応じた最適な構成を選択可能

14


トランスレータ・モジュールについて

複数の「トランスレータ・モジュール」が連携してアクセス処理を行います。– クライアント側で動くモジュールとサーバ側で動くモジュールがあります。

それぞれのモジュールは異なる役割を持っています。– 各モジュールは共有ライブラリとして提供されます。– 独自のモジュールを作成して、プラグインすることも可能です。

[root@rhs20-01 ~]# ls -l /usr/lib64/glusterfs/3.3.0.2rhs/xlator/total 48drwxr-xr-x 2 root root 4096 Jun 16 15:25 clusterdrwxr-xr-x 2 root root 4096 Jun 16 15:25 debugdrwxr-xr-x 2 root root 4096 Jun 16 15:25 encryptiondrwxr-xr-x 2 root root 4096 Jun 16 15:25 featuresdrwxr-xr-x 2 root root 4096 Jun 16 15:25 mgmtdrwxr-xr-x 2 root root 4096 Jun 16 15:25 mountdrwxr-xr-x 2 root root 4096 Jun 16 15:25 nfsdrwxr-xr-x 2 root root 4096 Jun 16 15:25 performancedrwxr-xr-x 2 root root 4096 Jun 16 15:25 protocoldrwxr-xr-x 2 root root 4096 Jun 16 15:25 storagedrwxr-xr-x 2 root root 4096 Jun 16 15:25 systemdrwxr-xr-x 3 root root 4096 Jun 16 15:25 testing

DHT、レプリカなどの機能

Quota、ファイルロックなどの機能

キャッシュ、先読みなどの機能

物理ディスクアクセスなどの機能

15


トランスレータ・モジュールの組み合わせ例io-stats

md-cache

quick-read

io-cache

read-ahead

write-behind

dht

replicate-1 replicate-2

server

brick

marker

index

io-threads

locks

access-control

posix

server

brick

marker

index

io-threads

locks

access-control

posix

server

brick

marker

index

io-threads

locks

access-control

posix

server

brick

marker

index

io-threads

locks

access-control

posix

client-1 client-2 client-3 client-4

クライアントモジュール(*1)

サーバモジュール(*2)

ブリック

統計情報の記録

メタデータのキャッシング

データのキャッシング

DHTの処理

レプリケーション

サーバとの通信

クライアントとの通信

I/Oスレッドの起動

ファイルロック処理

ACL管理

ブリックへの物理アクセス

ブリックブリックブリック

(*1) /var/lib/glusterd/vols/<Vol>/<Vol>-fuse.volで定義 (*2) /var/lib/glusterd/vols/<Vol>/<Vol>.<Node>.<Brick>.volで定義

16


今後の機能拡張予定

仮想マシンのディスクイメージ保存領域としての利用– Red Hat Enterprise Virtualization 3.1以降で対応予定– VMware vSphere、OpenStackなどへの対応は計画中

マルチマスタレプリケーション– クラスタ間で双方向の非同期レプリケーションに対応予定

マルチテナント対応– ユーザ認証、暗号化などにより、複数ユーザで安全にボリュームを共有

TechPreview機能の正式サポート– Hadoop API (HDFSの代替としての利用）– InfiniBand（TCP over IB、およびRDMA）対応– GUI管理コンソールの使用

その他– NFSv4対応– スナップショット、データ圧縮、重複排除機能などの追加

※ これらはあくまで現時点での計画であり、必ず対応することをお約束するものではありません。

17


Public Cloud (AWS)での構成パターン

18


AWSにおけるRHS2.0の利用方法

AMI (Amazon Machine Image)

・・・インスタンス起動

EBS (Elastic Block Store)

サブスクリプション購入ユーザにRHS2.0導入済みのAMIを提供

RHS2.0クラスタ

EC2インスタンス EC2インスタンスインターネット上のクライアント

RESTNative Clinet NFS

19


Availability Zone間でのレプリケーション構成

・・・・・・

Tokyo Region / Availability Zone A Tokyo Region / Availability Zone B

RHS2.0クラスタ

特定のAvailability Zoneが停止してもRHS2.0は可動を継続

レプリケーション

20


GeoReplicationによる遠隔地データ保存

WAN回線を用いて、遠隔地のRed Hat Storage Serverに向けた非同期レプリケーション（GeoReplication）が可能

– シングルマスタ/マルチスレーブのレプリケーションが可能ですので、AWSを含めた複数のロケーションへのGeoReplicationを構成できます。

Red Hat Storage Server (マスタ)

Red Hat Storage Server (スレーブ)

Red Hat Storage Server (スレーブ)

AWS

iDCgsyncd

gsyncd

gsyncdGeoReplication

21


参考資料

22


参考資料

製品マニュアル– http://docs.redhat.com/docs/ja-JP/Red_Hat_Storage/index.html

Knowledge Base– https://access.redhat.com/knowledge/products/red-hat-storage-server

サポートHW構成– https://access.redhat.com/knowledge/articles/66206

推奨用途と非推奨用途– https://access.redhat.com/knowledge/articles/88723

GlusterFS技術情報（コミュニティ版GlusterFSに関する技術情報）– https://sites.google.com/site/glusterfstech/

red hat storage server 2jp-redhat.com › forum › 2012 › pdf › 2-a.pdf · red hat storage...

Documents