Storage by Red Hat

Haruka Iwao Storage Solution Architect, Red Hat K.K.

February 6, 2015

自己紹介 •  岩尾 はるか (@Yuryu) •  所属: レッドハット株式会社

– ストレージソリューションアーキテクト – 大手家電メーカー、ソーシャルゲーム会社、

Web広告ベンチャーを経て現職 •  大学・大学院で高性能計算(HPC)、分散ファイルシステムを研究

•  ゲーマーです(主に某国産MMORPG)

ソフトウェアによるストレージ

歴史 •  ソフトウェアによる分散ストレージは長い歴史を持っている – Andrew File System (1988) – Lustre (1999) – Google File System (2003) – Ceph (2004) – GlusterFS (2005)

•  オープンなストレージが技術を牽引

Google File System(GFS) •  Google による分散ファイルシステム •  Google の検索エンジンのための、専用ファイルシステム – 他の技術では数PBのデータをうまく扱えなかった

•  コモディティx86サーバーで、世界最大の計算機クラスターを構築・運用

•  論文で技術が公開

GFSがもたらしたもの •  ソフトウェアストレージとコモディティサーバーが、最適な選択肢だと示した – 研究室レベルではなく、実アプリで実証

•  現在の技術トレンドを決定づけた •  Ceph, GlusterFS他多数の分散ファイルシステムがGFSの影響を受け設計された

なぜソフトウェアなのか •  ソフトウェアで最初に実現された

– 27年以上の歴史 – Google File Systemが作ったトレンド

•  論文、ソースコードが公開 – Hadoop, HDFS 誕生のきっかけ – お互いに影響し合い、技術が急速に発展 – オープンイノベーション

•  オープンソースが事実上の標準になった

Ceph, GlusterFS の考え方 •  オープンソースソフトウェア •  コモディティのx86サーバーを利用 •  スケールアウトで容量・性能を確保 •  「ハードウェア故障は障害ではない」

– 自動で監視、修復 •  容量の追加、削減が自由に行える

CephとGlusterFS, 比較 Ceph GlusterFS

特徴 ソフトウェアによる分散ストレージ 完全な分散(SPoF, ボトルネック無し)

容量 数十～数百PB 用途 オブジェクト、ブ

ロックストレージ OpenStack用

ファイルサーバー 企業内NAS Hadoop用

商用版 Red Hat Inktank Ceph Enterprise

Red Hat Storage

元になっているOSS レッドハットの製品

RED HAT STORAGE

コミュニティ版と商用版の差

コミュニティ版 商用版 機能 実験的なものも含

めすべて 安定した機能のみ

サポート メーリングリストでのボランティアベース

SLAに基づく24時間365日のサポートが利用可能

メンテナンス期間 基本的に新バージョンが出るまで

各バージョン2年間

その他 追加のテストや品質保証を行う

Cephについて

Cephの概要 •  オブジェクト、ブロック、POSIXファイルシステムを単一のストレージプールとして利用可能

•  Linuxカーネルに組み込まれたドライバ •  数千台のサーバーまで拡張可能

Ceph の統合されたストレージ

FILE SYSTEM

BLOCK STORAGE

OBJECT STORAGE

Keystone

Geo-Replication

Erasure Coding

マルチテナント

S3 & Swift

OpenStack

Linux カーネル

Tiering

クローン

Snapshots

CIFS/NFS

HDFS

分散メタデータ

Linux Kernel

POSIX

Cephのコンポーネント APP HOST/VM CLIENT

Cephを支えるコミュニティ COMMUNITY METRICS DASHBOARD

METRICS.CEPH.COM

Ceph at CERN

http://www.slideshare.net/Inktank_Ceph/scaling-­‐ceph-­‐at-­‐cern

CephとOpenStack

RADOS CLUSTER

•  オブジェクト、ブロックそれぞれに最適化されたアーキテクチャ

•  単一のストレージプール – 高いディスク使用効率

•  OpenStackの各コンポーネントに組み込みのドライバサポート – 高い性能と可用性

CephとOpenStack: 利点

Copyright © 2014 Red Hat K.K. 19

From OpenStack User Survey

http://superuser.openstack.org/articles/openstack-­‐user-­‐survey-­‐insights-­‐november-­‐2014

November 2014

Ceph “Hammer” Release •  次のupstreamメジャーリリース •  2月5日にfeature freeze

Hammerの新機能 (予定) •  CephFSの改善

– Scrub(fsck)対応 – サブツリー単位のquota対応 – 大量の(!)バグ修正

•  OSD: Discard(SSDで役に立つ)対応 •  OSD: チェックサム対応 •  RGW: Bucketスケーラビリティ改善 •  性能改善、バグ修正、etc

Ceph Developer Summit •  開発者が開発方針を集中的に議論する場

– 日頃の話題はceph-devel ML •  Bluejeans, IRC, Etherpad を利用 •  https://wiki.ceph.com/Planning/CDS  •  次のバージョンで何が入るかがわかる

– しばしばスリップするので注意

FAQ: CephFSは使えるのか？ •  まだ使えません

– マルチマスターMDSが特に使えません •  コミュニティでは「そろそろ大丈夫だから誰か人柱に…」という状態 – レッドハット社内では常用してます

•  Hammerの次ぐらいでほぼ安定するのでは •  ICE(製品版)にいつ入るかは不明

FAQ: FUSE? in-kernel? •  CephFSにはin-kernelとFUSEの2種類のドライバがある

•  Sage「両方とも開発継続する」 •  ユースケースに応じて使い分け •  性能は一長一短

– Linux 3.15 でFUSEはかなり良くなった •  古いカーネル使うならFUSEの方が良い

GlusterFSについて

GlusterFSの概要 •  高性能・高可用な分散ファイルシステム

– NAS、ファイルサーバー用途に特化 – Hadoop用ファイルシステムにも利用可能

•  NFS, CIFSでの接続をサポート – 従来のストレージをそのまま置き換え

•  数百台のサーバーまで拡張可能 •  ストレージノード上で他のソフトウェアが実行可能

GlusterFS

計算・ストレージを単一サーバーで実現 ファイルサービス オブジェクト用API

オープン・ソフトウェアディファインドストレージ

ビッグデータ ワークロード

エンタープライズ アプリケーション

データサービス エンタープライズ モビリティ

クラウド アプリケーション

スケールアウト アーキテクチャ

物理環境

標準のx86サーバー スケールアウトNAS

仮想環境

遊休・レガシー 資産の活用

クラウド

EBS EBS

Persistent data stores

GlusterFSの構造

GlusterFSのレプリケーション

Red Hat Storage について •  GlusterFS のエンタープライズ版 •  Red Hat Enterprise Linux を含めて提供 •  他のレッドハット製品との統合

– 仮想化製品などをサポート •  オンプレミス、パブリッククラウドをサポート

パートナーとの連携

プライベート、ハイブリッドクラウド上で組織のデータを安全に共有

WORKLOAD SOLUTION PARTNERS

バックアップ・ウィンドウをレガシーソリューションと比べ50%削減

コールドストレージとして利用し、より長期間のログを保存可能に

HadoopジョブをRHSクラスタ上で実行し、データ解析を実施

ビッグデータ Hadoop

サイバーセキュリティ ログ解析

エンタープライズ ファイル共有

バックアップ アーカイブ

Hadoop プラグイン •  Hadoop MapReduceでデータを解析 •  ストレージサーバーに蓄積したファイルを直接解析可能

RED HAT STORAGE

Hadoop 認定Hadoopプラットフォーム

GlusterFS 3.7の予定 •  小さなファイルの性能向上

– いろんなサブプロジェクトが混ざってる •  ゴミ箱(.trashcan) •  SELinux対応 •  リバランス性能向上 •  NFS Ganeshaそろそろ使える？ •  2015年4月29日GA予定

GlusterFS 4.0の予定 •  3.7 の次は 4.0 かも •  スケーラビリティ改善

– 現状はノード数に対してO(n^2)の管理負荷 – Paxos, Raft などを導入

•  DHT2: DHTを作り直す •  sharding-xlator: stripe-xlator RIP •  NSR: New-style-replication

Gluster Community Weekly Meeting

•  毎週IRCで開発方針を話す場 – 水曜日 12:00 UTC, 21:00 JST

•  議事録は https://public.pad.fsfe.org/p/gluster-­‐community-­‐meetings  

•  その他の開発の話題は gluster-devel ML

FAQ: CephFSが来たらどうなる?

•  得意不得意があるので、共存 •  コミュニティベースの開発が継続 •  お互いに技術を取り入れることはする •  製品もICE/RHSが両方売られる予定

まとめ

ソフトウェアによるストレージ •  27年以上の歴史を持つストレージ技術 •  オープンイノベーションが発展を牽引 •  Google File Systemがソフトウェアによるストレージが最良の選択肢だと示す – 実アプリケーションで証明

•  オープンなストレージ技術が事実上標準

Ceph, GlusterFS •  Ceph: OpenStack、オブジェクトストア

– OpenStackでは最もよく使われるストレージ •  GlusterFS: ファイルサーバー、NAS

– Hadoopプラグインもサポート •  ともにレッドハットから商用版を提供 •  両方とも開発が続きます!

レッドハット!クラウドストレージソリューション

RED HAT INKTANK CEPH

Storage: Cinder, Glance

Storage: Scale-out VM storage

Storage: Scale-out file/unified object

APPLICATIONS DATA

Nova: Compute

Neutron: Networking Keystone: Identity

ご静聴ありがとうございました