経営層にストレージ集約課題を説明するための

Red Hat Storage 入門

レッドハット株式会社　ソリューションアーキテクト　小島克俊

RED HAT | 2013 2

Red Hat のプラットフォーム製品 もう一度みなおしてみましょう

Red Hat Enterprise Linux OS

Red Hat Enterprise Virtualization 　仮想化

Red Hat CloudForms ハイブリッドクラウド運用管理

Red Hat OpenStack IaaS

Red Hat Storage Server ストレージ

RED HAT | 2013 3

Red Hat Enterprise Linux OS

RED HAT | 2013 4

Linux 開発: Red Hat が最も貢献

あまり知られていない事実: Linux Kernelの開発貢献数は Red Hat、インテルの順序

RED HAT | 2013 5

Red Hat Enterprise Linux ライフサイクル

標準で10年間、同じバージョンの製品保守を継続提供します。 Red Hat Enterprise Linuxは企業活動での利用に最適なOSとして 認知されています。

RED HAT | 2013 6

Red Hat Enterprise Virtualization 　仮想化

RED HAT | 2013 7

複数のハードウェアで動作するゲストOS、ストレージをブラウザで一元管理できます。

ホストOSにはRed Hat Enterprise Linux および Red Hat Enterprise Virtualization

専用のOSが対応します。

RED HAT ENTERPRISE VIRTUALIZATION

RED HAT | 2013 8

SPECvirt_sc2010:

2013年4月10日, Red Hat Enterprise Virtualization が8CPUサーバと上位6番目までを占めています。

最新のハードウェア性能を引き出すには Red Hat の技術が有効です。(注: HuaweiはRHEL6.1で計測)

仮想化製品のパフォーマンス公式比較

RED HAT | 2013 9

Red Hat CloudForms ハイブリッドクラウド運用管理

RED HAT | 2013 10

Red Hat CloudForms

以下の環境をWebブラウザで統合管理できます。 ・Red Hat Enterprise Virtualization ・VMware vCenter ・Microsoft ・Amazon EC2

RED HAT | 2013 11

Red Hat CloudForms ポータルサイト　(アドミニストレータ向け)

RED HAT | 2013 12

Red Hat CloudForms ポータルサイト　(エンドユーザ向け)

RED HAT | 2013 13

Red Hat CloudForms ポータルサイト　(費用管理者向け)

RED HAT | 2013 14

Red Hat CloudForms 主な機能

INSIGHT 監視・レポート機能

CONTROL 　 統制管理機能

AUTOMATE 作業の自動化機能

INTEGRATE アプリ開発

RED HAT | 2013 15

Red Hat OpenStack IaaS

RED HAT | 2013 16

NEUTRON

Red Hat OpenStack

IaaS 環境をつくるためのソフトウェアです。 複数のプロジェクトから成り立ちます。 Red Hat は上記の構成をサポートします。

RED HAT | 2013 17

Red Hatによるコミット数は会社名別で一位

Red Hat と OpenStack

http://bitergia.com/public/reports/openstack/2013_04_grizzly/

RED HAT | 2013 18

時期 世代 コミュニティ 開発名称

Red Hat 製品(少し後)

2012年10月 6 Folsom Red Hat OpenStack Early Adopter Edition

2013年4月 7 Grizzly Red Hat OpenStack 3.0

2013年10月 8 Havana 未定

OpenStack と Red Hat OpenStack 6ヶ月ごとのリリース

RED HAT | 2013 19

NEUTRON

Red Hat 認定構成ストレージプロバイダーの製品群

Red Hat OpenStackのエコシステム

RED HAT | 2013 20

Red Hat Storage Server 　ストレージ

RED HAT | 2013 21

上場企業のストレージ投資傾向 すべては株主にどうみられるか

●  BSにのせない　– 投資効果の評価がつらいから

●  PLで帳尻をあわせたい　-　プロジェクト内の投資

設備投資は目の敵になっている

奇跡的に通った計画は効果が意外と出せない

RED HAT | 2013 22

技術変化が急激すぎることを忘れ、 設備投資5年償却の評価にさらされなくてすむ

だからクラウドでいこう すばらしい技術

RED HAT | 2013 23

二つの大きな課題を自分たちで制御できる ・性能 ・データ保全

ストレージを集約し、利用部署へ配賦したい

本当にそうなのか 自前ストレージ集約のメリット

RED HAT | 2013 24

クラウドの要素技術も使いたい 実際の利用量と費用が比例

●  仮想化技術でインスタンスを相乗りし、少ないハードウェアで効率化

●  ストレージ容量そのものも仮想化されている(シンプロビジョニングなど)

RED HAT | 2013 25

オンプレミス IA サーバ

パブリッククラウド Amazon EC2

Red Hat Storage Server Software Defined Storage

物理的な制約を超えたストレージの計画ができる しかも小さな単位で追加、交換し続けられる

JBOD JBOD JBOD

EBS

EC2

JBOD JBOD JBOD

EC2

EBS

RED HAT | 2013 26

Red Hat Storage Server 自在なプロトコル

・　glusterfs (ネイティブ)

・　NFS

・　SMB

・　SWIFT

ネイティブクライアントはRHEL5,RHEL6がサポート対象

RED HAT | 2013 27

Red Hat Storage Server Linuxパッケージがベース

RED HAT | 2013 28

NEUTRON

Red Hat Storage Server

SWIFT、CINDERで Red Hat Storage Server が利用できる

Red Hat Storage Server と Red Hat OpenStack

Installation and Configuration Guide - Getting Started with Red Hat OpenStack 3.0 and Red Hat Storage 2.1

https://access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.1/html-single/Installation_and_Configuration_Guide/index.html

RED HAT | 2013 29

シークエンシャルI/O 台数に比例して帯域拡大

https://access.redhat.com/site/articles/reference-architecture Red Hat Enterprise Virtualization (RHEV) Performance on Red Hat Storage (RHS)

RED HAT | 2013 30

冗長化 ハードウェアRAID + レプリケーション

ノード ノード

さらにレプリケーションでデータを多重化

ノード 各ノードはハードウェアRAID

RED HAT | 2013 31

RED HAT STORAGE CONCEPTS

ボリューム

POSIXマウントポイント 分散したブリックの束

ブリック

記憶領域としての最小単位 エクスポート用ディレクトリ

サーバ/ノード

x86サーバ または

仮想化ゲスト

Red Hat Storage Server 用語

RED HAT | 2013 32

Administration guide Chapter8. Setting up Red Hat Storage Volumes

記憶領域の構成 4層構造

Glusterfs

xfs

LVM

HW RAID 6 or 5 HDD / SSD / AWS EBS (SW RAID)

ブリック

ボリューム

OS

RHS

HW

https://access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.1/html/Administration_Guide/chap-User_Guide-Setting_Volumes.html

RED HAT | 2013 33

ボトルネック、メタデータサーバがない

Red Hat Storage Serverではメタデータサーバへのアクセスがボトルネックにならない

(メタデータも分散して保持している)

クライアント クライアント

クライアント クライアント

クライアント クライアント

ストレージ ストレージ

ストレージ ストレージ

メタデータサーバ

クライアント クライアント

クライアント クライアント

クライアント クライアント

ストレージ ストレージ

ストレージ Red Hat Storage

よくある分散方式 Red Hat Storage Server方式

RED HAT | 2013 34

server1:/exp1 server2:/exp1

DISTRIBUTED VOLUME

FILE 1 FILE 2 FILE 3

BRICK BRICK

ボリュームへのファイル書き込み

MOUNT POINT

server1:/exp1 server2:/exp1

DISTRIBUTED VOLUME

BRICK BRICK

RED HAT | 2013 35

MOUNT POINT

server1:/exp1 server2:/exp1

REPLICATED VOLUME

FILE 1 FILE 2

BRICK BRICK

レプリケーションの書き込み

RED HAT | 2013 36

MOUNT POINT

Replicated Volume 0

DISTRIBUTED VOLUME

FILE 1 FILE 2

BRICK(exp1)

実際の書き込み

Replicated Volume 1

BRICK(exp2)

server1 server2

BRICK(exp3)

BRICK(exp4)

server3 server4

RED HAT | 2013 37

Lock(File1)/Ack

Pre-op(File1)/Ack

Op(File1)/Ack

Post-op(File1)/Ack

Unlock(File1)/Ackk

Lock(File1) BLOCKED

Ack (File 1 lock granted)

CLIENT 1 CLIENT 2 NODE A NODE B

Five phase commit • Lock • Pre-op • Write • Post-op • Unlock

Pre-op(File1)/Ack

レプリケーションの動作

RED HAT | 2013 38

• Red Hat Enterprise Linux • XFS • GlusterFS • Red Hat Storage console

2 ソケットサーバ + 12-36 ディスク

またはゲストOS ・Amazon AWS ・Red Hat Enterprise Virtualization ・VMware

検証済みパッケージ ひとつのインストーラ 自由に選択

製品構成

RED HAT | 2013 39

Red Hat Storage compatible hardware vendors 認定ハードウェアのブランド

認定パートナによる動作確認で追加中 https://access.redhat.com/site/articles/66206

RED HAT | 2013 40

Red Hat Storage Server 特徴のまとめ

●  売れ筋サーバでも Amazon AWS でも動作

●  プロトコルが多彩

認定パートナーから特色あふれる提案あり

RED HAT | 2013 41

¥1,500 ¥5,000

¥80,000

Tape HDD SSD

1TB単価

記録メディアの価格

3層に分かれる

RED HAT | 2013 42

30

5 5

Tape HDD SSD

記録媒体の寿命年数

記録メディアの寿命 電気を止められないRAID

RED HAT | 2013 43

本日のご提案 これからのストレージ投資

●  場所を選ばす利用できるしくみ

●  小さな単位でも追加・削除できるしくみ

●  さらに認定パートナーの多彩な提案で最適化

●  長期バックアップ、アーカイブにはテープ併用

●  Red Hat Storage Server は自由に応用できる

RED HAT | 2013 44

事例 風力発電効率化のための天気予報(書き込み、読み出し速度)

•  局地天気予報

•  発電量の増大

•  コスト削減

課題

　・HPC 構築

　・予測時間に制約がある局地天気予報

　・風向きと日照量について前もった予測

　・発電予測が小さいときに保守修理で効率化

解決策

　・32 HP 計算ノード

　・Red Hat Storageの速度と可用性

　・20 TB以上のデータ容量

利点

　・3〜5日前までに予報が出せる

　・発電量の最大化と修理時間の最小化

　・予測にかかる外注コストの削減

　・ソリューションとして販売

RED HAT | 2013 45

•  音楽配信を週平均1.2 PB

•  1.3億ファイル

•  80ノード

•  50 GB/sec以上

課題 　・12種類のフォーマットがあり、標準化が困難

　・売れ筋コンテンツがロングテイル

　・顧客、商品とも爆発的に増加

解決策

　・3カ所のデータセンターに6ノードづつ

　・レプリケーションで可用性を高める

　・2PB以上の容量

利点

　・簡単に拡張できる

　・一人で管理できる

　・アプリケーションに変更なし

　・高い可用性

事例 世界規模でコンテンツを配信(読み出し速度)

RED HAT | 2013 46

事例 ビデオコンテンツ配信(莫大な容量)

•  容量2 PB以上

•  更に4 PB追加

課題

　・オンラインでビデオ配信

　・顧客、商品とも爆発的に増加

　・複数の場所にコンテンツを配置

　・HDコンテンツが増えている

解決策

　・DAS/JBODをつかう

　・レプリケーションで可用性高める

　・ペタバイト単位でまとめる

利点

　・拡張が簡単

　・管理コストが削減される

　・可用性が高まる

　・複数サイトから配信できる

RED HAT | 2013 47

事例 世界規模の教育システムを管理(AWS)

・クラウドで24x7サービス

・アプリ書き換えなしで移行

・管理が簡単

イメージを表示できません。メモリ不足のためにイメージを開くことができないか、イメージが破損している可能性があります。コンピューターを再起動して再度ファイルを開いてください。それでも赤い x が表示される場合は、イメージを削除して挿入してください。

RED HAT | 2013 48

THANK YOU

RED HAT | 2013 49

参考資料

RED HAT | 2013 50

CIFS HADOOP ENABLEMENT

REPLICATION

MULTI-SITE DR

MULTI-TENANT:NAMESPACE AND ENCRYPT

MULTI-TENANT:QoS (CGROUPS)

VOLUMESNAPSHOT

CLIENT/ PRESENTATION

BACKEND/ PERSIST

SAMBA USER APP QEMU

SWIFT

MANAGE

FUSE NFS

TRANSLATORS

TRANSLATORS

GLUSTERFS FRAMEWORK

GLUSTERFS

NETWORK STACK

NETWORK DEVICE PLATFORM BLOCK DEVICE

HARDWARE ENABLEMENT

LOCAL FILESYSTEM

LOGICAL VOLUME MANAGEMENT

XFS OTHER

RED HAT ENTERPRISE LINUX

PLA

TFO

RM

M

AN

AG

EA

BIL

ITY

Red Hat Storage Server 構成技術

RED HAT | 2013 51

Q1 Q2 Q3 Q4 Q1 Q2

Anshi Big Bend Corbett Denali

Theme: Red Hat Enterprise Virtualization images store, robustness (GA) • Red Hat Enterprise Linux 6.2 based • Red Hat Enterprise Virtualization image store • Live migration of VMs • Root squash support • ~100 bug fixes

Theme: High Performance Geo-Replication (RC)

• Red Hat Enterprise Linux 6.4 based • High performance Geo-replication • OpenStack Grizzly Support for object API • Complete integration and support for RHEL Openstack platform • SMB 2.0 support, performance and AD integration • Quota Support • Red Hat Satellite support

Theme: Console, Windows Performance (RC) • Red Hat Enterprise Linux 6.4 based • Storage Console full support Features • NFSv3 ACL support

Theme: Snapshots (RC) • Red Hat Enterprise Linux 6.5 based • Snapshots Features • Better support for small files performance

Red Hat Storage Server ロードマップ

CY 2013 CY 2014

Rele

ases

Key

Feat

ure

s

RED HAT | 2013 52

Red Hat Storage Server ドキュメント

カスタマーポータル https://access.redhat.com/site/documentation/Red_Hat_Storage/

2.1 Release Notes 2.1 リリースノート

Administration Guide 管理ガイド

Console Administration Guide コンソール管理

Console Installation Guide コンソールインストール

Console Command Line Shell Guide コンソールコマンドライン Installation Guide インストール

Installation and Configuration Guide Red Hat Openstack 3.0連携

Package Manifest サポートパッケージリスト

Technical Notes 注意書き

RED HAT | 2013 53

柔軟な開発の要素技術 FUSE

LTFS (Linier Tape File System)などでも利用されている http://fuse.sourceforge.net