[a34] hddからインメモリーテクノジーへ by yusuke miyake

HDDからインメモリーへ

2014年6月20日日本ヒューレット・パッカード(株) 三宅祐典

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

自己紹介

仕事上の立場• かつてベンチマークセンターエンジニア

• 昔は流通社会インフラ系プリセールス昔は流通社会インフラ系プリセル

• パートナー担当プリセールス

個人情報個人情報

趣味

• スキー

• MMORPGMMORPG

– FF14（飽きかけ）

– Ingress（Res.です。だからって殴らないでください）

趣味とまで言えないもの

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2

趣言

• ゴルフ/スキューバ Twitter:@Ysk_Myk

Agenda

なぜ今In-memoryか• トレンド

• ソフトウェア業界の動向

• ハードウェア業界の動向

• そして来たるべき未来のテクノロジ

どんなハードウェアが良いのか• CPUの選び方

• メモリ保護機能

• I/Oの信頼性向上

ここでCMです。• HPのサーバーにある付加価値


• CS500 for SAP HANA

• CS900 for SAP HANA

データベースの技術動向

行指向列指向

新しい流れ (HANA)現在のOLTP (Oracle, SQL Server)初期のデータウェアハウス

行指向列指向

○：OLTP性能が高い

×：I/O負荷が高い

○：検索性能が高い、圧縮率が高い

×：更新性能に課題現在のデータウェアハウス

ディスク依存インメモリ

現在のデタウェアハウス(Vertica, PDW)

ディスク依存インメモリ

○：容量単価が安い

×：I/O性能が低い

○：I/O性能が高い

×：永続性のためにストレージが必要


インメモリデータベースとは？

インメモリデータベース（IMDBあるいはメインメモリデータベース、MMDB）はデータストレージを主にメインメモリ上で行うデータベース管理システムである。ディスクストレーをリ行うタ管あ。ィクジ機構によるデータベースシステムと対比される。メインメモリデータベースは内部最適化アルゴリズムが簡素であり、相対的に少ないCPU命令を実行するので、ディスク最適化されたデータベースと比較して高速である。 (ウィキペディア)

Flash Memoryに乗せて高速化大容量バッファキャッシュに載せるFlash Memoryに乗せて高速化

インメモリ

大容量バッファキャッシュに載せる

インメモリ

≠ ≠

XXμs


XXns

主要データベース・ベンダのインメモリ対応

SAP HANA

MicrosoftSQL Server

OracleDatabase

IBMDB2

HANAインメモリデータベース

のパイオニア

SQL ServerSQL Server 2014でインメモリ対応

Database6/10発表（7月頃）

ネイティブなインメモリデータベースを列指向で実装。

OLTP高速化を重視した実装。

既存環境との互換性を重視した実装。検索高速化のためにデータを二重持ち。

OLTPとOLAPをつのデタベスで


OLTPとOLAPを一つのデータベースでリアルタイムなデータ分析

OLTPとOLAPの共存とは従来のDWHの構造従来のDWHの構造

これまで出来たこと

OLTP用 DWH用

日時バッチでローディング

専ドウ

分散化しにくい

専用ハードウェア大容量高速HDDデータパージ

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7今入った情報を（しばらく後に）活用

OLTPとOLAPの共存とは現在のDWHなどでできること現在のDWHなどでできること

OLTP用 DWH用

高速/並列ローディング

分散化しにくい安価なハードウェア分散して高速化


今入った情報を（しばらく後に）活用

インメモリDBの応用範囲例OLTPとOLAPの共存とはインメモリDBの応用範囲例

HPの販売管理30TB超のSAP ECC• SAP ECC on HANAの実装

DBプラットフォーム

メモリ内

DBプラットフォーム

メモリ内

SAP ECC on HANAの実装

• リアルタイム分析

メモリ内

OLTP用DWH用

メモリ内で変換メモリ内で変換

アーキテクチャ次第では従来の10倍高速

St

メモリ内

replication

今入った情報を（今すぐにも）活用

分散化しにくい分散しなくても高速

Stream

インメモリ部分は増えると、

ディスクによる共有はより難しく


有難…

ハドウア側の視点

なぜ今In-memoryかハードウェア側の視点

8G4Gさらに高集積化

512M 32G2G1G

201520102005 201520102005

ただし集積度とともにエラー頻度も増加容量とともに保護機能が重要


容量とともに保護機能が重要

ハドウア側の視点

なぜ今In-memoryかハードウェア側の視点

16TB 6TB

32TB

24TB

64TB

ただし大きいだけでは危険です


ただし大きいだけでは危険です

2020年の未来予測データセンタを支える技術HPの取り組み～ハードウェアの再定義～ “HP Enterprise 20/20 “ www enterprise2020 com

アプリに最適化され効率を追求したサーバ

チップ統合光子ネットワーク

ユニバーサル・メインメモリー

Today By 2020 By 2020

HPの取り組みハドウェアの再定義 HP Enterprise 20/20 www.enterprise2020.com

電子光子から

高速インターコネクト (～20TBytes/秒)

• DRAMのように高速、かつ不揮発性

• メモリとHDDの位置づけが変わる

• ソフトウェアのデザインが変わる


高速インタコネクト ( 20TBytes/秒)

Moonshot Integrated Photonics Memristor2013～ By 2020By 2020

HP Memristor

電源供給がなくてもデータを保持できる受動素子デタタが電源供給がなくてもデータを保持できる受動素子フラッシュメモリよりも高速・低消費電力・高密度演算装置としても利用可能

データセンタがアタッシュケースに？


SRAMOn-chip cache

M i d r b

itDRAM

Fl h

Main memorySp

ee

Cost

pe

• Flash

• Hard DiskMass

storage

Capacity

memristorによるユニバーサルメモリで


この階層は過去の物へ

「コンピュータ」の歴史を変える取り組みHPは60年間不変の基本構造をイノベションの力で変革HPは60年間不変の基本構造を、イノベーションの力で変革

揮発性

これまでちょっと先

揮発性メモリ汎用

CPU汎用CPU

不揮発性メモリ

不揮発性メモリ

磁気


ディスク

アーカイブ

The Machine

Photonics

Special purpose cores専⽤コア

フォトニクス

Massive memory pool巨⼤なメモリー群


専⽤コア巨⼤なメモリ群

どんなHardwareが向いているのか


価格以外の話

サーバー選定のポイント価格以外の話

CPUどのデータベースソフトウェアを選択するのかどのデタスソフトウアを選択するのか

• 使いたい物が動かないCPUは選べない。

• 切っても切れないメモリとの関係

メモリリ

インメモリのお話ですから

• 実は違うメモリの保護機能

• ハイエンドだから大丈夫ってことはないんです。

I/Oインメモリ≠I/Oしない

• 引き続きI/O保護機能は重要です。


引き続き / 保護機能は重要です。

CPUアーキテクチャの選択肢

OracleDatabase

Itanium

IBMDB2

Power

SAP HANA

sparc

Xeon E7HANA

MicrosoftSQL Server Xeon-E5

Xeon-E7


SQL Server

何故CPUの話をするかメリのRAS機能はCPUのアキテクチに依存しているメモリのRAS機能はCPUのアーキテクチャに依存している

メモリWHY?

メモリ保護機能はCPUに依存メモリ

CPU CPU I/O

メモリ保護機能はCPUに依存

CPU

I/O

メモリ

CPU CPU I/O


メモリ

採用するCPUによるRAS 機能の比較

HPが販売するサーバーの比較採用するCPUによるRAS 機能の比較

機能 Xeon-E5 Xeon-E7 Itanium + HP-UX 備考

主なメモリー保護機能 SDDC DDDC DDDC DDDC のパーツ交主なメモリ保護機能 SDDC(Single Device Data Correction)

DDDC(Double Device Data Correction)

DDDC(Double Device Data Correction)

ツ交換頻度 SDDC 比 17分の1 ※

主なCPU保護機能 MCA Recovery –Execution PathQPI

ICST (Intel Cache Safe Technology)

Instruction ReplayQPI

Itanium の障害発生率 Xeon比 2 分の1 ※QPI QPI の1 ※

主なI/O保護機能 PCI -LER PCI Error RecoveryPCI Online交換(SD2)

FW 実装が必須

主な OS 保護機能(HWとの協調機能）

MCA recover MCA recoverDPR APR

FW実装が必須(HWとの協調機能） DPR、APR

その他障害検知保護機構など

AHS AHSHP Error Analysis Engine

HP Error Analysis Engine ベンダーの実装が必要


※参考：http://www.intel.com/content/dam/doc/white-paper/mission-critical-computing-itanium-9300-ras-features-of-the-mission-critical-converged-infrastructure-paper.pdf

ハドエラはソフトエラより多く ECCでは十分とは言えない

メモリー保護機能WHY?ハードエラーはソフトエラーより多く、ECCでは十分とは言えない

SDDCあるいは相当の機能 DDDC

Si l D i D t C ti (SDDC)

WHY?ハードエラー＞ソフトエラー集積度増大 -> エラー増大

– Double Device Data Correction (DDDC)

– DIMM上のDRAMが2つフェイルしてもメモリー上で吸収され、システムに影響なし

− Single Device Data Correction (SDDC)

− DIMM上のDRAMが1つフェイルしてもメモリー上で吸収され、システムに影響はなし

− メモリーミラーリングにより冗長化する方法もとられる。

集積度増大ラ増大

– 低コストで高いメモリー保護機能を提供

– DIMMの交換回数はSDDCの1/17

− 2倍のメモリーが必要&使える帯域は半分

− 予備のチップを実装するスペアランクという手法もとられる。

Operating SystemOperating Systemクラッシュ

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22・・・DIMMメモリー

・・・DRAMチップ

※Xeon E5,E7シリーズよりDDDCをサポート

例：コンポーネント別の修理（交換）率


メモリの保護方式による故障率の違い

A社UNIX機(Entry), Xeon EP, B社UNIX機

A社(HighEnd) B社UNIX機A社(HighEnd), B社UNIX機(Mirror)

Memory RAS capabilities can reduce scale-up server crash rates by approximately

Itanium, Xeon-E7


up se e c as ates by app o ately 85%1

PCIe Live Error RecoveryWith PCIe LERWithout PCIe LER

OS(Windows/Linux)

OS(Windows/Linux)

③不良データが到達すると、

データ保護の為に再起動

③不良データをOSに届く前に感知。

OSに再度リクエストを送るように指示

WHY?インメモリでもI/Oはします

CPU S dCPU

①データリクエスト

①データリクエスト

インメモリでもI/Oはします

CPU(Ivy-Bridge EX)

SuperdomeFirmware

②不良デタ

CPU(Ivy-Bridge EX)

④不良データが続くと故障コンポネントを

I/O card

I/O card

I/O card

②不良データ

I/O card

カド故障

②不良デタ

故障コンポーネントを切り離し


(NIC,FC)(NIC,FC) (NIC,FC)card

(NIC,FC)カード故障データ

さてここでCMです。


x86サバでトップクラスの可用性と堅牢な信頼性

ProLiant DL580 Gen8 独自の RAS 機能 Only HP

x86サーバーでトップクラスの可用性と堅牢な信頼性

HP Advanced HP Memory HP Advanced HP Advanced Error Recovery(エラーリカバリ)

実行中に発見された致命的なプセサキ

Quarantine（メモリ検閲機能）

メモリサブシステム内で致命的なエラーが見つかっ

Fault Resiliency（障害復旧機能）

メモリとチップセットの耐障害性機能 (DDDC SDDC

Error Containment（エラー封じ込め設計）

を封的なプロセッサー、キャッシュ、メモリのエラーからのリカバリ

命的なエラーが見つかった場合、メモリを無効にし、割り当てを取り消す

障害性機能 (DDDC, SDDC, ミラーメモリ,オンラインスペアメモリ)

PCIeのIO エラーを封じ込め、データ破損を防止

d d i d i ポグHP Advanced Event Reporting and Detection （レポーティングと検知）Active Health System . インテグレーテッドマネジメントログ, 高度なログ機能とOS レベルのクラッシュダンプ, HP アドバンスドメ

モリエラー検知, HP アドレス/パリティコントロール, Patrol Scrubber and Demand Scrubber

HP 認定オプション（HP Smart メモリ）


HP 認定オプション（HP Smart メモリ）

メモリとプロセッサ障害によるシステム停止を 30% 減

OS や SW と連携した高度な障害回復機能 Only HP

メモリとプロセッサ障害によるシステム停止を 30% 減

HP Advanced Error Recovery実行中の修復不可能なプロセッサ、キャッシュおよびメモリの

HP Memory Quarantineシステムクラッシュの原因になる修復不可能なメモリのエラー実行中の修復不可能なプロセッサ、キャッシュおよびメモリの

エラーからの回復

1実行パイプライン下のプロセッサ、キャッシュもしくはメモリの修復不可能なエラーの検知

MCA リカバリーが修復不能なメモリエラーを検知

システムクラッシュの原因になる修復不可能なメモリのエラからの回復

1

ファームウェアがOS、ハイパーバイザ、アプリケーションへ通知

システムは稼働を続け、クラッシュを防ぐ

2Processors

L1 Cache Core HP Memory Quarantineは障

害箇所に不良のタグをつけ、OS やハイパーバイザにアドレ

OS/ハイパーバイザは障害

箇所の新規利用をブロック、

2

OS、ハイパーバイザ、アプリケーションが回復アクシ（レドプセ 3

4 L2 Cache

Unc

ore

DRAM

ス情報を通知

OS/ハイパーバイザが回復手法を決定・実施

箇所の新規利用をブロック、システムは稼動を継続

3

4


が回復アクション（スレッド、プロセス、VM、アプリケーションを停止・再起動）を開始

3復法決定実

HP ConvergedSystem 500 for SAP HANA

他社より2倍高速な性能1高速な分析

高可用性 HP Serviceguardによる無人・自動フェールオーバー

データ保護 SAP認定された Data Protectorによるバックアップ

同一プラットフォーム上でOLTPと分析処理を実行

集約して運用をシンプル化 E7-4880v2搭載


1SAP NetWeaver® Business Warehouse-Enhanced Mixed Load (BW-EML) standard application benchmark

CS900に搭載のHP Error Analysis EngineHP Con e gedS stem 900 onl ad anced se e a chitect e

Only HP

一般的な x86サーバーN iti l l i

エラー OS クラッシュ (解析なし、復旧な

Bad data may end up in storage

HP ConvergedSystem 900 only – advanced server architecture

No critical analysis 検出し、解決方法なし)

動作継続

一般的な Xeon-E7 エラー検出

MCA recovery でOSに通知

動作継続

ConvergedSystem 900セルフヒリング

OS 復旧エラー検出

HP Error Analysis Engine


Deep analysis and self-healing

セルフヒーリング証左収集 Critical

Analysis修復

Real time big data management optimized for SAP HANA

HP ConvergedSystem for SAP HANA

インメモリコンピューティングへ

Real time big data management optimized for SAP HANA

インメモリコンピュティングへの最適化

比類無き拡張性比類無き拡張性

リア以上の性能比

E7-2890v2搭載

ワンストプサポト

リニア以上の性能比


ワンストップサポート

HP Serviceguard for Linux – HANA自動FailOverを実現するHANA向けクラスターソリューション標準機能では実現できない障害検知、IP制御、インスタンス制御を実現

H/W、プロセス監視

Q Quorum Server

H/W、プセス監視自動FailOver（インスタンス起動、停止制御）クライアントアクセス制御

Primary SAP HANA Package

Secondary

SAP HANA Package

sync SAP HANA System Replication

Ack

DATALOG

Serviceguard for Linux

y y p

Single-Host

HP AppSystemSingle-Host

HP AppSystemDATALOG

DATALOG

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.32

世界で最も巨大なSAPシステムをServiceGuard上で稼働中。グローバル40万ライセンスを超える導入が証明する高い信頼性。

まとめ

なぜ今In-memoryか• トレンドソフトウェア業界の動向

• ハードウェア業界の動向

• そして来たるべき未来のテクノロジ

どんなハードウェアが良いのか• CPUの選び方

• メモリ保護機能

• I/Oの信頼性向上

HPはそんな皆さんをお手伝いできます。• インメモリにはハードベンダーが必要です。

• MissionCriticalといえばHP


三宅祐典プリセールス統括本部システム技術本部パートナー技術部

Tel: 090-6108-3457Mail: Yusuke miyake@hp comMail: [email protected]

日本ヒューレット・パッカード株式会社本社〒136 8711

h k

〒136‐8711東京都江東区大島2‐2‐1

Twitter: @Ysk_Myk

Thank you
