osaka university knowledge archive : ouka...hayashi and n. komoda: “evaluation of ssd tier method...

Title 階層ストレージにおけるSSD活用による入出力性能向上に関する研究

Author(s) 林, 真一

Citation

Issue Date

Text Version ETD

URL https://doi.org/10.18910/52024

DOI 10.18910/52024

rights

Note

Osaka University Knowledge Archive : OUKAOsaka University Knowledge Archive : OUKA

https://ir.library.osaka-u.ac.jp/repo/ouka/all/

Osaka University

階層ストレージにおける SSD活用による

入出力性能向上に関する研究

2015年 1月

林真一

階層ストレージにおける SSD活用による

入出力性能向上に関する研究

提出先大阪大学大学院情報科学研究科

提出年月 2015年 1 月

林真一

i

研究業績

A. 学術論文誌論文

1. 林真一, 薦田憲久: “階層ストレージにおける性能向上のためのデータ配置適正化方

式”, 電気学会論文誌 C, Vol. 133, No. 10, pp. 1989-1997 (2013).

2. 林真一, 薦田憲久: “階層ストレージにおけるボリューム階層化方式と SSDキャッシ

ュ方式の評価”, 電気学会論文誌 C, Vol. 134, No. 3, pp. 459-465 (2014).

3. 松沢敬一, 林真一, 大谷俊雄, 岩嵜正明: “RDBMSにおけるクエリ実行計画情報を

用いたストレージ階層制御による高速化手法”, 情報処理学会論文誌, Vol. 55, No. 7, pp.

1637-1644 (2014).

4. 林真一, 薦田憲久: “階層ストレージにおける階層化ボリュームと SSDキャッシュの

SSD割当容量適正化方式の評価”, 電気学会論文誌 C, Vol. 134, No. 12, pp. 1916-1924

(2014).

B. 国際会議

1. S. Hayashi and N. Komoda: “Data Location Optimization Method to Improve Tiered

Storage Performance”, in Proc. of the 15th International Conference on Enterprise

Information Systems (ICEIS 2013), Vol. 1, pp. 104-111 (2013).

2. S. Hayashi and N. Komoda: “Evaluation of SSD Tier Method and SSD Cache

Method in Tiered Storage System”, in Proc. of the Second Asian Conference on

Information Systems (ACIS 2013), pp. 8-14 (2013).

3. S. Hayashi and N. Komoda: “Evaluation of Exclusive Data Allocation between SSD

ii

Tier and SSD Cache in Storage Systems”, in Proc. of the 16th International

Conference on Enterprise Information Systems (ICEIS 2014), Vol. 1, pp. 144-151

(2014).

4. S. Hayashi and N. Komoda: “Proposal and Evaluation of Dynamic SSD Capacity

Allocation Optimization Method between Tiered Volume and SSD Cache in Tiered

Storage System”, in Proc. of the Third Asian Conference on Information Systems

(ACIS 2014), pp. 552-559 (2014).

C. 学会講演

1. 松沢敬一, 林真一, 大谷俊雄: “Application-aware なデータ階層管理によるアプリ

ケーション処理高速化方式”, 情報処理学会研究報告, Vol. 2012-OS-120, No. 8, pp. 1-7

(2012).

2. 林真一, 薦田憲久: “階層ストレージにおける性能向上のためのデータ配置適正化方

式”, 第 11回情報科学技術フォーラム講演論文集, Vol. 11, No. 1, pp. 271-272 (2012).

3. 林真一, 薦田憲久: “階層ストレージにおけるSSD階層方式とSSDキャッシュ方式の

評価”, 電気学会研究会資料, 第 55 回情報システム研究会, IS-13-032, pp. 51-56

(2013).

4. 林真一, 薦田憲久: “階層ストレージにおける SSD/HDD階層化ボリュームと SSDキ

ャッシュへのSSD割当容量動的適正化方式の提案と評価”, 電気学会研究会資料, 第59

回情報システム研究会, IS-14-013, pp. 1-6 (2014).

5. 高田有時, 林真一: “ストレージ階層管理連携サーバフラッシュキャッシュ機能の提

案”, 第 13回情報科学技術フォーラム講演論文集, Vol. 13, No. 1, pp. 141-142 (2014).

iii

内容梗概

本論文は、筆者が 2012年 4月から現在まで（株）日立製作所横浜研究所において取

り組み、2013年 10月から現在まで大阪大学大学院情報科学研究科マルチメディア工学

専攻在学中に取り組んだ、階層ストレージにおける SSD (Solid State Drive)活用によ

る入出力(I/O: Input/Output)性能向上に関する研究成果をまとめたものである。

情報技術の進展と企業における情報技術の活用に伴い、ストレージシステムに蓄積さ

れているデータへのアクセス量の増加が続いている。このため、従来使用されてきた

HDD (Hard Disk Drive)が情報システムにおけるボトルネックとなる可能性が高くな

ってきている。HDD がボトルネックとなっている場合に、HDD よりも高性能な記録

媒体である SSDに置換することにより、情報システムの性能向上を見込める。しかし、

一般的に SSD は HDD よりも高価であるため、コストの増加を抑えてシステムの I/O

性能を向上するためには、I/O が集中するデータのみを SSD 上に配置し、それ以外の

データをHDD上に配置することが重要である。

本論文では、SSD活用による I/O性能向上に関して、次の 3点を課題として設定し、

解決方法を検討する。

課題(1) ボリューム階層化方式における I/O性能向上

課題(2) ボリューム階層化方式と SSDキャッシュ方式の併用による I/O性能向上

課題(3) 併用方式における SSD割当て容量の適正化

本論文は全 5章から構成される。

第 1 章の序論では、SSD を活用する階層ストレージの概要と、本論文において解決

すべき課題を述べ、従来研究を概観するとともに、本論文の目的と位置付けを明らかに

する。

第2章では、ボリューム階層化方式における I/O性能向上方式を提案する。はじめに、

iv

従来のボリューム階層化方式の動作と、適正化間隔が短い場合に階層間移動の負荷が増

加し、適正化間隔が長い場合に I/O性能が低下する問題点を説明する。次に、これを解

決するために、SSD 階層を 2 つに分割し、長短異なる適正化間隔に基づき、それぞれ

の SSD 階層を割り当てるページを決定する方式を提案する。最後に、シミュレータを

用いて、従来方式と提案方式の I/O性能を比較し、提案方式の性能向上効果を確認した。

第 3章では、階層化ボリュームと SSDキャッシュの併用方式を提案する。はじめに、

SSD キャッシュ方式の動作を説明する。次に、I/O 分散時に SSD キャッシュ方式を適

用した場合においても性能が向上しない問題点を説明する。次に、SSD を 2 つの領域

に分割し、一方を SSD階層として使用し、もう一方を SSDキャッシュとして使用する

併用方式を提案する。最後に、シミュレータを用いて、併用方式の I/O性能向上効果を

確認した。

第 4章では、階層化ボリュームと SSDキャッシュへの SSD割当容量動的適正化方式

を提案する。はじめに、併用方式において I/O 特性、SSD 容量に応じて、階層化ボリ

ュームとSSDキャッシュへの適切なSSDの割り当て容量が異なるという問題点を説明

する。次に、これを解決するために、SSDへの I/O率に基づき SSD割り当て容量を自

動的に適正化する方式を提案する。最後に、シミュレータを用いて、提案方式の I/O性

能向上効果を確認した。

第 5章では、結論として本研究で得られた成果を要約し、今後の課題を述べる。

v

目次

第 1章序論 ...................................................................................................................... 1

1.1 研究の背景 ............................................................................................................... 1

1.2 関連研究 ................................................................................................................... 4

1.2.1 ボリューム階層化方式における I/O性能向上 ................................................. 4

1.2.2 ボリューム階層化方式と SSDキャッシュ方式の併用による I/O性能向上 .... 5

1.2.3 併用方式における SSD割当て容量の適正化 ................................................... 6

1.3 研究の方針 ............................................................................................................... 6

1.4 本論文の構成............................................................................................................ 8

第 2章階層ストレージにおける性能向上のためのデータ配置適正化方式 .................... 9

2.1 緒言 .......................................................................................................................... 9

2.2 ボリューム階層化方式 ............................................................................................. 9

2.2.1 ストレージシステム概要 .................................................................................. 9

2.2.2 ボリューム階層化機能 ..................................................................................... 11

2.2.3 ボリューム階層化方式における課題 .............................................................. 12

2.3 長短異なる I/O数計測期間に基づくデータ配置適正化方式 ................................. 12

2.4 評価方法 ................................................................................................................. 14

2.4.1 評価項目.......................................................................................................... 14

2.4.2 ボリューム階層化方式の評価シミュレータ ................................................... 15

2.4.3 シミュレーション条件 .................................................................................... 17

2.5 シミュレーション結果 ........................................................................................... 21

2.5.1 オリジナルログデータを用いたシミュレーション結果と考察 ...................... 21

2.5.2 作成したログデータを用いたシミュレーション結果と考察 ......................... 26

2.6 結言 ........................................................................................................................ 30

第 3章ボリューム階層化方式と SSDキャッシュ方式の併用時の評価 ....................... 31

3.1 緒言 ........................................................................................................................ 31

3.2 ボリューム階層化方式と SSDキャッシュ方式..................................................... 32

3.2.1 ストレージシステム概要 ................................................................................ 32

3.2.2 SSDキャッシュ方式 ...................................................................................... 32

3.2.3 特徴の比較 ...................................................................................................... 34

vi

3.2.4 I/O性能の比較 ................................................................................................ 35

3.3 階層化ボリューム・SSDキャッシュ併用方式 ..................................................... 36

3.4 評価方法 ................................................................................................................. 37

3.4.1 併用方式のシミュレータ ................................................................................ 37

3.4.2 シミュレーション条件 .................................................................................... 38

3.5 シミュレーション結果と考察 ................................................................................ 43

3.5.1 ボリューム階層化方式と SSDキャッシュ方式の比較 .................................. 43

3.5.2 非併用方式と併用方式の比較 ......................................................................... 46

3.6 結言 ........................................................................................................................ 47

第 4章階層化ボリュームと SSDキャッシュへの SSD割当容量動的適正化方式 ....... 49

4.1 緒言 ........................................................................................................................ 49

4.2 階層化ボリューム・SSDキャッシュ併用方式における課題................................ 50

4.3 SSD割当容量自動適正化方式 ............................................................................... 50

4.4 評価方法 ................................................................................................................. 55

4.4.1 SSD割当容量自動適正化方式のシミュレータ .............................................. 55

4.4.2 シミュレーション条件 .................................................................................... 57

4.5 シミュレーション結果と考察 ................................................................................ 59

4.5.1 I/O特性・SSD容量率ごとのシミュレーション結果 .................................... 59

4.5.2 I/O特性変化時におけるシミュレーション結果 ............................................. 63

4.6 結言 ........................................................................................................................ 67

第 5章結論 .................................................................................................................... 69

5.1 本研究のまとめ ...................................................................................................... 69

5.2 今後の課題 ............................................................................................................. 70

謝辞 ................................................................................................................................... 73

参考文献 ............................................................................................................................... 75

1

第1章

序論

1.1 研究の背景

情報技術の進展と企業における情報技術の活用に伴い、ストレージシステムに蓄積

されるデータ量と、そのデータへのアクセス量の増加が続いている[1][2][3][4][5]。大

量のデータを効率よく保持、管理するために、企業における大規模システムでは、集

中型共有ストレージを使用することが一般的である[6][7][8][9][10][11]。集中型共有ス

トレージシステムにおいて、記録媒体として利用されている HDD (Hard Disk Drive)

は、大容量化を続けてきており[12]、このデータ量増加に対応してきている。しかし、

HDDの入出力(I/O: Input/Output)性能は大きく向上しておらず、HDDが情報システ

ムにおけるボトルネックとなる可能性が高くなってきている。このような状況におい

て、HDDよりも高性能な記録媒体である SSD (Solid State Drive)が注目されている。

HDD がボトルネックとなっている場合には、HDD を SSD に置換することにより、

情報システムの性能向上を見込める[13]。しかし、一般的に SSDはHDD よりも高価

であるため、コストの増加を抑えてシステムの I/O性能を向上するためには、I/Oが集

中するデータのみを SSD上に配置し、それ以外のデータを HDD上に配置することが

重要である。

本論文において想定する階層ストレージシステムの概要を図 1-1 に示す。ストレー

ジは、仮想ボリューム、SSDキャッシュ機能、ボリューム階層化機能、SSDボリュー

ム、HDDボリュームから構成される。サーバ上のアプリケーションは仮想ボリューム

上のデータを読み書きする。SSDキャッシュ機能とボリューム階層化機能は、仮想ボ

リュームへの読み書きに基づき、HDDボリュームまたは SSDボリューム上のデータ

を読み書きする機能である。1つのストレージシステムに数百台のサーバが接続され、

1,000台を超えるHDDと SSDが搭載される[14][15]。

SSDと HDDを併用するストレージにおいて、SSDを活用する方式を、以下の 3つ

に分類できる。

2

(1) データを SSDまたはHDDに分割配置する方式（ボリューム階層化方式）[14][15]1

(2) 全てのデータをHDDに配置し、一部のデータを SSDに複製する方式（SSDキャ

ッシュ方式）2

(3) 上記 2方式の併用（併用方式）

ボリューム階層化方式は、一定期間 I/O数を計測し、I/O数が多いデータを SSDボ

1 EMC Corporation: “Fully Automated Storage Tiering for Virtual Pools (FAST VP)”,

http://www.emc.com/storage/symmetrix-vmax/fast.htm

Hewlett-Packard Development Company: “HP 3PAR Adaptive Optimization Software -

Overview & Features”,

http://h18006.www1.hp.com/storage/software/3par/aos/index.html 2 EMC Corporation: “VNX FAST Cache”,

https://www.emc.com/collateral/software/white-papers/h8046-clariion-celerra-unified-f

ast-cache-wp.pdf

NetApp, Inc.: “NetApp Flash Cache”,

http://www.netapp.com/us/products/storage-systems/flash-cache/

図 1-1 階層ストレージシステム概要

ストレージ

サーバサーバサーバ

仮想ボリューム

SSDボリューム

本研究の対象

SSDキャッシュ機能

ボリューム階層化機能

HDD階層用HDD領域

SSD階層用SSD領域

キャッシュ用SSD領域

読み込み書き込み

アプリケーションアプリケーションアプリケーション

HDD HDD HDD HDD HDD・・・

HDDボリューム

SSD SSD SSD SSD・・・

3

リュームから構成される SSD 階層に移動し、I/O数が少ないデータを HDD ボリュー

ムから構成される HDD階層に移動する方式である。I/O数を計測する期間を I/O数計

測期間と呼び、データの階層間の移動を階層間移動と呼ぶ。I/O 数計測完了後、階層

間移動が行われる。I/Oが多いデータが SSD階層上に配置され、I/O性能が向上する。

SSDキャッシュ方式は、全データを HDDボリューム上に配置し、データへの読み

書きを契機として、読み書きされたデータを SSDボリュームにコピーする方式である。

2回目以降の読み書きは、SSDボリュームへのアクセスとなり、I/O性能が向上する。

ボリューム階層化方式適用時における I/O 性能向上について多くの取り組みがある

[16]-[27]。ボリューム階層化方式適用時において、ストレージ I/O 性能を向上するた

めには、I/Oが集中する領域を SSD階層に配置させる必要がある。アプリケーション

からの全 I/O数に対し、SSDが処理した I/O数の割合を SSD I/O率と呼ぶ。SSD I/O

率を増加させるためには、I/O数計測期間を短くし、I/O数の変化に応じてデータ配置

を直ちに適正化することが考えられる。例えば、I/O 数計測期間が 24 時間の場合は、

I/Oが集中する領域に SSD階層が割り当たるのが最大で 24時間後になるが、I/O数計

測期間が 1時間の場合には、1時間以内に I/Oが集中する領域に SSD階層を割り当て

ることができる。しかし、I/O 数計測期間を短くすると、階層間移動量が増加し、ア

プリケーションからの通常 I/O に影響を与える。このため、可能な限り階層間移動量

を減少させる必要がある。階層間移動量を減少させるには、I/O 数計測期間を長くす

ることが考えられる。これにより、I/O が集中する領域が変化した場合においても階

層間移動を抑えられる。しかし、この場合は、I/Oが集中しない領域に SSD階層が割

り当たったままとなり、SSD I/O率は低下し、ストレージ I/O性能が低下する。

SSDキャッシュ方式適用時における I/O性能向上についても多くの取り組みがある

[28]-[37]。SSDの容量は限られていることから、SSDキャッシュ方式適用時において、

全てのデータをキャッシュできない。このため、キャッシュするための空き領域がな

い場合は、データをキャッシュから追い出す必要がある。I/O が特定のデータに集中

している場合は、2回目以降の I/Oを高速化できる。しかし、I/Oが分散している場合

は、キャッシュしたデータにアクセスする前に追い出され、I/O 性能が向上しないこ

とがある。ボリューム階層化方式では、SSD階層上のデータの入れ替えは一定期間行

われないため、I/Oが分散している場合においても、I/O性能が向上する。よって、ボ

リューム階層化方式と SSDキャッシュ方式を併用することにより、さらなる I/O性能

4

の向上を期待できる。DRAM (Dynamic Random Access Memory)は揮発性メモリで

あるため階層として使用できないが、SSDは不揮発であるため、階層としてもキャッ

シュとしても使用できる。このため、SSDを活用することにより両方式の併用が可能

となる。しかし、I/O 数、リード・ライト比、I/Oの局所性など I/O特性や、各方式に

使用する SSDの容量により、併用方式の効果は異なると想定される。このため、併用

方式の有効性を評価することが必要である。

また、併用方式適用時において、I/O 特性の変化に応じて、ボリューム階層化方式

と、SSD キャッシュ方式に割り当てる SSD の容量を適正化する必要があると想定さ

れる。

以上から、本研究では、以下の課題を解決することを目的とする。

課題(1) ボリューム階層化方式における I/O性能向上

課題(2) ボリューム階層化方式と SSDキャッシュ方式の併用による I/O性能向上

課題(3) 併用方式における SSD割当て容量の適正化

1.2 関連研究

1.2.1 ボリューム階層化方式における I/O性能向上

ボリューム階層化方式における I/O性能向上に関する研究を以下に示す。

Adaptive Deadline Aware Lookahead Data Migration [38]、および、Automated

Lookahead Data Migration [39]は、過去のアクセス履歴からアクセスが集中する領域

をあらかじめHDDから SSDに移動しておく方式である。これにより、定期的に特定

領域にアクセスが集中する場合に I/O性能を向上できる。しかし、I/Oの集中が定期的

でない場合、または、I/O先が同領域でない場合には効果が得られない。

On-The-Fly - Automated Storage Tiering (OTF-AST) [40]は、I/O数を 1分間隔で

監視し、I/O 数が数分間集中した領域を HDD から SSD に移動する方式である。2 つ

の I/Oトレースログを再生し、I/O数計測期間を約 2時間とする従来方式と OTF-AST

を比較した結果が報告されている。ライトが多い負荷では、OTF-AST は平均応答時

間を 11%削減した。しかし、リードが多い負荷では、SSDから HDDへの階層間移動

5

がボトルネックとなり、OTF-AST の平均応答時間は 8 倍になった。このことから、

高頻度の階層間移動はボトルネックになる可能性がある。

特定の領域に多くの I/O が数時間集中することに着目した研究[41][42]では、HDD

への I/O 数が閾値を超過した領域を SSD に移動し、SSD への I/O 数が閾値未満とな

った領域をHDDに移動する方式を提案している。特定の負荷において、SSDキャッ

シュ方式である flashcache3より最大 I/O処理数が 8%から 12%向上する。従来のボリ

ューム階層化方式との比較がされていないため、さらなる評価が必要と考える。

従来の SSDは、ランダムリードアクセス性能は HDDよりも高速であったが、シー

ケンシャルアクセス性能、ライト性能はHDDよりも低速であった。Combo Drive [43]、

Hybrid Virtual Disk [44]、HybridFS [45]は、この点に着目し、用途・アクセスパタ

ーンに応じてデータを SSD または HDD に配置する方式である。しかし、現在では

SSDは改良され、全てのアクセスパターンにおいて HDDよりも高速である。

1.2.2 ボリューム階層化方式と SSD キャッシュ方式の併用による

I/O性能向上

SSDキャッシュ方式の改善について多くの研究がされている[46]-[54]。以下、ボリ

ューム階層化方式とSSDキャッシュ方式の併用による I/O性能向上に関する研究を以

下に示す。

商用環境において採取した I/O トレースログを分析した研究[55]では、負荷の局所

性とその継続時間に着目し、負荷の継続時間に応じてボリューム階層化方式とキャッ

シュ方式を選択する方式を提案している。しかし、方式の具体的な提案はされていな

い。Hystor [56]は、併用方式の一実装である。SSDの領域を 2つに分割し、一方を、

一定期間 I/O 数が多かった領域をキャッシュするために使用し、もう一方をライトバ

ックキャッシュとして使用する方式である。本方式について、SSD 容量のうち SSD

キャッシュとして使用する容量の割合(SSDキャッシュ容量率)が 0%、20%、30%の場

合のみ評価されている。しかし、SSDキャッシュ容量率が大きい場合、SSD階層のみ

の場合、SSD キャッシュのみ場合についての比較、評価はされていない。このため、

ストレージ I/O性能向上のために適切な方式の選択、SSDキャッシュ容量率の設定が

3 Facebook flashcache, https://github.com/facebook/flashcache/

6

困難である。I/O特性、SSD容量に基づき、ボリューム階層化方式、SSD キャッシュ

方式、併用方式の効果は異なると想定される。ストレージ I/O 性能向上のためには、

I/O 特性や SSD 容量に応じた SSD キャッシュ容量率の適正化が必要である。この適

正化のためには、SSD キャッシュ容量率の設定と性能測定を繰り返し、適切な SSD

キャッシュ容量率を求める必要がある。このため、各方式が有効となる条件を明確化

する必要がある。

1.2.3 併用方式における SSD割当て容量の適正化

併用方式に関する関連研究は 1.2.2 項において説明した通り、併用方式の一部につ

いて評価されている。I/Oのリード・ライト比、I/Oの局所性などの I/O特性、SSD容

量に応じて、SSD キャッシュ容量率を適正化する必要がある。さらに、I/O 特性は時

間の経過とともに変化するため、SSDキャッシュ容量率の適正化はストレージ管理者

にとって大きな負担となる。SSDキャッシュ容量率の自動的な適正化について関連研

究は報告されていないことから、SSDキャッシュ容量率を自動的に適正化する方式の

検討、評価が必要である。

1.3 研究の方針

前節までに述べた課題を踏まえ、本研究における各課題の位置づけを図 1-2に示す。

以下、図 1-2に従い、本研究の方針を説明する。

(1) 長短異なる I/O数計測期間に基づくデータ配置適正化方式

従来のボリューム階層化方式における問題の原因は、I/O数計測期間が単一であ

るためと考える。そこで、SSD階層を 2つに分割し、長短異なる I/O 数計測期間

に基づき、それぞれの SSD階層を割り当てるページを決定する方式を提案する。

(2) ボリューム階層化方式と SSDキャッシュ方式の併用による I/O性能向上

SSDキャッシュ方式における問題点を解決するために、SSDキャッシュ方式で

の性能向上が限定的となる I/O 特性において性能向上が可能な階層化ボリューム

と SSD キャッシュを併用する方式を提案する。併用方式では、SSD を 2 つの領

7

域に分割し、一方を SSD 階層として使用し、もう一方を SSD キャッシュとして

使用する。I/O特性、SSD容量に基づき、ボリューム階層化方式、SSDキャッシ

ュ方式、併用方式の効果は異なると想定される。よって、多様な状況を想定して

両方式併用時の有効性を I/O シミュレーションにより評価し、ボリューム階層化

方式と SSDキャッシュ方式を併用する場合に有効となる条件を明確化する。

図 1-2 本研究における課題の位置づけ

サーバサーバサーバ

アプリケーションアプリケーションアプリケーション

ストレージ


本研究の対象



読み込み書き込み

階層間移動

SSDボリューム

HDDボリューム

HDD階層用HDD領域



課題1: ボリューム階層化方式におけるI/O性能向上

長短異なるI/O数計測期間に基づくデータ配置適正化

(第2章)

課題2: ボリューム階層化方式とSSDキャッシュ方式の併用によるI/O性能向上

ボリューム階層化方式とSSD

キャッシュ方式の併用時の評価

(第3章)

課題3: 併用方式におけるSSD割当て容量の適正化

階層化ボリュームとSSDキャッシュへのSSD割当容量動的適正化方式

(第4章)

8

(3) 階層化ボリュームと SSDキャッシュの SSD割当容量動的適正化方式

ボリューム階層化方式および SSD キャッシュ方式を併用する階層ストレージ

において、I/O特性、SSD容量に基づき、ボリューム階層化方式、SSDキャッシ

ュ方式、併用方式の効果は異なるため、前記 2方式に割り当てる SSD 容量の割合

を自動的に適正化する方式を提案する。本方式は、SSDキャッシュ容量率が多い

場合、少ない場合をそれぞれ模擬し、SSD への I/O 率に基づき SSD キャッシュ

容量率を定期的に適正化する。

1.4 本論文の構成

本論文では、第 2章以降を以下の通り構成する。

第 2章では、文献[57][58][59]に基づき、ボリューム階層化方式における I/O性能向

上方式を提案する。はじめに、従来のボリューム階層化方式の動作と、問題点を説明

する。次に、これを解決するための長短異なる I/O 数計測期間に基づくデータ配置適

正化方式の動作を説明する。最後に、シミュレータを用いて、従来方式と提案方式の

I/O性能を比較し、提案方式の効果を確認する。

第 3 章では、文献[60][61][62][63]に基づき、ボリューム階層化方式と SSD キャッ

シュ方式の併用時の I/O性能を評価する。はじめに、SSDキャッシュ方式の動作を説

明する。次に、ボリューム階層化方式と SSDキャッシュ方式の特徴と I/O 性能を比較

する。次に、併用方式の動作について説明する。最後にシミュレータを用いて、ボリ

ューム階層化方式、SSD キャッシュ方式、併用方式の I/O性能を評価する。

第 4 章では、文献[64][65][66]に基づき、階層化ボリュームと SSD キャッシュへの

SSD 割当容量動的適正化方式を提案する。はじめに、併用方式の問題点を説明する。

次に、これを解決するための階層化ボリュームと SSD キャッシュの SSD 割当容量動

的適正化方式を説明する。最後に、シミュレータを用いて、併用方式と提案方式の I/O

性能を比較し、提案方式の効果を確認する。

第 5章では、結論として本研究で得られた成果を要約し、今後の課題を述べる。

9

第2章

階層ストレージにおける性能向上のための

データ配置適正化方式

2.1 緒言

本章では、ボリューム階層化方式において、I/O 数計測期間とページ配置先決定方

法に着目した、長短異なる I/O数計測期間に基づくデータ配置適正化方式を提案する。

ボリューム階層化方式において、ストレージ I/O性能を向上させるためには、I/O数

計測期間を短くし、I/O 数の変化に応じてデータ配置を直ちに適正化することが考え

られる。しかし、これにより、データ移動が頻繁に発生し、HDDや SSD への負荷が

増加し、サーバからの通常の I/Oに影響を与える可能性がある。I/O数計測期間を長く

することにより、データ移動頻度を低下できるが、この場合は、適切でない階層にデ

ータが配置されたままとなり、ストレージ I/O性能が低下する。

そこで本章では、上記課題を解決するために、長短異なる I/O 数計測期間に基づく

データ配置適正化方式を提案する。提案方式では、アプリケーションの I/O特性、I/O

数計測期間、SSD階層の分割割合により、システム性能が変動するため、シミュレー

ションによりその特性を明らかにする。

以下、2.2 節において従来のボリューム階層化方式の動作と問題点を説明する。2.3

節において、従来のボリューム階層化方式の問題点を解決する方式を説明する。2.4

節において、提案方式の有効性を検証するためのシミュレーション条件を説明する。

2.5節において、シミュレーション結果を説明する。

2.2 ボリューム階層化方式

2.2.1 ストレージシステム概要

本章において想定するストレージシステムの概要を図 2-1 に示す。ストレージは、

10

サーバに提供する仮想ボリューム、仮想ボリュームを制御するボリューム階層化機能、

SSD ボリューム、HDD ボリュームから構成される。仮想ボリュームは、ページと呼

ぶ細かい領域から構成される。各ページには HDD ボリュームから構成される HDD

階層または SSDボリュームから構成される SSD階層の領域が割り当てられる。

ボリューム階層化機能は、階層マッピング情報を管理し、サーバ上のアプリケーシ

ョンからの仮想ボリュームへの I/Oに従い、SSD階層またはHDD階層から読み込み、

もしくは、SSD階層または HDD階層への書き込みを行う。仮想ボリューム上の全て

のデータは、SSD階層または HDD階層に配置される。仮想ボリュームは、アプリケ

図 2-1 ボリューム階層化方式概要

サーバ

ストレージ

SSD階層用SSDボリューム

アプリケーション


HDD階層用HDDボリューム

ページ

リードライト

階層間ページ移動


ページI/O数計測機能ページマッピングテーブル

ページ移動機能

11

ーションから 1 つのボリュームとして認識されるが、アクセス先により記録媒体が異

なるため、I/O性能が異なる。

2.2.2 ボリューム階層化機能

本項では、ボリューム階層化機能について説明する。ページに割り当てる階層を決

定するために、ページ𝑖の I/O数(𝑛𝑖)を I/O数計測期間(𝑝 [時間])により定められた期間

測定し、I/O 数が多い順にページの順位(𝑟𝑖 (1 ≤ 𝑟𝑖 ≤ 𝑁))を付け、式(2-1)に従い、ペー

ジ𝑖の移動先階層(𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖)を決定する。式(2-1)において、1は SSD階層を、2はHDD

階層を示し、𝑁はストレージ内の全ページ数、ℎは SSD 階層および HDD 階層の容量

の合計に対する、SSD階層の容量の割合(SSD階層容量率)を示す。

𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖 = {1 (𝑟𝑖 ≤ 𝑁ℎ)

2 (𝑟𝑖 > 𝑁ℎ) …………………………………………………………(2-1)

階層決定後、𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖が現状の階層(𝑇𝑖𝑒𝑟𝑖)と異なる場合、ページ移動機能は、デー

タを𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖に移動する。この移動を階層間移動と呼び、この時のデータ移動量を階

層間移動量と呼ぶ。一般的に、SSD 階層は高性能であるため、全ての SSD 階層をペ

ージに割り当てる。

階層間移動は、アプリケーションからの通常 I/O に大きな影響を与えない範囲で行

う必要がある。このため、ページ移動機能は、階層間移動のデータ転送速度を制限す

る必要がある。階層間移動のための SSDおよびHDDへのアクセスは、ページの連続

する領域の読み書きとなるため、シーケンシャルアクセスになると仮定する。シーケ

ンシャルアクセス性能は SSDよりHDDの方が低いため、階層間移動速度はHDDの

シーケンシャルアクセス性能に依存する。これを考慮し、階層間移動率𝑠を、記録媒体

1 台あたりの階層間移動速度𝑇 [MB/s]と、HDD 1 台の最大スループット性能𝑇𝐻

[MB/s]を用いて式(2-2)により定義する。階層決定機能は、あらかじめ定められた階層

間移動率𝑠となるように、階層間移動スループット速度𝑇 [MB/s]を制御する。

s =𝑇

𝑇𝐻 …………………………………………………………………………………(2-2)

12

2.2.3 ボリューム階層化方式における課題

ボリューム階層化方式においてストレージ I/O性能を向上するためには、SSD階層

への I/O数の割合(SSD I/O率)を増加させればよい。このためには、I/O数計測期間を

短くし、I/O数の変化に応じてデータ配置を直ちに適正化する必要がある。例えば、I/O

数計測期間が 24 時間の場合は、I/O が集中する領域に SSD 階層が割り当たるのが最

大で 24時間後になるが、I/O数計測期間が 1時間の場合には、1時間以内に I/Oが集

中する領域に SSD階層を割り当てることができる。

しかし、I/O 数計測期間を短くすると、階層間移動量が増加し、アプリケーション

からの通常 I/O に影響を与える。このため、可能な限り階層間移動量を減少させる必

要がある。

階層間移動量を減少させるには、I/O 数計測期間を長くすることが考えられる。こ

れにより、I/O が集中する領域が変化した場合においても階層間移動を抑えられる。

しかし、この場合は、I/O が集中しない領域に SSD 階層が割り当たったままとなり、

SSD I/O率は低下し、システム全体の性能が低下する。

2.3 長短異なる I/O数計測期間に基づくデータ配置適正化

方式

従来方式における課題の原因は、I/O 数計測期間が単一であるためと考える。そこ

で、SSD階層を 2つに分割し、長短異なる I/O数計測期間に基づき、それぞれの SSD

階層を割り当てるページを決定する方式を提案する。2 つの I/O 数計測期間のうち、

長期間である方を長期 I/O数計測期間(𝑝𝐿)と呼び、もう一方を短期 I/O数計測期間(𝑝𝑆ℎ)

と呼ぶ。

I/O 数計測期間を短くせずに SSD I/O 率を向上させるために、I/O が集中すると予

測できる領域に SSD 階層をあらかじめ割り当てておくことを考える。長期間を通して

I/O数が多い領域は、短期間で I/O数が少なくなったとしても再び I/O数が多くなると

考えられる。よって、短時間で I/O数が多い領域に SSD階層を割り当てるだけではな

く、長期間を通して I/O数が多い領域にも SSD階層を割り当てておく。従来方式にお

13

いて I/O数計測期間が短い場合は、I/Oが集中する領域が変化した場合に、既にその領

域に SSD階層が割り当たっている可能性は低く、最長で I/O数計測期間が経過するま

でその領域に SSD階層が割り当たらない。提案方式を適用することにより、I/Oが集

中する領域が変化したときに既に SSD階層が割り当たっている可能性が高くなり、ス

トレージ I/O性能を向上できると考える。

提案方式の概要を図 2-2に示す。ストレージ内の SSD階層の容量を 2つに分け、長

期 I/O 数計測期間を適用する領域を長期移動領域と呼び、短期 I/O 数計測期間を適用

する領域を、短期移動領域と呼ぶ。SSD階層の容量に対する短期移動領域の容量の割

合を、短期移動容量率(𝑚)とする。以下、例として長期 I/O数計測期間𝑝𝐿 = 24 [時間]、

短期 I/O数計測期間𝑝𝑆ℎ = 1 [時間]として説明する。長期移動領域を割り当てるページ

を決定する処理は 24時間ごとに行われる。例えば、毎日午前 0時に行われる。このと

きに、過去 24 時間の I/O 数(𝑛𝐿,𝑖 )を集計し、I/O 数が多い順にページの順位(𝑟𝐿,𝑖

(1 ≤ 𝑟𝐿,𝑖 ≤ 𝑁))を付ける。短期移動領域を割り当てるページを決定する処理は 1時間ご

とに行われる。過去 24 時間の I/O 数が多く SSD 階層が割り当てられるページ𝑖

(𝑟𝐿,𝑖 ≤ 𝑁ℎ(1 −𝑚)であるページ)を除き、過去 1時間の I/O数(𝑛𝑆ℎ,𝑖)に基づき I/O数が多

い順にページの順位(𝑟𝑆ℎ,𝑖 ((1 ≤ 𝑟𝑆ℎ,𝑖 ≤ 𝑁{1 − ℎ(1 −𝑚)}))を付ける。式(2-3)に従い、ペ

ージ𝑖の移動先階層(𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖)を決定する。式(2-3)により、過去 24 時間に I/O 数が多

いページ(𝑟𝐿,𝑖 ≤ 𝑁ℎ(1 −𝑚))と、過去 24時間は I/O数が多くないが、過去 1時間に I/O

数が多いページ(𝑟𝐿,𝑖 > 𝑁ℎ(1 −𝑚), 𝑟𝑆ℎ,𝑖 ≤ 𝑁ℎ𝑚)に SSD 階層を割り当て、それ以外のペ

ージ(𝑟𝐿,𝑖 > 𝑁ℎ(1 −𝑚), 𝑟𝑆ℎ,𝑖 > 𝑁ℎ𝑚)にHDD階層を割り当てる。

𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖 =

{

1 (𝑟𝐿,𝑖 ≤ 𝑁ℎ(1 −𝑚))

1 (𝑟𝐿,𝑖 > 𝑁ℎ(1 −𝑚), 𝑟𝑆ℎ,𝑖 ≤ 𝑁ℎ𝑚)

2 (𝑟𝐿,𝑖 > 𝑁ℎ(1 −𝑚), 𝑟𝑆ℎ,𝑖 > 𝑁ℎ𝑚)

………………………………(2-3)

階層決定後、𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖が現状の階層(𝑇𝑖𝑒𝑟𝑖)と異なる場合、データを𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖に移動

する。提案機能を実装したボリューム階層化機能が、以上の I/O 数計測、ページ階層

決定、階層間移動を行う。

14

2.4 評価方法

提案方式の有効性を検証するために、アプリケーションからストレージへの I/O と

ページ階層間移動をシミュレーションし、ストレージ I/O性能を求める。

2.4.1 評価項目

情報システムは、情報システム利用者と締結したサービスレベルに関する契約(SLA:

図 2-2 長短異なる I/O数計測期間に基づくデータ配置適正化方式概要

サーバ


ストレージ

SSD階層用SSDボリューム



ページ

リードライト



長周期・短周期ページI/O数計測機能

ページマッピングテーブル

1時間毎

24時間毎

短期移動領域

長期移動領域


15

Service Level Agreement)により定められた性能を、情報システム利用者に提供しな

ければならない。例えば、全要求数の 99.9%に対して 300ミリ秒以内に応答すること

などが SLAとして定められる[69][70]。情報システム提供者は、この SLAを達成する

ためにサービスレベル目標(SLO: Service Level Objective)を設定する。システムの応

答時間が SLA により定められている場合は、SLO は、例えば、ストレージの応答時

間となる。よって、本研究では I/O性能をストレージの応答時間として評価する。

ストレージ I/O 平均応答時間𝑅𝑇𝑜𝑡𝑎𝑙は、式(2-4)を用いて計算する。I/O 応答時間は、

I/O先階層、リード・ライト種別、階層間移動中であるかにより異なる。よって、式(2-4)

に示す通り、I/O先階層、リード・ライト種別、階層間移動状態ごとの I/O 平均応答時

間をそれぞれの I/O数で重みづけし、ストレージ I/O平均応答時間を求める。

𝑅𝑇𝑜𝑡𝑎𝑙 = (𝑅𝑆,𝑅𝑛𝑆,𝑅 + 𝑅𝑆,𝑊𝑛𝑆,𝑊 + 𝑅𝑆,𝑅,𝑀𝑛𝑆,𝑅,𝑀 + 𝑅𝑆,𝑊,𝑀𝑛𝑆,𝑊,𝑀

+𝑅𝐻,𝑅𝑛𝐻,𝑅 + 𝑅𝐻,𝑊𝑛𝐻,𝑊 + 𝑅𝐻,𝑅,𝑀𝑛𝐻,𝑅,𝑀 + 𝑅𝐻,𝑊,𝑀𝑛𝐻,𝑊,𝑀)

/(𝑛𝑆,𝑅 + 𝑛𝑆,𝑊 + 𝑛𝑆,𝑅,𝑀 + 𝑛𝑆,𝑊,𝑀 + 𝑛𝐻,𝑅 + 𝑛𝐻,𝑊 + 𝑛𝐻,𝑅,𝑀 + 𝑛𝐻,𝑊,𝑀)

………………(2-4)

ここで、𝑛は I/O先階層および I/O種別ごとの I/O回数を示す。𝑅および𝑛の添え字に S

が含まれている場合は、I/O先が SSD階層、Hが含まれている場合は、I/O先が HDD

階層であり、Rが含まれている場合はリード要求、Wが含まれている場合はライト要

求であり、Mが含まれている場合は階層間移動中の I/O であり、含まれていない場合

は、階層間移動中でないことを示す。

2.4.2 ボリューム階層化方式の評価シミュレータ

ストレージ I/O 平均応答時間を求めるために、Perl 言語を用いて筆者らが開発した

シミュレータを使用し、ストレージへの I/O およびページの階層間移動をシミュレー

ションする。シミュレーションモデルを図 2-3 に示す。ボリューム階層化機能は、ア

プリケーションから I/Oを受け付け、I/O先アドレスから I/O先階層を特定し、その階

層に I/Oを転送し、このときに、ページごとの I/O数を数える。階層決定機能は、I/O

数計測期間が経過するたびに、ページごとの I/O数と式(2-1)または式(2-3)に基づいて

ページの階層を決定する。階層間移動のために、各階層に移動のための I/O を発行す

る。このときに、I/O 数が多いページから SSD 階層に移動し、I/O 数が少ないページ

からHDD階層に移動する。

16

階層間移動中は、アプリケーションからの I/O と、階層間移動のための I/O が混在

し、階層間移動中のHDD の I/O平均応答時間は長くなる。HDDの稼働率は、階層間

移動時に階層間移動率𝑠だけ高くなるため、HDD の I/O 平均応答時間はこの分低下す

ると仮定する。したがって、階層間移動中のHDD リード I/O平均応答時間𝑅𝐻,𝑅,𝑀およ

び HDD ライト I/O 平均応答時間𝑅𝐻,𝑊,𝑀を、階層間移動中でないときの HDD リード

I/O 平均応答時間𝑅𝐻,𝑅および HDD リード I/O 平均応答時間𝑅𝐻,𝑊と、階層間移動率𝑠を

用いて、式(2-5)および式(2-6)により定義する。

𝑅𝐻,𝑅,𝑀 =𝑅𝐻,𝑅1 − 𝑠

…………………………………………………………………(2-5)

𝑅𝐻,𝑊,𝑀 =𝑅𝐻,𝑊1 − 𝑠

…………………………………………………………………(2-6)

階層間移動中の SSD リード I/O 平均応答時間𝑅𝑆,𝑅,𝑀および SSD ライト I/O 平均応

答時間𝑅𝑆,𝑊,𝑀も同様に、階層間移動の転送分だけ SSD の稼働率が上がり、I/O 平均応

答時間が長くなると仮定する。したがって、これらを、階層間移動中でないときの SSD

リード I/O平均応答時間𝑅𝑆,𝑅および SSDライト I/O平均応答時間𝑅𝑆,𝑊、SSDリードス

ループット性能𝑇𝑆,𝑅、SSD ライトスループット性能𝑇𝑆,𝑊、階層間移動速度𝑇を用いて、

式(2-7)および式(2-8)により定義する。

図 2-3 シミュレーションモデル

仮想ボリューム制御機能


階層決定機能

アプリケーションのI/O

階層間移動のI/O(スループット )

階層マッピング情報


I/O要求

SSD階層

SSD

SSD

I/O数計測応答時間

HDD階層

SSD

SSD

I/O数計測応答時間

17

𝑅𝑆,𝑅,𝑀 =

𝑅𝑆,𝑅

1 −𝑇𝐻𝑇𝑆,𝑅

𝑠

……………………………………………………………(2-7)

𝑅𝑆,𝑊,𝑀 =

𝑅𝑆,𝑊

1 −𝑇𝐻𝑇𝑆,𝑊

𝑠

……………………………………………………………(2-8)

それぞれの階層は、I/Oを受け付ける。I/O平均応答時間は、階層、リード・ライト

種別、階層間移動状態により異なるため、これらの I/O数をそれぞれ記録する。

2.4.3 シミュレーション条件

各階層における記録装置 1 台の性能を表 2-1 に示す。各ベンダのエンタープライズ

用途の SSD4およびHDD5のそれぞれの性能の平均値を用いる。ストレージのドライブ

台数は、ストレージの最大搭載ドライブ台数[14][15]に基づき、1,500台とする。スト

レージの全容量を、147 GB の HDD 1,500 台分とし、I/O 性能を重視するために

RAID10を構成し、110 TBとする。

ボリューム階層化機能を適用する場合、ページサイズは、一般的に数 100 KB から

1 GBである。ページサイズを小さくすることにより細かな制御が可能となりより多く

の I/Oを SSD階層に集中できるが、ページ数が増加するため、ページ管理テーブルサ

イズが増加し、階層決定処理負荷が増加する。一方、ページサイズを大きくすると、

ページ管理負荷は減少するが、ページサイズが大きいため、1 つのページにアクセス

4 HGST: “Ultrastar SSD400M”,

http://www.hgst.com/solid-state-storage/enterprise-ssd/sas-ssd/ultrastar-ssd400m

Seagate: “Pulsar.2”,

http://www.seagate.com/jp/ja/internal-hard-drives/solid-state-hybrid/pulsar-solid-state

-drives/

Toshiba: “PX02SMF020”, http://www.semicon.toshiba.co.jp/eng/product/storage/

selection/built-in/enterprise_ssd/PX02SMB_PX02SMFxxx.html 5 HGST: “Ultrastar C15K147”,

http://www.hgst.com/tech/techlib.nsf/techdocs/C94F4F5B96108B1C8625761E0054E57

E/$file/USC15K147_DS_final.pdf

Seagate: “SavvioR 15K.3”,

http://www.seagate.com/jp/ja/internal-hard-drives/enterprise-hard-drives/hdd/savvio-1

5k/

Toshiba: “MK1401GRRB”,

http://www.semicon.toshiba.co.jp/eng/product/storage/selection/built-in/enterprise_hdd

/MKxxxx01GRRB_GRRR.html

18

が集中する領域と、しない領域が混在することとなる。これらおよび先行研究[22]を

考慮し、本シミュレーションではページサイズを 10 MBとする。SSD階層容量率ℎは、

5%から 30%まで 5%ずつ変化させる。アプリケーションからの I/Oには局所性がある

こと、SSD階層に用いる記録媒体は高価であることから、SSD階層容量率を一部分に

抑えることが一般的である。よって、本シミュレーションでは SSD階層容量率を 30%

までとする。

次に、I/Oログデータについて説明する。実稼働環境での有効性を検証するために、

表 2-2 シミュレーション条件

条件 2

高頻度 I/O

条件 3

高・低頻度 I/O

条件 4

低頻度 I/O

条件 A

負荷変化

条件 2A

Log 1: 47 KIOPS

Log 2: 114 KIOPS

条件 3A

Log 1: 35 KIOPS

Log 2: 84 KIOPS

条件 4A

Log 1: 23 KIOPS

Log 2: 54 KIOPS

条件 B

負荷変化・

無変化

条件 2B

Log 1: 93 KIOPS

Log 2: 228 KIOPS

条件 3B

Log 1: 70 KIOPS

Log 2: 168 KIOPS

条件 4B

Log 1: 46 KIOPS

Log 2: 109 KIOPS

条件 C

負荷無変化

条件 2C

Log 1: 188 KIOPS

Log 2: 455 KIOPS

条件 3C

Log 1: 139 KIOPS

Log 2: 336 KIOPS

条件 4C

Log 1: 91 KIOPS

Log 2: 218 KIOPS

表 2-1 各階層の性能

SSD階層 HDD階層

記号値記号値

容量 𝐶𝑆 200 GB 𝐶𝐻 147 GB

種別 − MLC − 15K rpm

リード応答時間 𝑅𝑆,𝑅 80 μs 𝑅𝐻,𝑅 4.77 ms

ライト応答時間 𝑅𝑆,𝑊 85 μs 𝑅𝐻,𝑊 4.90 ms

ランダムライト性能 𝐼𝑆,𝑅 74,667 IOPS 𝐼𝐻,𝑅 210 IOPS

ランダムライト性能 𝐼𝑆,𝑊 21,333 IOPS 𝐼𝐻,𝑊 204 IOPS

シーケンシャルリード性能 𝑇𝑆,𝑅 588 MB/s 𝑇𝐻 157 MB/s

シーケンシャルライト性能 𝑇𝑆,𝑊 328 MB/s

19

本シミュレーションでは、Webサーバ、メールサーバ、ホームディレクトリなど、さ

まざまなアプリケーションが動作している環境で採取した、I/O の局所性が異なる 2

種類のログデータを使用する。これらをそれぞれ Log 16、Log 2 [68]7と呼ぶ。Log 1

と Log 2の大きな違いは、Log 1よりも Log 2の方が I/Oの局所性が高いことである。

本シミュレーションにおいて想定するストレージは多くのHDDおよびSSDを搭載し、

大容量であることから、さまざまなアプリケーションから使用されることが想定され

るため、上記 I/Oログデータを使用する。I/Oログデータをオリジナルのまま適用し、

シミュレーションする条件を条件 1 とする。実環境では、I/O が多い場合・少ない場

合、アクセスされる範囲が移動する場合・移動しない場合を想定できるため、これら

の条件を I/Oログデータに基づき作成する。

I/O ログデータを基に作成した I/O パターンを適用するシミュレーション条件を表

2-2に示す。上段は条件名、中段および下段はそれぞれ Log 1、Log 2における単位時

間当たりのアプリケーションからストレージへの I/O 数を示す。条件 2 は、I/O 数が

多い場合を模擬するために、Log 1は午前 2時から午前 7時まで、Log 2は午前 4時

から午前 9 時までの 6 時間のログデータを繰り返す条件とした。条件 4 は、I/O 数が

少ない場合を模擬するために、Log 1 は I/O数が少ない午前 9 時から午後 2 時まで、

Log 2は午前 11時から午後 4時までの 6時間のログデータを繰り返す条件とする。条

件 3 は、I/O 数が条件 2 より少なく、条件 4 より多い場合を模擬するために、Log 1

は条件 2 で使用する午前 2 時から午前 7 時までの 6 時間と、条件 4で使用する午前 9

時から午後 2時までの 6時間を交互に繰り返す条件とし、Log 2は午前 4時から午前

9時までの 6時間と、午前 11時から午後 4時までの 6時間を交互に繰り返す条件とす

る。I/O ログデータの 1 時間ごとの I/O 数を図 2-4 に示す。縦軸は、24 時間中の最大

値を 100%とする 1時間ごとの I/O数を示す。

実環境では、同一のアプリケーションが動作し続け、アクセスされる領域が変化し

ない場合と、時間帯により異なるアプリケーションが動作し、アクセスされる領域が

変化する場合を想定できる。条件 A は、6 時間おきにアクセスされるボリュームが変

わり、アクセスされる領域が変化する場合を模擬した条件である。条件 Cは、アクセ

6 Hewlett-Packard Development Company: “Cello99 Traces”,

http://tesla.hpl.hp.com/opensource/ 7 Storage Networking Industry Association: “MSR Cambridge Traces”,

http://iotta.snia.org/traces/388

20

スされるボリュームが変わらず、アクセスされる領域が変化しない場合を模擬した条

件である。条件 B は、6 時間おきにアクセスされるボリュームが変わるが次の 6 時間

では元のボリュームがアクセスされ、以降、交互にアクセスされ、アクセスされる領

域が変化するが、変化する度合いが小さい場合を模擬した条件である。

条件 2、3、4 と条件 A、B、C をそれぞれ組み合わせ、条件 2A から４C までの 9

通りの条件を生成する。全ての条件において、アクセスされるボリュームは全て同一

ストレージ上にあるものとする。

Log 1の条件 1 (Log 1-1)から条件 4 (Log 1-4)まで、Log 2の条件 1 (Log 2-1)から条

件 4 (Log 2-4)までの I/O分布を図 2-5に示す。これは、アクセスされるページ数と、

I/O数の関係を示しており、例えば、Log 1の条件 1では、10%の I/Oは 50%のページ

に集中し、20%の I/O は 70%のページに集中している。Log 1の条件 2から 4におけ

る I/O は分散しており、ほぼ同様の I/O 分布である。Log 2 の条件 4 における I/O は

最も集中しており、3%のページに 90%の I/Oが集中している。Log 2は、Log 1と比

較して局所性が低い。

次に、I/O数計測期間について説明する。図 2-4から、Log 1および Log 2の I/O数

の変化は 2 から 4 時間程度持続することから、従来方式では、I/O 数計測期間𝑝を 1、

2、3、4、6、12、24 時間と変化させる。提案方式では、短期移動容量率𝑚を 10%か

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

最大

I/O数に対する

I/O数の割合

時刻 [時]

Log 1 Log 2

図 2-4 1時間ごとの I/O数

21

ら 90%まで 10%ずつ増加させる。短期 I/O数計測期間を Log 1および Log 2の特性か

ら 1時間とする。長期 I/O数計測期間は、I/Oログデータは 24時間周期で負荷が変動

していることから 24 時間とする。階層間移動率𝑠は、10%から 50%まで変化させる。

2.5 シミュレーション結果

2.5.1 オリジナルログデータを用いたシミュレーション結果と考察

本節では、条件 1 におけるシミュレーション結果と考察について述べる。図 2-6 に

Log 1適用時、図 2-7に Log 2適用時の階層間移動率が 10%の場合におけるストレー

ジ I/O応答時間削減率をSSD階層容量率ごとに示す。横軸は、階層間移動条件を示す。

従来方式の場合は、I/O数計測時間を示し、提案方式の場合は、短期移動容量率を示

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 20% 40% 60% 80% 100%

全I/

Oに対する

I/O率

全容量に対する容量率

Log 1-1 Log 1-2

Log 1-3 Log 1-4

Log 2-1 Log 2-2

Log 2-3 Log 2-4

図 2-5 ログデータの I/O分布

22

80%

90%

100%

110%

120%

130%

140%

10

%

20

%

30

%

40

%

50

%

60

%

70

%

80

%

90

% 1h 2h 3h 4h 6h

12

h

24

h

ストレージ

I/O平均応答時間

条件

5% 10% 15%

20% 25% 30%SSD階層容量率

提案方式適用時

従来方式適用時

1.3

1.2

1.4

1.1

1.0

0.9

0.8

短期移動容量率 I/O数計測期間

50%

60%

70%

80%

90%

100%

110%

120%

10%

20%

30%

40%

50%

60%

70%

80%

90% 1h 2h 3h 4h 6h

12h

24h

ストレージ


条件

5% 10% 15%


提案方式適用時

従来方式適用時


1.2

1.1

1.0

0.9

0.8

0.7

0.6

0.5

図 2-6 Log 1適用時におけるストレージ I/O平均応答時間

図 2-7 Log 2適用時におけるストレージ I/O応答時間削減率

23

す。縦軸は、ストレージ I/O 平均応答時間を示す。ストレージ I/O 平均応答時間は、

従来方式において、SSD 階層容量率が同一であり、I/O 数計測時間が 1 時間の場合の

ストレージ I/O応答時間を 1としたときの値である。

Log 1 に従来方式を適用する場合において、最もストレージ I/O 応答時間が短縮さ

れたのは、SSD階層容量率にかかわらず、I/O数計測期間が 1時間の時である。Log 2

適用時において、SSD 階層容量率が少ない場合は、I/O数計測期間が 1時間の場合に、

SSD階層容量率が高い場合は、I/O数計測期間が 24時間のときにストレージ I/O応答

時間が最も短縮された。Log 2において、I/Oのピークは 1から 2時間であるため（図

2-4参照）、I/O数計測期間が 1時間の場合は、I/Oが集中した領域に SSD 階層を割り

当てたときに I/Oのピークは終わってしまっている。一方、Log 1では、I/Oのピーク

が午前 3 時から午前 6 時までと長いため、I/O 数計測期間が 1 時間の場合に I/O が集

中した領域に SSD 階層を割り当てることにより、SSD 階層への I/O が増加する。よ

って、ピークが長く続く場合において、従来方式適用時にストレージ I/O 応答時間を

短くするためには、I/O数計測期間を短くすればよい。

提案方式適用時において、短期移動容量率が 30%のとき、ストレージ I/O 応答時間

削減率が最大となり、Log 1では 17.9%、Log 2では 44.9%である。Log 1において、

SSD階層容量率が 20%以上の場合は、短期移動容量率にかかわらず、従来方式と比較

してストレージ I/O 応答時間が短縮されている。SSD 階層容量率が 10%および 15%

の場合は、短期移動容量率により、ストレージ I/O 応答時間が短縮されている場合と

されていない場合がある。SSD 階層容量率が 5%の場合は、従来方式よりもストレー

ジ I/O応答時間が長くなっている。これは、短期間で I/Oが集中する領域が、SSD容

量よりも大きいからと考えられる。従来方式適用時、I/O 数計測期間が 1 時間の場合

において、I/O 数が増加するときに、I/O が集中する領域に SSD 階層が割り当たるま

でに最長で 1時間かかる。一方、提案方式適用時は、I/Oが集中する領域に SSD階層

をあらかじめ割り当てることとなるため、I/O 数が増加するときに、I/O を SSD 階層

が処理でき、I/O を高速化できる。SSD 階層容量率が 20%以上の場合は、I/O 数が増

加する午前 3から 6時までの間に I/Oが集中する領域に十分な容量の SSD階層を割り

当てることができ、ストレージ I/O応答時間を短縮できる。しかし、SSD 階層容量率

が 15%以下の場合は、I/Oが集中する領域に対して十分な容量の SSD階層を割り当て

られないため、従来方式適用時の方がストレージ I/O 応答時間を短縮できると考えら

24

れる。

提案方式適用時において、ストレージ I/O 応答時間削減率が最大となるのは、SSD

階層容量率が 30%の場合は、短期移動容量率が 30%の時であり、このときの短期移動

領域の容量率は、30%×30% = 9%である。同様に、ストレージ I/O応答時間削減率が

最大となる時の短期移動領域の容量率は、SSD階層容量率が 20%の場合は 6%、同 10%

の場合は 7%である。よって、Log 1において短期移動領域は 6%から 9%あればよく、

残りの長期移動領域が大きくなるほど、提案方式の効果は大きくなると考えられる。

Log 2 では、短期移動容量率にかかわらず、従来方式と比較してストレージ I/O 応

答時間が短縮されている。10%のページに 80%の I/O が集中しており、I/O の局所性

が高いため、SSD階層容量率が 5%の場合においても、I/O数が増加する時間帯にアク

セスされる領域に十分な容量の SSD階層を割り当てられるからと考えられる。よって、

条件 1では、局所性が高い場合、または、SSD階層容量率が高い場合に、提案方式が

有効である。図 2-7において従来方式適用時の I/O数計測期間が 12時間のときのみス

トレージ I/O 平均応答時間が長くなっている。これは、0 時からと 12 時からでは I/O

が集中する領域が異なり、I/O量が多くなる 8時から 10時までの間にHDD階層への

I/Oが集中するためである。

図 2-8に、階層間移動率が 10%の場合における、Log 1 適用時の平均階層間移動量

を示す。横軸は、図 2-6 と同様に階層間移動条件を示す。縦軸は、従来方式適用時の

I/O数計測期間が 24時間の場合の階層間移動ページ数を 1とするときの、階層間移動

ページ数の割合である。

従来方式適用時では、I/O 数計測期間が短くなると階層間移動量が増加することが

分かる。この傾向は Log 2においても同様である。SSD階層容量率が 10%の場合、I/O

数計測期間が 1時間の場合は、24時間の場合と比較して 24.3倍である。I/O数計測期

間を短くすると、ストレージ I/O 平均応答時間削減率を向上できるが、階層間移動量

は増加することが分かる。

提案方式適用時では、短期移動容量率が小さくなると、階層間移動量が減少する。

この傾向は Log 2においても同様である。SSD階層容量率が 30%、短期移動容量率が

30%の時に、ストレージ I/O 平均応答時間削減率が最大であった。この時の階層間移

動量は、従来方式において I/O 数計測期間が 1 時間の場合の階層間移動量よりも少な

い。よって、提案方式は、ストレージ I/O 性能を向上し、さらに階層間移動量を削減

25

できる。これは、長期にわたり I/O 数が多いページを SSD 階層に固定してあるため、

I/O数が増加するときに、ページの移動を待つことなく高速に I/Oでき、階層間ページ

移動が不要になるからと考えられる。

さらに、SSD階層容量率が 30%の場合において、提案方式適用時の短期移動容量率

が 10%のときの階層間移動量は、従来方式適用時の I/O数計測期間が 1時間の場合の

階層間移動量より、ストレージ I/O 応答時間削減率を減少させることなく、51.2%減

少している。Log 2 の場合は、同条件において、提案方式の適用により、ストレージ

I/O応答時間削減率を減少させることなく階層間移動量を 39.7%削減する。

図 2-9 に、全 I/O に対する階層間移動中の I/O の割合を示す。横軸は、図 2-6 と同

様に階層間移動条件を示す。縦軸は、全 I/O に対する階層間移動中の I/O の割合を示

す。提案方式、従来方式のどちらの場合においても、階層間移動率が低い場合に、階

層間移動中の I/O が多い傾向がみられる。提案方式適用時に、短期移動容量率が減少

すると、階層間移動中の I/O の割合も減少している。階層間移動中はストレージ I/O

応答時間が長くなることから、提案方式を適用し、小さい短期移動容量率を選択する

0

5

10

15

20

25

10

%

20

%

30

%

40

%

50

%

60

%

70

%

80

%

90

% 1h 2h 3h 4h 6h

12

h

24

h

移動ページ数

(2

4h

= 1

)

条件

5% 10% 15%


提案方式

従来方式


図 2-8 Log 1適用時の平均階層間移動量

26

ことにより、階層間移動によるストレージ I/Oの応答時間の増加を抑えられる。

2.5.2 作成したログデータを用いたシミュレーション結果と考察

本節では、表 2-2において示した条件 2Aから条件 4Cまでのシミュレーション結果

について考察する。図 2-10に Log 1適用時、図 2-11に Log 2適用時の、階層間移動

率が 10%の場合における、提案方式適用時のストレージ I/O 応答時間削減率を示す。

横軸は、シミュレーション条件を示す。縦軸は、各 SSD階層容量率において、従来方

式適用時に最短となるストレージ I/O 応答時間を基準とする時の、提案方式適用時の

最短となるストレージ I/O応答時間の削減率である。

Log 1において、条件 1、2C、3C、4Cでは、SSD階層容量率の増加に伴い、スト

レージ I/O 応答時間削減率が向上している。条件 2C、SSD 階層容量率が 30%のとき

に、ストレージ I/O 応答時間削減率が最大となり 22.3%である。一方、Log 1 のそれ

以外の条件では、ストレージ I/O 応答時間削減率は 3.5%から-4.8%となっている。条

件 A、条件 Bにおいて、時間の経過に伴い I/Oの範囲が変化するが、長期移動領域は、

0%

5%

10%

15%

20%

25%

10

%

20

%

30

%

40

%

50

%

60

%

70

%

80

%

90

% 1h 2h 3h 4h 6h

12

h

24

h

階層間移動中の

I/O数の割合

条件

10% 20% 30% 40% 50%階層間移動率

提案方式

従来方式


図 2-9 全 I/Oに対する階層間移動中の I/Oの割合

27

-5% 0% 5% 10% 15% 20% 25%

1

2A

2B

2C

3A

3B

3C

4A

4B

4C

ストレージI/O平均応答時間

条件

5% 10% 15% 20% 25% 30%SSD階層容量率

図 2-10 Log 1適用時における提案方式適用時のストレージ I/O 応答時間

28

0% 10% 20% 30% 40% 50% 60%

1

2A

2B

2C

3A

3B

3C

4A

4B

4C

ストレージI/O平均応答時間

条件

5% 10% 15% 20% 25% 30%SSD階層容量率

図 2-11 Log 2適用時における提案方式適用時のストレージ I/O 応答時間

29

24時間移動しない。条件 Aの場合では、長期移動領域は 24時間中 6時間しかアクセ

スされないこととなるため、ストレージ I/O 応答時間削減率が低くなっていると考え

られる。条件 C において、SSD 階層容量率の増加により、十分な容量の SSD 階層を

割り当てることができ、ストレージ I/O 応答時間削減率が向上すると考えられる。特

に条件 2C の場合は、大きな I/O のピークがあり、I/O が集中する領域に SSD 階層を

割り当てることができるため、ストレージ I/O 応答時間削減率が大きく向上すると考

えられる。以上から、I/O の局所性が低い場合において、提案方式は I/O 範囲が変化

せず、SSD階層容量率が高い場合に適している。

Log 2 において提案方式適用時に、どの条件においてもストレージ I/O 応答時間削

減率は 0%より大きい。これは、Log 2の I/Oの局所性が高いため、SSD階層容量率が

5%程度あれば I/Oが集中する領域をカバーできるからと考えられる。Log 2において

局所性が低い条件 2 は、ストレージ I/O 応答時間削減率が低く、局所性が高い条件 4

は、ストレージ I/O応答時間削減率が高い(図 2-5参照)。これは、局所性が高い場合は、

長期移動領域が小さい場合においても多くの I/O が集中するからと考えられる。以上

から、I/Oの局所性が高い場合において、提案方式は有効である。

以上から、提案方式は、I/Oの局所性が高い場合に有効であり、さらに、I/Oの局所

性が低い場合は、I/O 範囲の変化が小さく、SSD階層容量率が高い場合に有効である。

本方式は、Log 1、Log 2が採取された環境において動作していたWebサーバ、メー

ルサーバ、ホームディレクトリなどの異なるアプリケーションのデータを格納するス

トレージの I/O 応答時間を短縮するのに有効であると考えられる。また、局所性が高

い場合に有効であることから、インデックスへのアクセスが集中するデータベースプ

ログラムのデータを格納するストレージに有効と考えられる。データベースプログラ

ムは、インターネットバンキング、オンラインショッピングサイトなどのオンライン

トランザクション処理(OLTP: Online Transaction Processing)などで使用される。さ

らに、企業において個人の PC (Personal Computer)を仮想化し、集約する VDI

(Virtual Desktop Infrastructure)環境において、始業時に一斉に個人の仮想 PCの OS

起動するときに発生する大量の I/Oに対して有効と考えられる。

30

2.6 結言

SSD階層と HDD 階層の使いこなしによるシステム全体性能向上と、階層間移動量

の低減を目的とし、長短異なる I/O 数計測期間に基づくデータ配置適正化方式を提案

した。提案方式適用時に、I/Oが集中する領域が変化する場合にあらかじめ SSD階層

を割り当てておくこととなり、階層間データ移動量を増加させずにシステム全体性能

を最大で 44.9%向上できる。また、短期 I/O数計測期間を適用する SSD階層領域と長

期 I/O数計測期間を適用する SSD階層領域の割合を変化させることにより、I/O性能

を低下させずに階層間データ移動量を最大 51.2%削減できる。提案方式は、I/O の局

所性が高い場合、または、アクセス範囲の移動が少ない場合に有効である。さらに、

従来方式と比較して階層間移動量を削減でき、システム全体性能の向上に寄与する。

今後の課題として、SSD階層をさらに分割する場合の評価が挙げられる。提案方式

では、SSD階層を 2つに分割しているが、例えば、3つに分割することが考えられる。

この場合は、I/O数計測期間を 1時間、6時間、24時間とし、3つに分割した SSD階

層の容量を変化させ評価することが考えられる。

31

第3章

ボリューム階層化方式と SSD キャッシュ

方式の併用時の評価

3.1 緒言

本章では、ボリューム階層化方式と SSDキャッシュ方式の併用時における I/O性能

について評価する。

ボリューム階層化方式は、アクセス数が多い領域を SSD階層に配置することにより、

I/Oを高速化する。しかし、SSD階層・HDD階層間のデータの入れ替え周期は、例え

ば 30分から 24時間であるため、I/Oが集中する領域が変化したときに、I/Oを高速化

するまで時間がかかる。一方、SSDキャッシュ方式は、アクセスされた領域を直ちに

SSDにキャッシュすることにより、2度目以降のアクセスを高速化する。しかし、I/O

が分散する場合は、キャッシュしたデータはアクセスされることなくキャッシュから

追い出され、I/O 性能が向上しない。また、ライトをキャッシュした領域の追い出し

が頻繁に発生する場合は、ライトしたデータをHDDに反映する必要があるため、HDD

に負荷がかかり性能が低下する可能性がある。

そこで本章では、上記課題を解決するために、両方式を併用する方式を提案する。

I/O 数、リード・ライト比、I/O の局所性など I/O 特性や、各方式に使用する SSD の

台数により、両方式併用時の効果は異なると想定される。本章では、多様な状況を想

定して両方式併用時の有効性を I/O シミュレーションにより評価し、ボリューム階層

化方式と SSDキャッシュ方式を併用する場合に有効となる条件を明確化する。

以下、3.2 節において SSD キャッシュの動作を説明し、2.2 節において説明したボ

リューム階層化方式と、データ制御方式と I/O性能を比較する。3.3節において、ボリ

ューム階層化方式と、SSDキャッシュ方式を併用する場合の処理方式について説明す

る。3.4節において、ボリューム階層化方式と SSDキャッシュ方式の併用時のシミュ

レーション条件を説明する。3.5節において、シミュレーション結果を説明する。

32

3.2 ボリューム階層化方式と SSDキャッシュ方式

3.2.1 ストレージシステム概要

ボリューム階層化方式と SSD キャッシュ方式の併用時におけるストレージシステ

ムの概要を図 3-1 に示す。ストレージは、サーバに提供する仮想ボリューム、仮想ボ

リュームを制御するボリューム階層化機能、DRAM キャッシュ機能、SSD キャッシ

ュ機能、DRAM、SSD ボリューム、HDD ボリュームから構成される。仮想ボリュー

ムは、ページと呼ぶ細かい領域から構成される。各ページには HDD ボリュームから

構成される HDD 階層または SSD ボリュームから構成される SSD 階層の領域が割り

当てられる。ボリューム階層化機能は、階層マッピング情報を管理し、サーバ上のア

プリケーションからの仮想ボリュームへのアクセスに従い、SSD階層または HDD階

層から読み込み、もしくは、SSD階層またはHDD階層への書き込みを行う。仮想ボ

リューム上の全てのデータは、SSD階層またはHDD階層に配置される。

3.2.2 SSDキャッシュ方式

SSDキャッシュ機能は、1度アクセスしたデータを SSDに保持することにより、2

度目以降のアクセスを高速化する機能である。キャッシュ処理は、ページよりも小さ

いセグメントと呼ぶ単位で行う。

サーバからのリード要求受付時に、SSDキャッシュ機能は、SSDキャッシュテーブ

ルを参照し、リード対象データが SSD上に存在するか確認する。存在する場合は、SSD

からデータをリードし、その結果をサーバに送信する。存在しない場合は、リード要

求をボリューム階層化機能にデータを転送し、その結果をサーバに返し、SSDに格納

する。このとき、SSDに空き領域がない場合は、領域を確保してからリード結果を格

納する。この時に、SSD から追い出すデータを決定する方式として LRU (Least

Recently Used)アルゴリズムなどが提案されている。リード要求受付時に、リード対

象データが SSD 上に存在する場合を SSD キャッシュヒットと呼び、存在しない場合

を SSDキャッシュミスと呼ぶ。

サーバからのライト要求受付時に、SSDキャッシュ機能は、SSD上の空き領域にデ

ータを格納し、ライトが完了したことをサーバに通知する。空き領域がない場合は、

33

空き領域を確保してから上記の処理を行う。この時に、SSDに格納したデータは SSD

階層またはHDD階層に反映されていないことを記録しておき、このデータを SSDか

ら追い出すときに、データを反映する。ストレージシステム内はすべて冗長化されお

り、データを失うことはないため、最終的なデータ格納領域である SSD 階層または

HDD 階層にデータを格納する前に、SSD キャッシュに格納することにより、サーバ

にライトが完了したことを通知する。

SSD キャッシュ機能は、DRAM キャッシュ機能と階層機能の間に位置する機能で

ある。DRAM キャッシュ機能は、キャッシュ先が DRAM であることを除き、処理内

図 3-1 ストレージシステム概要

ストレージ

サーバ



キャッシュ用DRAM


DRAMキャッシュ機能 SSDキャッシュ機能

DRAMキャッシュテーブル

リードライト

SSDキャッシュテーブル

ページマッピングテーブルページ移動機能

SSDボリューム


キャッシュ用SSD領域階層間

ページ移動

ページセグメント


34

容は SSDと同等である。サーバからの I/OをDRAMキャッシュ機能が処理し、DRAM

キャッシュミス時のデータのリードと、DRAMキャッシュから追い出されるデータの

ライトを SSD キャッシュ機能が処理する。同様に、SSD キャッシュミス時のデータ

のリードと、SSDキャッシュから追い出されるデータのライトをボリューム階層化機

能が処理する。

SSDと比較して、DRAMは小容量・高価格であるため、キャッシュ可能な容量は、

SSDキャッシュの方が大きい。

3.2.3 特徴の比較

表 3-1に、ボリューム階層化方式と SSDキャッシュ方式の特徴を示す。データ制御

について、ボリューム階層化方式では、SSDに配置すべきデータを HDD から移動す

るのに対し、SSDキャッシュ方式ではデータをコピーする。SSDキャッシュ方式では、

データを二重に持つため、容量効率はボリューム階層化方式の方が良い。このため、

SSDキャッシュ方式ではセグメントサイズは小さい方が望ましい。また、ボリューム

階層化方式において、I/O数が少なくなったページについて、データを SSD から HDD

に移動する必要があるのに対し、SSDキャッシュ方式では、ライトデータが未反映で

あるセグメントのみ SSD階層またはHDD階層にコピーすればよい。

ボリューム階層化方式においてページサイズは 1 MBから 1 GBである。適正化契

機は 30分から 1日ごとであり、大きな単位でゆっくりデータ配置を適正化する。例え

ば、アクセスされるたびに階層間移動するなど、適正化間隔を短くすると、HDDおよ

びSSDの負荷が大きくなりアプリケーションからの I/Oに悪影響を与える可能性が高

くなる。よって、ボリューム階層化方式では通常 I/O への影響を抑えるために、適正

化間隔を長くし、階層間移動速度を抑える必要がある。一方、SSDキャッシュ方式で

は、セグメントサイズは数 KB から数百 KB である。セグメントサイズはページサイ

ズと比較してが小さいため、キャッシュミスするたびにデータをコピーする場合にお

いても通常 I/Oへの影響は小さく、頻繁にデータ配置を適正化できる。

データ配置について、ボリューム階層化方式では、I/O数が多いページを SSDに配

置する。このとき、I/O数が少ないページを SSDから追い出す。この追い出すページ

を決定するアルゴリズムを LFU (Least Frequently Used)という。SSD キャッシュ方

35

式では、アクセスされたセグメントを SSDに配置する。このとき、あるセグメントを

キャッシュから追い出す。例えば、LRUの場合は、最後にアクセスされてから経過し

た時間が最長であるセグメントをキャッシュから追い出す。

ボリューム階層化方式では、階層間でページを入れ替えていくため、仮想ボリュー

ムの全ページと、SSD階層またはHDD階層の領域との対応関係を管理する必要があ

る。このための管理テーブルの格納先の容量が限られている場合は、ページサイズを

小さくすることはできない。SSDキャッシュ方式では、キャッシュされている領域の

み管理すればよいため、セグメントサイズを小さくすることが可能である。

3.2.4 I/O性能の比較

ボリューム階層化方式は、データ配置適正化の頻度が低いため、ある領域にアクセ

スが集中するようになったときに、I/O 性能が向上するまでに時間がかかる。これに

対して、SSDキャッシュ方式では、2 度目のアクセスから SSDキャッシュヒットし、

I/O性能をただちに向上できる。

ボリューム階層化方式は、データ配置適正化の単位が大きいため、アクセスが集中

する領域が移動したときに、移動先が同一ページ内であれば、1 度目のアクセスから

SSD にアクセスでき、I/O 性能が向上する。また、データ配置適正化の頻度が低いた

め、アクセスが集中する領域が移動した場合においても、再び戻ってきた場合には、1

度目のアクセスから SSD にアクセスできる。SSD キャッシュ方式適用時に、アクセ

表 3-1 ボリューム階層化方式と SSDキャッシュ方式の特徴

ボリューム階層化方式 SSDキャッシュ方式

データ制御移動コピー

ページサイズまたは

セグメントサイズ

大

(1 MBから 1 GB)

小

(数 KBから数百 KB)

制御契機 30分から 24時間経過時キャッシュミス発生時

追い出しアルゴリズム LFUなど LRUなど

管理テーブル全領域を含むキャッシュした

セグメントのみ含む

36

スが集中する領域が移動した場合は、1度目のアクセスは HDDへのアクセスとなる。

2度目以降は SSDへのアクセスとなり高速化できる。

SSD キャッシュ方式において、I/O が分散し、キャッシュの入れ替えが頻繁に発生

する場合は、キャッシュされた領域がアクセスされることなく追い出されるため、I/O

性能を向上できない。追い出される領域が HDD 階層にデータを反映していない場合

は、その時にHDD階層にデータをライトしなければならない。

3.3 階層化ボリューム・SSDキャッシュ併用方式

階層化ボリューム・SSDキャッシュ併用方式（以下、併用方式）は、ボリューム階

層化方式と SSD キャッシュ方式を併用する方式である。SSD ボリュームを分割し、

一方をボリューム階層化機能が SSD 階層として、もう一方を SSD キャッシュ機能が

キャッシュとして使用する。本方式では、サーバからのリード・ライト要求受付時に、

SSDキャッシュ機能はリード・ライト要求を処理し、必要に応じてボリューム階層化

機能にリード・ライト要求を転送する。ボリューム階層化機能の動作は 2.2.2 項にお

いて説明した通りである。

SSDキャッシュ機能は、1度リードまたはライトしたデータをキャッシュ用 SSD領

域に保持することにより、2 度目以降の I/O を高速化する機能である。キャッシュ処

理は、ページよりも小さいセグメントと呼ぶ単位で行う。

初めに、SSD キャッシュ機能のサーバからのリード要求受付時の動作を説明する。

SSD キャッシュ機能は、リード先アドレスに割り当てられている階層を確認する。

SSD階層が割り当てられている場合は、SSDキャッシュ機能は、ボリューム階層化機

能に要求を転送する。SSD階層が割り当てられているデータへの I/Oは既に高速化さ

れており、SSD にキャッシュした場合においてもさらなる高速化は見込めないため、

SSDキャッシュ機能を使用しない。HDD階層が割り当てられている場合は、SSDキ

ャッシュ機能は、SSDキャッシュテーブルを参照し、リード対象データがキャッシュ

用 SSD 上に存在するか確認する。存在する場合は、SSD からデータをリードし、そ

の結果をサーバに送信する。存在しない場合は、リード要求をボリューム階層化機能

にデータを転送し、その結果をサーバに返す。このとき、キャッシュ用 SSDに空き領

37

域がない場合は、領域を確保してからリード結果を格納する。

次に、SSD キャッシュ機能のサーバからのライト要求受付時の動作を説明する。

SSD キャッシュ機能は、ライト先アドレスに割り当てられている階層を確認する。

SSD階層が割り当てられている場合は、SSDキャッシュ機能は、ボリューム階層化機

能に要求を転送する。HDD 階層が割り当てられている場合は、SSD キャッシュ機能

は、キャッシュ用 SSDの空き領域にデータを格納し、ライトが完了したことをサーバ

に通知する。空き領域がない場合は、空き領域を確保してから上記の処理を行う。こ

の時に、SSD に格納したデータが SSD 階層または HDD 階層に反映されていないこ

とを記録しておき、このデータを SSDから追い出すときに、データを反映する。スト

レージシステム内はすべて冗長化されおり、データを失うことはないため、最終的な

データ格納領域である SSD 階層または HDD 階層にデータを格納する前に、SSD キ

ャッシュに格納することにより、サーバにライトが完了したことを通知する。

DRAM キャッシュ機能は、キャッシュ先が DRAM であること、階層に関わらずキ

ャッシュすることを除き、処理内容は SSDキャッシュ機能と同等である。サーバから

の I/O を DRAM キャッシュ機能が処理し、DRAM キャッシュミス時のデータのリー

ドと、DRAM キャッシュから追い出されるデータのライトを SSD キャッシュ機能が

処理する。

3.4 評価方法

提案方式の有効性を検証するために、アプリケーションからストレージへの I/O、

ページ階層間移動、SSD キャッシュをシミュレーションし、ストレージ I/O応答時間

を求める。

3.4.1 併用方式のシミュレータ

ストレージ I/O応答時間を求めるために、筆者らが Perl言語を用いて開発したシミ

ュレータを使用し、アプリケーションからストレージへの I/O、DRAM キャッシュ動

作、SSDキャッシュ動作、SSD階層・HDD階層間データ移動をシミュレーションす

る。

38

図 3-2にシミュレーションモデルを示す。I/Oトレースログに基づき、ストレージに

I/O を発行する。I/O トレースログに含まれる情報は、I/O タイムスタンプ、I/O 先ア

ドレス、I/O サイズ、I/O 種別（リードまたはライト）である。DRAM、SSD、HDD

はそれぞれキューを持ち、それぞれの処理時間は I/O 種別（リードまたはライト）に

より異なる。詳細は、3.4.2項において示す。

I/O トレースログに基づき、DRAM キャッシュ機能が DRAM キャッシュ処理を行

う。処理内容は 3.2.2項において示した通りである。本シミュレータにおいて、DRAM

キャッシュ機能は、フルアソシアティブ方式(Fully Associative)によりキャッシュデー

タを管理する。DRAM キャッシュヒットおよびライトの場合は、DRAM のキューに

I/O を登録し、処理時間を I/O の応答時間として記録する。DRAM キャッシュミスの

場合は、I/Oを SSD キャッシュ機能に転送する。

SSD キャッシュ機能における処理内容は 3.2.2 項において示したとおりである。本

シミュレータにおいて、SSDキャッシュ機能はフルアソシアティブ方式によりキャッ

シュデータを管理する。SSDキャッシュヒットおよびライトの場合は、データがキャ

ッシュされているデバイスを特定し、そのデバイスのキューに I/O を登録し、処理時

間を I/O の応答時間として記録する。SSD キャッシュミスの場合は、階層機能に I/O

を転送する。ボリューム階層化機能は、ページマッピングテーブルに基づき、I/O 先

デバイスを特定し、I/Oをデバイスのキューに登録し、処理時間を I/Oの応答時間とし

て記録する。全 I/Oの応答時間の平均をストレージ性能とする。

シミュレータは、DRAMおよび SSDにキャッシュされた未反映データの SSD階層

または HDD 階層への書き込みと、階層間移動のための I/O についても、それぞれの

デバイスのキューに登録する。ただし、これらはアプリケーションからの I/O ではな

いため、ストレージ性能に含めない。


実稼働環境における I/O特性を大きく分類すると、リードが多い場合と少ない場合、

局所性が高い場合と低い場合の組合せの 4 通りである。よって、これらを模擬するた

めに、実稼働環境において記録した I/Oトレースログ8を使用する。トレースログ概要

8 UMass Trace Repository: “OLTP Application I/O”,

http://traces.cs.umass.edu/index.php/Storage/Storage

39

を表 3-2 に示す。本トレースログは、金融機関において稼働しているオンライントラ

ンザクションアプリケーションにおいてストレージへの I/O を記録したものである。

本シミュレーションにおいて、2つの I/Oトレースログ(Financial 1、Financial 2)を

使用する。Financial 1はライトが多く、Financial 2はリードが多いという特徴を持

つ。

図 3-3に I/Oトレースログの I/O分布を示す。例えば、Financial 1は、データ容量

の 20%の領域に、全 I/O数の 57%が集中しており、Financial 2は、20%の領域に 84%

ストレージ

サーバ

アプリケーション (I/Oトレースログ)

DRAMキャッシュ機能


DRAM





キュー

リードライト

SSDキャッシュ

RAIDグループ

SSD

SSD

HDD階層

RAIDグループ

HDD

HDD

SSD階層

RAIDグループ

SSD

SSD


40

の I/Oが集中している。Financial 2の方が I/Oの局所性が高いことが分かる。ライト

が多く局所性が高い場合、リードが多く局所性が低い場合を模擬するために、

Financial 1、Financial 2 のそれぞれにおいてリードとライトを入れ替える条件につ

いてもシミュレーションを行う。

図 3-4 に、シミュレーションにおいて使用するデバイスの 1 台あたりの応答性能を

示す。DRAM、SSD、HDD のキューに入れられた I/O は、図 3-4 に示すデバイスご

と、I/O 種別(リード・ライト)、I/O サイズごとに定めた応答時間により処理される。

図 3-4に示す値は、表 3-3に示す環境において実測した値である。HDDは、アクセス

時にシーク時間、回転待ち時間が発生するため、DRAM や SSD よりも I/O 応答時間

が長い。一般的に、DRAM、SSD、HDD の順に I/O 応答時間が長くなる。SSD およ

び HDD の性能測定時に、遅延書き込みなどの影響を受けないようするために、デバ

イスのマウントオプションとして、同期 I/Oを行う syncを指定した。ファイルシステ

ムは ext2 を使用した。他のファイルシステムである ext3、ext4 は、ファイル更新中

の電源断によるファイルシステムのメタデータと実データとの不一致を防止するため、

メタデータを先行的に書き込むなどのジャーナル処理をしており、それが負荷となり、

性能測定に影響を与える可能性があるためである。

シミュレーションにおいて想定するデバイス台数と負荷量を表 3-4に示す。HDD台

数に対する SSD台数を SSD台数率とする。SSD台数率を 10%、20%、30%と変化さ

せる。ストレージのドライブ台数を、ストレージの最大搭載ドライブ台数[14][15]に基

づき、1,500台を超えない最大の台数とする。この時の SSD台数およびHDD台数は

表 3-4の通りである。デバイス故障からのデータ保護のため、2台のデバイスで RAID1

を構成する。HDD RAID グループ 1つにつき、1 つの I/O トレースログを再生する。

表 3-2 I/Oトレースログ概要

I/Oログ名称 Financial 1 Financial 2

I/O数 825 IOPS 431 IOPS

リード率 15.4% 78.5%

平均 I/Oサイズ 16.1 KB 18.8 KB

容量 8.4 GB 8.4 GB

記録期間 12 時間 8分 11時間 23分

41

例えば、HDD数が 100の場合は、同時に 50の I/Oトレースログをそれぞれの RAID

グループに対して再生する。SSD 全体の台数に対して SSD キャッシュ方式を適用す

る台数を SSDキャッシュ容量率と呼ぶ。SSDキャッシュ方式を適用しない SSDには、

ボリューム階層化方式を適用する。本シミュレーションでは、SSDキャッシュ容量率

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 20% 40% 60% 80% 100%

I/O率

容量率

Financial 1 Financial 2

57%

84%

図 3-3 I/Oトレースログの I/O分布

図 3-4 デバイス応答時間

1

10

100

1000

10000

100000

1 10 100 1000 10000

応答時間

[μ

s]

I/Oサイズ [KB]

DRAM Read DRAM Write SSD ReadSSD Write HDD Read HDD Write

42

を 0%から 100%まで 20%ずつ増加させる。SSDキャッシュ容量率が 0%の場合は、全

ての SSDを SSD階層として使用する。

3.2.3 項において述べた理由から、ボリューム階層化機能におけるページサイズを

10 MB、SSDキャッシュ機能におけるセグメントサイズを 8 KBとする。I/O数計測

期間を 1 時間とする。階層間移動により、I/O 応答時間に影響を与えるため、移動対

象のページを連続して移動するのではなく、移動の転送量が HDD の最大転送量の

10%となるように間隔をあけ、階層間移動を行う。

表 3-4 各シミュレーションにおけるデバイス数

SSD台数率 SSD台数 HDD台数合計

10% 136 1,360 1,496

20% 250 1,250 1,500

30% 340 1,156 1,496

表 3-3 デバイス応答時間測定条件

CPU 4 Cores, 2.13 GHz

メモリ 12 GB

SSD 6 Gbps SATA, MLC, 240 GB

HDD 6 Gbps SATA, 7,200 rpm, 500 GB

OS CentOS 6.4 (Kernel 2.6.32-358)

I/O スケジューラ noop

ファイルシステム ext2

マウントオプション sync

ベンチマーク

ソフトウェア fio 2.0.14

I/O種別ランダムリード・ライト

アクセス範囲 200 GB

43

3.5 シミュレーション結果と考察

3.5.1 ボリューム階層化方式と SSDキャッシュ方式の比較

本項では、ボリューム階層化方式と SSDキャッシュ方式のシミュレーション結果を

比較する。図 3-5 から図 3-8 に、シミュレーション結果のストレージ I/O 平均応答時

間を示す。縦軸は、正規化したストレージ I/O平均応答時間であり、SSD キャッシュ

容量率が 100%のときのストレージ I/O 平均応答時間を 1 としている。横軸は、SSD

キャッシュ容量率を示す。凡例の F1、F2は、それぞれ Financial 1、Financial 2を

示す。rw は I/O トレースログのリードとライトを入れ替えた条件であることを示す。

数値は SSD 台数率を示す。例えば、「F1-10%」は、I/O トレースログが Financial 1

であり、SSD 台数率が 10%の場合を示し、「F2-rw-30%」は、I/O トレースログが

Financial 2であり、リードとライトを入れ替えた条件であり、SSD台数率が 30%の

場合を示す。SSD キャッシュ容量率が 0%のときにボリューム階層化方式のみ適用と

なり、SSDキャッシュ容量率が 100%のときに SSDキャッシュ方式のみ適用となる。

ボリューム階層化方式適用時にストレージ性能が良いのは、F1条件、F1-rw-10%条

件のときである。F1条件はライトが多く、I/Oが分散する場合である。F1条件におい

て、SSD キャッシュ方式適用時に、ライトは DRAM キャッシュに書き込む処理とな

り、キャッシュ済みセグメントへのライトが多い場合は、SSDキャッシュへのライト

は少なくなる。このため、SSDキャッシュへの I/Oが少なくなり、SSDキャッシュの

容量に対してキャッシュされる容量は少なくなる。他の条件では、負荷をかけてから

1 分程度で全ての SSD キャッシュ領域が使用される。これに対して、F1-30%条件で

は、シミュレーション期間内で全ての SSD キャッシュ領域が埋まらない。SSD キャ

ッシュにキャッシュされていないデータが多く、I/O が分散していることから、リー

ドがキャッシュヒットすることが少なく、HDDへのリードが頻発する。一方、ボリュ

ーム階層化方式では、SSDキャッシュ方式よりも HDDへのライト数は多いが、全て

の SSDの領域にページを配置するため、HDDへのリードが少なくなる。

F1-rw-10%条件は、リードが多く I/Oが分散し、SSD容量が少ない条件である。こ

の条件において、SSDキャッシュ方式適用時に、キャッシュミスが頻発するため、ボ

リューム階層化方式と比較して HDD へのリードが多い。F1-rw-20%条件では、SSD

キャッシュ容量率が 100%のときに I/Oが集中する領域をキャッシュできる容量の

44

SSDキャッシュが割り当たるため、このときのストレージ I/O平均応答時間が短縮さ

れる。F1-rw-30%条件では、十分な容量の SSD領域があるため、キャッシュミスの発

生は少なく、ストレージ性能は SSDキャッシュ方式適用時の方が向上する。以上から、

ライトが多く I/Oが分散する場合、および、リードが多く I/Oが分散し、SSD容量が

60%

70%

80%

90%

100%

110%

0 20 40 60 80 100

ストレージ


SSDキャッシュ容量率 [%]

F1-10%

F1-20%

F1-30%

1.1

1.0

0.9

0.8

0.7

0.6

80%

90%

100%

110%

120%

130%

0 20 40 60 80 100

ストレージ



F1-rw-10%

F1-rw-20%

F1-rw-30%

1.3

1.2

1.1

1.0

0.9

0.8

図 3-5 F1条件におけるストレージ I/O平均応答時間

図 3-6 F1-rw条件におけるストレージ I/O平均応答時間

45

少ない場合に、ボリューム階層化方式が有効である。

SSD キャッシュ方式適用時にストレージ性能が良いのは、F1-rw-20%条件、

F1-rw-30%条件、F2条件、F2-rw条件のときである。F2条件および F2-rw条件は I/O

が集中する条件である。I/Oが集中する場合は、同じ領域に何度もアクセスするため、

80%

100%

120%

140%

160%

180%

200%

0 20 40 60 80 100

ストレージ



F2-10%

F2-20%

F2-30%

2.0

1.8

1.6

1.4

1.2

1.0

0.8

図 3-7 F2条件におけるストレージ I/O平均応答時間

60%

80%

100%

120%

140%

160%

0 20 40 60 80 100

ストレージ



F2-rw-10%

F2-rw-20%

F2-rw-30%

1.6

1.4

1.2

1.0

0.8

0.6

図 3-8 F2-rw条件におけるストレージ I/O平均応答時間

46

SSDキャッシュ方式適用時に、その領域がキャッシュされ I/Oが高速化される。ボリ

ューム階層化方式適用時は、大きな単位でページの階層を決定し、アクセスが集中す

る全ての領域を SSD 階層に配置することができないため、SSD キャッシュ方式の方

がストレージ性能を向上できると考えられる。

3.5.2 非併用方式と併用方式の比較

図 3-9に、両方式併用時のストレージ I/O平均応答時間を示す。縦軸は、SSDキャ

ッシュ容量率が 0%または 100%のうち、ストレージ I/O平均応答時間が短い方のスト

レージ I/O 平均応答時間を 1 とするときの、SSD キャッシュ容量率が 20%から 80%

の中でストレージ I/O 平均応答時間が最短となる場合のストレージ I/O 平均応答時間

を示す。横軸はシミュレーション条件を示す。

両方式を併用する場合において、SSD容量が多くなるにつれて、ストレージ性能が

向上する傾向がみられる。SSD 容量が多い場合に、SSD 階層、SSD キャッシュにそ

れぞれ十分な SSD 容量を割り当てられ、アクセスが多い領域に SSD を割り当てられ

るからと考えられる。

両方式を併用する場合において、併用しない場合と比較し、ストレージ性能が良い

のは、F1-30%条件、F2-rw-30%条件である。F1-30%条件は、ライトが多く I/O が分

散し、SSD容量が多い条件である。F1条件において、ストレージ性能は SSDキャッ

シュ方式よりボリューム階層化方式の方が良い。SSD容量が多い場合は、SSD階層に

十分な容量の SSD が割り当たっているため、SSD キャッシュ方式との併用により、

SSDへのアクセスが増加し、性能が向上すると考えられる。

F2-rw-30%条件は、ライトが多く I/Oが集中し、SSD容量が多い条件である。この

とき、併用しない場合との差が最大となり、ストレージ I/O応答時間は 24%削減され

る。ライトが多く DRAMキャッシュに書き込む処理となり SSDキャッシュへのアク

セスが少なくなるため、SSD キャッシュ適用時において、全ての SSD の容量が使用

されるまでに時間がかかる。一方、SSDの容量が多く、両方式を併用する場合は、SSD

容量の一部分を階層として活用でき、I/O が多いページに割り当てられるため、SSD

へのアクセス数が増加し、ストレージ性能が向上する。

以上から、ボリューム階層化方式が有効な条件は F1-rw-10%条件であるため、リー

47

ドが多く I/Oが分散し、SSD容量が少ない場合である。SSDキャッシュ方式が有効な

条件は F2条件であるため、リードが多く I/Oが集中する場合である。両方式の併用が

有効な条件は F1条件、F2-rw%条件であるため、ライトが多い場合である。

3.6 結言

SSDと HDDを備える階層ストレージにおいて、ボリューム階層化方式および SSD

キャッシュ方式を活用する場合の I/O 性能を評価した。ボリューム階層化方式は、リ

ードが多く I/Oが分散し、SSD容量が少ない場合に有効であり、SSDキャッシュ方式

は、リードが多く、I/O が集中する場合に有効である。両方式を併用する場合は、ラ

イトが多い場合に有効であり、両方式を併用する場合は、併用しない場合と比較して、

ストレージ I/O 応答時間を最大で 24%減少することをシミュレーションにより確認し

た。

今後の課題として、ボリューム階層化方式の代わりに第 2 章において提案した長短

図 3-9 ボリューム階層化方式・SSDキャッシュ方式併用時と非併用時の

シミュレーション結果の比較

84% 83% 80%

99% 105%

98% 101% 99% 97% 87% 85%

76%

0%

20%

40%

60%

80%

100%

120%

F1-1

0%

F1-2

0%

F1-3

0%

F2-1

0%

F2-2

0%

F2-3

0%

F1-r

w-1

0%

F1-r

w-2

0%

F1-r

w-3

0%

F2-r

w-1

0%

F2-r

w-2

0%

F2-r

w-3

0%

ストレージ


条件

1.2

1.0

0.8

0.6

0.4

0.2

0.0

48

異なる I/O数計測期間に基づくデータ配置適正化方式とSSDキャッシュ方式を併用し

た場合における評価が挙げられる。長短異なる I/O 数計測期間に基づくデータ配置適

正化方式により、I/O が分散している場合と、周期的に I/Oが集中する領域が移動する

場合に性能向上し、SSD キャッシュ機能により I/Oが規則性なく I/Oが集中する領域

が移動する場合に有効と考えられるためである。ボリューム階層化方式と長短異なる

I/O数計測期間に基づくデータ配置適正化方式では、ストレージ I/O平均応答時間は異

なるため、SSDキャッシュ方式と併用した場合のストレージ I/O平均応答時間も異な

ると考えられ、さらなる評価が必要と考える。

49

第4章

階層化ボリュームと SSD キャッシュへの

SSD割当容量動的適正化方式

4.1 緒言

本章では、SSD階層と SSDキャッシュに割り当てる SSD容量を自動的に適正化す

る方式を提案する。

ボリューム階層化方式では、I/Oが集中する領域が変化したときに、その領域を SSD

階層に移動するまでに時間がかかる。一方、SSD キャッシュ方式は、I/O が分散し、

キャッシュの入れ替えが頻繁に発生する場合は、キャッシュされた領域がアクセスさ

れることなく追い出されるため、I/O性能を向上できない。追い出される領域がHDD

階層にデータを反映していない場合は、その時に HDD 階層にデータをライトしなけ

ればならない。

併用方式適用により、上記問題点を解決できる。しかし、併用方式では、ボリュー

ム階層化方式と SSD キャッシュ方式に割り当てる SSD の最適な割合が I/O 特性によ

り異なる。このため、I/O特性の変化に対応して SSD割り当て容量を適正化する必要

があるが、SSDの最適割合を試行錯誤的に決定しなければならないことが問題となっ

ている。

そこで、上記課題を解決するために、本章では併用方式適用時において SSDキャッ

シュ方式に割り当てる SSD を多くする場合と少なくする場合の動作をそれぞれ模擬

し、SSDとHDDへの I/Oに対する SSDへの I/Oの割合に基づきこの割合を自動的に

適正化する、SSD割当容量自動適正化方式を提案する。

以下、4.2節においてボリューム階層と SSDキャッシュの併用方式の問題点を説明

する。4.3節において、併用方式の問題点を解決する方式を説明する。4.4節において、

提案方式の有効性を検証するためのシミュレーション条件を説明する。4.5節において、

シミュレーション結果を説明する。

50

4.2 階層化ボリューム・SSD キャッシュ併用方式におけ

る課題

併用方式では、SSD 階層用 SSDの容量と、キャッシュ用 SSDの容量の割合は可変

である。I/Oのリード・ライト比、I/Oの局所性などの I/O特性、データ量全体に対す

る SSD 容量の割合が変化すると、適切な SSD キャッシュ容量率が変化することが明

らかになっている。よって、ストレージを管理するストレージ管理者は、I/O 特性や

SSD 容量に応じて、適切な SSD キャッシュ容量率を設定し、性能が向上するように

適正化する必要がある。これを試行錯誤的にする必要があることから、ストレージ管

理者にとって大きな負担となる。また、I/O 特性は時間の経過とともに変化すること

が考えられる。管理者は I/O特性の変化とともに、SSDキャッシュ容量率を適正化す

る必要があり、これも大きな負担となる。

4.3 SSD割当容量自動適正化方式

4.2節において説明した併用方式の課題を解決するために、ボリューム階層化方式と、

SSD キャッシュ方式に割り当てる SSD 容量の割合を自動的に適正化する方式を提案

する。図 4-1に提案方式の概要を示す。

I/O 性能向上のためには、HDD への I/O を減少させ、SSD への I/O を増加させ、

SSD I/O率を向上させる必要がある。I/O特性、SSD容量により、適切なキャッシュ

容量率は異なることが先行研究により明らかになっている。適切なキャッシュ容量率

を求めるために、サーバからの I/O を処理すると同時に、キャッシュ容量率を変化さ

せた場合の動作を模擬し、より適切なキャッシュ容量を求め、定期的にキャッシュ容

量率を変更することを考える。

これを実現するために、SSDボリュームをいくつかの領域に分割し、それぞれの領

域を SSD 階層、または、SSD キャッシュとして使用する。キャッシュ容量率が高い

場合と低い場合の動作を模擬するために、これらの場合における階層マッピングテー

ブルと、SSD キャッシュテーブルをそれぞれ持つ。サーバからの I/O を処理した後、

これらを用いて、SSDキャッシュ模擬機能を実行する。

51

SSDキャッシュ模擬機能は、I/Oを実際に発行しないことを除き、SSDキャッシ

ュ機能と同等の機能を持つ。I/Oがリードの場合、I/O対象データがキャッシュされて

いるか確認し、対象データがキャッシュされている場合は、SSDへの I/O として記録

し、キャッシュテーブルを更新する。キャッシュされていない場合は、キャッシュテ

図 4-1 提案方式概要

サーバ


ストレージ




キャッシュ用DRAM

ページセグメント

リードライト



SSDボリューム

SSDキャッシュ容量率適正化機能

動的適正化


DRAMキャッシュ機能 SSDキャッシュ機能

DRAMキャッシュテーブル SSDキャッシュテーブル



SSDキャッシュ模擬機能

ボリューム階層化模擬機能

52

ーブルを更新し、ボリューム階層化模擬機能を実行する。I/O がライトの場合、すべ

てのライトは一度 SSD にキャッシュされるため、SSD への I/O として記録し、キャ

ッシュテーブルを更新する。空き容量がなくキャッシュできない場合は、キャッシュ

データの追い出しを模擬するために、ボリューム階層化模擬機能を実行する。ボリュ

ーム階層化模擬機能は、階層マッピングテーブルを参照し、対象データが SSD上にあ

る場合は SSD への I/O として記録する。HDD 上にある場合は HDD への I/O として

記録する。

SSD キャッシュテーブルは、キャッシュ先デバイス情報（16 ビット）、キャッシュ

先 LBA（64ビット）、キャッシュ状態（16ビット)、LRU双方向リンクリストの前方

ノード情報と後方ノード情報（各 16ビット）から構成され、DRAM上に保持される。

本テーブルのサイズは、1セグメントあたり 16バイトとなる。後述の評価条件である

キャッシュ先容量が 40 TB、セグメントサイズが 8 KBの場合において、SSDキャッ

シュテーブルサイズは 80 GBとなる。キャッシュ容量率が高い場合と低い場合の動作

を模擬するために使用する SSDキャッシュテーブルがそれぞれ必要であるため、SSD

キャッシュテーブルサイズは合計で 240 GBとなる。

階層マッピングテーブルは、マッピング元ページ情報（16 ビット）、マッピング先

ページ情報（16ビット）、ページ I/O数（64ビット）から構成され、DRAM上に保持

される。I/O数計測期を最長24時間、SSD台数を340、1台のSSDの最大性能を145,000

IOPS9とすると、I/O 数の記録に必要なサイズは 64 ビットとなる。本テーブルのサイ

ズは、1ページあたり 16バイトとなる。後述の評価条件であるデータ格納領域の先容

量が 340 TB、ページセグメントサイズが 10 MBの場合において、階層マッピングテ

ーブルサイズは約 0.5 GBとなる。キャッシュ容量率が高い場合と低い場合の動作を模

擬するために使用する階層マッピングテーブルがそれぞれ必要であるため、階層マッ

ピングテーブルサイズは 1.5 GBとなる。提案方式において使用するテーブルサイズの

合計は、241.5 GBとなる。本研究において想定するストレージシステムは 1,024 GB

程度の DRAM を搭載しており[67]、約 24%使用する。DRAM は揮発性メモリである

が、ストレージシステムは電池と SSD を備えており、多重電源障害発生時に DRAM

上のデータを SSDにバックアップするため、これらのテーブルを失うことはない。

9 HGST, Inc.: “Ultrastar SSD800MH”,

http://www.hgst.com/solid-state-storage/enterprise-ssd/sas-ssd/ultrastar-ssd800mh

53

SSD キャッシュ率適正化機能は、I/O 数計測期間により定められた期間が経過した

場合に、ボリューム階層化機能がページ階層を決定する前に、キャッシュ容量率を適

正化する。キャッシュ容量率適正化時に、SSD階層上のデータのHDD階層への移動、

SSD階層またはHDD階層に反映されていないキャッシュデータの反映が必要であり、

SSDおよび HDDに負荷がかかる。このため、頻繁に適正化するとアプリケーション

からの通常 I/Oに悪影響を与える可能性がある。この影響を低減するため、I/O数計測

期間を適正化の間隔とし、単位時間あたりの移動量を制限する。

ストレージ I/O性能向上のために、ボトルネックとなる可能性があるHDDへの I/O

数を削減し、SSDへの I/O数を増加させることが重要と考える。よって、サーバから

の I/Oに対し、SSDが処理した I/Oの割合が向上するようにキャッシュ容量率を適正

化する。この割合を SSD I/O率(𝐼𝐶)とする。𝐼𝐶は、I/O数計測期間により定められた期

間における SSD への I/O 数(𝑆𝐶)と HDD への I/O 数(𝐻𝐶)を用いて、式(4-1)により求め

る。

𝐼𝐶 =𝑆𝐶

𝑆𝐶 +𝐻𝐶 ………………………………………………………………………(4-1)

同様に、SSDキャッシュ容量率が大きい場合を模擬したときの SSD I/O 率(𝐼𝐿)を、

模擬により算出した SSD への I/O 数(𝑆𝐿)と HDD への I/O 数(𝐻𝐿)を用いて式(4-2)によ

り求める。SSDキャッシュ容量率が小さい場合を模擬したときの SSD I/O 率(𝐼𝑆)を、

模擬により算出した SSD への I/O 数(𝑆𝑆)と HDD への I/O 数(𝐻𝑆)を用いて式(4-3)によ

り求める。

𝐼𝐿 =𝑆𝐿

𝑆𝐿 +𝐻𝐿 ………………………………………………………………………(4-2)

𝐼𝑆 =𝑆𝑆

𝑆𝑆 +𝐻𝑆 ………………………………………………………………………(4-3)

適正化後のキャッシュ容量率(𝐶𝑁𝑒𝑥𝑡)は、現状のキャッシュ容量率𝐶𝑁𝑜𝑤、𝐼𝐶、𝐼𝐿、𝐼𝑆、

キャッシュ容量率変更量𝐷、閾値𝑇を用いて、式(4-4)により求める。

𝐷は、一度に変更するキャッシュ容量率の量である。例えば、SSD ボリュームを 5

等分し、それぞれを階層用、またはキャッシュ用として使用する場合は、𝐷 = 1/5 =

20%となる。模擬した場合におけるSSD I/O率と現状のSSD I/O率との差が𝑇を超え、

54

変更後のキャッシュ容量率が 0%から 100%の範囲を超えない場合に、キャッシュ容量

率を変更する。SSDキャッシュ模擬機能、および、ボリューム階層化模擬機能は SSD

キャッシュ容量率が𝐶𝑁𝑜𝑤 + 𝐷の場合と𝐶𝑁𝑜𝑤 − 𝐷の場合を模擬する。

𝐶𝑁𝑒𝑥𝑡 =

{

𝐶𝑁𝑜𝑤 + 𝐷 (

𝐼𝐿 − 𝐼𝐶 ≥ 𝑇,𝐼𝐿 ≥ 𝐼𝑆,

𝐶𝑁𝑜𝑤 + 𝐷 ≤ 100%

)

𝐶𝑁𝑜𝑤 − 𝐷 (

𝐼𝑆 − 𝐼𝐶 ≥ 𝑇,𝐼𝑆 > 𝐼𝐿 ,

𝐶𝑁𝑜𝑤 − 𝐷 ≥ 0%

)

𝐶𝑁𝑜𝑤 (𝑂𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒)

……………………………………(4-4)

キャッシュ容量率を増加させる場合について説明する。階層用からキャッシュ用に

用途を変更する SSD ボリューム上の領域を決定する。階層用 SSD 領域ごとに計測し

た I/O数が最小の領域をキャッシュ用途とする。次に、SSD階層用容量が減少するこ

とを考慮し、ページ階層を式(4-5)により決定する。

𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖 = {1 (𝑟𝑖 ≤ 𝑁(1 − 𝐶𝑁𝑒𝑥𝑡)ℎ)

2 (𝑟𝑖 > 𝑁(1 − 𝐶𝑁𝑒𝑥𝑡)ℎ) ……………………………………………(4-5)

ページ階層決定後、ページ移動機能は𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖が現状の階層(𝑇𝑖𝑒𝑟𝑖)と異なるページ、

または、キャッシュ用に用途を変更する SSD領域上のページを移動する。ページ階層

間移動完了後に、SSDキャッシュ機能は、キャッシュ用に用途を変更した領域をキャ

ッシュデータ格納先として使用する。

次に、キャッシュ容量率を減少させる場合について説明する。キャッシュ用から階

層用に用途を変更する SSD ボリューム上の領域を決定する。キャッシュ用 SSD 領域

ごとに計測した I/O 数が最小の領域を階層用途とする。このときに、この領域にキャ

ッシュされたデータのうち、SSD階層またはHDD階層に反映されていないデータを

SSD階層またはHDD階層に反映する。その完了後、式(4-5)によりページ階層を決定

し、ページ移動機能は、𝑁𝑒𝑤𝑇𝑖𝑒𝑟𝑖が現状の階層(𝑇𝑖𝑒𝑟𝑖)と異なるページを移動する。

キャッシュ容量率を変化させない場合は、2.2節において説明した従来方式を用いて

55

ページ階層を適正化する。

SSDボリュームは複数台の SSDから構成され、1台の SSDにキャッシュ領域と、

階層領域が混在する。キャッシュ領域への書き込みが集中する場合においても、SSD

が持つウェアレベリング機能により、SSD内の特定のブロックに書き込みが集中する

ことなく、書き込み回数が平滑化され、劣化が軽減される。

4.4 評価方法

提案方式の有効性を検証するために、アプリケーションからストレージへの I/O、

ページ階層間移動、SSDキャッシュ、SSDキャッシュ容量率適正化機能をシミュレー

ションし、ストレージ I/O応答時間を求める。

4.4.1 SSD割当容量自動適正化方式のシミュレータ

ストレージ I/O 応答時間を求めるために、Perl言語を用いて開発したシミュレータ

を使用して、アプリケーションからストレージへの I/O、DRAMキャッシュ動作、SSD

キャッシュ動作、SSD階層・HDD階層間データ移動、SSDキャッシュ容量率適正化

機能をシミュレーションする。

図 4-2にシミュレーションモデルを示す。アプリケーションからストレージへの I/O

は、第 3 章と同様に実稼働環境において記録した I/O トレースログを使用する。I/O

トレースログに含まれる情報は、I/O タイムスタンプ、I/O先アドレス、I/O サイズ、

I/O種別（リードまたはライト）である。DRAM、SSD、HDDはそれぞれキューを持

ち、それぞれの処理時間は I/O種別（リードまたはライト）により異なる。

I/O トレースログに基づき、DRAM キャッシュ機能が DRAM キャッシュ処理を行

う。処理内容は 3.2.2項において示した通りである。本シミュレータにおいて、DRAM

キャッシュ機能は、フルアソシアティブ方式によりキャッシュデータを管理する。

DRAM キャッシュヒットおよびライトの場合は、DRAM のキューに I/O を登録し、

処理時間を I/O の応答時間として記録する。DRAM キャッシュミスの場合は、I/O を

SSDキャッシュ機能に転送する。

56

SSD キャッシュ機能における処理内容は 3.2.2 項において示した通りである。本シ

ミュレータにおいて、SSDキャッシュ機能はフルアソシアティブ方式によりキャッシ

ュデータを管理する。I/O先が SSD階層の場合は、ボリューム階層化機能に転送する。

I/O 先が HDD 階層、かつ、SSD キャッシュヒットおよびライトの場合は、データが

キャッシュされているデバイスを特定し、そのデバイスのキューに I/O を登録し、処

理時間を I/Oの応答時間として記録する。SSDキャッシュミスの場合は、階層機能に

I/Oを転送する。


ストレージ

サーバ

アプリケーション (I/Oトレースログ)

DRAMキャッシュ機能


DRAM





キュー

リードライト

HDD

RAIDグループ

HDD

HDD

SSD

RAIDグループ

SSD

SSD

SSDキャッシュ模擬機能

SSDキャッシュ容量率

適正化機能ボリューム階層化模擬機能

57

ボリューム階層化機能における処理内容は、2.2.2項において示した通りである。ペ

ージマッピングテーブルに基づき、I/O先デバイスを特定し、I/Oをデバイスのキュー

に登録し、処理時間を I/O の応答時間として記録する。全 I/O の応答時間の平均をス

トレージ性能とする。

シミュレータは、DRAM および SSD にキャッシュされた未反映データの SSD 階

層または HDD 階層への書き込みと、階層間移動のための I/O についても、それぞれ

のデバイスのキューに登録する。ただし、これらはアプリケーションからの I/O では

ないため、ストレージ性能に含めない。


本シミュレーションでは、第 3 章において使用した I/O トレースログを使用する。

本トレースログは、金融機関において稼働しているオンライントランザクションアプ

リケーションにおいてストレージへの I/O を記録したものである。本シミュレーショ

ンにおいて、2つの I/Oトレースログ(Financial 1、Financial 2)を使用する。以降、

これらをそれぞれ F1、F2 と呼ぶ。F1 はライトが多く、F2 はリードが多いという特

徴を持つ。

I/Oトレースログの I/O分布は、図 3-3に示す通りである。ライトが多く局所性が高

い場合、リードが多く局所性が低い場合を模擬するために、F1、F2 のそれぞれにお

いてリードとライトを入れ替える条件についてもシミュレーションを行う。これらを

それぞれ F1-rw、F2-rwと呼ぶ。さらに、I/O特性が変化する場合においても SSDキ

ャッシュ容量率を適正化できることを確認するために、F1、F2、F1-rw、F2-rwの順

に I/Oトレースを再生する。これを F-allと呼ぶ。

シミュレーションにおいて使用する DRAM、SSD、HDDの 1 台あたりの応答時間

は、3.4.2項と同様に、I/O種別（リード・ライト）、I/Oサイズを変化させ実測した値

を使用する。

シミュレーションにおいて想定するデバイス台数と容量を表 4-1に示す。HDD台数

に対する SSD台数を SSD台数率とする。SSD台数率を 10%、20%、30%と変化させ

る。ストレージのドライブ台数を、ストレージの最大搭載ドライブ台数[14][15]に基づ

き、1,500台を超えない最大の台数とする。この時の SSD台数およびHDD台数は表

58

4-1 の通りである。各デバイスの容量は、性能実測時の容量とし、SSD は 240 GB、

HDD は 500 GB である。デバイス故障からのデータ保護のため、2 台のデバイスで

RAID1 を構成する。HDD RAID グループ 1 つにつき、1 つの I/O トレースログを再

生する。例えば、HDD数が 100の場合は、同時に 50の I/Oトレースログをそれぞれ

の RAID グループに対して再生する。SSD キャッシュ容量率が 0%の場合は、全ての

SSD を SSD 階層として使用する。SSD キャッシュ容量率が 100%の場合は、全ての

SSDを SSDキャッシュとして使用する。キャッシュ容量率変更量𝐷が大きすぎる場合

は、適切な SSD キャッシュ容量率をとれなくなる。一方、これが小さすぎる場合は

SSDキャッシュ容量率の適正化に長時間を必要とする。よって、本シミュレーション

では、キャッシュ容量率変更量𝐷を 20%とする。閾値𝑇が大きすぎる場合は、SSD I/O

率に差が出た場合においても SSDキャッシュ容量率を変更しなくなる。一方、これが

小さすぎる場合は、SSD キャッシュ容量率が振動することとなる。このとき、階層間

移動、SSD キャッシュからの追い出しが発生するため、性能低下する可能性がある。

本シミュレーションでは閾値𝑇を 1%、2%、3%とする。

3.4.2項と同様に、ボリューム階層化機能におけるページサイズを 10 MB、SSDキ

ャッシュ機能におけるセグメントサイズを 8 KBとする。I/O数計測期間を 30分間、

1 時間、2 時間とする。I/O 数計測期間が 30 分間、1 時間の場合は、SSD キャッシュ

容量率が適正化される時間を考慮し、シミュレーション開始から 6 時間以降のストレ

ージ平均 I/O応答時間を計算する。I/O数計測期間が 2時間の場合は、I/O トレースロ

グが約 12時間であるため、ログ再生を 2回繰り返す。そして、シミュレーション開始

から 12 時間以降のストレージ平均 I/O 応答時間を計算する。階層間移動により、I/O

応答時間に影響を与えるため、移動対象のページを連続して移動するのではなく、移

動の転送量がHDDの最大転送量の 10%となるように間隔をあけ、階層間移動を行う。

表 4-1 各シミュレーションにおけるデバイス数と容量

SSD容量率 SSD台数 SSD利用

可能容量 HDD台数

HDD利用

可能容量合計

10% 136 16 TB 1,360 340 TB 1,496

20% 250 30 TB 1,250 312 TB 1,500

30% 340 40 TB 1,156 289 TB 1,496

59

4.5 シミュレーション結果と考察

4.5.1 I/O特性・SSD容量率ごとのシミュレーション結果

図 4-3から図 4-6に、シミュレーション結果のストレージ I/O平均応答時間を示す。

破線は従来方式、実線は提案方式適用時の結果を示す。縦軸は、正規化したストレー

ジ I/O 平均応答時間であり、SSD キャッシュ容量率が 100%のときのストレージ I/O

平均応答時間を 1 としている。閾値𝑇は 2%である。従来方式において、横軸は SSD

キャッシュ容量率を示す。提案方式において、横軸は SSDキャッシュ容量率の初期値

を示す。凡例の数値は SSD台数率を示す。例えば、「F1-10%」は、I/Oトレースログ

が Financial 1であり、SSD台数率が 10%の場合を示し、「F2-rw-30%」は、I/Oトレ

ースログが Financial 2であり、リードとライトを入れ替えた条件であり、SSD台数

率が 30%の場合を示す。

シミュレーション結果から、従来方式適用時において、ストレージ I/O 平均応答時

間が最短となる SSD キャッシュ容量率は、I/O特性、SSD容量率により異なることが

分かる。一方、提案方式適用時において、SSDキャッシュ容量率の初期値に関わらず、

ストレージ I/O 平均応答時間はほぼ一定であり、従来方式適用時における最短のスト

レージ I/O 平均応答時間とほぼ同値である。I/O 特性、SSD 容量率が異なる場合にお

いても同様の傾向がみられることから、提案方式は、SSDキャッシュ容量率を自動的

に適正化できると言える。F2-rw-20%条件、SSD キャッシュ容量率が 0%のときに、

提案方式のストレージ I/O 平均応答時間短縮効果が最大となり、従来方式適用時と比

較してストレージ I/O 平均応答時間を 39%削減する。

F1-rw-30%条件は、リードが多く I/Oが分散し、SSD容量率が高い条件である。I/O

が分散していることから SSD I/O 率が低く、SSD 容量率が高い場合に、SSD キャッ

シュ容量率に関わらず、ストレージ I/O 平均応答時間はほぼ同じである。このような

場合は、従来方式と提案方式の間に大きな差は見られない。

図 4-7 に、従来方式と比較した提案方式のストレージ I/O 平均応答時間を示す。縦

軸は、各条件における SSD キャッシュ容量率が 0%から 100%までのストレージ I/O

平均応答時間の平均値を正規化した値である。各条件において、従来方式適用時のス

トレージ I/O 平均応答時間を 100%としている。横軸は条件を示す。閾値𝑇は 2%であ

る。I/O数計測期間が 2時間である F1-30%条件と、I/O数計測期間が 1時間である

60

40%

50%

60%

70%

80%

90%

100%

110%

0% 20% 40% 60% 80% 100%

ストレージ



F1-rw-10%Existing

F1-rw-10%Proposed

F1-rw-20%Existing

F1-rw-20%Proposed

F1-rw-30%Existing

F1-rw-30%Proposed

1.1

1.0

0.9

0.8

0.7

0.6

0.5

0.4

40%

50%

60%

70%

80%

90%

100%

0% 20% 40% 60% 80% 100%

ストレージ



F1-10%Existing

F1-10%Proposed

F1-20%Existing

F1-20%Proposed

F1-30%Existing

F1-30%Proposed

1.0

0.9

0.8

0.7

0.6

0.5

0.4

図 4-4 F1-rw条件におけるシミュレーション結果

図 4-3 F1条件におけるシミュレーション結果

61

30%

50%

70%

90%

110%

130%

0% 20% 40% 60% 80% 100%

ストレージ



F2-rw-10%Existing

F2-rw-10%Proposed

F2-rw-20%Existing

F2-rw-20%Proposed

F2-rw-30%Existing

F2-rw-30%Proposed

1.3

1.1

0.9

0.7

0.5

0.3

30%

50%

70%

90%

110%

130%

150%

0% 20% 40% 60% 80% 100%

ストレージ



F2-10%Existing

F2-10%Proposed

F2-20%Existing

F2-20%Proposed

F2-30%Existing

F2-30%Proposed

1.5

1.3

1.1

0.9

0.7

0.5

0.3

図 4-6 F2-rw条件におけるシミュレーション結果

図 4-5 F2条件におけるシミュレーション結果

62

F1-rw-30%条件を除き、提案方式適用時に、従来方式適用時よりストレージ I/O 平均

応答時間が短縮される。以上から、I/O数計測期間に関わらず提案方式は有効である。

F1および F2-rw条件、すなわち、ライトが多い I/O特性のとき、I/O数計測期間が

短い場合に、提案方式適用時のストレージ I/O 平均応答時間が短くなる傾向がみられ

る。一方、F2 条件、すなわち、リードが多く I/O が集中する特性のとき、I/O数計測

期間が長い場合に、提案方式のストレージ I/O 平均応答時間が短くなる傾向がみられ

る。

次に、閾値𝑇を変化させた場合におけるストレージ I/O平均応答時間を図4-8に示す。

縦軸は、各条件における SSDキャッシュ容量率が 0%から 100%までのストレージ I/O

平均応答時間の平均値を正規化した値である。各条件において、従来方式適用時のス

トレージ I/O 平均応答時間を 1 としている。横軸は条件を示す。I/O 数計測期間は 1

時間である。F1-rw-30%条件において、閾値𝑇が 1%のときに、従来方式を 100%とし

たときの提案方式のストレージ I/O平均応答時間は 107%である。これは SSDキャッ

シュ容量率が振動するからである。閾値𝑇が 2%、3%の時は、振動しないことから、閾

値𝑇が小さすぎると考えられる。F1-rw-30%条件以外の条件では、閾値𝑇の差によるス

70%

80%

90%

100%

110%

F1-1

0%

F1-2

0%

F1-3

0%

F1-r

w-1

0%

F1-r

w-2

0%

F1-r

w-3

0%

F2-1

0%

F2-2

0%

F2-3

0%

F2-r

w-1

0%

F2-r

w-2

0%

F2-r

w-3

0%

ストレージ


(従来方式を

= 1とする

)

条件

30 Minutes 1 Hour 2 HoursI/O数計測期間

1.1

1.0

0.9

0.8

0.7

図 4-7 I/O数計測期間変化時のストレージ I/O平均応答時間

63

トレージ I/O平均応答時間の差は最大で 3%であり、大きな差はみられない。

4.5.2 I/O特性変化時におけるシミュレーション結果

図 4-9 に、F-all-10%条件における SSD キャッシュ容量率の推移を示す。縦軸は、

SSDキャッシュ容量率を示す。横軸は時刻を示す。時間の経過に伴い、SSDキャッシ

ュ容量率が適正化され、収束する。その後は、I/O 特性の変化に伴い、初期値に関わ

らず SSDキャッシュ容量率が適正化される。

F-all-10%条件において、各 I/O トレース再生時の SSD キャッシュ容量率の推移に

ついて考察する。F1および F1-rw再生時に、SSDキャッシュ容量率は 20%に収束す

る。これは、F1-10%条件と F1-rw-10%において、収束する SSDキャッシュ容量率と

それぞれ同値である。F2再生時に SSDキャッシュ容量率は 60%に収束する。F2-10%

条件では、SSDキャッシュ容量率が 40%から 80%に収束するため、この値に収束する

と考えられる。F2-rw 再生時においても同様のことが言える。

以上により、提案方式は、I/O特性変化時においても、適切な SSDキャッシュ容量

70%

80%

90%

100%

110%

F1-1

0%

F1-2

0%

F1-3

0%

F1-r

w-1

0%

F1-r

w-2

0%

F1-r

w-3

0%

F2-1

0%

F2-2

0%

F2-3

0%

F2-r

w-1

0%

F2-r

w-2

0%

F2-r

w-3

0%

ストレージ


条件

1% 2% 3%閾値𝑇

1.1

1.0

0.9

0.8

0.7

図 4-8 閾値𝑇変化時のストレージ I/O平均応答時間

64

率を自動的に適正化できると言える。SSD容量率が 20%、30%の場合においても、図

4-9 と同様に、SSD キャッシュ容量率が収束した後、I/O 特性の変化に伴い、初期値

に関わらず SSDキャッシュ容量率が適正化される。

次に、ストレージ I/O平均応答時間の変化について説明する。図 4-10は、F-all-10%

条件におけるストレージ I/O 平均応答時間の変化を示す。図 4-11 は、F-all-10%条件

における F1 条件部分ストレージ I/O 平均応答時間の変化を示す。縦軸はストレージ

I/O 応答時間の 30 分ごとの平均値を示す。横軸は時刻を示す。図 4-10 および図 4-11

において示している提案方式の SSDキャッシュ容量率の初期値は 60%である。

初期状態において全てのデータは HDD 階層上に配置されている。このため、シミ

ュレーション開始時は HDD 階層が全てのリード I/O を処理するため、応答時間は長

い。その後、I/Oが集中する領域は SSDにキャッシュされていくため、徐々に応答時

間は短くなる。1 時間経過後にページ階層間移動が実行されるため、SSD 階層が使用

され、応答時間が短くなる。その後、ページ階層が何度か実行され、応答時間はさら

に短くなる。

シミュレーション開始後 2 時間は、提案方式と SSD キャッシュ容量率が 60%の従

来方式と応答時間は同等である。提案方式における SSDキャッシュ容量率は 2時間後

に 40%となり、9時間後に 20%となる。従来方式においても、シミュレーション開始

後 2 時間は SSD キャッシュ容量率が 40%の時に応答時間が最短となり、シミュレー

ション開始後 9時間までは、SSDキャッシュ容量率が 20%の時に応答時間が最短とな

0

20

40

60

80

100

1 5 9 13 17 21 25 29 33 37 41 45


[%]

時間 [時]

0%20%40%60%80%100%

Initial SSD Cache Capacity

Rate

F1 F2 F1-rw F2-rw

図 4-9 F-all-10%条件における SSDキャッシュ容量率の変化

65

っている。

I/O トレースログが F1 から F2 に変化するときに、I/O が集中する領域が大きく変

化するために、HDD への I/O 数が増加し、図 4-10 に示す通り、ストレージ I/O 平均

応答時間は増加する。その後、I/Oが集中する領域は SSDにキャッシュされ、ストレ

ージ I/O平均応答時間は短縮される。SSDキャッシュ容量率が高い場合は、多くの領

0

1

2

3

4

5

6

7

30

150

270

390

510

630

750

870

990

1110

1230

1350

1470

1590

1710

1830

195

0

2070

2190

2310

2430

2550

2670

2790

ストレージ


[ms]

時間 [分]

Proposed

Existing (Cache 0%)

Existing (Cache 80%)F1 F2

F1-rw F2-rw

図 4-10 F-all-10%条件におけるストレージ I/O平均応答時間の変化

66

域をキャッシュできるため、I/O特性変化時に SSDキャッシュ容量率が高い方がスト

レージ I/O平均応答時間の増加を軽減できる。F2条件において、ストレージ I/O平均

応答時間が最短となる SSD キャッシュ容量率は 80%である。提案方式においても、

SSD キャッシュ容量率が 80%に適正化される。同様に、I/O トレースログが F1-rw、

F2-rw に変化した場合おいても、提案方式は、ストレージ I/O 平均応答時間が最短と

図 4-11 F-all-10%条件における F1条件部分のストレージ I/O平均応答時間の変化

0

0.1

0.2

0.3

0.4

0.5

0

30 60 90

120

150

180

210

240

270

300

330

360

390

420

450

480

510

540

570

600

630

660

690

ストレージ


[m

s]

時間 [分]

Proposed Existing (Cache 0%) Existing (Cache 20%)

Existing (Cache 40%) Existing (Cache 60%) Existing (Cache 80%)

Existing (Cache 100%)

67

なる SSD キャッシュ容量率に変更する。以上から、提案方式は SSD キャッシュ容量

率を適正化していると言える。提案方式における SSD キャッシュ容量率の初期値が

0%の場合と、従来方式における SSDキャッシュ容量率が 0%の場合を比較すると、提

案方式はストレージ I/O平均応答時間を 15%削減する。なお、本評価に用いたシミュ

レータのシミュレーション結果と実測値との比較はしていない。シミュレータの精度

検証は今後の課題とする。

4.6 結言

SSD と HDD を備え、ボリューム階層化方式および SSD キャッシュ方式を併用す

る階層ストレージにおいて、前記 2方式に割り当てる SSD容量の割合を自動的に適正

化する方式を提案し、評価した。提案方式は、SSDキャッシュ容量率が多い場合、少

ない場合をそれぞれ模擬し、SSD への I/O 率に基づき SSD キャッシュ容量率を定期

的に適正化する。I/O特性、SSD容量率、SSDキャッシュ容量率の初期値に関わらず、

提案方式はこれを適正化できることを示した。SSDキャッシュ容量率を適正化しない

場合と比較し、提案方式はストレージ I/O応答時間を最大で 39%削減することをシミ

ュレータにより確認した。

今後の課題として、ボリューム階層化方式の代わりに第 2 章において提案した長短

異なる I/O数計測期間に基づくデータ配置適正化方式とSSDキャッシュ方式を併用し

た場合における SSD 割当方式の検討が挙げられる。長短異なる I/O数計測期間に基づ

くデータ配置適正化方式と SSDキャッシュ方式を併用するためには、SSD の領域を 3

つに分割し、短期移動領域、長期移動領域、SSDキャッシュに割り当てる。

I/O 特性、SSD 容量に依存して、3 つの領域に割り当てる適切な容量は変化すると

想定できる。このため、3 つに分割する領域の容量を決定する方式についても検討が

必要である。本章において提案した方式では、SSDキャッシュ容量率が多い場合と少

ない場合を模擬する必要があった。3 つに分割する場合は、模擬する組合せ数が多く

なり、提案した方式をそのまま適用することはできないため、新たな SSD 割当て容量

適正化機能の検討が必要である。

69

第5章

結論

5.1 本研究のまとめ

本論文では、階層ストレージにおけるSSD活用による I/O性能向上について検討し、

長短異なる I/O 数計測期間に基づくデータ配置適正化方式、階層化ボリューム・SSD

キャッシュ併用方式、階層化ボリュームと SSD キャッシュの SSD 割当容量動的適正

化方式を提案した。本論文では、これらの研究成果を以下の 4章に分けて論じた。

第 1章では、階層ストレージにおける SSD活用による I/O性能向上の重要性と、そ

の方式について述べ、従来方式における課題を整理した。そして、それらの課題に対

する関連研究について検討し、研究方針を説明した。

第2章では、長短異なる I/O数計測期間に基づくデータ配置適正化方式を提案した。

従来方式における課題の原因は、I/O 数計測期間が単一であるためと考えた。これを

解決するために、SSD階層を 2つに分割し、長短異なる I/O数計測期間に基づき、そ

れぞれの SSD階層を割り当てるページを決定する方式を提案した。提案方式適用時に、

I/Oが集中する領域が変化する場合にあらかじめ SSD階層を割り当てておくこととな

り、階層間データ移動量を増加させずにシステム全体性能を最大で 44.9%向上できる

ことを I/O シミュレーションにより明らかにした。また、短期 I/O 数計測期間を適用

する SSD 階層領域と長期 I/O 数計測期間を適用する SSD 階層領域の割合を変化させ

ることにより、I/O 性能を低下させずに階層間データ移動量を最大で 51.2%削減でき

ることを明らかにした。I/O の局所性とアクセス範囲の移動の多さをパラメータとし

て評価した結果、提案方式は、I/O の局所性が高い場合、または、アクセス範囲の移

動が少ない場合に有効であることを明らかにした。

第 3章では、ボリューム階層化方式と SSDキャッシュ方式の併用時における I/O性

能について評価した。ボリューム階層化方式と SSDキャッシュ方式の差異について検

討し、ボリューム階層化方式、SSDキャッシュ方式、併用方式を I/Oシミュレーショ

ンにより比較した。ボリューム階層化方式は、リードが多く I/Oが分散し、SSD容量

が少ない場合に有効であり、SSD キャッシュ方式は、リードが多く、I/O が集中する

70

場合に有効であることが明らかになった。両方式を併用する場合は、ライトが多く、

SSD容量が多い場合に有効であり、両方式を併用する場合は、併用しない場合と比較

して、ストレージ I/O 応答時間を最大で 24%減少することを確認した。

第 4章では、SSD階層と SSDキャッシュに割り当てる SSD容量を自動的に適正化

する方式を提案した。ボリューム階層化方式と SSDキャッシュ方式の併用時において、

ボリューム階層化方式と SSD キャッシュ方式に割り当てる SSD の最適な割合が I/O

特性により異なる。I/O特性の変化に対応して SSD割り当て容量を適正化することが

課題であった。提案方式は、SSDキャッシュ容量率が多い場合、少ない場合をそれぞ

れ模擬し、SSD への I/O 率に基づき SSD キャッシュ容量率を定期的に適正化する。

I/O特性、SSD容量率、SSDキャッシュ容量率の初期値に関わらず、提案方式はこれ

を適正化できることを示した。SSD キャッシュ容量率を適正化しない場合と比較し、

提案方式はストレージ I/O 応答時間を最大で 39%削減することを I/O シミュレーショ

ンにより確認した。

本論文の研究成果を活用することにより、幅広い条件で、SSDとHDDを備える階

層ストレージの I/O 性能を向上でき、データアクセス量の増加が続いている情報シス

テムにおけるボトルネック解消に寄与できると考える。このような情報システムの例

として、インターネットバンキング、オンラインショッピングサイトなどのオンライ

ントランザクション処理や、企業における個人の PCを仮想化し、集約する VDIなど、

大量の I/Oを発生するシステムが挙げられる。

5.2 今後の課題

最後に、本研究における今後の課題について述べる。

(1) サーバ上の SSD キャッシュ方式との連携によるさらなる I/O性能向上

本論文では、第 3章、第 4章において、ストレージ上の SSDを活用する SSDキャ

ッシュ方式を取り上げた。SSDの普及に伴い、SSDをサーバ上に搭載し、キャッシュ

として活用する方式[71]が提案されており、製品10が発表されている。ボリューム階層

10 HGST, Inc.: “HGST ServerCache”,

http://www.hgst.com/software/HGST-server-cache

71

化方式とサーバ上の SSD キャッシュが連携する方式についても提案されている[72]。

I/O 特性、サーバ上 SSD の容量、ストレージ上 SSD の容量により、適切なデータ配

置は異なると考えられる。サーバとストレージの連携によるさらなる I/O 性能向上方

式の検討が必要である。

(2) 次世代記録媒体の活用によるさらなる I/O性能向上

本論文では、フラッシュメモリを使用した SSDの活用により I/O性能を向上する方

式を取り上げた。フラッシュメモリよりも高速な記録媒体の研究開発が進んでおり、

相変化メモリ(Phase Change Memory)を活用する階層ストレージが提案されている

[73]。本論文で取り上げたボリューム階層化方式を拡張することにより、相変化メモ

リ、フラッシュメモリ、HDDの三階層としてデータ配置を適正化し、さらなる I/O性

能の向上を見込める可能性がある。相変化メモリはキャッシュとしても活用可能であ

ることから、データ配置適正化のさらなる検討が必要と考える。

SanDisk Corporation: “FlashSoft Software for the Enterprise”,

http://www.sandisk.com/enterprise/flashsoft/

73

謝辞

本研究の全過程を通じて、終始懇切丁寧なるご指導とご鞭撻、格別のご配慮を賜り

ました大阪大学大学院情報科学研究科マルチメディア工学専攻薦田憲久教授に深く

感謝申し上げます。

本研究をまとめるにあたり、貴重なお時間を割いて頂き、丁寧なるご教示を賜りま

した大阪大学大学院情報科学研究科マルチメディア工学専攻藤原融教授ならびに下

條真司教授に深く感謝申し上げます。

大学院博士後期課程において、情報工学全般に関して親切なるご指導とご助言を賜

りました大阪大学大学院情報科学研究科マルチメディア工学専攻西尾章治郎教授、鬼

塚真教授に深く感謝申し上げます。

筆者が大阪大学大学院情報科学研究科マルチメディア工学専攻博士後期課程に在学

することへのご配慮と援助を賜りました（株）日立製作所横浜研究所情報プラット

フォーム研究センタ兼田泰典博士（Hitachi America, Ltd.出向中）、ITシステムアー

キテクチャ研究部直野健博士、畑崎恵介氏に感謝申し上げます。

本研究の機会と大学院博士後期課程に進学する機会を与えて頂くとともに、研究を

進めるにあたりご配慮を賜りました（株）日立製作所サービス事業本部ヘルスケア

戦略企画部増岡義政氏、運用管理システム研究部工藤裕博士、クラウドサービス事

業部田口雄一氏、横浜研究所サービスイノベーション研究部中江達哉博士に心より

御礼申し上げます。

本研究の機会を与えて頂き、研究への多数のご助言を賜りました故大枝高氏、（株）

日立製作所 ITプラットフォーム事業本部企画本部山本康友氏、経営戦略室企画本

部藤井啓明氏、IT プラットフォーム事業本部製品戦略部岩見直子氏に心より感謝

いたします。また本研究に関し、日々様々なご討論ご助言を頂くとともに多大なるご

支援を頂きました（株）日立製作所 ITプラットフォーム事業本部統合 PFビジネス

推進部大谷俊雄氏、横浜研究所ストレージシステム研究部川口智大氏、松沢敬一氏、

IT システムアーキテクチャ研究部高田有時氏に心から御礼申し上げます。ならびに

格別なるご指導とご配慮を賜りました（株）日立製作所横浜研究所の各位に心から御

礼申し上げます。

74

最後に、健康な心身に成長させてくれた、また学位取得に向け応援してくれた両親

に感謝致します。また、本論文の執筆にあたり、応援してくれるとともに、執筆の時

間確保に配慮してくれた妻に心から感謝致します。

75

参考文献

[1] J. Gantz and D. Reinsel: “The Digital Universe Decade - Are You Ready?” (2010).

http://www.emc.com/collateral/analyst-reports/idc-digital-universe-are-you-ready

.pdf

[2] J. Gantz and D. Reinsel: “Extracting Value from Chaos” (2011).

http://www.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaos-a

r.pdf

[3] J. Gantz and D. Reinsel: “The Digital Universe in 2020: Big Data, Bigger Digital

Shadows, and Biggest Growth in the Far East” (2012).

http://www.emc.com/collateral/analyst-reports/idc-the-digital-universe-in-2020.p

df

[4] 島田朗伸, 山本康友, 阿部哲也, 喜多村将之: “ビッグデータ時代のクラウドを支

えるストレージソリューション”, 日立評論, Vol. 94, No. 10, pp. 708-711 (2012).

[5] 山本康友: “ビッグデータ利活用を支える ITプラットフォーム”, 日立評論, Vol. 95,

No. 10, pp. 688-691 (2013).

[6] 毛塚禎子, 加納東, 八木沢育哉, 森田星輝: “DLCM を実現するストレージ基盤

「SANRISE9500V シリーズ」”, 日立評論, Vol. 87, No. 3, pp. 277-280 (2005).

[7] 山本彰: “高信頼集中ストレージシステム”, 日立評論, Vol. 87, No. 5, pp. 469-474

(2005).

[8] 喜連川優: “ストレージネットワーキング技術”, オーム社 (2005).

[9] 喜連川優: “よくわかるストレージネットワーキング”, オーム社 (2011).

[10] A. Singh, M. Korupolu, and D. Mohapatra: “Server-Storage Virtualization:

Integration and Load Balancing in Data Centers”, in Proc. of the International

Conference for High Performance Computing, Networking, Storage and Analysis

(SC 2008), pp. 1-12 (2008).

[11] 高橋直也, 黒須康雄: “キャッシュメモリと共有メモリをもつディスクアレーの高

速化手法”, 電子情報通信学会論文誌, Vol. J86-D-I, No. 6, pp. 375-388 (2003).

[12] 堀内義章: “2014年・世界経済とHDD業界展望”, IDEMA Japan News, pp. 1-19

(2014).

76

[13] 日立製作所: “ITプラットフォーム”, 日立評論, Vol. 95, No. 1, pp. 33-41 (2013).

[14] 鋤柄力, 熊谷奈緒子: “クラウドコンピューティングを支えるストレージソリュー

ション”, 日立評論, Vol. 93, No. 7, pp. 490-493 (2011).

[15] B. Dufrasne, B. A. Barbosa, P. Cronauer, D. Demarchi, H. Drumm, R. Eliahu, X.

Liu, M. Stenson: “IBM System Storage DS8000 Easy Tier” (2013).

http://www.redbooks.ibm.com/redpapers/pdfs/redp4667.pdf

[16] X. Zhao, Z. Li, X. Zhang, and L. Zeng: “Block-Level Data Migration in Tiered

Storage System”, in Proc. of the 2nd International Conference on Computer and

Network Technology (ICCNT 2010), pp. 181-185 (2010).

[17] L. Lin, Y. Zhu, J. Yue, Z. Cai, and B. Segee: “Hot Random Off-Loading: A Hybrid

Storage System with Dynamic Data Migration”, in Proc. of the 19th IEEE

International Symposium on Modeling, Analysis & Simulation of Computer and

Telecommunication Systems (MASCOTS 2011), pp. 318-325 (2011).

[18] 須藤梓, 圷弘明, 大平良徳, 江口賢哲, 山本政行: “ストレージ階層仮想化機能

の実現方式検討”, 情報処理学会第 73 回全国大会講演論文集, Vol. 1, pp. 31-33

(2011).

[19] 大平良徳, 今崎美保, 須藤梓, 圷弘明, 江口賢哲: “ストレージ階層仮想化機能

におけるデータ配置先決定法の研究”, 情報科学技術フォーラム講演論文集, Vol. 10,

No. 2, pp. 137-138 (2011).

[20] 圷弘明, 今崎美保, 須藤梓, 大平良徳, 江口賢哲: “ストレージ階層仮想化機能

における高速な移動先階層の判定方法”, 情報科学技術フォーラム講演論文集, Vol.

10, No. 2, pp. 139-140 (2011).

[21] 今崎美保, 圷弘明, 大平良徳, 須藤梓, 江口賢哲: “ストレージ階層仮想化機能

におけるアクセス頻度の低 OVHな採取方法”, 情報科学技術フォーラム講演論文集,

Vol. 10, No. 2, pp. 141-142 (2011).

[22] 江丸裕教, 高井昌彰: “仮想ボリュームクラスタリング法による動的階層制御スト

レージの性能管理”, 情報処理学会論文誌, Vol. 52, No. 7, pp. 2234-2244 (2011).

[23] N. Fisher, Z. He, and M. McCarthy: “A Hybrid Filesystem for Hard Disk Drives

in Tandem with Flash Memory”, Computing, Vol. 94, pp. 21-68 (2012).

[24] 松沢敬一, 林真一, 大谷俊雄: “Application-aware なデータ階層管理によるアプ

リケーション処理高速化方式”, 情報処理学会研究報告, Vol. 2012-OS-120, No. 8, pp.

1-7 (2012).

77

[25] 坂下幸徳, 三神京子, 金子聡, 敷田幹文: “仮想環境向け自動データ適正配置方式

の提案”, 情報処理学会論文誌, Vol. 54, No. 3, pp. 1131-1140 (2013).

[26] 圷弘明, 山本彰, 大平良徳, 江口賢哲: “ストレージ自動階層配置機能におけるデ

ータ再配置の最適化”, 情報処理学会論文誌, Vol. 54, No. 4, pp. 1592-1608 (2013).

[27] 松沢敬一, 林真一, 大谷俊雄, 岩嵜正明: “RDBMSにおけるクエリ実行計画情報

を用いたストレージ階層制御による高速化手法”, 情報処理学会論文誌, Vol. 55, No.

7, pp. 1637-1644 (2014).

[28] U. Yoon and H. Kim: “Improving Hybrid Flash-Disk Storage by Incorporating

Sequential Pattern Mining into Fully-Associative Sector Translation”, in Proc. of

the 12th IEEE International Conference on Computational Science and

Engineering (CSE ’09), pp. 189-196 (2009).

[29] S. Faibish, P. Bixby, J. Forecast, P. Armangau, and S. Pawar: “A new Approach to

File System Cache Writeback of Application Data”, in Proc. of the 3rd Annual

Haifa Experimental Systems Conference (SYSTOR 2010), Vol. 3 (2010).

[30] H. Hsu and Y. Bai: “Using NAND Flash Memory to Improve the Performance of

HDDs”, in Proc. of the 23rd Canadian Conference on Electrical and Computer

Engineering (CCECE 2010), pp. 1-6 (2010).

[31] J. No: “Hybrid File System Using NAND-Flash SSD”, in Proc. of the

International Conference on Cyber-enabled Distributed Computing and

Knowledge Discovery (CyberC 2011), pp. 380-385 (2011).

[32] J. No: “NAND Flash Memory-based Hybrid File System for High I/O

Performance”, Journal of Parallel and Distributed Computing, Vol. 72, pp.

1680-1695 (2012).

[33] A. Aldahlawi, E. El-Araby, S. Suboh, and T. El-Ghazawi: “Modelling the

Performance of an SSD-aware Storage System Using Least Squares Regression”,

in Proc. of the 9th IEEE/ACS International Conference on Computer Systems

and Applications (AICCSA 2011), pp. 181-187 (2011).

[34] M. Saxena, M. M. Swift, and Y. Zhang: “FlashTier: A Lightweight, Consistent

and Durable Storage Cache”, in Proc. of the 7th ACM European Conference on

Computer Systems (EuroSys 2012), pp. 267-280 (2012).

[35] S. Dawkins, K. Voruganti, and J. D. Strunk : “Systems Research and Innovation

in Data ONTAP”, ACM SIGOPS Operating Systems Review, Vol. 46, No. 3, pp.

1-3 (2012).

78

[36] J. D. Strunk: “Hybrid Aggregates: Combining SSDs and HDDs in a single storage

pool”, ACM SIGOPS Operating Systems Review, Vol. 46, No. 3, pp. 50-56 (2012).

[37] D. A. Holland, E. Angelino, G. Wald, M. I. Seltzer: “Flash Caching on the Storage

Client”, in Proc. of the 2013 USENIX Annual Technical Conference (USENIX

ATC ’13), pp. 127-138 (2013).

[38] G. Zhang, L. Chiu, and L. Liu: “Adaptive Data Migration in Multi-tiered Storage

Based Cloud Environment”, in Proc. of the 3rd International Conference on

Cloud Computing (CLOUD 2010), pp. 148-155 (2010).

[39] G. Zhang, L. Chiu, C. Dickey, L. Liu, P. Muench, and S. Seshadri: “Automated

Lookahead Data Migration in SSD-enabled Multi-tiered Storage Systems”, in

Proc. of the 26th Symposium on Mass Storage Systems and Technologies (MSST

2010), pp. 1-6 (2010).

[40] 大江和一, 岩田聡, 本田岳夫, 河場基行: “On-The-Fly - Automated Storage

Tiering (OTF-AST)の提案”, 情報処理学会研究報告, Vol. 2014-OS-128, No. 6, pp.

1-10 (2014).

[41] 大江和一, 荻原一隆, 野口泰生, 小沢年弘: “spike 領域をリアルタイムに高速ス

トレージに移動することが可能な階層ストレージシステムの提案”, 先進的計算基盤

システムシンポジウム論文集, pp. 92-99 (2012).

[42] 大江和一, 荻原一隆, 野口泰生, 小沢年弘: “spike 領域をリアルタイムに高速ス

トレージに移動することが可能な階層ストレージシステムの提案”, 情報処理学会論

文誌, コンピューティングシステム, Vol. 5, No. 5, pp. 118-127 (2012).

[43] H. Payer, M. Sanvido, Z. Bandic, and C. Kirsch: “Combo Drive: Optimizing Cost

and Performance in a Heterogeneous Storage Device”, in Proc. of the First

Workshop on Integrating Solid-state Memory into the Storage Hierarchy (WISH

2009), pp. 1-8 (2009).

[44] H. Jo, Y. Kwon, H. Kim, E. Seo, J. Lee, and S. Maeng: “SSD-HDD-hybrid Virtual

Disk in Consolidated Environments”, in Proc. of the 2009 International

Conference on Parallel Processing (Euro-Par ’09), pp. 375-384 (2009).

[45] J. Suk and J. No: “Performance Analysis of NAND Flash-Based SSD for

Designing a Hybrid Filesystem”, in Proc. of the 11th IEEE International

Conference on High Performance Computing and Communications (HPCC 2009),

pp. 539-544 (2009).

[46] D. Lee and K. Koh: “Popularity Based Cache Management Scheme for RAID

79

Which Uses an SSD as a Cache”, in Proc. of the 4th International Conference on

Computer Sciences and Convergence Information Technology (ICCIT 2009), pp.

913-915 (2009).

[47] Y. Liu, J. Huang, C. Xie, and Q. Cao: “RAF: A Random Access First Cache

Management to Improve SSD-Based Disk Cache”, in Proc. of the 5th IEEE

International Conference on Networking, Architecture and Storage (NAS 2010),

pp. 492-500 (2010).

[48] Y. Klonatos, T. Makatos, M. Marazakis, D. Flouris, and A. Bilas: “Azor: Using

Two-Level Block Selection to Improve SSD-Based I/O Caches”, in Proc. of the 6th

IEEE International Conference on Networking, Architecture and Storage (NAS

2011), pp. 309-318 (2011).

[49] A. Aldahlawi, E. El-Araby, S. Suboh, and T. El-Ghazawi: “Modelling the

Performance of an SSD-aware Storage System Using Least Squares Regression”,

in Proc. of the 9th IEEE/ACS International Conference on Computer Systems

and Applications (AICCSA 2011), pp. 181-187 (2011).

[50] D. Jiang, Y. Che, J. Xiong, and X. Ma: “uCache: A Utility-Aware Multilevel SSD

Cache Management Policy”, in Proc. of the 10th IEEE International Conference

on High Performance Computing and Communications & IEEE International

Conference on Embedded and Ubiquitous Computing (HPCC/EUC 2013), pp.

391-398 (2013).

[51] J. Yang and Q. Yang: “A New Metadata Update Method for Fast Recovery of SSD

Cache”, in Proc. of the 8th IEEE International Conference on Networking,

Architecture and Storage (NAS 2013), pp. 60-67 (2013).

[52] T. Luo, S. Ma, R. Lee, X. Zhang, D. Liu, and L. Zhou: “S-CAVE: Effective SSD

Caching to Improve Virtual Machine Storage Performance”, in Proc. of the 22nd

International Conference on Parallel Architectures and Compilation Techniques

(PACT 2013), pp. 103-112 (2013).

[53] J. Liu, Y. Chai, X. Qin, and Y. Xiao: “PLC-cache: Endurable SSD Cache for

Deduplication-based Primary Storage”, in Proc. of the 30th Symposium on Mass

Storage Systems and Technologies (MSST 2014), pp. 1-12 (2014).

[54] S. He, X. Sun, and B. Feng: “S4D-Cache: Smart Selective SSD Cache for Parallel

I/O Systems”, in Proc. of the 34th IEEE International Conference on Distributed

Computing Systems (ICDCS 2014), pp. 514-523 (2014).

80

[55] 大江和一, 本田岳夫, 河場基行: “階層ストレージ方式検討に向けた商用 Samba

ワークロード分析と考察”, 情報処理学会研究報告, Vol. 2012-OS-123, No. 1, pp. 1-8

(2012).

[56] F. Chen, D. A. Koufaty, and X. Zhang: “Hystor: Making the Best Use of Solid

State Drives in High Performance Storage Systems”, in Proc. of the 25th

International Conference on Supercomputing (ICS 2011), pp. 22-32 (2011).

[57] 林真一, 薦田憲久: “階層ストレージにおける性能向上のためのデータ配置適正化

方式”, 電気学会論文誌 C, Vol. 133, No. 10, pp. 1989-1997 (2013).

[58] S. Hayashi and N. Komoda: “Data Location Optimization Method to Improve

Tiered Storage Performance”, in Proc. of the 15th International Conference on

Enterprise Information Systems (ICEIS 2013), Vol. 1, pp. 104-111 (2013).

[59] 林真一, 薦田憲久: “階層ストレージにおける性能向上のためのデータ配置適正化

方式”, 情報科学技術フォーラム講演論文集, Vol. 11, No. 1, pp. 271-272 (2012).

[60] 林真一, 薦田憲久: “階層ストレージにおけるボリューム階層化方式と SSDキャッ

シュ方式の評価”, 電気学会論文誌 C, Vol. 134, No. 3, pp. 459-465 (2014).

[61] S. Hayashi and N. Komoda: “Evaluation of SSD Tier Method and SSD Cache

Method in Tiered Storage System”, in Proc. of the Second Asian Conference on

Information Systems (ACIS 2013), pp. 8-14 (2013).

[62] S. Hayashi and N. Komoda: “Evaluation of Exclusive Data Allocation between

SSD Tier and SSD Cache in Storage Systems”, in Proc. of the 16th International

Conference on Enterprise Information Systems (ICEIS 2014), Vol. 1, pp. 144-151

(2014).

[63] 林真一, 薦田憲久: “階層ストレージにおけるSSD階層方式とSSDキャッシュ方式

の評価”, 電気学会研究会資料, 第 55 回情報システム研究会, IS-13-032, pp. 51-56

(2013).

[64] 林真一, 薦田憲久: “階層ストレージにおける階層化ボリュームと SSDキャッシュ

のSSD割当容量適正化方式の評価”, 電気学会論文誌C, Vol. 134, No. 12 (掲載予定).

[65] S. Hayashi and N. Komoda: “Proposal and Evaluation of Dynamic SSD Capacity

Allocation Optimization Method between Tiered Volume and SSD Cache in

Tiered Storage System”, in Proc. of the Third Asian Conference on Information

Systems (ACIS 2014) (In Printing).

[66] 林真一, 薦田憲久: “階層ストレージにおける SSD/HDD階層化ボリュームと SSD

81

キャッシュへの SSD 割当容量動的適正化方式の提案と評価”, 電気学会研究会資料,

第 59回情報システム研究会, IS-14-013, pp. 1-6 (2014).

[67] Hitachi Data Systems Corporation: “Hitachi Virtual Storage Platform

Architecture Guide” (2011).

http://www.hds.com/assets/pdf/hitachi-architecture-guide-virtual-storage-platfor

m.pdf

[68] D. Narayanan, A. Donnelly, and A. Rowstron: “Write Off-Loading: Practical

Power Management for Enterprise Storage”, in Proc. of the 6th USENIX

Conference on File and Storage Technologies (FAST ’08), pp. 253-267 (2008).

[69] G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin,

S. Sivasubramanian, P. Vosshall, and W. Vogels: “Dynamo: Amazon's Highly

Available Key-value Store”, in Proc. of the 21st ACM SIGOPS Symposium on

Operating Systems Principles (SOSP 2007), Vol. 41, No. 6, pp. 205-220 (2007).

[70] B. F. Cooper, R. Ramakrishnan, U. Srivastava, A. Silberstein, P. Bohannon, H.

Jacobsen, N. Puz, D. Weaver, and R. Yerneni: “PNUTS: Yahoo!'s hosted data

serving platform” in Proc. of the VLDB Endowment, Vol. 1, No. 2, pp. 1277-1288

(2008).

[71] R. Liu, C. Yang, C. Li, and G. Chen: "DuraCache: A Durable SSD Cache Using

MLC NAND Flash", in Proc. of the 50th ACM/EDAC/IEEE Design Automation

Conference (DAC 2013), pp. 1-6 (2013).

[72] 高田有時, 林真一: “ストレージ階層管理連携サーバフラッシュキャッシュ機能の

提案”, 第 13 回情報科学技術フォーラム講演論文集, Vol. 13, No. 1, pp. 141-142

(2014).

[73] B. Kai, W. Meng, N. Hongshan, H. Wei, and L. Bo: “The Optimization of the

Hierarchical Storage System Based on the Hybrid SSD Technology”, in Proc. of

the Second International Conference on Intelligent System Design and

Engineering Application (ISDEA 2012), pp. 1323-1326 (2012).

osaka university knowledge archive : ouka...hayashi and n. komoda: “evaluation of ssd tier method...

Documents