第28回「試してみましょう、db on flash storageの効果」(2013/08/29 on しすなま!)
DESCRIPTION
下記のしすなま!録画と併せてご覧ください。資料・録画の内容は生放送時点のものです。 第28回「試してみましょう、DB on Flash Storageの効果」(2013/08/29) 井深 祐輝 日本アイ・ビー・エム(株) システムx事業部 テクニカル・セールス 早川 哲郎 日本アイ・ビー・エム(株) システムズ&テクノロジー・エバンジェリスト http://www.ustream.tv/recorded/37954491TRANSCRIPT
© 2013 IBM CorporationSmarter Computing
『しすなま!第28回』
「試してみましょう、DB on Flash Storageの効果 」
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
本日のパネリスト
井深 祐輝(Yuki Ibuka)
System xテクニカルセールス
早川 哲郎(Tetsuro Hayakawa)
System xエバンジェリスト
2
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
井深祐輝とは?
3
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
今日のお題
DB on FlashStorageの効果を測る
生放送中にベンチマークやっちゃうぞ!
4
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
なぜDB on FlashStorageなのか?
5
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
データベースで困っていること
データベースの肥大化によるパフォーマンス課題
近データベースがどんどん遅くなっ
てきた。。。orz
バックアップが時間内に終わらない。。
6
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
データベースで困っていること
アプリケーション修正での性能向上が困難
パッケージベンダー任せだからわ
からない。。。
アプリ修正のコストが。。。
7
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
データベースで困っていること
ビッグデータ分析などの要望
リアルタイムな分析ができない。。。
たまっているデータを分析するといい
ことあるかも!!
8
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
結果として
データベースの多くの問題は性能にかかわる問題
新のハードウェアで解決できる問題
9
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
データベースサーバーの性能はどこで決まるの?
データベースサーバーの性能を決める要素は、ハードウェアとしては、プロセッサー・メモリー・ディスクに分かれます。
プロセッサーx86プロセッサーテクノロジーの進化により、高速化が進んでいます。これはSQLの解析処理の高速化に貢献しています。
マルチコア化により、SQLの並列処理や、マルチユーザーからのSQL処理能力の向上に貢献しています。
メモリーメモリーサイズが大きくなることで、多くのデータをメモリー内にキャッシュすることが可能となります。
サーバーに搭載可能なメモリー量には限界があるためすべてのデータをメモリー上に配置することは困難です。
ディスクデータベースサーバーの一番のボトルネック要因はディスク装置となります。ディスク装置を高速にするための既存のアプローチはディスク本数を増やす、高価なストレージ装置に変更などのやり方をとっています。
あるいは、データ圧縮・索引のチューニングなどによるソフトウェア的なアプローチも行われます。
ディスク装置が高速になることで、データベースサーバーの性能を飛躍的に上げることができます。
10
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
ディスクの性能を早くするためには?
ハードディスク ※1 フラッシュメモリー※2
比率
読み取り平均時間 3.4ms=3400μs 47μs 72倍
書き込み平均時間 3.9ms=3900μs 15μs 260倍
フラッシュテクノロジーを活用することでハードウェアのレベルでI/Oを高速にできる!
※1 http://www.seagate.com/jp/ja/internal-hard-drives/enterprise-hard-drives/hdd/cheetah-15k/のデータ
※2 https://www.fusionio.com/products/iodrive2/のデータ
11
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
DB on FlashStorageって何がいいのか?
データベースサーバーの記憶域としてフラッシュメモリーを活用することで、RDBでボトルネックになることが多いディスクI/Oを高速
化します。
サーバーで使用できるフラッシュメモリーは多くの種類があります
が、それぞれ特性が異なります。必要に応じたものを選択するこ
とで、多くの用途で提案することが可能です。
SSDを使用するケース PCIe型を使用するケース
外部フラッシュストレージを使用するケース
12
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
DB on FlashStorageでどれくらい速くなるのか?
いままでの経験では大体5-10倍程度。
実行する負荷によっても異なる。
速くならないケースもある。(後述)
13
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
14
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
マシン環境
System x3750 M4CPU: Intel Xeon E5-4650 2.7GHz 8core ×4Memory: 480GB15
HDD 300GB ×8 RAID 5SAS 6Gb/s 15KrpmHドライブIBM ServeRAID M5110
HDD 300GB×3 RAID 5Cドライブ
Windows Server 2012
IBM High IOPS アダプター(ioDrive 2) 785GB Fドライブ
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
ベンチマークの流れ
16
負荷生成サーバーDBサーバー
①tpccスキーマの生成(済)
②ユーザーの生成
③RUN!!
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
17
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
ioDrive2 vs HDD RAID 5
18
tpm
vuser
IBMの一環境での結果です。IBMはこの結果を保証するわけではありません。
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
どういうフラッシュを使えばよいのか?
19
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
IBMが提供できるフラッシュソリューションのパターン -1
サーバーサイドフラッシュ (サーバー内に内蔵
できる)SSD
ハードディスクの代替として、記憶素子をフラッシュメモリーに変更したもの
SSD内にコントローラを持ち、ハードディスクとの互換性が高いため、OSブートに使用できる
HDDの接続と同じなので、ソフトウェアスタック、コ
ントローラでのオーバーヘッドが発生
GBあたりのコスト安
PCIe型
サーバーのPCIeバスに直結した形のデバイス、2つのタイプに分かれる
• HIGH IOPS MLCアダプター
既存のHDDとの互換性にこだわらないため、OSブートに
は使用できない
レイテンシーが低く、性能が高い
• HIGH IOPS モジュラーアダプター
RAIDコントローラーとSSDをPCIeアダプター内に搭載し
たもの、互換性高く、OSブート使用可能
SAS HBAor
SAS RAID
SASDriverOS
SSD SSD SSD
SAS or SATA Protocol
SSD Controller SSD Controller SSD Controller
RAID Controller
HIGH IOPSAdapter
独自DriverOS
ASIC
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
HIGH IOPS MLCアダプターの例
FlashChip
FlashChip
FlashChip
チップレベルでのRAID保護
SSDレベルでのRAID保護
20
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
IBMが提供できるフラッシュソリューションのパターン - 2
SAN/NASストレージ+SSDSSD
サーバー内蔵型SSDと同じく、ハードディスクの代替としてSSDを使用する
ソフトウェアスタック、コントローラでのオーバーヘッド
フラッシュストレージと比べ安価に構成可能
ストレージコントローラの持つスナップショットなどの各種機能を利用可能
フラッシュストレージ
FlashSystem フラッシュチップを直接Flash Controllerが制御す
るため、高い性能を持つ
チップレベル、モジュールレベルでの可用性を持つため、高い信頼性
複数のサーバーから共有可能なFC、Infiniband接
続を持つ
StorageController
FC/iSCSIDriverOS
SSD SSD SSD
SAS or SATA Protocol
SSD Controller SSD Controller SSD ControllerRAID Controller
FlashController
ASIC
チップレベルRAID保護
SSDレベルでのRAID保護
FC / iSCSI Protocol
FC/iSCSIHBA
FC/iSCSI Controller
FC/IBDriverOS FC/IB
HBAFC/IB Controller
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChip
FlashChipモジュールレベルRAID保護
FC / IB Protocol
21
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
でどれがいいのか?
必要な性能と必要な容量に応じて選択!
サーバー内蔵できるのは10TB程度までが限界!
内蔵タイプは、フラッシュデバイス数によって性能はスケール
必要な機能に応じて選択!
HA構成は必須?
過去のOSを使いたい?
スナップショットなどの便利機能を使いたい?
22
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
高速化に向かないケース
高速化すると別の問題が発生する?
1. メモリー内で処理が完結されている2. シングルスレッド処理が多い3. アプリケーションでの処理が多い
そもそもディスクがボトルネックになっている?
1. ロックが発生して性能アップできない2. プロセッサーが足りない
23
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
まとめ
フラッシュテクノロジーを活用することで、データベース
サーバーの性能を大きく・簡単に伸ばしていくことが可能です。
データベースを高速化することで、以下のような悩みを一挙に解決することができます。
アプリケーションのレスポンスが悪い
バッチ処理が時間内に終わらなくなってきた
データベースの専門家が居ないのでチューニングを施せない
分散した多数のRDBサーバーを統合したい
会社の経営状態を分析して、ビジネスに役立てたい
24
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
次回しすなま!第29回のご案内
【日時】
2013年9月26日(木) 18:00-19:30 (約90分)
【テーマ】
vExpertによる座談会
【出演】
パネラー:社外・社内より、3名のvExpertの方に、ご出演いただきます。
ナビゲーター:東根作 成英
25
© 2013 IBM Corporation
IBM System x / BladeCenter : Smarter Computing
ご清聴ありがとうございました