[d24] あなたのビジネスを変えるinfinidbケーススタディ by toshihide hanatani

Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 1

あなたのビジネスを変えるInfiniDB ケーススタディ

株式会社アシストデータベース技術本部花谷俊英


はソフトウェア活用をアシストする会社です


つなぐ貯める活かす

データ連携が標準化され、データ加工/ロードが自動化、高速化

されたバックエンド

信頼性と高速性を同時に実現できるデータベース

誰でも必要な時に必要な情報を活用でき、柔軟性に富んだフロントエンド

自由分析ダッシュボード

自由分析ダッシュボード

定型レポート定型レポート

半定型レポート半定型レポート

DWH

データ整備

予算データ

販売システム

経理システム

ETLETLデータの

変換/加工

原価管理システム

DM(データマート)BI


InfiniDBの特長


DWHにおけるユーザの期待

細かく幅広いデータ分析 - 精度/粒度/鮮度 - 保持期間

PDCAサイクルの活性化 - 要件変更の柔軟性、容易性 - デリバリスピード

利用ユーザ部門企画・開発部門

快適なパフォーマンス - ストレスを感じないレスポンス - 情報提供までのスピード向上

高い投資対効果 - 初期投資の抑制、資産の流用 - 段階的な拡張性とシナリオ

シンプルなシステム基盤 - 維持運用コストの抑制 - 既存資産に対する影響小

経営・購買部門情報システム・運用部門


「DWH特化型DB」という製品分野

汎用RDBMSDWH専用

アプライアンスDWH専用ソフトウェア

パフォーマンス ×担当者スキルに依存した性能

◎専用機材で性能が担保される

○機能特化することで高性能を実現

拡張性 ×スケールアウトは困難

○ただし、実際の拡張は高コスト

○スケールアップ／アウトに対応

保守、運用性 △確立されているケースが多い

△ベンダー依存度が高い

○システム任せの

要員、操作性 ○使い慣れたインタフェース

△専用のスキルや知識が必要

○汎用RDBMSと同等

コスト △安価なエディションあるが・・・

×低コストは望めない

○専用機材が不要

「DWHは、構築と運用にコストと時間がかかりすぎる」

「汎用RDBMSでは、もはや期待する検索パフォーマンスが出ない」

「DWHアプライアンスは、どれも高額で手が出せない」


昨今の情報系インフラの選択肢

データウェアハウス見るべき情報を

的確に見る、見せる

ビッグデータ未知なる知見を

データからあぶり出す

構造化データ中心数百GB～数十TB

構造化データに留まらず非構造化データも

TBから PBにまたがることも

一般的なRDBMSDWH専用機材

多種多様な選択肢が増加（クラウド、Hadoop、NoSQL..）

10年前現在

トレンド目的

ソース規模

インフラ

ビッグデータデータウェアハウス


本日のテーマ

多種多様なアーキテクチャ、プロダクトが存在する昨今の情報系インフラ市場において、

「列指向型データベース」＝「InfiniDB」を題材に、● どのように企業システムで活用されているのか、● 導入した結果、どのような効果をもたらしたか、

についてご紹介します。

列指向型データベースご検討/ご活用の一助となれば幸いです。


ケーススタディ1


取扱データが増えると売上・利益は増える？


ビッグデータ基盤をパブリック・クラウドで構築

●数十ペタバイト（PB）規模

●数TB単位/日の規模で増加

● Webログ、デバイスログ等々


パブリック・クラウド利用のメリット・デメリット

メリット

必要な時に必要なリソースがすぐに調達できる運用をおまかせできる定期的に最新化される物理インフラ低コストで環境を利用できる

デメリット

リソース共有による性能安定性（HW・NW等）サービス個別での安定性（使い方を誤ると）安くない　データ連携、高スペックリソース恒常利用

美味しいところをつまんで使う


具体例①　NOKIAのケース

SQLによるアドホック分析

パブリッククラウド活用することで伸縮性を確保

@Nokia


ユーザ分析環境は「都度調達」● データ分析が必要になったら・・・

　１．データ量などを考慮して、必要なスペックを決める

　（足りなかったら、あとから足せる）

　2. Amazon AWS上で仮想マシンを調達

　3. InfiniDBをセットアップし、データを投入して分析する

　4. 分析が終わったら、環境を削除して終了（リリースする）

ライセンス保有（40コア分）

必要に応じてマシンを調達クラウドの柔軟さを活用

分析必要！


　　利用期間次第！？

【参考】インフラ費用の比較

利用するサービスインスタンスファミリー、タイプ vCPU DISK

オンデマンドインスタンス 4 32.4 2*420GB $1.08 ¥2,835,612 ¥4,726,020

--- --- $0.03 ¥65,700 ¥109,500

¥2,901,312 ¥4,835,520

マシンモデル科目 CPU DISK

HP Proliant DL360p サーバー本体、保守 4 32GB 300GB*6 ¥1,210,780.00 ¥1,257,580.00

※キッティング（組み立て）費用を含む ¥1,257,580 ¥1,356,580

パブリッククラウド（Amazon W eb Service）

メモリ(GB)

単価（時間）

3年（円換算）

5年（円換算）

ハイメモリオンデマンドインスタンスダブルエクストララージ（m2.2xlarge）

EBS最適化インスタンスハイメモリオンデマンドインスタンスダブルエクストララージ（m2.2xlarge）

オンプレミス（HP Prol iant DL360p）

メモリ（GB）

単価（1年） 3年 5年

¥1,356,580

パブリッククラウド：オンプレミス＝ \480万：\135万


（参考）Hadoop or 分析用DB

定型バッチ

対話型分析

得られる結果は同じ、違いは利用シーン

PLANCHECK

早い（すぐに試せる）速い（すぐに結果が得られる）

DO


専任DBAがいない


システム担当（DBA）が不要なDB？！

● 基幹業務は全て外部委託

● 情報システム部は数名

● 情報系システムDBを刷新

● 数名でも運用可能なDBって？！

DBA不在でプロジェクト回せる？

● 構築フェーズ

定期的なシステム更改運用フェーズ

構築フェーズ設計フェーズ

・DWH特有の設計思想が必要・将来的なユーザー要件の変化意識して設計

・ETLやBI／各フロントAPLとの連携実装・性能チューニング、マート、サマリ表作成

・たび重なるユーザー要件の変化への対応・レポート追加の度に、DBチューニングを実施

・かならずやって来るシステム更改への対応・新環境への移行コストは、新規導入の数倍？！


情報系システム

。。。な情報系システムの現場

運用

企画

開発

積み重なる追加・修正終わらないチューニング企画と運用の板挟みユーザ

変更リスクが大きく、施策や変更が受入できない膨らみ続ける維持コスト

ユーザから追加・改善要求PDCAサイクルが回せない投資対効果を実証しづらい


NO チューニング項目概要難易度（コスト・スキル）

備考

1 索引追加個別最適／アクセスパスの最適化高・中運用コスト大（再作成）

2 SQLヒント文調整個別最適／アクセスパスの最適化高・高チューニングコスト大 SQL修正

3 処理パラレル化個別最適／リソース最大活用高・低オプションコスト大 SQL修正

4 パラメータ調整全体最適／リソース最大活用低・低設計＆初期リリース

5 統計情報全体最適／アクセスパスの最適化高・低運用コスト大（定期収集）

6 物理配置全体最適／ディスクIO分散中・中設計

7 データ分割（パーティショニング）

全体最適／ディスクIO分散高・中オプションコスト大設計

8 データ圧縮全体最適／ディスクIO削減高・低オプションコスト大設計

9 サーバ増強全体最適／リソース追加高・低ライセンスコスト大

DBAによるDBチューニング作業

InfiniDBは開発／運用の妨げとなる「DBチューニング作業」を自動化

InfiniDBは開発／運用の妨げとなる「DBチューニング作業」を自動化

並列処理

索引管理パーティション化

列単位の圧縮


BIシステムのスモール＆スピード開発

・数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない

・既存システム増強には数千万円の投資が必要

・工数（時間、リソース）が確保できない

・ DBチューニングに詳しいエンジニア不在

・数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない

・既存システム増強には数千万円の投資が必要

・工数（時間、リソース）が確保できない

・ DBチューニングに詳しいエンジニア不在

・ PCサーバ1台でのスモールスタート

・使い慣れたBI（WebFOCUS）の有効活用　- DBチューニング不要、レポート作成に集中

・メンテナンスが簡単　- DM（サマリ表）作成不要　- 索引・統計といったDBバックエンドメンテ不要

・ PCサーバ1台でのスモールスタート

・使い慣れたBI（WebFOCUS）の有効活用　- DBチューニング不要、レポート作成に集中

・メンテナンスが簡単　- DM（サマリ表）作成不要　- 索引・統計といったDBバックエンドメンテ不要

POSデータの営業企画・支援への活用POSデータの営業企画・支援への活用

10億レコードのPOSデータ集計が数秒～数十秒で完了！

POSデータレポーティング

　医薬品製造・販売会社様の場合

ETLETLデータの

変換/加工

限られた人員（DBA不在）

少ない投資予算「スピード感」のあるPDCAサイクル

BIBIデータの抽出


DWH専用xxxって高い！？


情報系システムで利用されるDBと投資予算

200万円未満500万円未満

1000万円未満3000万円未満

5000万円未満5000万円以上

0

2

4

6

8

10

12

14

TeradataNetezzaGreenplumMySQL （MariaDB ）PostgreSQLDB2SQLServerOracleDatabase

2012.11.21 弊社InfiniDBセミナー　事前アンケートより

パフォーマンス重視導入コスト

重視

コストとパフォーマンスはトレードオフの関係に


昨今の技術進化

コストは同じCPUコア「8倍」、メモリ「10倍」

スループットは「50倍」

http://www.spec.org/性能データの出展：The Standard Performance Evaluation Corporation (SPEC)

某社ミッドレンジモデルの性能向上（2002年～2012年）

注文ID 商品ID 単価個数顧客ID 注文日

15332 212 3000 30 433 2013/04/03

15333 427 1500 15 156 2013/04/05

15334 58 800 20 333 2013/04/05

15335 145 1800 20 261 2013/04/08

15332153331533415335

21242758145

30152020

300015008001800

433156333261

2013/04/032013/04/052013/04/052013/04/08

列ごとに物理的に分離したブロック

※赤字：取り出すデータ領域

列指向アーキテクチャ

SQL> SELECT 商品ID , SUM(単価 × 個数) ...

「進化したPCサーバー」と「列指向アーキテクチャが」情報系システムの選択肢に変化をもたらす

IOネックを最小化


（参考）アプライアンスとの比較● 某社PoC（導入事前検証）の結果抜粋

Query

既存環境 InfiniDB

検索期間件数実行時間

Mem 同時実行 Mem 同時実行 Mem 同時実行

1st 2nd Ave 単体 5 単体 5 単体 5

test00

20110101-20110105 4,417 28 23 25.5 1.44 5.64 1.85 6.68 1.58 4.65

20110101-20110110 71,664 34 23 28.5 1.81 5.43 2.53 6.74 2.21 5.16

20110101-20110132 530,285 39 24 31.5 6.39 10.43 7.53 12.51 5.86 12.53

構成#1 構成#2 構成#3

既存環境（DWHアプライアンス）と比較して、5倍～20倍の性能向上※費用差額も踏まえ、アプライアンスの最新機種は除外

W/最新PCサーバ


性能優位≠置換え可● 性能面はあくまで一つの評価指標

● 異種DB置換えには必ず移行コストが発生

本体価格（ソフト、ハード）

保守費用

ハードウェア

ソフトウェア

保守費用

移行費用

移行費用

DWHアプライアンス最新機種への更改

コスト差額

置換えるだけの価格メリットもしくは同等の価値があるか


● 5年単位のリプレース計画は、主にハードウェアの老朽化対策として行われる

● ソフトウェア製品は、システム更改時のライセンス再購入不要

InfiniDBとアプライアンス製品のランニングコストの比較

アプライアンス型製品の場合

ソフトウェア型の場合

5～6年目

4年目

3年目

2年目

初年度 H/W 移行保守

保守

5年間の投資総額

H/W

保守

保守

保守

保守

保守

保守

保守

保守

5～6年目

4年目

3年目

2年目

初年度 H/W+S/W 保守

5年間の投資総額

保守

保守

保守

保守

H/W+S/W

コストの差額

費用の差額：システム更改の度に買い直しが発生し、累積では多額の費用負担となる。

システム更新時に毎回システム全体の購入が必要！

S/W

（参考）ランニングコストの比較


RDBMSはやっぱり偉大

RDBMSの自由度、万能さは捨てがたい。。。


トータルバランスを考えてそれぞれの能力を最大限引き出す

RDBMS 列指向型DB

現在対象過去

更新処理1行データの抽出

得意大量データ処理

分析・集計

大量データの抽出（分析・集計）

不得意更新処理

1行データの抽出

一つのアーキテクチャに固執しない

RDBMSRDBMS

列指向型DB


レスポンス課題を列指向DBで解消する

独自構築した日本最大規模のデータベース（消費者9,500万件・企業情報750万件）を用いてデータベースマーケティング支援とCRM戦略立案を提供

課題

株式会社ランドスケイプがこれまで内製で作り上げたマーケティング・システムは、長年に渡るチューニング作業の結果、システム全体では非常に高い検索性能を実現できていた。が、一部の大量データに対する検索処理は、検索に1分以上を要するなど、長年のシステム課題となっていた。

ランドスケイプ社

上位エディション＋オプション機能

全文検索エンジンへの置き換え

既存DB環境をブラッシュアップ


組合せてコストパフォーマンスを最適化

営業担当：150名

独自に同期処理を実装

検索処理＆更新（メンテナンス）

法人データ：750万件過去履歴累計：4000万件

マーケティングDB（法人DB）の性能改善マーケティングDB（法人DB）の性能改善

重い検索処理（LIKE検索）

Oracle SEと併用することで、移行コストも最小にOracle SEと併用することで、移行コストも最小に

1分以上かかっていた検索が2秒に、2週間かかっていた商談が3日に

ランドスケイプ社の場合


汎用DBMSを使い倒す！！

業務系AP

販売管理システム性能の安定販売管理システム性能の安定

業務担当者

企画・管理者

売上速報みたい在庫状況みたい

販売傾向知りたい過去実績比較

某スポーツ用品メーカーの場合

業務系DB

基幹業務である販売管理システムを刷新、情報活用・見える化を推進

情報系AP月末締めになると負荷増で

パフォーマンスダウン

上位エディション＋オプション機能

既存DB環境をブラッシュアップ

設計上の問題？チューニング？


業務系DBと組合せてリアルタイム＆負荷軽減

業務系AP

販売管理システム性能の安定販売管理システム性能の安定

業務担当者

企画・管理者

売上速報みたい在庫状況みたい

販売傾向知りたい過去実績比較

某スポーツ用品メーカーの場合

業務系DB

基幹業務である販売管理システムを刷新、情報活用・見える化を推進

情報系AP

ETL経由リアルタイムデータの照会（当月の範囲）

過去データ照会(当月以前)

業務用DBの負荷軽減情報系システムのレスポンス向上

業務用DBの負荷軽減情報系システムのレスポンス向上


まとめ

●廉価なPCサーバにおいても、必要十分な性能が期待できます

●BIのバックエンドに置く小規模なデータベースから、大規模なDWH環境まで幅広く活用いただいています

●動作環境は、パブリック・クラウドから自社内の仮想環境まで、

幅広く対応しています。


百聞は一見に如かず

お手持ちの実データで、「速さ」と「手軽さ」を是非体験ください

http://infinidb-tech.ashisuto.co.jp/

　検索


：本資料に記載されている社名、製品名は各社の商標または登録商標です。：本資料の全体または一部に記載されている内容については、予告なく変更する場合があります。

[d24] あなたのビジネスを変えるinfinidbケーススタディ by toshihide hanatani

Technology