![Page 1: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/1.jpg)
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Insight Technology, Inc.新久保 浩二
切り開けDBエンジニア
データ分析基盤へインサイトテクノロジーの1つの答えとは!
![Page 2: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/2.jpg)
2
• データはアセット(喜連川さん)
• データの時代(ジェイソン)
• 分析のスピードは大事(もう、当たり前)
• そこで、大量のデータ(アセット)をいかに効率よく分析にするか。が大事
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
![Page 3: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/3.jpg)
3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise meets 象
![Page 4: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/4.jpg)
4Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
僕が象と戦った歴史
![Page 5: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/5.jpg)
5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で夢を見ていた時代
• HDFSは無限のスケーラビリティとアベイラビリティがあるじゃないか
• HiveはHDFS上でQueryらしきものが扱える
• 既存のRDBMSで不可能なことが可能になるかもしれない
![Page 6: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/6.jpg)
6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
こんな感じで検証してました。
今も現役で検証機として使ってますが
![Page 7: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/7.jpg)
7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で現実を知った時代
• HDFSは無限の可能性を秘めているけど。種々の理由でスケールさせるのは至難の業。
• HiveはHDFS上でQueryらしきものが扱えるけれど。普通に使うには遅すぎる。
• 既存のRDBMSを入れ替えるのは非現実的。ますます分析系DBの役割は大きくなっている
![Page 8: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/8.jpg)
8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
ちなみに当時の衝撃的な検証結果
DBとして見ると期待値を裏切るスケーラビリティのなさ(だった)
当時ベンチマーク対象だったRDBMSに並ぶスピードを出すには100ノードを超えるクラスタにする必要があるとの予測(だった)
![Page 9: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/9.jpg)
9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
しかし、膨大なデータは存在するわけで…
切り開け データベースエンジニア
![Page 10: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/10.jpg)
10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
DB屋が見る今の象のイメージ(適材適所)
ERP SCM CRM
Legacy OLTP
ログ、センサーデータ、POSといった、たまり続けるデータでデータの価値は大きいが、参照頻度が低いデータはHDFS上がぴったり
![Page 11: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/11.jpg)
11
Vectorwise Hadoop Connector
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise Hadoop Connector 3.0
MAP MAP MAP
Reduce Reduce Reduce Reduce Reduce Reduce
Async Parallel Commit
Commit Status
JOB ID & Meta Data
1
2
3
4
5
1Vectorwiseのメタデータを取得すると共に、Map Reduce用のJOBIDを取得
2HDFS上のファイルをMapTaskで取得しKey Value変換
3
各カラムごとにReducerを起動し、VectorwiseのDBブロックイメージ(カラム指向 & 圧縮)に変換
4Reducerは、各プロセスごと非同期で構成したDBファイルをVectorwiseに適用
5Master ReducerはVectorwiseからCommit Statusを取得し、必要であれば、同期Commitを実行
![Page 12: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/12.jpg)
12Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
実行イメージ
![Page 13: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/13.jpg)
13Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ
![Page 14: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/14.jpg)
14Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
今なら仲良く付き合えそうです
![Page 15: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/15.jpg)
15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Real Time Analytics on Vectorwise
![Page 16: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/16.jpg)
16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
まだまだ連携したいデータは沢山ある
ERP SCM CRM
Legacy OLTP
![Page 17: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/17.jpg)
17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Attunity Replicate for Vectorwise
Full Load
Change Data Capture
Control & Monitor
![Page 18: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/18.jpg)
18Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ
![Page 19: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/19.jpg)
19Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
実行イメージ
![Page 20: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/20.jpg)
20Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ
![Page 21: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/21.jpg)
21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
今できる現実
ERP SCM CRM
Legacy OLTP
![Page 22: A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo](https://reader034.vdocuments.pub/reader034/viewer/2022052411/5563613ad8b42ae6088b4853/html5/thumbnails/22.jpg)
22Copyright © 2013 Insight Technology, Inc. All Rights Reserved.