日立ソリューションズのビッグデータビジネス · 導入実績多数:kvm, xen,...
Post on 30-Jan-2020
1 Views
Preview:
TRANSCRIPT
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立ソリューションズのビッグデータビジネス~Hadoopソリューションとビッグデータ利活用~
株式会社 日立ソリューションズビッグデータビジネス推進センタ
吉田 行男
Prowise Business Forum in Tokyo 第65回
【日立ソリューションズ セッション】
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
1
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
2
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
ビッグデータについて
3
1.11. はじめに
ビッグデータというキーワード
IT業界のキーワードとして、2010年頃から注目を浴び始めた『ビッグデータ』一方で、本質が掴み難く、バズワードと捉えられているのも現実
約3年経った現在も、「ビッグデータとは何か?」、「これまでの分析と何が違うのか?」といった議論が交わされ、「当社にはビッグデータは存在しない」として、まだまだ重要視されない状況や動向観察の企業も少なくない
© Hitachi Solutions, Ltd. 2013. All rights reserved.
ビッグデータについて(2)
4
1.21. はじめに
データの利活用には、これまでのようにベンダーやSIerだけでは困難ユーザ企業と一体となった戦略的推進が必要なビジネス日本企業には、データ活用の4強(*)に負けない、休眠データが沢山ある
*…Google, Amazon, Facebook, Apple
ビッグデータから得られる価値は何か?
ビッグデータを活用する意義
ビッグデータには、様々な定義や技術もあるが、今、企業が業種やデータ規模を問わず、取り組む意義が高いテーマ
ITシステムのハードウェア、ソフトウェアがコモディティ化した現在、差別化や優位性の確保には『データ主役時代』になっている
分析してみなければ分からないというのも事実仮説を立て検証するデータ分析もあるが、大量データを機械学習などによる分析で『データが語る事実』が得られる事もある後者は、トライして初めて分かる事、そして論理的な根拠が無い事もある
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
5
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
ビッグデータ市場動向
6
2.12. 市場動向と近況
ビッグデータの市場動向
国内ビッグデータ技術/サービス市場は黎明期、今後の成長率も高い
ビッグデータの認知度、実活用メリットや手法の理解はまだまだ低い
ビッグデータ市場規模
2011年度 1,900 億円
2020年度 1 兆円
(億円)
CAGR 21.0%(2011年~2020年)
出典:矢野経済研究所ビッグデータ市場に関する調査結果2012
動向調査 認知度 ビッグデータ活用の検討
ビッグデータ活用ITシステム導入済
国内企業1,050社 情報システム部門 56.8 %業務部門 31.1 %
13.6 % 2.6 %
出典:IDC Japan2012年 国内ビッグデータテクノロジー/サービス市場 需要動向分析
© Hitachi Solutions, Ltd. 2013. All rights reserved.
ビッグデータの定義・特徴
7
2.22. 市場動向と近況
ビッグデータの定義と特徴
Volume (容量):従来の技術による処理量を超えた大容量データ
Variety (種類):画像/音声/ログなど非構造化データ
Velocity (頻度・スピード):データ生成/分析の高速化、リアルタイム化
Value (価値):分析&利活用で経済的価値が発生
ビッグデータの特徴
【データ容量の増加】
【データ種類の多様化】
定型データ構造化データ
画像/映像データ非固定長データ
固定長データ
【データ発生頻度・スピードの高速化】
非構造化データ
手入力データ定期発生データ
センサデータ
【価値】データ分析から
発見、創出
ビッグデータの課題的特徴
プライバシーなどのコンプライアンス:各種情報の組合せによって、個人特定などが可能な情報が生成される
分析データの取り扱い:データ分析する際に、利用するデータは自社データのみでない事も多いまた、分析されたデータをマネタイズするのは自社のみではない事もある
© Hitachi Solutions, Ltd. 2013. All rights reserved.
OSSの市場動向
8
2.32. 市場動向と近況
OSS導入実績調査
Linux Foundation SI Forumが実施した2011年度オープンソースソフトウェア導入実績調査から
① 調査概要 調査期間 : 2012/3~2012/4 調査対象期間 : 2011年度(2011/4~2012/3) 参加企業(8社) :
•株式会社日立製作所(日立Grは、日立で纏めて回答)•株式会社アシスト•日本電気株式会社/NECソフト株式会社•日本電信電話株式会社/株式会社NTTデータ•デル株式会社•東芝ソリューション株式会社•日本ヒューレット・パッカード株式会社•富士通株式会社/株式会社PFU
© Hitachi Solutions, Ltd. 2013. All rights reserved.
OSSの市場動向
9
2.42. 市場動向と近況
全体概況
分 野 結 果
OS / Distribution Android、Debian、Ubuntuなどが導入され、OS利用の多様化が進行 導入実績多数 : CentOS, Fedora, Android, Debian, Ubuntu等 導入実績あり : LKST, openSUSE, Vine Linux
仮想化 / クラウド 「クラウドビジネス」との融合により、大規模な仮想化環境の導入が必要クラウドインフラの費用を圧縮するためOSSのツールへの移行が進展 導入実績多数 : KVM, Xen, OpenStack 導入実績あり : oVirt, VirtualBox, CloudStack, QEMU等
DB・関連ツール 昨今のクラウド・ビッグデータビジネスの影響を色濃く反映Hadoopの導入実績の増加に合わせ、関連ツール類も増加 導入実績多数 : PostgreSQL、MySQL 導入実績あり : CDH、memcached
クラウド/仮想化/ビッグデータ関連OSSの導入実績が急速に進んでいる
本年度、検証実績があるCloudForms、CloudFoundryなどは、来年は導入実績が予想される
© Hitachi Solutions, Ltd. 2013. All rights reserved.
OSSの市場動向
10
2.52. 市場動向と近況
最も積極的に投資が進む分野でOSSの活用が活発
「クラウド」「ビッグデータ」
分野 OSSツール 導入実績社数
クラウド OpenStack 3
CloudStack 2
Eucalyptus 3
ビッグデータ Apache Hadoop 4
Apache Hbase 5
ITのトレンドはOSSが主導し、ベンダが追従する
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
11
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立ソリューションズのビッグデータ事業取り組み
12
3.13. ビッグデータ事業への取り組み
全社活動に向けて「ビッグデータビジネス推進センタ(2012年12月)」を設立
「専任者+各事業部(企画部門)兼任者」で構成し、ビッグデータ事業の推進強化により、お客様への高付加価値の提案を実現
社内事業戦略を策定、事業計画立案、人財強化・育成 社内/社外との連携強化と活用 お客様への高付加価値ソリューション提案
お 客 様
連携
日立ソリューションズ(+日立ソリューションズグループ)
ビッグデータビジネス推進センタ
オープンソース技術開発センタ
各営業本部 各事業本部
日立ソリューションズグループ(東日本 他)
連携
日立製作所
日立システムズ
・・・
連携
日立グループ
連携社外
パートナー企業
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立ソリューションズのOSS関連事業取り組み
13
3.23. ビッグデータ事業への取り組み
日立ソリューションズは早くからOSSに積極的に取り組んできています
時 期 概 要
2000~ MIRACLE LINUXサポート及びLinuxサーバ構築サービスを開始
2004/04 「OSSサポートサービス」を提供開始
2005/01 日本OSS推進フォーラム参画 → IPA OSS iPediaに評価結果を公開–05/上:JBossクラスタ評価,05/下:Tomcatクラスタ及びMySQLスケーラビリティ評価,06/下:Geronimo評価
2005/07 Linux(OSS)コンソーシアム参画
2006/05 OSDL(現Linux Foundation) SI Forum に参画–06,07,08,09,10,11年度 『OSSミドルウェア/ツール調査』実施
2008/06 OBCI(オープンソースビジネス推進協議会)参画
2009/02 レッドハット社とアドバンスド・ビジネス・パートナー契約締結
2010/04 OSSソリューションビジネス推進センタを設立
2010/07 Black Duck Software社とパートナー契約締結
2012/02 レッドハット社とJBoss プレミア・ビジネス・パートナー契約締結OSCA(Open Standard Cloud Association)参画
2012/09 クラウデラ社とCDHパートナー契約締結
2013/03 ノーチラステクノロジーズ社とパートナー契約締結
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立グループとの連携
14
3.33. ビッグデータ事業への取り組み
日立グループとして、超上流~システム構築までビッグデータの利活用ビジネスを推進中。
ビッグデータの
発生源
見えなかったものが
見えてくる
新しい視点で
価値を発見できる
「今」から「未来」を
予測できる
生まれる価値
1
2
3
データ・アナリティクス・マイスターサービス
ビジネス
シナリオIT
ビジョン
仮説
事業モデル
分析
分析技術
分析人財
分析ツール
ビッグデータ利活用基盤
データ収集デバイス
サーバ・ストレージ・
クラウド
イノベイティブ・アナリティクス
日立ソリューションズは主にIT(システム構築)が強み
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立グループとの連携
15
3.43. ビッグデータ事業への取り組み
ヒューマンビッグデータ
人の状態や行動に関するデータを利活用
Solution 1
マシンビッグデータ
モノの稼働情報に関するデータを利活用
Solution 2
スマートインフラビッグデータ生活や社会を表すデータを利活用
Solution 5
マーケットビッグデータ
リアルな市場を表すデータを利活用
Solution 4
ロケーションビッグデータ
位置情報や空間のデータを利活用
Solution 3
人間行動測定用センサー
ライフ顕微鏡
専用テクノロジー
・・・
AirSence
SmartMODULE
専用テクノロジー
・・・
AirLocation
GPS Stream
専用テクノロジー
・・・
CoreExplorer
SynCAS PSI
専用テクノロジー
・・・
GeoMation
情報制御連携環境
専用テクノロジー
・・・
日立グループとして5つの分野でビッグデータの利活用ビジネスを推進この中に日立ソリューションズの独自技術を適用
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
16
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopがもたらすパラダイムシフト
17
4.14. Hadoop動向と活用事例
●エンタープライズ向け
サーバ、ストレージ
■高価なシステム
大量データの取り扱いには、高価な
システム環境構築が必須
■高度な技術
専用ソフトウェアと高度な分析手法
などスペシャリストが必須
エンタープライズ向け
専用ソフトウェア
ハードウェア ソフトウェア
汎用ソフトウェア
オープンソース
ソフトウェア
従来
Hadoopにより、これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります
●ミッドレンジ向け
サーバ、ストレージ
●コモディティサーバ、
ストレージ
商用ソフトウェア
CPUやHDDの性能が飛躍的に
向上し、高機能なPCが廉価で
容易に手に入れられる時代
OSS利用のノウハウの高まりに
よって、敬遠傾向から、積極的
な活用傾向へ転換している
■コモディティ化システム
高価な機器、大規模な設備が無くと
も、PB級のデータが取り扱える
■オープンでグローバルな技術
世界中の誰でも入手、利用できる技
術やノウハウで、高度な分析も大量
データの取り扱いも可能
Hadoopによる
パラダイムシフト
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopの動向
18
4.24. Hadoop動向と活用事例
Hadoopの利用機能と利用シーン(ニーズ)の変化
HDFS MapReduce
Hadoopコアコンポーネント
+
スケールアウト可能な分散ファイルシステム(HDFS)と、並列処理実行(MapReduce)によるトライアル的な利用中心並列処理を容易に操作する為、
一部の関連プロジェクトの利用
Hive Pig
一部のHadoop関連プロジェクト
HDFS MapReduce
Hadoopコアコンポーネント
+
Hive Pig
各種Hadoop関連プロジェクト
Flume Sqoop
HBase Zookeeper
・・・
変化
実データ分析による、ビジネス活用の開始データ収集や視覚化などのシステム
設計を含めた各種プロジェクト利用実運用レベルでの活用に向けた、信
頼性・可用性設計
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Cloudera社のCDH/Cloudera Enterprise
19
4.34. Hadoop動向と活用事例
Cloudera社について
Apache Hadoopの商用ディストリビューションを開発・提供している企業Hadoopの開発者 Doug CuttingがCloudera社のチーフアーキテクト
Hadoopビジネスで最も有名な企業であり、Cloudera社のCDHやCloudera Enterpriseは世界中で最も多く利用されている
日立ソリューションズでは、2012年10月にCloudera株式会社と販売代理店契約を締結。
CLOUDERA ENTERPRISETHE PLATFORM FOR BIG DATA
管理ソフトウェア&サポート
ClouderaManager
ClouderaSupport
CDH
CDH(Cloudera's Distribution including Apache Hadoop)
OSS100% Open Source
HBase
MapReduce MapReduce2
Hive Pig Impala
ZooKeeper
Flume Sqoop
Oozie Hue
Mahout
Whirr
HDFS
ClouderaEnterprise(Core)
ClouderaEnterprise(RTD)
ClouderaEnterprise(RTQ)
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopの進化
20
4.44. Hadoop動向と活用事例
進化が続くHadoop(CDH/Cloudera Enterprise)の動向
CDH3
2011年4月~
単一障害点(SPOF)の解決次世代フレームワーク
MapReduce2(YARN)の搭載フェデレーションサポートでよ
り大規模化に対応
進化 CDH4
2012年6月~
進化 CDH5
2013年6月頃登場 (?!)
進化
リアルタイムクエリ「Impala」の搭載HA機能の強化・完全化セキュリティ強化 等※予定情報
ClouderaManager 3
ClouderaManager 4
高度な運用管理、システム監視機能のサポートシステム一元管理機能の強化と
容易性向上
ダウンロード数[CDH]8,000超/月
[Cloudera Manger]4,000超/月
更なる関連プロジェクト追加や品質向上 等
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopの活用事例 ~利用者共通の目的~
21
4.54. Hadoop動向と活用事例
Hadoop基礎機能の利活用
大量データを利用可能なフレームワークへの期待
ペタバイト級データを実際に利活用しているメジャー企業の実績 数千ノードまで拡張可能なスケールアウト性
ハードウェア・ソフトウェアとの高い親和性
多種H/Wでの稼働実績、多様なS/Wとの接続性
OSSとしてのHadoopの魅力
グローバルで利活用可能な共通基盤としての期待
世界の何処でも共通基盤化できる(グローバル展開・ディザスタリカバリ等) 世界の誰もが開発・保守できる (維持保守の低コスト化 等)
オープンソースに対する意識の変革
品揃え・機能の充実、品質の高まりに対する認知度向上 事例・問題解決・各種ノウハウが多く、容易に入手可能
スケールアウトで大容量化&高速化
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopの活用事例 ~個別事例①~
22
4.64. Hadoop動向と活用事例
金融機関での事例
サイトのアクセス統計は取得しているが、実操作の動線や離脱状況・理由が把握できない
現システムに手を加えず(ログ強化やビーコン埋込み等)、ログの分析で、効果あるサービス施策やサイト改修をしたい
背景 対応 今後
ユーザ操作の実動線とパターン、離脱箇所や滞在時間を可視化
非定型ログをHadoopで全走査でクレンジングし、ユーザ毎の操作をレコード生成。実動線レコードとは別に、動線のパターン化、離脱箇所特定、画面毎の滞在時間を算出し、WEBアプリからアクセス可能なHBaseに格納。
【参考:上記全処理時間】400GB 18分 (CPU:12core/RAM:96GB 5台)
今回の分析した事実情報を二次分析し新たな知見発見
- 他データとの相関分析- 機械学習などの数理分析
ログ収集などの安全、且つ確実な自動化
- Flume(CDH)の利用
即時利用・結果取得可能なアドホック分析の実現
- Imapala(CDH)の利用
日立ソリューションズの技術
銀行所有の「最高レベルの機密データ」を保持する高機密度システム構築
高可用・高信頼システムの構築
A B C
X Y Z
D
正常系
●パターン①
●パターン②20user[25%]
10user[12%]
離脱系●パターン③ ●パターン④
80user 40user 45user
12user15user 15user
23sec 10sec 52sec
11sec9sec9sec
数値補正
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
通信機器からの大量ログを長期間確実に保持したい
- 毎時250GBを4ヵ月
保管した大量ログの検索・マッチングを高速に実施したい
- 最大1PBytes
Hadoopの活用事例 ~個別事例②~
23
4.74. Hadoop動向と活用事例
通信事業での事例
背景 対応
日立ソリューションズの技術
Hadoopを多クラスタ構成で構築、運用JP1を利用したジョブ制御、稼働監視
などの運用管理国内トップクラスの大規模クラスタ構築
時のHadoop設計、実構築の技術
Hadoopを大規模ストレージとして利用しデータの冗長性を担保
Hadoopの多クラスタ構成により、障害時も24時間365日の確実なデータ保管を実現
240nodes/クラスタ(1,000nodes超/全クラスタ)の超大規模な並列分散処理環境により高速処理を実現
【参考:処理時間】15TBのログ全件検索と50GBのログマッチング:40分 技術的ポイント
100nodes以下でも、パラメタ設計などは独特の技術やノウハウが必要100nodesを超えると、システム設計
にまで及ぶ課題やノウハウが出現
UQ来場へのケア考察
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
セキュリティ事故防止のため、インターネット接続先サイトの規制を行っているが、各種の見直しをしたい
- ネット情報利用の重要性・利便性とセキュリティ規制のバランス確保
- 運用部門と実利用部門のコスト低減
Hadoopの活用事例 ~個別事例③~
24
4.84. Hadoop動向と活用事例
日立社内活用例
背景 対応
利用状況を分析し、規制解除の自動化、適正な判断をスピーディに実現
【利用者部門】情報量増加による業務効率改善規制解除などの事務作業低減
【運用部門】自動化による人為的ミス解消規制解除に関する各種事務作業の低減
分析データを利用した、情報漏洩事故やコンプライアンス違反の検知・予兆の実現膨大なデータに含まれる、様々なノイズを
Hadoopで高速にクレンジングすることで、分析精度を向上膨大なデータ蓄積・集計基盤としてHadoopを活用
【参考:処理時間】数十台のWebサーバのアクセスログ 1週間分を60分以内にクレンジング/集計
利用側
蓄積集計分析
見直し分析レポート
状況収集
運用側
サイト利用
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopの活用事例 ~その他~
25
4.94. Hadoop動向と活用事例
Cloudera Manager関連
Hadoopクラスタの新規構築・スケールアウト、運用で非常に便利
長時間画面を眺めての作業、1台1台の作業から解放されます 環境設定・変更でのヒューマンエラーを最小限にできます Cloudera Managerだけが補完する機能(*1)も見逃せない
*1…安全バルブと呼ばれるXXX GUIでの操作・確認は使い手を選びません
使いこなすにはコツが必要
機能追加・改善ペースが速いです できる事が多い分、パラメタも多く、リソース設計も必要です
要メンテ
日立ソリューションズの技術
多くのCloudera Manager利用実績・経験Cloudera Manager V4.xの全パラメタxxx個を調べ、実運用で活用Enterprise版でのリソースを加味したシステム設計が可能
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoopを利用したバッチ処理高速化
26
4.104. Hadoop動向と活用事例
ノーチラス・テクノロジーズ社「Asakusa Framework」によるバッチ高速化
Asakusa Frameworkは、ノーチラス・テクノロジーズ社が開発するオープンソースで、Hadoopを利用したバッチ開発向けの「開発フレームワーク」
バッチ処理に特化した機能・ツールが一体となり、バッチ開発の敷居を下げ、開発効率を容易に向上可能
データモデル設計/データ・処理フロー設計/RDB連携ツール バッチ処理向けの各種テンプレート、テスト支援ツール 等
日立ソリューションズでは、2013年3月にノーチラス・テクノロジーズ社と販売代理店契約を締結。
<Asakusa Frameworkの位置付け>
業務バッチ向けAsakusaFWバッチ開発
フレームワーク
Hadoopコア(実行基盤)
統計・分析向けHive
SQL系Pig
スクリプト系
MapReduce(並列実行FW)
HDFS(分散ファイルシステム)
Hadoop基盤活用で、I/O分散や並列処理を実現
複雑なMapReduceをJavaでフル開発をせず業務バッチ実装が可能
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Asakusa Framework概要
27
4.114. Hadoop動向と活用事例
Asakusa Frameworkの機能と特長
現バッチサーバ上の特定の長時間ジョブを短時間化する事に最適
バッチシステム刷新に比べ低コスト、最小限の影響範囲で導入可 並列処理可能なバッチ、且つRDBMSでI/Oネックの場合に効果大
Hadoopの理解、複雑なMapReduce開発が不要
<Asakusa FW利用時の一般的システム構成例>
【Hadoop】
分割ファイル
【Hadoop】
Masterノード
AsakusaFW[実行エンジン]
バッチ実行サーバ
DBサーバ
処理対象テーブル
RDBMS
処理結果テーブル
③ジョブ起動②AsakusaFWが
DBの対象データ取得、Hadoop上へ分散格納
①バッチ実行
【Hadoop】
分割ファイル
【Hadoop】
分割ファイル
Asakusa開発バッチアプリAsakusaFW[ライブラリ]
Asakusa開発バッチアプリAsakusaFW[ライブラリ]
Asakusa開発バッチアプリAsakusaFW[ライブラリ]
⑤結果格納
④並列ジョブ起動
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Asakusa Frameworkの活用事例
28
4.124. Hadoop動向と活用事例
小売業での活用事例①
売価還元法個別原価法法対応(IFRS)
Keywords 従来システムは売価還元法の為、日毎/商品毎の利益算出困難⇒ 個別原価法での日次処理は、計算量1,000倍超であり
スケールアップ対処が困難一方で、各種法対応の必須の課題
⇒ 低コスト(HW, SW, 開発費)、早期導入の必要性
100~500GB50店舗超1万超の商品3千超の仕入先
規模
商品グループ単位の月次原価管理、個別単品単位での日次原価計算(個別原価法)を実現利益状況をリアルタイムに可視化でき、経営判断スピードが向上Asakusa Framework利用による開発効率とコストの確保
製造・卸販売での活用事例②
原価計算クラウド基盤
Keywords 経済状況・市況により変動が大きくなった仕入先/仕入額の影響で、従来の一部商品での原価計算ではリスク大⇒ 全商品のアクチュアル原価算出は時間も、コスト面も困難
5~10GB
規模毎日4時間の原価計算は20分に短縮長時間ジョブの切り離しで既存DBサーバの負荷軽減実行はAmazonWebServiceの20分利用(コストはオンプレの1/10)短時間ジョブとクラウド基盤で障害時の不安払拭
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Asakusa Frameworkの活用事例
29
4.134. Hadoop動向と活用事例
九州電力殿での検証開始
基幹系バッチ料金計算
Keywords スマートメーター導入に伴い、検針データが大幅増加するため、大量データ、高速なバッチ処理が必要⇒ 検針データが1,440倍(1回/月⇒1回/30分)
スケールアウトが容易なデータストアと分散バッチ処理の必要性
九州電力殿で事前評価(2010~2012年)
九州電力殿、日立、ノーチラス・テクノロジーズ社で、協同検証を2012.12より開始。
AsakusaFWの学習時間を含めても、開発工数が1/2以下で高効率
4億レコード(37GB)を対象とした処理検証で高速化可能を確認
OracleDB 1台 123時間 Hadoop 5台 21時間
当日スライド公開情報
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Contents
30
1.はじめに
2.市場動向と近況
3.ビッグデータ事業への取り組み
4.Hadoop動向と活用事例
5.まとめ
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立ソリューションズの製品・ソリューション紹介
31
5.15. まとめ
ビッグデータ利活用のカテゴリ
マシンビッグデータ(モノの稼動情報データ)
ロケーションビッグデータ(位置情報/空間情報データ)
マーケットビッグデータ(リアルな市場データ)
スマートインフラビッグデータ(生活/社会インフラデータ)
情報制御連携環境提供
空間情報データ解析のクラウドサービス、ロケーションデータ解析サービス
ヒト・モノ・カネを最適化するサービス
センサーデータ解析サービス、ログ解析による予兆検知
ビッグデータ利活用の共通プラットフォーム提供
データ分析ツール/ノウハウのご提供⇒Business Objects、CoreExplorer、
SPSS、QlickView、Dr.Sum 他
導入支援
分析ツール提供、データ分析サービス提供
ビッグデータ利用基盤提供
サーバ、ストレージ、クラウドサービス提供
データ・アナリティクス・マイスター活動⇒ビジョン構築~活用シナリオ策定~実用化検証等、お客様のデータ利活用推進を支援
大量データ分散処理環境のご提供⇒Cloudera Enterprise/CDH、
Asakusa Framework 他
ソリューション
ソリューション
日立ソリューションズとして以下の2つの観点でビジネスを創出
データの分析/利活用による新たな(経済的)価値を創出 大量データ処理/高速処理を実現し、これまで対応できなかった顧客課題
を解決するソリューションを提供
© Hitachi Solutions, Ltd. 2013. All rights reserved.
Hadoop関連ソリューションの紹介
33
5.35. まとめ
Apache Hadoop導入ソリューション
「Apache Hadoop」および「CDH/Cloudera Enterprise」の導入アセスメント支援から、保守サポートまでワンストップでのサービスを提供
ポイント
インストール
インフラ構築
アプリ開発支援
テスト設計 開発構築現状分析
導入アセスメント
検証環境の
カスタマイズ支援
テスト計画策定支援
テスト実施支援 Hadoop製品サポート
運用
パラメータ設計
リソース設計
運用設計
チューニング
豊富な基盤設計/運用設計ノウハウを活用し、お客様の課題を解決
Hadoop関連製品やツールを組合せ、最適な設計/開発支援サービスをご提供します
Cloudera Enterprise/CDHソリューション
Hadoop向け業務バッチアプリケーション開発フレームワークAsakusa Frameworkソリューション
業務バッチが長時間化し困っているお客様、また、業務バッチの再構築に伴い新しい分散バッチ基盤を導入したいお客様向けに、Hadoopテクノロジーを活用した業務バッチ開発フレームワーク「Asakusa Framework」のソリューションを提供
(URL)http://www.hitachi-solutions.co.jp/hadoop/
(URL)http://www.hitachi-solutions.co.jp/cdh/
(URL)http://www.hitachi-solutions.co.jp/asakusafw/
© Hitachi Solutions, Ltd. 2013. All rights reserved.
バッチ高速化検証環境のご紹介
34
5.45. まとめ
バッチ高速化の効果を知りたいが環境もなく初めて使う技術なので不安検証コストは最小限にしたい、すぐに検証をしていたい
ポイント
弊社内にバッチ高速化検証用の無償環境(セットアップ済)を準備していますお客様は、すぐに検証が開始できます(2013年5月 サービス開始予定)
効率よく検証を推進するために、専門の技術者が支援します
環境構築済み検証環境
Hadoopを活用した大量データ
処理基盤
開発・移行
性能評価
VPN
技術支援
教育 レビュー参加 Q&A対応
技術検証
データ
アプリケーション HA8000-bd/BD10
日立ソリューションズお客様
サービスの効果
バッチ高速化導入に向けた、性能調査・開発容易性・移行性・運用性などの検証が可能です
性能評価により、本番環境のシステム構成検討が容易になります
© Hitachi Solutions, Ltd. 2013. All rights reserved.
まとめ
35
5.55. まとめ
ワンストップサービス 最適なパッケージング 業種ソリューション
Hadoopと関連技術を組み合わせ、お客様のビッグデータ活用をワンストップでご支援します
お客様の用途に合わせ、最適なインフラ基盤(H/W、クラウド活用等)とソフトウェアの組合せによる提案と提供
業種特化のビッグデータ活用ソリューション
ECサイト、コールセンタ、バッチ高速化、、
検証、構築・開発支援、保守サポートまで一貫したサービス提供
これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります!
より大量なデータを対象に・・・1年分ではなく10年分で、社内だけではなくソーシャル、センサなど社外情報も活用して
よりリアルタイムに・・・月次ではなく日次で、日次ではなく10分単位で
より多様なデータを対象に・・・DBのデータだけではなく、画像、音声、ログ、グラフなど多様なデータを対象に
© Hitachi Solutions, Ltd. 2013. All rights reserved.
日立ソリューションズのビッグデータビジネス~Hadoopソリューションとビッグデータ利活用~
END
top related