日立ソリューションズのビッグデータビジネス · 導入実績多数：kvm, xen,...

© Hitachi Solutions, Ltd. 2013. All rights reserved.

日立ソリューションズのビッグデータビジネス～Hadoopソリューションとビッグデータ利活用～

株式会社日立ソリューションズビッグデータビジネス推進センタ

吉田行男

Prowise Business Forum in Tokyo 第65回

【日立ソリューションズセッション】


Ｃｏｎｔｅｎｔｓ

1

１．はじめに

２．市場動向と近況

３．ビッグデータ事業への取り組み

４．Hadoop動向と活用事例

５．まとめ



2

１．はじめに




５．まとめ


ビッグデータについて

3

１．１１．はじめに

ビッグデータというキーワード

IT業界のキーワードとして、2010年頃から注目を浴び始めた『ビッグデータ』一方で、本質が掴み難く、バズワードと捉えられているのも現実

約3年経った現在も、「ビッグデータとは何か?」、「これまでの分析と何が違うのか?」といった議論が交わされ、「当社にはビッグデータは存在しない」として、まだまだ重要視されない状況や動向観察の企業も少なくない


ビッグデータについて(2)

4

１．２１．はじめに

データの利活用には、これまでのようにベンダーやSIerだけでは困難ユーザ企業と一体となった戦略的推進が必要なビジネス日本企業には、データ活用の4強(*)に負けない、休眠データが沢山ある

*…Google, Amazon, Facebook, Apple

ビッグデータから得られる価値は何か？

ビッグデータを活用する意義

ビッグデータには、様々な定義や技術もあるが、今、企業が業種やデータ規模を問わず、取り組む意義が高いテーマ

ITシステムのハードウェア、ソフトウェアがコモディティ化した現在、差別化や優位性の確保には『データ主役時代』になっている

分析してみなければ分からないというのも事実仮説を立て検証するデータ分析もあるが、大量データを機械学習などによる分析で『データが語る事実』が得られる事もある後者は、トライして初めて分かる事、そして論理的な根拠が無い事もある



5

１．はじめに




５．まとめ


ビッグデータ市場動向

6

２．１２．市場動向と近況

ビッグデータの市場動向

国内ビッグデータ技術／サービス市場は黎明期、今後の成長率も高い

ビッグデータの認知度、実活用メリットや手法の理解はまだまだ低い

ビッグデータ市場規模

2011年度 1,900 億円

2020年度 1 兆円

（億円）

CAGR 21.0%(2011年～2020年）

出典：矢野経済研究所ﾋﾞｯｸﾞﾃﾞｰﾀ市場に関する調査結果2012

動向調査認知度ビッグデータ活用の検討

ビッグデータ活用ITｼｽﾃﾑ導入済

国内企業1,050社情報ｼｽﾃﾑ部門 56.8 %業務部門 31.1 %

13.6 % 2.6 %

出典：IDC Japan2012年国内ﾋﾞｯｸﾞﾃﾞｰﾀﾃｸﾉﾛｼﾞｰ/ｻｰﾋﾞｽ市場需要動向分析


ビッグデータの定義・特徴

7

２．２２．市場動向と近況

ビッグデータの定義と特徴

Volume (容量)：従来の技術による処理量を超えた大容量ﾃﾞｰﾀ

Variety (種類)：画像/音声/ﾛｸﾞなど非構造化ﾃﾞｰﾀ

Velocity (頻度・ｽﾋﾟｰﾄﾞ)：ﾃﾞｰﾀ生成/分析の高速化､ﾘｱﾙﾀｲﾑ化

Value (価値)：分析&利活用で経済的価値が発生

ビッグデータの特徴

【ﾃﾞｰﾀ容量の増加】

【ﾃﾞｰﾀ種類の多様化】

定型ﾃﾞｰﾀ構造化ﾃﾞｰﾀ

画像/映像ﾃﾞｰﾀ非固定長ﾃﾞｰﾀ

固定長ﾃﾞｰﾀ

【ﾃﾞｰﾀ発生頻度・ｽﾋﾟｰﾄﾞの高速化】

非構造化ﾃﾞｰﾀ

手入力ﾃﾞｰﾀ定期発生ﾃﾞｰﾀ

ｾﾝｻﾃﾞｰﾀ

【価値】データ分析から

発見、創出

ビッグデータの課題的特徴

プライバシーなどのコンプライアンス：各種情報の組合せによって、個人特定などが可能な情報が生成される

分析データの取り扱い：データ分析する際に、利用するデータは自社データのみでない事も多いまた、分析されたデータをマネタイズするのは自社のみではない事もある


OSSの市場動向

8

２．３２．市場動向と近況

OSS導入実績調査

Linux Foundation SI Forumが実施した2011年度オープンソースソフトウェア導入実績調査から

① 調査概要調査期間： 2012/3～2012/4 調査対象期間： 2011年度(2011/4～2012/3) 参加企業(8社) ：

•株式会社日立製作所（日立Grは、日立で纏めて回答）•株式会社アシスト•日本電気株式会社／ＮＥＣソフト株式会社•日本電信電話株式会社／株式会社ＮＴＴデータ•デル株式会社•東芝ソリューション株式会社•日本ヒューレット・パッカード株式会社•富士通株式会社／株式会社PFU


OSSの市場動向

9

２．４２．市場動向と近況

全体概況

分野結果

OS / Distribution Android、Debian、Ubuntuなどが導入され、OS利用の多様化が進行導入実績多数： CentOS, Fedora, Android, Debian, Ubuntu等導入実績あり： LKST, openSUSE, Vine Linux

仮想化 / クラウド「クラウドビジネス」との融合により、大規模な仮想化環境の導入が必要クラウドインフラの費用を圧縮するためOSSのツールへの移行が進展導入実績多数： KVM, Xen, OpenStack 導入実績あり： oVirt, VirtualBox, CloudStack, QEMU等

DB・関連ツール昨今のクラウド・ビッグデータビジネスの影響を色濃く反映Hadoopの導入実績の増加に合わせ、関連ツール類も増加導入実績多数： PostgreSQL、MySQL 導入実績あり： CDH、memcached

クラウド／仮想化／ビッグデータ関連OSSの導入実績が急速に進んでいる

本年度、検証実績があるCloudForms、CloudFoundryなどは、来年は導入実績が予想される


OSSの市場動向

10

２．５２．市場動向と近況

最も積極的に投資が進む分野でOSSの活用が活発

「クラウド」「ビッグデータ」

分野 OSSツール導入実績社数

クラウド OpenStack ３

CloudStack ２

Eucalyptus ３

ビッグデータ Apache Hadoop ４

Apache Hbase ５

ITのトレンドはOSSが主導し、ベンダが追従する



11

１．はじめに




５．まとめ


日立ソリューションズのビッグデータ事業取り組み

12

３．１３．ビッグデータ事業への取り組み

全社活動に向けて「ビッグデータビジネス推進センタ(2012年12月)」を設立

「専任者＋各事業部(企画部門)兼任者」で構成し、ビッグデータ事業の推進強化により、お客様への高付加価値の提案を実現

社内事業戦略を策定、事業計画立案、人財強化・育成社内／社外との連携強化と活用お客様への高付加価値ソリューション提案

お客様

連携

日立ソリューションズ(＋日立ソリューションズグループ)

ビッグデータビジネス推進センタ

オープンソース技術開発センタ

各営業本部各事業本部

日立ソリューションズグループ(東日本他)

連携

日立製作所

日立ｼｽﾃﾑｽﾞ

・・・

連携

日立グループ

連携社外

パートナー企業


日立ソリューションズのOSS関連事業取り組み

13

３．２３．ビッグデータ事業への取り組み

日立ソリューションズは早くからOSSに積極的に取り組んできています

時期概要

2000～ MIRACLE LINUXサポート及びLinuxサーバ構築サービスを開始

2004/04 ｢OSSサポートサービス｣を提供開始

2005/01 日本OSS推進フォーラム参画 → IPA OSS iPediaに評価結果を公開–05/上：JBossクラスタ評価,05/下：Tomcatクラスタ及びMySQLスケーラビリティ評価,06/下：Geronimo評価

2005/07 Linux(OSS)コンソーシアム参画

2006/05 OSDL(現Linux Foundation) SI Forum に参画–06,07,08,09,10,11年度『OSSミドルウェア／ツール調査』実施

2008/06 OBCI(オープンソースビジネス推進協議会)参画

2009/02 レッドハット社とアドバンスド・ビジネス・パートナー契約締結

2010/04 OSSソリューションビジネス推進センタを設立

2010/07 Black Duck Software社とパートナー契約締結

2012/02 レッドハット社とJBoss プレミア・ビジネス・パートナー契約締結OSCA(Open Standard Cloud Association)参画

2012/09 クラウデラ社とCDHパートナー契約締結

2013/03 ノーチラステクノロジーズ社とパートナー契約締結


日立グループとの連携

14

３．３３．ビッグデータ事業への取り組み

日立グループとして、超上流～システム構築までビッグデータの利活用ビジネスを推進中。

ビッグデータの

発生源

見えなかったものが

見えてくる

新しい視点で

価値を発見できる

「今」から「未来」を

予測できる

生まれる価値

１

２

３

データ・アナリティクス・マイスターサービス

ビジネス

シナリオＩＴ

ビジョン

仮説

事業モデル

分析

分析技術

分析人財

分析ツール

ビッグデータ利活用基盤

データ収集デバイス

サーバ・ストレージ・

クラウド

イノベイティブ・アナリティクス

日立ソリューションズは主にＩＴ（システム構築）が強み


日立グループとの連携

15

３．４３．ビッグデータ事業への取り組み

ヒューマンビッグデータ

人の状態や行動に関するデータを利活用

Ｓｏｌｕｔｉｏｎ１

マシンビッグデータ

モノの稼働情報に関するデータを利活用

Ｓｏｌｕｔｉｏｎ２

スマートインフラビッグデータ生活や社会を表すデータを利活用

Ｓｏｌｕｔｉｏｎ５

マーケットビッグデータ

リアルな市場を表すデータを利活用

Ｓｏｌｕｔｉｏｎ４

ロケーションビッグデータ

位置情報や空間のデータを利活用

Ｓｏｌｕｔｉｏｎ３

人間行動測定用ｾﾝｻｰ

ライフ顕微鏡

専用テクノロジー

・・・

ＡｉｒＳｅｎｃｅ

ＳｍａｒｔＭＯＤＵＬＥ


・・・

ＡｉｒＬｏｃａｔｉｏｎ

ＧＰＳＳｔｒｅａｍ


・・・

ＣｏｒｅＥｘｐｌｏｒｅｒ

ＳｙｎＣＡＳＰＳＩ


・・・

ＧｅｏＭａｔｉｏｎ

情報制御連携環境


・・・

日立グループとして５つの分野でビッグデータの利活用ビジネスを推進この中に日立ソリューションズの独自技術を適用



16

１．はじめに




５．まとめ


Hadoopがもたらすパラダイムシフト

17

４．１４． Hadoop動向と活用事例

●エンタープライズ向け

サーバ、ストレージ

■高価なシステム

大量データの取り扱いには、高価な

システム環境構築が必須

■高度な技術

専用ソフトウェアと高度な分析手法

などスペシャリストが必須

エンタープライズ向け

専用ソフトウェア

ハードウェアソフトウェア

汎用ソフトウェア

オープンソース

ソフトウェア

従来

Hadoopにより、これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります

●ミッドレンジ向け

サーバ、ストレージ

●コモディティサーバ、

ストレージ

商用ソフトウェア

CPUやHDDの性能が飛躍的に

向上し、高機能なPCが廉価で

容易に手に入れられる時代

OSS利用のノウハウの高まりに

よって、敬遠傾向から、積極的

な活用傾向へ転換している

■コモディティ化システム

高価な機器、大規模な設備が無くと

も、PB級のデータが取り扱える

■オープンでグローバルな技術

世界中の誰でも入手、利用できる技

術やノウハウで、高度な分析も大量

データの取り扱いも可能

Hadoopによる

パラダイムシフト


Hadoopの動向

18

４．２４． Hadoop動向と活用事例

Hadoopの利用機能と利用シーン（ニーズ）の変化

HDFS MapReduce

Hadoopコアコンポーネント

＋

スケールアウト可能な分散ファイルシステム(HDFS)と、並列処理実行(MapReduce)によるトライアル的な利用中心並列処理を容易に操作する為、

一部の関連プロジェクトの利用

Hive Pig

一部のHadoop関連プロジェクト

HDFS MapReduce

Hadoopコアコンポーネント

＋

Hive Pig

各種Hadoop関連プロジェクト

Flume Sqoop

HBase Zookeeper

・・・

変化

実データ分析による、ビジネス活用の開始データ収集や視覚化などのシステム

設計を含めた各種プロジェクト利用実運用レベルでの活用に向けた、信

頼性・可用性設計


Cloudera社のCDH/Cloudera Enterprise

19

４．３４． Hadoop動向と活用事例

Cloudera社について

Apache Hadoopの商用ディストリビューションを開発・提供している企業Hadoopの開発者 Doug CuttingがCloudera社のチーフアーキテクト

Hadoopビジネスで最も有名な企業であり、Cloudera社のCDHやCloudera Enterpriseは世界中で最も多く利用されている

日立ソリューションズでは、2012年10月にCloudera株式会社と販売代理店契約を締結。

CLOUDERA ENTERPRISETHE PLATFORM FOR BIG DATA

管理ソフトウェア＆サポート

ClouderaManager

ClouderaSupport

CDH

CDH(Cloudera's Distribution including Apache Hadoop)

OSS100% Open Source

HBase

MapReduce MapReduce2

Hive Pig Impala

ZooKeeper

Flume Sqoop

Oozie Hue

Mahout

Whirr

HDFS

ClouderaEnterprise(Core)

ClouderaEnterprise(RTD)

ClouderaEnterprise(RTQ)


Hadoopの進化

20

４．４４． Hadoop動向と活用事例

進化が続くHadoop(CDH/Cloudera Enterprise)の動向

CDH3

2011年4月～

単一障害点(SPOF)の解決次世代フレームワーク

MapReduce2(YARN)の搭載フェデレーションサポートでよ

り大規模化に対応

進化 CDH4

2012年6月～

進化 CDH5

2013年6月頃登場 (?!)

進化

リアルタイムクエリ「Impala」の搭載HA機能の強化・完全化セキュリティ強化等※予定情報

ClouderaManager 3

ClouderaManager 4

高度な運用管理、システム監視機能のサポートシステム一元管理機能の強化と

容易性向上

ダウンロード数[CDH]8,000超／月

[Cloudera Manger]4,000超／月

更なる関連プロジェクト追加や品質向上等

当日スライド公開情報


Hadoopの活用事例～利用者共通の目的～

21

４．５４． Hadoop動向と活用事例

Hadoop基礎機能の利活用

大量データを利用可能なフレームワークへの期待

ペタバイト級データを実際に利活用しているメジャー企業の実績数千ノードまで拡張可能なスケールアウト性

ハードウェア・ソフトウェアとの高い親和性

多種H/Wでの稼働実績、多様なS/Wとの接続性

OSSとしてのHadoopの魅力

グローバルで利活用可能な共通基盤としての期待

世界の何処でも共通基盤化できる（グローバル展開・ディザスタリカバリ等）世界の誰もが開発・保守できる（維持保守の低コスト化等）

オープンソースに対する意識の変革

品揃え・機能の充実、品質の高まりに対する認知度向上事例・問題解決・各種ノウハウが多く、容易に入手可能

スケールアウトで大容量化＆高速化


Hadoopの活用事例～個別事例①～

22

４．６４． Hadoop動向と活用事例

金融機関での事例

サイトのアクセス統計は取得しているが、実操作の動線や離脱状況・理由が把握できない

現システムに手を加えず(ログ強化やビーコン埋込み等)、ログの分析で、効果あるサービス施策やサイト改修をしたい

背景対応今後

ユーザ操作の実動線とパターン、離脱箇所や滞在時間を可視化

非定型ログをHadoopで全走査でクレンジングし、ユーザ毎の操作をレコード生成。実動線レコードとは別に、動線のパターン化、離脱箇所特定、画面毎の滞在時間を算出し、WEBアプリからアクセス可能なHBaseに格納。

【参考：上記全処理時間】400GB 18分 (CPU:12core/RAM:96GB 5台)

今回の分析した事実情報を二次分析し新たな知見発見

- 他データとの相関分析- 機械学習などの数理分析

ログ収集などの安全、且つ確実な自動化

- Flume(CDH)の利用

即時利用・結果取得可能なアドホック分析の実現

- Imapala(CDH)の利用

日立ソリューションズの技術

銀行所有の「最高レベルの機密データ」を保持する高機密度システム構築

高可用・高信頼システムの構築

A B C

X Y Z

D

正常系

●ﾊﾟﾀｰﾝ①

●ﾊﾟﾀｰﾝ②20user[25%]

10user[12%]

離脱系●ﾊﾟﾀｰﾝ③ ●ﾊﾟﾀｰﾝ④

80user 40user 45user

12user15user 15user

23sec 10sec 52sec

11sec9sec9sec

数値補正



通信機器からの大量ログを長期間確実に保持したい

- 毎時250GBを4ヵ月

保管した大量ログの検索・マッチングを高速に実施したい

- 最大1PBytes

Hadoopの活用事例～個別事例②～

23

４．７４． Hadoop動向と活用事例

通信事業での事例

背景対応


Hadoopを多クラスタ構成で構築、運用JP1を利用したジョブ制御、稼働監視

などの運用管理国内トップクラスの大規模クラスタ構築

時のHadoop設計、実構築の技術

Hadoopを大規模ストレージとして利用しデータの冗長性を担保

Hadoopの多クラスタ構成により、障害時も24時間365日の確実なデータ保管を実現

240nodes/ｸﾗｽﾀ(1,000nodes超/全ｸﾗｽﾀ)の超大規模な並列分散処理環境により高速処理を実現

【参考：処理時間】15TBのログ全件検索と50GBのログマッチング：40分技術的ポイント

100nodes以下でも、パラメタ設計などは独特の技術やノウハウが必要100nodesを超えると、システム設計

にまで及ぶ課題やノウハウが出現

UQ来場へのケア考察



セキュリティ事故防止のため、インターネット接続先サイトの規制を行っているが、各種の見直しをしたい

- ネット情報利用の重要性・利便性とセキュリティ規制のバランス確保

- 運用部門と実利用部門のコスト低減

Hadoopの活用事例～個別事例③～

24

４．８４． Hadoop動向と活用事例

日立社内活用例

背景対応

利用状況を分析し、規制解除の自動化、適正な判断をスピーディに実現

【利用者部門】情報量増加による業務効率改善規制解除などの事務作業低減

【運用部門】自動化による人為的ミス解消規制解除に関する各種事務作業の低減

分析データを利用した、情報漏洩事故やコンプライアンス違反の検知・予兆の実現膨大なデータに含まれる、様々なノイズを

Hadoopで高速にクレンジングすることで、分析精度を向上膨大なデータ蓄積・集計基盤としてHadoopを活用

【参考：処理時間】数十台のWebサーバのアクセスログ 1週間分を60分以内にクレンジング／集計

利用側

蓄積集計分析

見直し分析ﾚﾎﾟｰﾄ

状況収集

運用側

サイト利用


Hadoopの活用事例～その他～

25

４．９４． Hadoop動向と活用事例

Cloudera Manager関連

Hadoopクラスタの新規構築・スケールアウト、運用で非常に便利

長時間画面を眺めての作業、１台１台の作業から解放されます環境設定・変更でのヒューマンエラーを最小限にできます Cloudera Managerだけが補完する機能（*1)も見逃せない

*1…安全バルブと呼ばれるＸＸＸ GUIでの操作・確認は使い手を選びません

使いこなすにはコツが必要

機能追加・改善ペースが速いですできる事が多い分、パラメタも多く、リソース設計も必要です

要メンテ


多くのCloudera Manager利用実績・経験Cloudera Manager V4.xの全パラメタxxx個を調べ、実運用で活用Enterprise版でのリソースを加味したシステム設計が可能



Hadoopを利用したバッチ処理高速化

26

４．１０４． Hadoop動向と活用事例

ノーチラス・テクノロジーズ社「Asakusa Framework」によるバッチ高速化

Asakusa Frameworkは、ノーチラス・テクノロジーズ社が開発するオープンソースで、Hadoopを利用したバッチ開発向けの「開発フレームワーク」

バッチ処理に特化した機能・ツールが一体となり、バッチ開発の敷居を下げ、開発効率を容易に向上可能

データモデル設計／データ・処理フロー設計／RDB連携ツールバッチ処理向けの各種テンプレート、テスト支援ツール等

日立ソリューションズでは、2013年3月にノーチラス・テクノロジーズ社と販売代理店契約を締結。

<Asakusa Frameworkの位置付け>

業務バッチ向けAsakusaFWバッチ開発

フレームワーク

Hadoopコア(実行基盤)

統計・分析向けHive

SQL系Pig

ｽｸﾘﾌﾟﾄ系

MapReduce(並列実行FW)

HDFS(分散ファイルシステム)

Hadoop基盤活用で、I/O分散や並列処理を実現

複雑なMapReduceをJavaでフル開発をせず業務バッチ実装が可能


Asakusa Framework概要

27

４．１１４． Hadoop動向と活用事例

Asakusa Frameworkの機能と特長

現バッチサーバ上の特定の長時間ジョブを短時間化する事に最適

バッチシステム刷新に比べ低コスト、最小限の影響範囲で導入可並列処理可能なバッチ、且つRDBMSでI/Oネックの場合に効果大

Hadoopの理解、複雑なMapReduce開発が不要

<Asakusa FW利用時の一般的システム構成例>

【Hadoop】

分割ファイル

【Hadoop】

Masterﾉｰﾄﾞ

AsakusaFW[実行エンジン]

ﾊﾞｯﾁ実行ｻｰﾊﾞ

DBｻｰﾊﾞ

処理対象テーブル

RDBMS

処理結果テーブル

③ｼﾞｮﾌﾞ起動②AsakusaFWが

DBの対象データ取得、Hadoop上へ分散格納

①バッチ実行

【Hadoop】

分割ファイル

【Hadoop】

分割ファイル

Asakusa開発バッチアプリAsakusaFW[ライブラリ]



⑤結果格納

④並列ｼﾞｮﾌﾞ起動


Asakusa Frameworkの活用事例

28

４．１２４． Hadoop動向と活用事例

小売業での活用事例①

売価還元法個別原価法法対応(IFRS)

Keywords 従来システムは売価還元法の為、日毎/商品毎の利益算出困難⇒ 個別原価法での日次処理は、計算量1,000倍超であり

スケールアップ対処が困難一方で、各種法対応の必須の課題

⇒ 低コスト(HW, SW, 開発費)、早期導入の必要性

100～500GB50店舗超1万超の商品3千超の仕入先

規模

商品グループ単位の月次原価管理、個別単品単位での日次原価計算（個別原価法）を実現利益状況をリアルタイムに可視化でき、経営判断スピードが向上Asakusa Framework利用による開発効率とコストの確保

製造・卸販売での活用事例②

原価計算クラウド基盤

Keywords 経済状況・市況により変動が大きくなった仕入先／仕入額の影響で、従来の一部商品での原価計算ではリスク大⇒ 全商品のアクチュアル原価算出は時間も、コスト面も困難

5～10GB

規模毎日4時間の原価計算は20分に短縮長時間ジョブの切り離しで既存DBサーバの負荷軽減実行はAmazonWebServiceの20分利用(コストはｵﾝﾌﾟﾚの1/10)短時間ジョブとクラウド基盤で障害時の不安払拭



Asakusa Frameworkの活用事例

29

４．１３４． Hadoop動向と活用事例

九州電力殿での検証開始

基幹系バッチ料金計算

Keywords スマートメーター導入に伴い、検針データが大幅増加するため、大量データ、高速なバッチ処理が必要⇒ 検針データが1,440倍(1回/月⇒1回/30分)

スケールアウトが容易なデータストアと分散バッチ処理の必要性

九州電力殿で事前評価(2010～2012年)

九州電力殿、日立、ノーチラス・テクノロジーズ社で、協同検証を2012.12より開始。

AsakusaFWの学習時間を含めても、開発工数が1/2以下で高効率

4億レコード(37GB)を対象とした処理検証で高速化可能を確認

OracleDB 1台 123時間 Hadoop 5台 21時間




30

１．はじめに




５．まとめ


日立ソリューションズの製品・ソリューション紹介

31

５．１５．まとめ

ビッグデータ利活用のカテゴリ

マシンビッグデータ（モノの稼動情報ﾃﾞｰﾀ）

ロケーションビッグデータ（位置情報/空間情報ﾃﾞｰﾀ）

マーケットビッグデータ（リアルな市場ﾃﾞｰﾀ）

スマートインフラビッグデータ（生活/社会ｲﾝﾌﾗﾃﾞｰﾀ）

情報制御連携環境提供

空間情報データ解析のクラウドサービス、ロケーションデータ解析サービス

ヒト・モノ・カネを最適化するサービス

センサーデータ解析サービス、ログ解析による予兆検知

ビッグデータ利活用の共通プラットフォーム提供

データ分析ツール/ノウハウのご提供⇒Business Objects、CoreExplorer、

SPSS、QlickView、Dr.Sum 他

導入支援

分析ツール提供、データ分析サービス提供

ビッグデータ利用基盤提供

サーバ、ストレージ、クラウドサービス提供

データ・アナリティクス・マイスター活動⇒ﾋﾞｼﾞｮﾝ構築～活用ｼﾅﾘｵ策定～実用化検証等、お客様のﾃﾞｰﾀ利活用推進を支援

大量データ分散処理環境のご提供⇒Cloudera Enterprise/CDH、

Asakusa Framework 他

ｿﾘｭｰｼｮﾝ

ｿﾘｭｰｼｮﾝ

日立ソリューションズとして以下の２つの観点でビジネスを創出

データの分析／利活用による新たな（経済的）価値を創出大量データ処理／高速処理を実現し、これまで対応できなかった顧客課題

を解決するソリューションを提供


日立ビッグデータソリューションカタログ（抜粋）

32

５．２５．まとめ


Hadoop関連ソリューションの紹介

33

５．３５．まとめ

Apache Hadoop導入ソリューション

「Apache Hadoop」および「CDH/Cloudera Enterprise」の導入アセスメント支援から、保守サポートまでワンストップでのサービスを提供

ポイント

インストール

インフラ構築

アプリ開発支援

テスト設計開発構築現状分析

導入アセスメント

検証環境の

カスタマイズ支援

テスト計画策定支援

テスト実施支援 Hadoop製品サポート

運用

パラメータ設計

リソース設計

運用設計

チューニング

豊富な基盤設計／運用設計ノウハウを活用し、お客様の課題を解決

Hadoop関連製品やツールを組合せ、最適な設計／開発支援サービスをご提供します

Cloudera Enterprise/CDHソリューション

Hadoop向け業務バッチアプリケーション開発フレームワークAsakusa Frameworkソリューション

業務バッチが長時間化し困っているお客様、また、業務バッチの再構築に伴い新しい分散バッチ基盤を導入したいお客様向けに、Hadoopテクノロジーを活用した業務バッチ開発フレームワーク「Asakusa Framework」のソリューションを提供

(URL)http://www.hitachi-solutions.co.jp/hadoop/

(URL)http://www.hitachi-solutions.co.jp/cdh/

(URL)http://www.hitachi-solutions.co.jp/asakusafw/


バッチ高速化検証環境のご紹介

34

５．４５．まとめ

バッチ高速化の効果を知りたいが環境もなく初めて使う技術なので不安検証コストは最小限にしたい、すぐに検証をしていたい

ポイント

弊社内にバッチ高速化検証用の無償環境(ｾｯﾄｱｯﾌﾟ済)を準備していますお客様は、すぐに検証が開始できます(2013年5月サービス開始予定)

効率よく検証を推進するために、専門の技術者が支援します

環境構築済み検証環境

Hadoopを活用した大量データ

処理基盤

開発・移行

性能評価

VPN

技術支援

教育レビュー参加 Q&A対応

技術検証

データ

アプリケーション HA8000-bd/BD10

日立ソリューションズお客様

サービスの効果

バッチ高速化導入に向けた、性能調査・開発容易性・移行性・運用性などの検証が可能です

性能評価により、本番環境のシステム構成検討が容易になります


まとめ

35

５．５５．まとめ

ワンストップサービス最適なパッケージング業種ソリューション

Hadoopと関連技術を組み合わせ、お客様のビッグデータ活用をワンストップでご支援します

お客様の用途に合わせ、最適なインフラ基盤(H/W、クラウド活用等）とソフトウェアの組合せによる提案と提供

業種特化のビッグデータ活用ソリューション

ECサイト、コールセンタ、バッチ高速化、、

検証、構築・開発支援、保守サポートまで一貫したサービス提供

これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります！

より大量なデータを対象に・・・1年分ではなく10年分で、社内だけではなくソーシャル、センサなど社外情報も活用して

よりリアルタイムに・・・月次ではなく日次で、日次ではなく10分単位で

より多様なデータを対象に・・・ＤＢのデータだけではなく、画像、音声、ログ、グラフなど多様なデータを対象に


日立ソリューションズのビッグデータビジネス～Hadoopソリューションとビッグデータ利活用～

END

日立ソリューションズのビッグデータビジネス · 導入実績多数：kvm, xen,...

Documents