Download - Bluemixではじめるアナリティクス
IBM Bluemixwww.bluemix.net
IBM Bluemixそこが知りたい!
テクニカル・セミナー
日本アイ・ビー・エム株式会社SWG WebSphere事業部 佐野智久
Bluemixではじめるアナリティクス
© 2014 IBM Corporation2
IBM Bluemixwww.bluemix.net
ご注意
この資料は日本アイ・ビー・エム株式会社および日本アイ・ビー・エム システムズ・エンジニアリング株式会社の正式なレビューを受けておりません。
資料の内容には正確を期するよう注意しておりますが、この資料の内容は2014年09月現在の情報であり、製品の新しいリリース、修正などによって動作/仕様が変わる可能性があります。
当資料は、資料内で説明されている製品の仕様を保証するものではありません。従って、この情報の利⽤またはこれらの技法の実施はひとえに使⽤者の責任において為されるものであり、資料の内容によって受けたいかなる被害に関しても⼀切の補償をするものではありません。
また、IBM、IBMロゴおよびibm.comは、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点でのIBMの商標リストについてはhttp://www.ibm.com/legal/copytrade.shtmlをご覧ください。
© 2014 IBM Corporation3
IBM Bluemixwww.bluemix.net
アジェンダ
ビッグデータ&アナリティクス
Bluemix ではじめるアナリティクス
ビッグデータ&アナリティクス 関連のサービス
まとめ
© 2014 IBM Corporation5
IBM Bluemixwww.bluemix.net
今、何が起こっているのでしょうか?
あらゆるデータが
分析可能に
「分析」によって
意思決定が大幅に改善
データ活用が
企業競争力に直結
© 2014 IBM Corporation6
IBM Bluemixwww.bluemix.net
意思決定のスピードが求められる時代
金融危機
グローバル化
顧客意識の変化
情報の量と質の変化
意思決定
製品戦略ブランド戦略マーケティング戦略組織変革
・・
事実に基づく正確な判断
大量に蓄積されたデータ
市場構造の急激な変化
このような時代でも成長するために・・・
直感ではなく スピーディーに!
市場構造が急激な変化する時代、データに基づく意思決定にもスピードが必要です。
© 2014 IBM Corporation7
IBM Bluemixwww.bluemix.net
身近にあるデータから価値を引き出す
「何からはじめればいいのか?」
やり方が分からない?分析環境がない?
時間がない?
今、身の回りにある取引のデータや顧客データからもっと有益な知見を取り出せるはず・・・
まずは入手が容易なデータを使って分析を始めることが重要です。
© 2014 IBM Corporation8
IBM Bluemixwww.bluemix.net
ワークロード
リソース テクノロジ
分析に必要な要素
「データ」×「分析手法」 知見 既存のデータの利⽤
時間やコストをかけずに、分析に注力
柔軟な「分析基盤」 様々なワークロードタイプへの対応
柔軟なリソース割当て
新しいテクノロジーの迅速な利⽤
ETL
DM
BIツール
ETL
ETLDWH
Mining
データ
分析基盤
知見
分析結果
クラウドの活用
分析手法
© 2014 IBM Corporation10
IBM Bluemixwww.bluemix.net
データウェアハウジングおよび分析⽤のアジャイル・プラットフォーム
統計解析実行環境
(R)
スプレッドシート
BIツール
統計解析統合開発環境
データロード
テーブル参照
クエリ発行データウェアハウス
(BLU Acceleration)
ブラウザ
Bluemixランタイム
(Liberty, Ruby, …)
Rスクリプトの実行 Rスクリプトの開発
AnalyticsWarehouse
© 2014 IBM Corporation11
IBM Bluemixwww.bluemix.net
統計解析環境
R
オープンソースの統計解析向けのプログラミング言語及び実行環境
統計解析⽤ソフトウェアのデファクト・スタンダード
強力な統計解析・データ解析機能
多様で美しいグラフの容易な作成
RStudio
R言語の向けの統合開発環境
コードアシスト機能やグラフの描画
R Markdown形式によるドキュメント化
ドキュメントへの R スクリプトの埋込み
Knit: R Markdown HTML
© 2014 IBM Corporation12
IBM Bluemixwww.bluemix.net
データウェハウスと分析実行環境
データウェアハウス分析実行環境
クエリ分析実行
分析結果
クエリ・分析処理分析実行
分析結果
インデータベース・アナリティクス
データ処理・分析処理のオフロード
インデータベース・アナリティクス
通常の分析
データ転送量
メモリ使用量
© 2014 IBM Corporation13
IBM Bluemixwww.bluemix.net
デモの概要
販売店の売上げ明細データを⽤いて、データの可視化とデータ分析を Bluemix 上で実現する
データベースや分析ツール等の準備が不要
データウェアハウス、統計解析の実行環境、統合開発環境が組み込まれている
必要なのはデータだけ
Bluemixアプリケーションからのサービスの利⽤が可能
軽量フレームワークを使ったアプリケーション
ウェブ上のサービスとの連携IBM Bluemix の Analytics Warehouse を利用して、Ruby でビジネス・インテリジェンスおよびアナリティクス・サービスを作成する
http://www.ibm.com/developerworks/jp/bigdata/library/bd-ruby-bluacceleration-app/
© 2014 IBM Corporation14
IBM Bluemixwww.bluemix.net
デモ:販売店の売上げデータの可視化と分析
デモで使⽤するデータCognos BI のサンプルデータ
2010年1月から 2013年8月までの 446023 件の売上げ明細データ 等
デモの流れAnalytics Warehouse のコンソール
R スクリプトの実行と結果確認
R スクリプトからのデータベースへのアクセス
開発環境
分析結果のドキュメント化
データの可視化データへのアクセス
売上げ明細データの表示
グラフ表示地域別営業成績グラフの表示
データ分析アソシエーション分析
バスケットの中の商品間の関連性(どのような商品が同時に購入されているか)についての分析
© 2014 IBM Corporation15
IBM Bluemixwww.bluemix.net
デモのまとめ
データベースや分析ツール等の準備が不要
データウェアハウス、統計解析の実行環境、統合開発環境が組み込まれている
必要なのはデータだけ
Bluemixアプリケーションからのサービスの利⽤が可能
軽量フレームワークを使ったアプリケーション
ウェブ上のサービスとの連携
分析に最低限必要な環境が整っています。
データさえあれば、今すぐにでも、分析がはじめられます。
© 2014 IBM Corporation18
IBM Bluemixwww.bluemix.net
アナリティクス関連のサービス
名称 提供形態 説明
BigData
Analytics Warehouse
正式版
データウェアハウジングおよび分析用のアジャイル・プラットフォームを提供。メモリ内の最適化および列編成された BLU アクセラレーション・テクノロジーを使用。
Geospatial Analytics
Betaリアルタイムの地理空間分析。定義された地域において、デバイスがいつ利用され、もしくは利用されなくなったかの情報を取得。
IBM Analytics for Hadoop
Beta
ビッグデータ・セットの分析アプリケーションを開発するための使いやすいインターフェースを備えた、Hadoop ベースのクラスターを提供。大規模で複雑な分析を実行するためのエンタープライズ機能を備えた IBM BigInsights を使用。
Time Series Database
正式版IoT デバイス・データのための管理対象データ・ストアを追加して、そのデータに対する時系列分析を実行する機能を提供。
Business Analytics
Embeddable Reporting
Beta
IBM Cognos BI のレポートを実行。Cognos BI Dynamic Query モードを使用して作成されたコンテンツをサポート。REST ベースのインターフェースを使用して、レポートを実行したり、レポートをアプリケーションに容易に統合可能。
© 2014 IBM Corporation19
IBM Bluemixwww.bluemix.net
Analytics Warehouse
データウェアハウジングおよび分析⽤のアジャイル・プラットフォームデータウェアハウス
カラム型のインメモリーDB であるIBM BLU Acceleration を搭載
分析機能R を使った統計解析
RStudio による統合開発環境
アクセス方法Web コンソール
データのロード、クエリの実行、R スクリプトの実行
分析ツールとの連携Cognos BI, Excel, Tableau, Microstrategy の
ような分析アプリケーションとの連携
Bluemix アプリケーション
© 2014 IBM Corporation20
IBM Bluemixwww.bluemix.net
DB2 BLU アクセラレーション
迅速なアナリティクスを実現するBLUアクセラレーションインメモリーカラム型
優れたメモリー管理技術とI/O効率、CPU処理の最適化により実現
ハイブリッド型データベースBLUテーブルが従来の行テーブルと
共存
同じスキーマ、ストレージ、メモリー内に共存
パラレル・ベクトル処理マルチコアとSingle Instruction
Multiple Data (SIMD)によって並列処理を実現
コンプレッションデータの順序を保持する業界初の
データ圧縮機能によって、圧縮済みのデータを解凍することなくデータを処理
ストレージ
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
圧縮とエンコードが行われた列テーブル
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
従来の行形式のテーブル
SIMD機能を備えたCPU
BLUアクセラレーションを実装したデータベース
BLU DMS(BLUテーブル用)
ランタイム従来のDB2ランタイム
BLUランタイム
従来のDB2バッファープール
従来のDMS(非BLUテーブル用)
© 2014 IBM Corporation21
IBM Bluemixwww.bluemix.net
Analytics Warehouse のメニュー
主な機能
分析 (Analyze)
Rスクリプトの開発
統合開発環境 RStudio との連携
Rスクリプトの実行
In-Database Analysis の実現
Excel との連携
外部データへの接続: Office データ接続 (.odc) ファイル
管理 (Manage)
テーブルの参照
クエリ (SQL) の実行
データのロード
Cloudant のデータとの同期
© 2014 IBM Corporation22
IBM Bluemixwww.bluemix.net
R 言語での Analytics Warehouse の利⽤
データベースへのアクセス
bluR : R から DB2 BLU へアクセスするためのライブラリ
bluQuery : データの参照 (SQLクエリの発行)
blu.data.frame : BLU データフレームの作成
インデータベース・アナリティクスを実現するためのデータフレーム
library(bluR)
con <- bluConnect( "BLUDB", "", "" ) # ローカル接続bluAnalyticsInit( con )
data1 <- bluQuery( "SELECT * FROM GOSALES.ORDER_DETAILS" )data2 <- blu.data.frame( "GOSALES.ORDER_DETAILS" )
bluClose(con)
DB2 BLU からデータを抽出した後は、通常の R スクリプトと同様に処理するのみ
BLU データフレームで、インデータベース・アナリティクスを簡単に実現できる
© 2014 IBM Corporation23
IBM Bluemixwww.bluemix.net
Sinatra での Analytics Warehouse の利⽤
データベースへのアクセス
VCAP_SERVICES 環境変数の情報を利⽤して接続
require 'ibm_db'
conn = IBM_DB.connect "DATABASE=#{$database};HOSTNAME=#{$host};PORT=#{$port};PROTOCOL=TCPIP;UID=#{$username};PWD=#{$password};", '', ''
stmt = IBM_DB.exec conn, $sql1while(res = IBM_DB.fetch_assoc stmt)data[res['PRODUCT']][res['YEAR']] = res['PROFIT']
end
IBM_DB.close conn
DB2 BLU から抽出したデータは、Sinatra のフレームワークの中の view に値を埋め込む
© 2014 IBM Corporation24
IBM Bluemixwww.bluemix.net
Geospatial Analytics (Beta)
リアルタイム地理空間データ分析⽤のデバイス追跡プラットフォーム
特定領域へのデバイスの入退出のリアルタイムの追跡
軽量の MQTT プロトコルの利⽤
MQTT のメッセージ・ブローカーを使って、デバイスからのイベントの通知の受信とデバイスの位置情報の提供
API によるリージョンの管理
リージョンの定義やリージョンの監視の制御
ユースケース例
ある小売店の近くに来たお客様へのリアルタイムなプロモーション
事故や緊急事態の発生をリアルタイムにドライバーへ通知
© 2014 IBM Corporation25
IBM Bluemixwww.bluemix.net
IBM Analytics for Hadoop (Beta)
Hadoop ベースのクラスター環境
Hadoop の環境の構築・管理からの開放
InfoSphere BigInsights Enterprise Edition V3.0
オープンソースの Apache Hadoop がベース
Hive, MapReduce, Pig などが利⽤可能
ビッグデータの分析アプリケーションの開発に注力
Hadoop クラスター上のデータへの簡単なアクセスと簡単なデータのロード
分析アプリケーションの簡単な開発
チャートやグラフを使ったデータの可視化
© 2014 IBM Corporation26
IBM Bluemixwww.bluemix.net
Time Series Database
IoT デバイス・データのためのデータ・ストアメーターのような IoT デバイスの
データの蓄積と時系列分析
IBM Informix 12.10
タイム・スタンプを伴う時系列データの分析スマートメータ、RFID タグ、センサー・デバイスなど
例えばスマートメーターで収集された電気使⽤量、株価や取引高、心電図の記録、震動計、ネットワーク・パフォーマンス・レコードなど、幅広い種類のデバイスに対応
© 2014 IBM Corporation27
IBM Bluemixwww.bluemix.net
Infomix TimeSeries
時系列データ⽤のデータ・ストア
タイム・スタンプを伴う⼀連のデータである時系列データに対する高速データベースオフセット管理されたデータ
インデックスはID列のみ
時系列データへの高速なアクセス
データやインデックスの巨大化の抑制
ディスクスペース
他社リレーショナル・データベース
IBM Informix TimeSeries
リレーショナル・アプローチ
処理時間
データ・ローディング
レポート生成
Informix TimeSeries
デバイスID
タイムスタンプ列
1 起点:2010-12-01 01:00:00 [(4,160,40), (4.5,155,35), ….]
2 起点:2010-12-01 01:00:00 [(5,175,44), (4.5,160,35). .]
・・・・ ・・・・
インデックス=メーターIDのみ
© 2014 IBM Corporation28
IBM Bluemixwww.bluemix.net
Embeddable Reporting (Beta)
Business Intelligence のレポートやダッシュボードの作成や統合のプラットフォームBI機能の提供
レポーティング、ダッシュボード、多次元分析(OLAP)、スコアカード、アラート 等
Cognos BI v10.2.1.1
RESTful API でのレポートの作成、アプリケーションへレポートの統合
データベースリポジトリ: MongoDB connection
レポートの仕様
データソース情報
Cognos BI model
データ: DB2 JDBC connectionレポートに表示する内容のデータ
© 2014 IBM Corporation30
IBM Bluemixwww.bluemix.net
分析を成功させる「3つの要因」
分析の目的の明確化
意思決定プロセスへの組込み
分析の経験やスキルの向上
スモールスタート
トライアル&エラー
戦略
業務実装
人
分析の目的の明確化
意思決定プロセスへの組込み分析の経験やスキル
の向上
© 2014 IBM Corporation31
IBM Bluemixwww.bluemix.net
分析で成功するための「3つのステップ」
スポンサーシップ 投資
データ
専門知識
信頼
共有すべきVisionを明確にし、行動を促す
スキルと機能の開発および利用
厳格さと協調によって価値を生み出す
信頼できる組織関係分析結果の信頼
データに自信を持つセキュリティと統制
価値の源泉 プラットフォーム
企業文化
評価
分析の成果と価値創出を合致させる
ビジネスインパクト測定と未来設計
ビッグデータを取扱うシステム基盤を確保する
事実をベースとした意思決定を行う
実行
拡大
準備ビッグデータ&アナリティクス
の基礎
価値実現に必須
価値創造の強化
出典:Analytics: A blueprint for value – Converting big data and analytics into results, IBM Institute for Business Value © 2013 IBM
業務実装
業務実装
データ
戦略 戦略分析基盤
人
分析スキル
経験
ベースライン
知識戦略 人
業務実装