bluemixではじめるアナリティクス

IBM Bluemixwww.bluemix.net

IBM Bluemixそこが知りたい！

テクニカル・セミナー

日本アイ・ビー・エム株式会社SWG WebSphere事業部佐野智久

Bluemixではじめるアナリティクス

© 2014 IBM Corporation2


ご注意

この資料は日本アイ・ビー・エム株式会社および日本アイ・ビー・エムシステムズ・エンジニアリング株式会社の正式なレビューを受けておりません。

資料の内容には正確を期するよう注意しておりますが、この資料の内容は2014年09月現在の情報であり、製品の新しいリリース、修正などによって動作／仕様が変わる可能性があります。

当資料は、資料内で説明されている製品の仕様を保証するものではありません。従って、この情報の利⽤またはこれらの技法の実施はひとえに使⽤者の責任において為されるものであり、資料の内容によって受けたいかなる被害に関しても⼀切の補償をするものではありません。

また、ＩＢＭ、ＩＢＭロゴおよびibm.comは、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれＩＢＭまたは各社の商標である場合があります。現時点でのＩＢＭの商標リストについてはhttp://www.ibm.com/legal/copytrade.shtmlをご覧ください。



アジェンダ

ビッグデータ＆アナリティクス

Bluemix ではじめるアナリティクス

ビッグデータ＆アナリティクス関連のサービス

まとめ



ビッグデータ＆アナリティクス



今、何が起こっているのでしょうか?

あらゆるデータが

分析可能に

「分析」によって

意思決定が大幅に改善

データ活用が

企業競争力に直結



意思決定のスピードが求められる時代

金融危機

グローバル化

顧客意識の変化

情報の量と質の変化

意思決定

製品戦略ブランド戦略マーケティング戦略組織変革

・・

事実に基づく正確な判断

大量に蓄積されたデータ

市場構造の急激な変化

このような時代でも成長するために・・・

直感ではなくスピーディーに！

市場構造が急激な変化する時代、データに基づく意思決定にもスピードが必要です。



身近にあるデータから価値を引き出す

「何からはじめればいいのか？」

やり方が分からない？分析環境がない？

時間がない？

今、身の回りにある取引のデータや顧客データからもっと有益な知見を取り出せるはず･･･

まずは入手が容易なデータを使って分析を始めることが重要です。



ワークロード

リソーステクノロジ

分析に必要な要素

「データ」×「分析手法」知見既存のデータの利⽤

時間やコストをかけずに、分析に注力

柔軟な「分析基盤」様々なワークロードタイプへの対応

柔軟なリソース割当て

新しいテクノロジーの迅速な利⽤

ETL

DM

BIツール

ETL

ETLDWH

Mining

データ

分析基盤

知見

分析結果

クラウドの活用

分析手法



Bluemix ではじめるアナリティクス



データウェアハウジングおよび分析⽤のアジャイル・プラットフォーム

統計解析実行環境

(R)

スプレッドシート

BIツール

統計解析統合開発環境

データロード

テーブル参照

クエリ発行データウェアハウス

(BLU Acceleration)

ブラウザ

Bluemixランタイム

(Liberty, Ruby, …)

Rスクリプトの実行 Rスクリプトの開発

AnalyticsWarehouse



統計解析環境

R

オープンソースの統計解析向けのプログラミング言語及び実行環境

統計解析⽤ソフトウェアのデファクト・スタンダード

強力な統計解析・データ解析機能

多様で美しいグラフの容易な作成

RStudio

R言語の向けの統合開発環境

コードアシスト機能やグラフの描画

R Markdown形式によるドキュメント化

ドキュメントへの R スクリプトの埋込み

Knit: R Markdown HTML



データウェハウスと分析実行環境

データウェアハウス分析実行環境

クエリ分析実行

分析結果

クエリ・分析処理分析実行

分析結果

インデータベース・アナリティクス

データ処理・分析処理のオフロード

インデータベース・アナリティクス

通常の分析

データ転送量

メモリ使用量



デモの概要

販売店の売上げ明細データを⽤いて、データの可視化とデータ分析を Bluemix 上で実現する

データベースや分析ツール等の準備が不要

データウェアハウス、統計解析の実行環境、統合開発環境が組み込まれている

必要なのはデータだけ

Bluemixアプリケーションからのサービスの利⽤が可能

軽量フレームワークを使ったアプリケーション

ウェブ上のサービスとの連携IBM Bluemix の Analytics Warehouse を利用して、Ruby でビジネス・インテリジェンスおよびアナリティクス・サービスを作成する

http://www.ibm.com/developerworks/jp/bigdata/library/bd-ruby-bluacceleration-app/



デモ：販売店の売上げデータの可視化と分析

デモで使⽤するデータCognos BI のサンプルデータ

2010年1月から 2013年8月までの 446023 件の売上げ明細データ等

デモの流れAnalytics Warehouse のコンソール

R スクリプトの実行と結果確認

R スクリプトからのデータベースへのアクセス

開発環境

分析結果のドキュメント化

データの可視化データへのアクセス

売上げ明細データの表示

グラフ表示地域別営業成績グラフの表示

データ分析アソシエーション分析

バスケットの中の商品間の関連性(どのような商品が同時に購入されているか)についての分析



デモのまとめ

データベースや分析ツール等の準備が不要

データウェアハウス、統計解析の実行環境、統合開発環境が組み込まれている

必要なのはデータだけ

Bluemixアプリケーションからのサービスの利⽤が可能

軽量フレームワークを使ったアプリケーション

ウェブ上のサービスとの連携

分析に最低限必要な環境が整っています。

データさえあれば、今すぐにでも、分析がはじめられます。



ビッグデータ＆アナリティクス関連のサービス



アナリティクス関連のサービス

インメモリ・データ・ストアから予測分析まで



アナリティクス関連のサービス

名称提供形態説明

BigData

Analytics Warehouse

正式版

データウェアハウジングおよび分析用のアジャイル・プラットフォームを提供。メモリ内の最適化および列編成された BLU アクセラレーション・テクノロジーを使用。

Geospatial Analytics

Betaリアルタイムの地理空間分析。定義された地域において、デバイスがいつ利用され、もしくは利用されなくなったかの情報を取得。

IBM Analytics for Hadoop

Beta

ビッグデータ・セットの分析アプリケーションを開発するための使いやすいインターフェースを備えた、Hadoop ベースのクラスターを提供。大規模で複雑な分析を実行するためのエンタープライズ機能を備えた IBM BigInsights を使用。

Time Series Database

正式版IoT デバイス・データのための管理対象データ・ストアを追加して、そのデータに対する時系列分析を実行する機能を提供。

Business Analytics

Embeddable Reporting

Beta

IBM Cognos BI のレポートを実行。Cognos BI Dynamic Query モードを使用して作成されたコンテンツをサポート。REST ベースのインターフェースを使用して、レポートを実行したり、レポートをアプリケーションに容易に統合可能。



Analytics Warehouse

データウェアハウジングおよび分析⽤のアジャイル・プラットフォームデータウェアハウス

カラム型のインメモリーDB であるIBM BLU Acceleration を搭載

分析機能R を使った統計解析

RStudio による統合開発環境

アクセス方法Web コンソール

データのロード、クエリの実行、R スクリプトの実行

分析ツールとの連携Cognos BI, Excel, Tableau, Microstrategy の

ような分析アプリケーションとの連携

Bluemix アプリケーション



DB2 BLU アクセラレーション

迅速なアナリティクスを実現するBLUアクセラレーションインメモリーカラム型

優れたメモリー管理技術とI/O効率、CPU処理の最適化により実現

ハイブリッド型データベースBLUテーブルが従来の行テーブルと

共存

同じスキーマ、ストレージ、メモリー内に共存

パラレル・ベクトル処理マルチコアとSingle Instruction

Multiple Data (SIMD)によって並列処理を実現

コンプレッションデータの順序を保持する業界初の

データ圧縮機能によって、圧縮済みのデータを解凍することなくデータを処理

ストレージ

C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8

圧縮とエンコードが行われた列テーブル

C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8

従来の行形式のテーブル

SIMD機能を備えたCPU

BLUアクセラレーションを実装したデータベース

BLU DMS（BLUテーブル用）

ランタイム従来のDB2ランタイム

BLUランタイム

従来のDB2バッファープール

従来のDMS（非BLUテーブル用）



Analytics Warehouse のメニュー

主な機能

分析 (Analyze)

Rスクリプトの開発

統合開発環境 RStudio との連携

Rスクリプトの実行

In-Database Analysis の実現

Excel との連携

外部データへの接続: Office データ接続 (.odc) ファイル

管理 (Manage)

テーブルの参照

クエリ (SQL) の実行

データのロード

Cloudant のデータとの同期



R 言語での Analytics Warehouse の利⽤

データベースへのアクセス

bluR : R から DB2 BLU へアクセスするためのライブラリ

bluQuery : データの参照 (SQLクエリの発行)

blu.data.frame : BLU データフレームの作成

インデータベース・アナリティクスを実現するためのデータフレーム

library(bluR)

con <- bluConnect( "BLUDB", "", "" ) # ローカル接続bluAnalyticsInit( con )

data1 <- bluQuery( "SELECT * FROM GOSALES.ORDER_DETAILS" )data2 <- blu.data.frame( "GOSALES.ORDER_DETAILS" )

bluClose(con)

DB2 BLU からデータを抽出した後は、通常の R スクリプトと同様に処理するのみ

BLU データフレームで、インデータベース・アナリティクスを簡単に実現できる



Sinatra での Analytics Warehouse の利⽤

データベースへのアクセス

VCAP_SERVICES 環境変数の情報を利⽤して接続

require 'ibm_db'

conn = IBM_DB.connect "DATABASE=#{$database};HOSTNAME=#{$host};PORT=#{$port};PROTOCOL=TCPIP;UID=#{$username};PWD=#{$password};", '', ''

stmt = IBM_DB.exec conn, $sql1while(res = IBM_DB.fetch_assoc stmt)data[res['PRODUCT']][res['YEAR']] = res['PROFIT']

end

IBM_DB.close conn

DB2 BLU から抽出したデータは、Sinatra のフレームワークの中の view に値を埋め込む



Geospatial Analytics (Beta)

リアルタイム地理空間データ分析⽤のデバイス追跡プラットフォーム

特定領域へのデバイスの入退出のリアルタイムの追跡

軽量の MQTT プロトコルの利⽤

MQTT のメッセージ・ブローカーを使って、デバイスからのイベントの通知の受信とデバイスの位置情報の提供

API によるリージョンの管理

リージョンの定義やリージョンの監視の制御

ユースケース例

ある小売店の近くに来たお客様へのリアルタイムなプロモーション

事故や緊急事態の発生をリアルタイムにドライバーへ通知



IBM Analytics for Hadoop (Beta)

Hadoop ベースのクラスター環境

Hadoop の環境の構築・管理からの開放

InfoSphere BigInsights Enterprise Edition V3.0

オープンソースの Apache Hadoop がベース

Hive, MapReduce, Pig などが利⽤可能

ビッグデータの分析アプリケーションの開発に注力

Hadoop クラスター上のデータへの簡単なアクセスと簡単なデータのロード

分析アプリケーションの簡単な開発

チャートやグラフを使ったデータの可視化



Time Series Database

IoT デバイス・データのためのデータ・ストアメーターのような IoT デバイスの

データの蓄積と時系列分析

IBM Informix 12.10

タイム・スタンプを伴う時系列データの分析スマートメータ、RFID タグ、センサー・デバイスなど

例えばスマートメーターで収集された電気使⽤量、株価や取引高、心電図の記録、震動計、ネットワーク・パフォーマンス・レコードなど、幅広い種類のデバイスに対応



Infomix TimeSeries

時系列データ⽤のデータ・ストア

タイム・スタンプを伴う⼀連のデータである時系列データに対する高速データベースオフセット管理されたデータ

インデックスはID列のみ

時系列データへの高速なアクセス

データやインデックスの巨大化の抑制

ディスクスペース

他社リレーショナル・データベース

IBM Informix TimeSeries

リレーショナル・アプローチ

処理時間

データ・ローディング

レポート生成

Informix TimeSeries

デバイスID

タイムスタンプ列

1 起点：2010-12-01 01:00:00 [(4,160,40), (4.5,155,35), ….]

2 起点：2010-12-01 01:00:00 [(5,175,44), (4.5,160,35). .]

・・・・・・・・

インデックス＝メーターIDのみ



Embeddable Reporting (Beta)

Business Intelligence のレポートやダッシュボードの作成や統合のプラットフォームBI機能の提供

レポーティング、ダッシュボード、多次元分析(OLAP)、スコアカード、アラート等

Cognos BI v10.2.1.1

RESTful API でのレポートの作成、アプリケーションへレポートの統合

データベースリポジトリ: MongoDB connection

レポートの仕様

データソース情報

Cognos BI model

データ: DB2 JDBC connectionレポートに表示する内容のデータ



まとめ



分析を成功させる「３つの要因」

分析の目的の明確化

意思決定プロセスへの組込み

分析の経験やスキルの向上

スモールスタート

トライアル＆エラー

戦略

業務実装

人

分析の目的の明確化

意思決定プロセスへの組込み分析の経験やスキル

の向上



分析で成功するための「３つのステップ」

スポンサーシップ投資

データ

専門知識

信頼

共有すべきVisionを明確にし、行動を促す

スキルと機能の開発および利用

厳格さと協調によって価値を生み出す

信頼できる組織関係分析結果の信頼

データに自信を持つセキュリティと統制

価値の源泉プラットフォーム

企業文化

評価

分析の成果と価値創出を合致させる

ビジネスインパクト測定と未来設計

ビッグデータを取扱うシステム基盤を確保する

事実をベースとした意思決定を行う

実行

拡大

準備ビッグデータ&アナリティクス

の基礎

価値実現に必須

価値創造の強化

出典：Analytics: A blueprint for value – Converting big data and analytics into results, IBM Institute for Business Value © 2013 IBM

業務実装

業務実装

データ

戦略戦略分析基盤

人

分析スキル

経験

ベースライン

知識戦略人

業務実装

bluemixではじめるアナリティクス

Documents