20150314 青森データ分析 畠山

47

Upload: daiyu-hatakeyama

Post on 21-Jan-2018

1.653 views

Category:

Data & Analytics


1 download

TRANSCRIPT

74%が複数デバイスを所有

90%82%全世界のインターネット利用者のうち、ソーシャルネットワークを利用する人の割合

モビリティ クラウド

ビッグデータソーシャル 50%の大企業ユーザーがクラウドへ移行中

全世界のデータ

今日ある全世界のデータの 90% は、直近 2 年に生成されたもの

直近 2 年

2015 年の 1 人あたり

3.3 デバイス

x

2011 2016 5 倍に増加

モバイルデバイスの普及によって、

Webというチャネルが常時使われるようになり、

顧客が常に、あなたの店舗 (オンラインとオフライン) に来るようになった。

また、ソーシャルによって、顧客同士が、あなたについて常に話す機会ができた。

結果、巨大なデータがインターネット上に蓄積され、

そのインフラとして、使い捨ての出来るクラウドが再度注目されている

既存システム

取得データ

コラボ可視化

データの加工・保存

オープンデータ

モバイル

0

50,000

100,000

150,000

200,000

250,000

1-Jan 10-Jan 19-Jan 28-Jan 6-Feb 15-Feb 24-Feb 4-Mar 13-Mar 22-Mar 31-Mar 9-Apr 18-Apr

データ処理に最適化

最大 32 CPU コア, 448 GB RAM,

6.5 TB ローカル SSD

最新 Intel processor

G

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

データウェアハウス

多次元データベース

購買履歴

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

データウェアハウス

多次元データベース

購買履歴 リコメンド

Webログ:

Web Site

「お客さんの購買履歴に合わせて、自社サイトでキャンペーン、やってみたいんだよね」

noSQL /

Hadoop

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

データウェアハウス

多次元データベース

購買履歴 リコメンド

Webログ:

Web Site

ソーシャル

評判

noSQL / Hadoop

「Webとかソーシャル上で、うちの商品の評判ってどう変わっているんだろうね?」

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

データウェアハウス

多次元データベース

購買履歴 リコメンド

Webログ:

Web Site

ソーシャルセンサー

(GPSなど)

評判 さらに賢く

noSQL / Hadoop

「実店舗の近くに来たら、クーポン送ってあげたいね」

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

購買履歴 リコメンド

Webログ:

Web Site

ソーシャルセンサー

(GPSなど)

評判 さらに賢く

データウェアハウス

多次元データベース

noSQL / Hadoop

既存システム

取得データ

コラボ可視化

データの加工・保存

オープンデータ

モバイル

JSON CSV{“name”: “畠山大有”,

“location”:

{35.626575,

139.740997}

}

畠山大有, 35.626575/

139.740997

まいタブレ 買ったんだけど、よさげ

商品名 好感度: 良い/悪い

商品マスター

まいくろタブレット 良い

商品 好感度

辞書

いま、1 TB の Web アクセスログファイルが目の前にあります。URI 毎にアクセス数を集計しなければなりません。

どうしますか?

grep sort uniq| | > output

いずれにせよ、数多くのコンピューターで生成されるデータを、たった一台で分析するのは無理があります。

一人じゃムリ…

複数のコンピューターによる分散処理が必要です

手分けしよう!

Websites SQL database DocumentDB Search Tables HDInsight

データ生成

Web logs

In-Store Activity

Social Data

取り込み 加工 保存

Azure SQL

Database &

Azure Storage

& Document DB

解析

Azure

Machine

Learning

可視化

24

• Azure ML で作業するブラウザベースの分析フロー管理ツール(GUI)

アイテム(部品)

プロパティ(パラメータ)エクスペリメント

(分析フロー)

メニュー

1. 取り込み

2. 加工・保存

3. 可視化

ERP:

購買CRM:

顧客

データウェアハウス

多次元データベース

購買履歴 リコメンド

Webログ:

Web Site

ソーシャルセンサー

(GPSなど)

評判 さらに賢く

NoSQL / Hadoop

0

5,000

10,000

15,000

20,000

25,000

北海道・東北 関東 中部 近畿 中国・四国 九州・沖縄

グライダー

ヘリコプター

飛行機

デバイスの違いを可能な限り意識させない、変わらない高い操作性

持ち込みのコンピューターや、ブラウザーからでも、プロとしての仕事ができる機能

Office 365による、自分の使いやすい設定を全てのデバイスに反映

Excel 2013 for PC

Office Mobile Office for iPad Office Online

“Power Query”

多様な接続“PowerPivot”

大量データ“PowerView”

時間変化

“PowerMap”

地理表現

クラウド “PowerQA”

自然言語

取得データ

コラボ可視化

データの加工・保存

モバイル

オープンデータ

既存システム

じいちゃん、パソコン使えないから無理!

じいちゃん、これなら、使えるかも<3

“Volume”

膨大“Velocity”

スピード“Variety”

多様性

社内システム

サーチソーシャル

オープンデータ

コラボ可視化

コンピューティング

データサービス

Traffic

Manager

仮想ネットワーク

Express

Route

モバイルサービスWEB サイト

クラウドサービス仮想マシン

アプリケーションサービス

Blobs テーブル キューSQL

データベース

Machine

Leaning

StoreSImple

BizTalk サービスService Bus

CDN

API 管理メディアサービス 通知ハブ

Caching RemoteApp

Visual

Studio

Online

ネットワーク

Files DocumentDB

HD Insight SearchEvent Hubs

Operational

Insights 復旧サービス

Stream Analytics

マネジメントサービス Application

Insights Automation スケジューラ Active Directory Access Control

Mobile-first Cloud-first

MSDNサブスクリプションWindows Azure 無料枠

http://aka.ms/TryAz

http://aka.ms/Free-Azure

マイクロソフトでは、Power BI の一般ユーザーへの普及を促進するために、様々な書籍を発行しております。

1億人のための統計解析ーエクセルを最強の武器にするー西内 啓 著日経 BP 社

ビッグデータ分析Excel 新機能で簡単に!田中 正道、前野 好太郎 著日本経済新聞出版社

はじめよう Excel でビッグデータ分析前野 好太郎 著リックテレコム社

• Excel の限界である約100万行をも超えるデータ セットを分析

• データ格納時にカラムベースにデータを変換・圧縮し、インメモリで動作することで、大量のデータを高速に分析

• 使い慣れた Excel で利用• Power View やピボットテーブルでデータの分析やビジュアライゼーションが可能

主な機能

メリット

• サーバー側のデータとクライアントのデータを、Excel 内で容易に統合して分析できます。

• データを圧縮してインメモリで動作するため、大量データを高速に扱えます。

• 社内外のデータの変換と Excel シートまたはPowerPivot へのインポート:

• リレーショナル データベース• Excel

• テキスト• XML

• Odata

• Web ページ• Hadoop HDFS

• 検索機能による関連データの探索• インターネット上のデータを簡単に取り込み• 購入した外部データを簡単に取り込み

ブラウザ

Excel主な機能

メリット

• SQL Server の分析用インメモリ DB や Power

Pivot 等のデータをリッチでインタラクティブな表やグラフで表現します。例えば、トレンドのアニメーション表示や、地図上にデータをマップします

• SharePoint Server 2013 または Office 365 のSharePoint Online にアップロードすることで、ブラウザ上でデータのフィルター処理、並べ替え、強調表示などを行えます

主な機能

メリット

• Excel 2013 上で容易な操作でインタラクティブなレポートを作成

• 地図のライセンスが不要

• Excel 上の地理および時間に関するデータを3 次元処理し、新しい観点での情報分析環境を提供

• 時系列に沿ってデータを地図上にレンダリング。ビデオ作成や再生も簡単

• データはレイヤーごとに重ね合わせて分析例)人口データ(ヒートマップ)と

売上データ(棒グラフ)の比較

• 地図のライセンスが不要• Bing Mapsでジオコーディングを行うので、緯度・経度データがなくても OK

主な機能

メリット

• Office 365 の SharePoint Online 上に Excel

Power Pivot ファイルをパブリッシュすることで、ブラウザからその Power Pivot 構造体に対して、自然言語検索で結果を取り出すことができます

• 検索結果は Power View 形式でブラウザに自動描画します

• 地図のライセンスが不要• HTML5 なのでデバイスに依存せず、PC でもタブレットでもスマートフォンでも利用できます。

主な機能

メリット