ビッグデータと -...
TRANSCRIPT
Windows Azure
ＩＴライブラリー （pdf １００冊）http://itlib1.sakura.ne.jp/
ビッグデータと
一般社団法人
情報処理学会 正会員
腰山 信一
本資料の関連資料は下記をクリックして
ＰＤＦ一覧からお入り下さい。
ＩＴライブラリー （pdf １００冊）
http://itlib1.sakura.ne.jp/
目次番号 ４５４番 ８８０番 他
2
データ爆発とどまるところを知らない
3
ライフログ
画像・動画
Webサイト
携帯電話の出荷数国内：3328万台全世界：約13億台GPSデータ
センシングログ
スマートメーター（利用履歴）
非接触IC-R/W
音声
ユーザー数5億人以上全世界1日に3億のつぶやき
ソーシャルメディア（投稿情報/人間関係）
ユーザー数10億人以上1日に10TBずつ増加
1日86万件以上の投稿
ビッグデータ
文字
2015年の世界のデータ量1.8ゼッタバイト
（1.8兆GB）
（閲覧履歴）
POS・自販機・各種カード（購買履歴）RFID（無線ICタグ）
電話・コールセンター（通話履歴）
4
ビッグデータ
収集・蓄積等が可能・容易になる多種多量のデータ（ビッグデータ）を活用することにより、異変の察知や近未来の予測等を通じ、利用者個々のニーズに即したサービスの提供、業務運営の効率化や新産業の創出等が可能。
5
ソーシャルメディアデータ
ソーシャルメディアにおいて参加者が書き込むプロフィールコメント等
6
カスタマーデータ CRMシステムにおいて管理等されるDM等販促データ、会員カードデータ等
7
オフィスデータ
業務の各システムや、グループウエアから提供される膨大なデータ群
CRM
Flat Files
Legacy Systems
8
マルチメディアデータ
Web上の配信サイト等において提供等される音声、動画等
9
Websiteデータ
ECサイトやブログ等において蓄積等される購入履歴、ブログエントリー等のデータ
10
センサーデータ
GPS、ICカードやRFID等において検知等される位置、乗車履歴、温度、加速度等のセンサーデータ。
11
ログデータ
Web Server等において自動的に生成等されるアクセスログ、エラーログ等のデータ
12
オペレーションデータ
販売管理等の業務システムにおいて生成等されるPOS
データ、取引明細等のデータ
13
センサー単体の活用
百葉箱
体温計
ＡＴＭ 自動水洗 エアコン、冷蔵庫 人感センサ付照明
水道、ガス、電力メータ
自動改札、ＥＴＣゲート
14
ネットワークで情報収集
交通渋滞情報配信（カーナビ等）
車両運行支援
アメダス
震度情報ネットワーク・システム
土砂災害警戒システム河川情報システム15
情報分析、情報配信、自動制御
在庫管理・補充員派遣（自動販売機等）
工場・プラント制御（製造業・農業）
異常監視・対策（トンネル）交通管制（信号機、標示板等）
端末情報管理（スマートフォン等）
ファームウェア更新（自動車、家電等）
16
Ｍ２Ｍ通信サービス（例）
自動販売機、エレベーター、プラント設備、橋梁等の様々な領域において、Ｍ２Ｍ通信（Ｍａｃｈｉｎｅ to Ｍａｃｈｉｎｅ通信：人が介在せず、ネットワークに繋がれた機器同士が相互に情報交換等を行う機器間通信）サービスを提供。
17
ライフログ
付加情報
関係性・分析情報
他者との関係（絆）・評判・信用情報
提供・利用することに応じて記録される情報
利用履歴分析など
行動情報
利用履歴
購買履歴、移動履歴ロケーション、写真
基本属性
住所、クレジットカード番号、趣味、所属企業、役職
ＩＤコード（識別子/ｸﾚﾃﾞﾝｼｬﾙ）
提供・利用する上で必要な情報
付加情報
関係性・分析情報
他物との関係・性能情報
トラッキング履歴分析など
行動情報
利用履歴
機械・器具、車両・信号など
の動作トラッキング履歴、
IDコード
（識別子/ｸﾚﾃﾞﾝｼｬﾙ）製造番号などID / パスワードなど
動植物データ
日記、つぶやき
基本属性
製造年月日、製造場所製造環境、など
天候など環境データ
センシングログ
（マシン）
18
Big Data のビジネス活用への課題
19
2割
20
21
2割
22
Big Data のビジネス活用へのアプローチ
23
24
25
CEP
26
27
ソーシャル メディア & 調査研究データ
システム、デバイス、センサー 等
100111
28
CEP
Windows Azure におけるBig Data 活用基盤
29
Hadoop connector for
Hadoop on
SQL Server
/ Parallel Data Warehouse
Hadoop on
社内の Big Data（構造化データ）
StreamInsight 2.0
ERP CRM LOB
PowerView
Analysis Services Reporting Services
SQL StreamInsight
Integration Services
30
社外の Big Data (非構造化データ）
31
ベネ
フィ
ット
重要
な特
徴
Fast Track for
DellParallel Data Warehouse
HPEnterprise Data Warehouse
Dell QuickstartData Warehouse
HPBusiness Data Warehouse
32
StreamInsight 2.0 SQL StreamInsight
ベネ
フィ
ット
重要
な特
徴
33
ベネ
フィ
ット
重要
な特
徴
34
Windows Azureは Apache Hadoop™ をベースとした Windows Server 及びWindows Azure Platform 向けのディストリビューションを強化。
これらをデータ ウェアハウス ソリューションと統合することによって、エンタープライズ 領域における Hadoop の積極的活用。
Windows Azureにおける Big Data へのアプローチ
➢ エンドユーザー、IT プロ、開発者に Hadoop に対する幅広いアクセスを提供
➢ 高いパフォーマンス、容易な管理性、堅牢なセキュリティを備えた、Enterprise 向け Hadoop ディストリビューションの提供
➢ PowerPivot for Excel や PowerView による使いやすさの提供
➢ SQL Server 及び SQL Server Parallel Data Warehouse 用のHadoop connector を無償で提供
➢ Hadoop をベースとした Windows Server 及び Windows Azure Platform向けのディストリビューション
35
36
ベネ
フィ
ット
重要
な特
徴
Excel 向けの Hive アドイン
Hadoop 上の非定型データの参照と分析に操作に習熟したアプリケーションを利用
37
ベネ
フィ
ット
重要
な特
徴
Hive ODBC ドライバが Hadoop とSQL Server Analysis Services,PowerPivot, Power View を統合
セルフサービス型 BI ツールを使ったOLAP 分析サービスの活用
38
ベネ
フィ
ット
重要
な特
徴
39
ソーシャル メディアサイトの公開済データの積極活用モデルの確立
ベネ
フィ
ット
重要
な特
徴
40
ベネ
フィ
ット
重要
な特
徴
JavaScript によるMapReduceプログラミング
簡素化されたプログラミング
JS
サポート対象の全てのデバイスのWeb ブラウザから、JavaScript で作成された Hadoop ジョブ を展開
簡素化されたMapReduce ジョブ の展開
41
ベネ
フィ
ット
重要
な特
徴
42
BI ツール：迅速、広範、安価に展開できる Big Data ソリューション
容易なオペレーション
セルフ サービス モバイル
分析と結果の予測
リアルタイム
共同作業を支援
共有と統治新しい発見と推奨 変換とクレンジング
データ ウェアハウス：ソース横断的な統合によるデータ価値の向上
非構造化データ
100111
リレーショナル データ マルチ ディメンジョン ストリーミング データ
プラットフォーム：構造と管理モデルに依存しないデータ分析の基盤
マー
ケッ
トプ
レイ
ス：
社外
デー
タを
併用
した
分析
自然
科学
デー
タ市
場調
査デ
ータ
学術
研究
デー
タ
43
本資料の関連資料は下記をクリックして
ＰＤＦ一覧からお入り下さい。
ＩＴライブラリー （pdf １００冊）
http://itlib1.sakura.ne.jp/
目次番号 ４５４番 ８８０番 他
44
