クラウドとデータ解析JAZUG 信州 , 松本上陸記念！

JAZUG 信州 : 吉野翼

免責事項 このセッションは , 所属する企業 , 団体とは , 一切関係ありません

自己紹介 吉野翼

株式会社エスキュービズムテクノロジー

Azure しなのコアメンバー

@papemk2

http://blog.qaramell.com

C#, Xaml, Azure, Xbox

このセッションについて Azure でデータ解析する方法を知ってもらう

Azure で IoT をやるための足掛かり ( になればいいな )

Internet of Things

Internet of Things IoT の定義とは ...

◦ 単純にインターネットに繋がったら…？

◦ センシングしてクラウドにデータ集約したら…？

◦ インターネットを経由してデバイス・センサーがやりとりしたら…？

Before

After

2018 年 : 全世界 180 億デバイスがインターネットと接続

2018 年の世界人口 : 約 75 億人

180 億 / 75 億 == 2.4

全人類が平均 2.4 個の Web につながるデバイスを持つ

爆発的に増えるデバイス・センサー

爆発的に増えるデータ

爆発的に増えないリソース

このビッグデータどうするの…？

現状 爆発的に増えるデータにどう対応するか

データは , 常に増え続ける◦ 迅速なスケールに対応する◦ できるだけ無駄の少ない運用◦ 柔軟なスケール求

データを迅速に解析して金に換えたい◦ リアルタイムな分析

既存のリアルタイム分析処理の問題 とにかく構築が複雑

システムのスケール問題

フォールトトレランス構築

監視・運用コストが非常に高い

金さえあれば何も要らない

今回紹介するもの

Event Hub 大量なデータの取り込み基盤

イベント収集の入り口

イベントストリームの生成

Event Hub で受けて Stream Analytics に流す

Event Hub

想定されるシナリオ インターネットに繋がった車

モバイルデバイスのトラッキング

トラフィック監視

各種センサーからのデータ収集

ウェアラブルからの身体情報収集

想定されるシナリオ

Event Hub の特徴 イベントの順序の維持

大量のデータ取り込みのための適切な容量の提供

AMQP, HTTP により大量のプラットフォームのサポート

高スループット : 1s あたり数百万件のイベントのストリーミング配信◦ 受信 : 1MB/s or 1000 イベント◦ 送信 : 2MB/s

EventHub の特徴 メッセージを複数クライアントで同時処理

◦ 永続化しつつ分析するとか

データ保持期間中なら何度もイベントを呼べる

キューで管理

First in First out

一定の保存期間ののち古いものから削除◦ 期間中は , 明示的に削除不可

パーティション Event Hub のデータ保存先

◦ 8 ～ 32 個で構成◦ 32 個以上パーティションを作りたい場合は , Service Busチームに連絡しよう

それぞれが独立◦ 基本的にラウンドロビン型

◦ イベントの明示的な削除は不可

◦ 明示的に特定パーティションに データを渡すのはバッドプラクティス

Stream Analytics リアルタイムなイベント処理

データのリアルタイム解析

センサ類の解析と相性抜群

SQL ライクなクエリで操作可能

Stream Analytics 複数の入力ソースをまとめて使用可能

出力先も種類がたくさん

ユニット単位でスケール◦ 1ユニット 1MB/s◦ 48ユニットまでは , 自由に使用可◦ それ以上は , メールを送ろう

特徴 クエリ錬成でデータ加工

くっつけたり計算したり絞ったり

SELECT

FROM

WHERE

JOIN

ORDER BY

Etc…

Stream Analytics でデータを加工したり永続化したり

データの食わせ方さえどうにかなればいい

？

データを取り込んだら分析がしたい！

データを取り込んだら分析がしたい！

と , 思うゴーファーであった

グラフってどうやってパソコンで作るの？？？

学校で方眼紙に書いたことならあるよ！

ん？

方眼紙？

男は黙って Excel だ！

そんなあなたに朗報です

そんなツールあります

PowerBI Excel でビッグデータ分析

Excel を持っていなくても OK

Stream Analytics の出力先として使用可能

Excel の素早く簡単な可視化をビッグデータ解析に提供

いろいろなソースを食える

コンセプト ビッグデータをビジネスに役立てる

ビジネスに関わる全社員がデータを活用する

現場の人間が自らデータを扱える

今まで

これから

＋

これから

特徴 さまざまなデータソースからデータを流し込める

業務に役立つことがすぐにできる

今日からみんなデータサイエンティスト

GitHub のリポジトリを解析してみる

Microsoft の dotnet リポジトリ

まとめ 誰もがビッグデータを扱う時代がすぐそこ

Azure で手軽にデータ解析ができるようになる◦ まずは , 手軽に始めてみよう◦ PaaS で足りなくなったら , IaaS なりもっとパワーを求めよう◦ 最初からパワーを求めても持て余す

データと睨めっこするのは , 今も昔もとても大事◦ データを見て知見を得るのは , まだ人間のほうが強い◦ データ加工の時間を効率化 → 睨めっこする時間が増やせる