04 citynet awsセミナー_クラウドでビックデータのスモールスタート

クラウドでビックデータのスモールスタート

株式会社シティネット

片岡幸人

[email protected]

そもそも

2014/08/28(木) 株式会社シティネット片岡幸人 2

ビックデータって何？

スモールスタートって矛盾？

クラウドって何？

自己紹介

片岡幸人（かたおかゆきひと）

高知県吾川村（現、仁淀川町）出身岐阜に暮らし、名古屋の会社勤務、27歳でUターン役場職員から ITコミュニティの経験を経て、32歳でシティネットに参加ITと農業、高知と地域に拘り

マイキーワード

センサ、クラウド、ロボット


今日の内容について


ビックデータ活用の現状

AWSのビックデータ関連サービス

ビックデータスモールスタート

5


ビックデータ活用例


センサ系

業務系

その他

IT Leaders ビッグデータを価値につなげる活用事例15

http://it.impressbm.co.jp/articles/-/10777

より引用、抜粋


センサ系


ウェザーニュース[情報・通信業］

会員から寄せられる現地の気象情報を分析。詳細なエリアごとに的確な天気予報を配信できるようにする。ゲリラ豪雨などの局地的な天気も高い精度で予測できる。観測機の気象データも活用。

国土交通省関東地方整備局［公社・官庁］

2012年に開通した「東京ゲートブリッジ」の異常を検知するのにセンサーデータを活用する。橋脚に多数のセンサーを取り付け、橋のひずみや振動などを検知する。橋の破損状況を遠隔より把握できる。橋を通行する車両の重量から、橋への負担なども予測する。

小松製作所[機械]

建機に取り付けたセンサーから稼働状況や燃料の残量などを把握。故障の事前検知やリース建機の最適配置、盗難防止、省エネ運転支援などに役立てる。建機を遠隔監視するシステムに集められる建機情報は、顧客や販売代理店に無料で提供する。

業務系


大阪ガス［電気・ガス業］

コールセンターに寄せられる給湯器などの修理依頼の内容から、交換が必要となりそうな部品を自動で割り出す。過去数百万件の修理履歴や機器の型番などをもとに適切な部品を自動抽出するシステムを自社開発。修理作業員の業務効率化に寄与する。

全日本食品［小売業］

約1800店舗のPOSデータを収集/分析する。発行したクーポンや配布したチラシの効果を最大化する施策の検討に用いる。顧客情報や購買履歴をもとに、最適なクーポンをレシートの裏に印刷して発行する。

ヤフー［サービス業］

Webサイトを通じて取得する利用者のアクセスログなどを分析。利用者に応じた適切な広告や商品などをサイト上に掲載できるようにする。サイトのデザインやメニュー変更が売上にどう貢献するのかを把握する指標にもデータを活用する。

その他


カブドットコム証券［証券･商品先物取引業］

Twitterの投稿を分析する。特定キーワードの登場頻度と株価の動向に相関関係があるかどうかを分析する。顧客に対して適切な投資情報を提供することを目指す。

本田技研工業［輸出用機器］

約150万人の会員から自動車の走行データを5分おきに収集。1カ月あたり約1億km分のデータを取得/分析する。渋滞地点を避けたルートを案内したり、走行時間短縮によりCO2を削減したりできる。

リクルート[サービス業]

GPSを使って旅行者の位置情報を収集。どこを訪れたのか、どこに宿泊したのかなどの行動を把握する。観光地の活性化やニーズに即した観光情報を提供できるようにする。



いつ、どこで？

ターゲット有、無の双方あり

誰が？

情報の収集者

どのような目的で？

判断、予測、推測などの活用が多い

ビックデータ活用例


センサ系(注目！)

業務系

その他

IT Leaders ビッグデータを価値につなげる活用事例15


より引用、抜粋


センサ系ビックデータ活用


ここからの話題は、

センサの情報（ビックデータ）を活用するためクラウドサービス Amazon AWS を使って、安価に情報をデータベースに保管し、目的に応じた情報の参照を、迅速に行う方法

についてです。

13

AWSのビックデータ関連サービス

センサ系ビックデータ活用


どう獲得する？

安価な小型コンピュータRaspberry Pi

どこに保管する？

スモールスタート可能なクラウドAmazon AWS DynamoDB と S3

問題は、センサの情報を

Raspberry Pi


Raspberry Pi


安価で高スペック• 本体が4千円未満

• CPU500MHz,メモリ512GB,HD SDカード

情報量とサポート• イギリス財団が製造、販売元

• 利用者が多くネット情報量も豊富

汎用的• OSがLinuxで各種フリーソフト利用可能

• GPIO、I2C等に対応

DynamoDB


DynamoDB


DynamoDB は高速な完全マネージド型NoSQL データベースサービスで、任意の量のデータを格納、取得し、任意のレベルのリクエストトラフィックを処理できます。スループットとミリ秒で 1 桁台のレイテンシーが保証されており、ゲーム、広告、モバイル、他の多くのアプリケーションに最適です。

http://aws.amazon.com/jp/dynamodb/

http://aws.amazon.com/jp/dynamodb/

DynamoDB


面倒な設定・維持管理が不要

容量は自動拡張

パフォーマンスをコストで選択可能

大規模でも高速なデータアクセス

データは複数の場所で同時保管

キーを除くデータ項目フリーフォマット

開発者はAPI経由で利用

DynamoDB 他との比較


RDS（MｙSql,SQLServer,Oracle他）• データ量増で速度が遅い

• コスト高（MySql 10GB利用で約8倍）

• 容量固定

Redshift• 最速処理

• コスト最高（10GB利用で約38倍）

• 160GBからで容量固定

※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。

S3


S3


Amazon S3 はインターネット用のストレージサービスです。ウェブスケールの処理能力を開発者が簡単に利用できるよう設計されています。Amazon S3 にはシンプルなインターフェイスが用意されており、いつでもウェブのどこからでも容量に関係なくデータを保存/取得できます。これによって、開発者は拡張可能で信頼性が高く、安全で、高速でありながら安価なインフラストラクチャを利用することが可能になります。このシステムは、Amazon が使用しているウェブサイトのグローバルネットワークと同じものです。このサービスの目的は規模のメリットを最大化で開発者に提供することです。

http://aws.amazon.com/jp/s3/

http://aws.amazon.com/jp/s3/

S3


安価に大量のファイルを保管可能

容量は自動拡張

静的Webサイトとして利用可能

最大 99.999999999% の耐久性

99.99% の可用性

開発者はAPI経由で利用

S3 他との比較


EBS• データアクセスが高速

• コスト高（約2.5倍）

• 容量固定

Glacier• データアクセスが遅いアーカイブ向け

• コスト最安（10GB利用で約1/5倍）

• 容量は自動拡張

※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。

25

ビックデータスモールスタート

よくあるシステム構成


Raspberry Pi(BOX) EC2(Server)

EBS(File Data)

RDS(RDB)

Internet

参照者

スモールスタート構成


Raspberry Pi(BOX)

S3(File Data)

DynamoDB

Internet

参照者

ネクスト構成


Raspberry Pi (BOX) n台S3(File Data)

DynamoDB

Internet

参照者

EC2(Server)

デモ作ってみました


デモ作ってみました


収集情報• Raspberry Pi 専用カメラ静止画

• Raspberry Pi CPU温度・使用率

• Raspberry Pi メモリ使用率

機能• Raspberry Pi からクラウドにデータをアップ

• クラウド保管データを Raspberry Pi Webサーバから提供

開発環境• PHP5 ＋ AWS PHP SDK2 ＋ bash

デモ（コード例1）


// SDK読込み

require_once('AWSSDKforPHP/aws.phar');

use Aws¥Common¥Aws;

use Aws¥Common¥Enum¥Region;

use Guzzle¥Http¥EntityBody;

// Dynamo 処理

$aws = Aws::factory(“configのパス");

$dynamo = $aws->get('dynamodb');

$dynamoTbl = "test-hub-table"; // TABLE NAME

$data['data-id'] = $dataId; // Hash Key

$data['data-r'] = $ymdhm; // Range Key

$data['data-r2'] = $hmymd; // Range Key ( Local Index )



// Data

$data['datetime'] = $datetime;

$data['cpu_temp'] = $cputemp;

$data['cpu_unit'] = "*C";

$data['cpu_used'] = $cpuused;

$data['cpu_unit2'] = "%";

$data['mem_used'] = $memused;

$data['mem_unit'] = "%";

// Save

$result = $dynamo->putItem(array(

'TableName' => $dynamoTbl,

'Item' => $dynamo->formatAttributes($data),

'ReturnConsumedCapacity' => 'TOTAL‘

));



$iterator = $dynamo->getIterator('Query', array(

'TableName' => $dynamoTbl,

'KeyConditions' => array(

'data-id' => array(

‘AttributeValueList’=> array( array('S' => $cameraId)),

'ComparisonOperator' => 'EQ‘

),

'data-r' => array(

'AttributeValueList' => array( array('S' => $s_ymdhm), array('S' => $e_ymdhm)),

'ComparisonOperator' => 'BETWEEN‘

)

)

));



foreach ($iterator as $item) {

echo "<table>¥n";

echo "<tr><th>Hash Key</th><td>“

.$item['data-id']['S']."</td></tr>¥n";

echo “<tr><th>Renge Key1</th><td>”

.$item['data-r']['S']."</td></tr>¥n";

（中略）

echo "<tr><th>Command</th><td>“

.$item['command']['S']."</td></tr>¥n";

echo "</table>¥n";

}

DynamoDB保管データ


S3保管データ


結論


資金力に乏しい地方でも、活用するアイディアがあれば、Amazon AWS のクラウドサービス DynamoDB, S3を活用して、ビックデータへの挑戦をスモールにスタートできます！

04 citynet awsセミナー_クラウドでビックデータのスモールスタート

Technology