Download - 04 citynet awsセミナー_クラウドでビックデータのスモールスタート
そもそも
2014/08/28(木) 株式会社シティネット 片岡幸人 2
ビックデータって何?
スモールスタートって矛盾?
クラウドって何?
自己紹介
片岡 幸人(かたおか ゆきひと)
高知県吾川村(現、仁淀川町)出身岐阜に暮らし、名古屋の会社勤務、27歳でUターン役場職員から ITコミュニティの経験を経て、32歳でシティネットに参加ITと農業、高知と地域に拘り
マイキーワード
センサ、クラウド、ロボット
2014/08/28(木) 株式会社シティネット 片岡幸人 3
今日の内容について
2014/08/28(木) 株式会社シティネット 片岡幸人 4
ビックデータ活用の現状
AWSのビックデータ関連サービス
ビックデータスモールスタート
5
ビックデータ活用の現状
ビックデータ活用例
2014/08/28(木) 株式会社シティネット 片岡幸人 6
センサ系
業務系
その他
IT Leaders ビッグデータを価値につなげる活用事例15
http://it.impressbm.co.jp/articles/-/10777
より引用、抜粋
センサ系
2014/08/28(木) 株式会社シティネット 片岡幸人 7
ウェザーニュース[情報・通信業]
会員から寄せられる現地の気象情報を分析。詳細なエリアごとに的確な天気予報を配信できるようにする。ゲリラ豪雨などの局地的な天気も高い精度で予測できる。観測機の気象データも活用。
国土交通省 関東地方整備局[公社・官庁]
2012年に開通した「東京ゲートブリッジ」の異常を検知するのにセンサーデータを活用する。橋脚に多数のセンサーを取り付け、橋のひずみや振動などを検知する。橋の破損状況を遠隔より把握できる。橋を通行する車両の重量から、橋への負担なども予測する。
小松製作所[機械]
建機に取り付けたセンサーから稼働状況や燃料の残量などを把握。故障の事前検知やリース建機の最適配置、盗難防止、省エネ運転支援などに役立てる。建機を遠隔監視するシステムに集められる建機情報は、顧客や販売代理店に無料で提供する。
業務系
2014/08/28(木) 株式会社シティネット 片岡幸人 8
大阪ガス[電気・ガス業]
コールセンターに寄せられる給湯器などの修理依頼の内容から、交換が必要となりそうな部品を自動で割り出す。過去数百万件の修理履歴や機器の型番などをもとに適切な部品を自動抽出するシステムを自社開発。修理作業員の業務効率化に寄与する。
全日本食品[小売業]
約1800店舗のPOSデータを収集/分析する。発行したクーポンや配布したチラシの効果を最大化する施策の検討に用いる。顧客情報や購買履歴をもとに、最適なクーポンをレシートの裏に印刷して発行する。
ヤフー[サービス業]
Webサイトを通じて取得する利用者のアクセスログなどを分析。利用者に応じた適切な広告や商品などをサイト上に掲載できるようにする。サイトのデザインやメニュー変更が売上にどう貢献するのかを把握する指標にもデータを活用する。
その他
2014/08/28(木) 株式会社シティネット 片岡幸人 9
カブドットコム証券[証券・商品先物取引業]
Twitterの投稿を分析する。特定キーワードの登場頻度と株価の動向に相関関係があるかどうかを分析する。顧客に対して適切な投資情報を提供することを目指す。
本田技研工業[輸出用機器]
約150万人の会員から自動車の走行データを5分おきに収集。1カ月あたり約1億km分のデータを取得/分析する。渋滞地点を避けたルートを案内したり、走行時間短縮によりCO2を削減したりできる。
リクルート[サービス業]
GPSを使って旅行者の位置情報を収集。どこを訪れたのか、どこに宿泊したのかなどの行動を把握する。観光地の活性化やニーズに即した観光情報を提供できるようにする。
ビックデータ活用の現状
2014/08/28(木) 株式会社シティネット 片岡幸人 10
いつ、どこで?
ターゲット 有、無 の双方あり
誰が?
情報の収集者
どのような目的で?
判断、予測、推測などの活用が多い
ビックデータ活用例
2014/08/28(木) 株式会社シティネット 片岡幸人 11
センサ系(注目!)
業務系
その他
IT Leaders ビッグデータを価値につなげる活用事例15
http://it.impressbm.co.jp/articles/-/10777
より引用、抜粋
センサ系ビックデータ活用
2014/08/28(木) 株式会社シティネット 片岡幸人 12
ここからの話題は、
センサ の 情報(ビックデータ)を活用するため クラウドサービス Amazon AWS を使って、安価に情報を データベース に保管し、目的に応じた情報の参照を、迅速に行う 方法
についてです。
13
AWSのビックデータ関連サービス
センサ系ビックデータ活用
2014/08/28(木) 株式会社シティネット 片岡幸人 14
どう獲得する?
安価な小型コンピュータRaspberry Pi
どこに保管する?
スモールスタート可能なクラウドAmazon AWS DynamoDB と S3
問題は、センサの情報を
Raspberry Pi
2014/08/28(木) 株式会社シティネット 片岡幸人 15
Raspberry Pi
2014/08/28(木) 株式会社シティネット 片岡幸人 16
安価で高スペック• 本体が4千円未満
• CPU500MHz,メモリ512GB,HD SDカード
情報量とサポート• イギリス財団が製造、販売元
• 利用者が多くネット情報量も豊富
汎用的• OSがLinuxで各種フリーソフト利用可能
• GPIO、I2C等に対応
DynamoDB
2014/08/28(木) 株式会社シティネット 片岡幸人 17
DynamoDB
2014/08/28(木) 株式会社シティネット 片岡幸人 18
DynamoDB は高速な完全マネージド型NoSQL データベースサービスで、任意の量のデータを格納、取得し、任意のレベルのリクエストトラフィックを処理できます。スループットとミリ秒で 1 桁台のレイテンシーが保証されており、ゲーム、広告、モバイル、他の多くのアプリケーションに最適です。
http://aws.amazon.com/jp/dynamodb/
DynamoDB
2014/08/28(木) 株式会社シティネット 片岡幸人 19
面倒な設定・維持管理が不要
容量は自動拡張
パフォーマンスをコストで選択可能
大規模でも高速なデータアクセス
データは複数の場所で同時保管
キーを除くデータ項目フリーフォマット
開発者はAPI経由で利用
DynamoDB 他との比較
2014/08/28(木) 株式会社シティネット 片岡幸人 20
RDS(MySql,SQLServer,Oracle他)• データ量増で速度が遅い
• コスト高(MySql 10GB利用で約8倍)
• 容量固定
Redshift• 最速処理
• コスト最高(10GB利用で約38倍)
• 160GBからで容量固定
※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
S3
2014/08/28(木) 株式会社シティネット 片岡幸人 21
S3
2014/08/28(木) 株式会社シティネット 片岡幸人 22
Amazon S3 はインターネット用のストレージサービスです。ウェブスケールの処理能力を開発者が簡単に利用できるよう設計されています。Amazon S3 にはシンプルなインターフェイスが用意されており、いつでもウェブのどこからでも容量に関係なくデータを保存/取得できます。これによって、開発者は拡張可能で信頼性が高く、安全で、高速でありながら安価なインフラストラクチャを利用することが可能になります。このシステムは、Amazon が使用しているウェブサイトのグローバルネットワークと同じものです。このサービスの目的は規模のメリットを最大化で開発者に提供することです。
http://aws.amazon.com/jp/s3/
S3
2014/08/28(木) 株式会社シティネット 片岡幸人 23
安価に大量のファイルを保管可能
容量は自動拡張
静的Webサイトとして利用可能
最大 99.999999999% の耐久性
99.99% の可用性
開発者はAPI経由で利用
S3 他との比較
2014/08/28(木) 株式会社シティネット 片岡幸人 24
EBS• データアクセスが高速
• コスト高(約2.5倍)
• 容量固定
Glacier• データアクセスが遅いアーカイブ向け
• コスト最安(10GB利用で約1/5倍)
• 容量は自動拡張
※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
25
ビックデータスモールスタート
よくあるシステム構成
2014/08/28(木) 株式会社シティネット 片岡幸人 26
Raspberry Pi(BOX) EC2(Server)
EBS(File Data)
RDS(RDB)
Internet
参照者
スモールスタート構成
2014/08/28(木) 株式会社シティネット 片岡幸人 27
Raspberry Pi(BOX)
S3(File Data)
DynamoDB
Internet
参照者
ネクスト構成
2014/08/28(木) 株式会社シティネット 片岡幸人 28
Raspberry Pi (BOX) n台S3(File Data)
DynamoDB
Internet
参照者
EC2(Server)
デモ作ってみました
2014/08/28(木) 株式会社シティネット 片岡幸人 29
デモ作ってみました
2014/08/28(木) 株式会社シティネット 片岡幸人 30
収集情報• Raspberry Pi 専用カメラ静止画
• Raspberry Pi CPU温度・使用率
• Raspberry Pi メモリ使用率
機能• Raspberry Pi からクラウドにデータをアップ
• クラウド保管データを Raspberry Pi Webサーバから提供
開発環境• PHP5 + AWS PHP SDK2 + bash
デモ(コード例1)
2014/08/28(木) 株式会社シティネット 片岡幸人 31
// SDK読込み
require_once('AWSSDKforPHP/aws.phar');
use Aws¥Common¥Aws;
use Aws¥Common¥Enum¥Region;
use Guzzle¥Http¥EntityBody;
// Dynamo 処理
$aws = Aws::factory(“configのパス");
$dynamo = $aws->get('dynamodb');
$dynamoTbl = "test-hub-table"; // TABLE NAME
$data['data-id'] = $dataId; // Hash Key
$data['data-r'] = $ymdhm; // Range Key
$data['data-r2'] = $hmymd; // Range Key ( Local Index )
デモ(コード例1)
2014/08/28(木) 株式会社シティネット 片岡幸人 32
// Data
$data['datetime'] = $datetime;
$data['cpu_temp'] = $cputemp;
$data['cpu_unit'] = "*C";
$data['cpu_used'] = $cpuused;
$data['cpu_unit2'] = "%";
$data['mem_used'] = $memused;
$data['mem_unit'] = "%";
// Save
$result = $dynamo->putItem(array(
'TableName' => $dynamoTbl,
'Item' => $dynamo->formatAttributes($data),
'ReturnConsumedCapacity' => 'TOTAL‘
));
デモ(コード例2)
2014/08/28(木) 株式会社シティネット 片岡幸人 33
$iterator = $dynamo->getIterator('Query', array(
'TableName' => $dynamoTbl,
'KeyConditions' => array(
'data-id' => array(
‘AttributeValueList’=> array( array('S' => $cameraId)),
'ComparisonOperator' => 'EQ‘
),
'data-r' => array(
'AttributeValueList' => array( array('S' => $s_ymdhm), array('S' => $e_ymdhm)),
'ComparisonOperator' => 'BETWEEN‘
)
)
));
デモ(コード例2)
2014/08/28(木) 株式会社シティネット 片岡幸人 34
foreach ($iterator as $item) {
echo "<table>¥n";
echo "<tr><th>Hash Key</th><td>“
.$item['data-id']['S']."</td></tr>¥n";
echo “<tr><th>Renge Key1</th><td>”
.$item['data-r']['S']."</td></tr>¥n";
(中略)
echo "<tr><th>Command</th><td>“
.$item['command']['S']."</td></tr>¥n";
echo "</table>¥n";
}
DynamoDB保管データ
2014/08/28(木) 株式会社シティネット 片岡幸人 35
DynamoDB保管データ
2014/08/28(木) 株式会社シティネット 片岡幸人 36
S3保管データ
2014/08/28(木) 株式会社シティネット 片岡幸人 37
結論
2014/08/28(木) 株式会社シティネット 片岡幸人 38
資金力に乏しい地方 でも、活用するアイディア があれば、Amazon AWS のクラウドサービス DynamoDB, S3を活用して、ビックデータへの挑戦をスモールにスタートできます!