Download - Bluemixとapache sparkでできる io tデータの収集と分析
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Bluemixと Apache SparkでできるIoTデータの収集と分析
2016.6.30クリエーションライン (株 ) 木内
6/30 IBM Cloud Community 勉強会講演資料
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
自己紹介 木内 満歳(きうち みつとし)
クリエーションライン株式会社 シニアコンサルタント
Slideshare: http://www.slideshare.net/mkiuchi4
各種寄稿a. gihyo.jp: “ Mesosphere DCOSでつくるクラウドアプリケーション”
b. 日経クラウドファースト 2016年 6 “月 Azure IoT Suiteの評価”
c. Codezine: “ Bluemix Apache Spark機械学習をクラウドで手軽に体験! の で異常なセ
ンサーデータを洗い出す”
専門分野: Apache Mesos, Apache Spark, 分散コンピューティング , クラウドコンピューティング , NoSQL DB, グラフ DB
O’reilley Certified Developer on Apache Spark
Docker Certified Technical Trainer2 2
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ 3
クリエーションライン株式会社 2006年 1月設立
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
主な取扱い製品
4 4
IaaS基盤
構成管理・ DevOpsMSP
PaaS・データ分析基盤
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
IBM Bluemix
5
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
BARTBay Area Rapid Transit, CaliforniaOperation Monitoring, 15 days to install 6
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Le Tour de FranceRealtime Monitoring, Winner Prediction
7
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Poseidon Project, IBM ResearchWater Preservation, IoT
8
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
BluemixInternet of Things
9
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Internet of Things
10
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
“データフロー・オーケストレーション (ツール )”
11
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
{“name”:
“kiuchi”,
“company”:
“creationline”
}
{“name”: “y
arai”,
“company”:
“creationline”
}
12
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
{ “MyID”: “1234567890987654321”, “time”: “2016/4/16 12:34:56 +0900”, “data” : [ “temp”: “26” ]}
“JSON ”データ ( JSONドキュメント)
13
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
{“name”:
“kiuchi”,
“company”:
“creationline”
}
{“name”: “y
arai”,
“company”:
“creationline”
}
“(ドキュメント型 )NoSQL ”データベース
14
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
IoT Sensorエミュレータ (ブラウザで動作 )
https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/
15
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Internet of Things
16
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Internet of Things
MQTT
センサーがMQTTに対応していない場合
フィールドゲートウェイ(Local -> MQTT)
バス接続 (GPIOなど )
17
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
● 統計解析
● 機械学習
●ストリームデータ処理
● SQL
18
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
BluemixInternet of Things
https://console.ng.bluemix.net/もしくは
http://www.bluemix.net 19
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
デモの構成
MQ
TT
x8 sensors
20
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Apache Sparkにおけるプラグインのしくみ
SparkSQL
HiveQL互換
JDBC/ODBC互換
Parquet
JSON
CSV
Hive DB
RDB
プラグイン MongoDBなど
21
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Spark Packages
http://spark-packages.org/ 22
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
Sparkにおける Cloudant
add-onパッケージとして提供されているhttps://github.com/cloudant-labs/spark-cloudant
23
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ
まとめ
• Bluemixを使うことで簡便にセンサーデータの蓄積、分析を行うことができます
• センサーがなくてもエミュレータで手軽に練習することができます
24
Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ