gr-carryで ジェスチャーの機械学習 - かぎーぱみゅぱみゅver.2

GR-CARRYで

ジェスチャーの機械学習ニャンパス 登尾

http://bit.ly/iotlt-carry

1

登尾 徳誠(@tnoborio)

• ニャンパス代表 / ソフトウェア開発

• 書籍「はじめてのClojure」

• Tokyo.clj等勉強会諸々開催

• 越谷市にて、コワーキングスペース

HaLake(http://halake.com)を運営

2

GR-CARRY

• ルネサス製

• BLE、加速度センサー、タッチセンサー、フルカラーLED

• ボタン電池で動く

• (未発売) → ルネサスさんのイベント 「がじぇるねメイカソン」に参加したことでゲット!

3

がじぇるねメイカソンで作ったもの

4

コンセプト:ジェスチャーで

エアコンやライトのON/OFFを制御！　　　　　

仕組み

加速度センサーからジェスチャーを認識し、各種リモート操作が可能なデバイスへ制御を行う

IRKit(赤外線制御)や、Wemo(電源制御)など、Wifi経由で操作できるガジェットが対象

がじぇるねメイカソンでの ジェスチャー認識

• ソフトウェアにProcessingを使用

• 加速度をタップされた強度として数値化し、その数値から動いたと判断

• 強度だけではジェスチャー認識は限界がある6

ということで• 流行りの機械学習を使って、ジェスチャー認識をやってみたい！

• 機械学習ライブラリが充実のPythonを使用

• 「実践機械学習システム」オライリー刊を必要そうなところをかいつまんで読む

7

機械学習3ステップ1.ジェスチャーを行い、加速度センサーからの情報をデータとして保存(record.py)

2.保存されたファイルから分類器を作成(learn.py)

3.分類器を使って実際の認識 → 外部のデバイスへ指示(gesture.py) https://github.com/nyampass/gr-carry-gesture

8

学習の具体的な流れ• 取得できるのは、時間ごとのXYZなので、これを一次元のデータに変換

• scikit-learnを使いサポートベクターマシン(SVM)で、多項式での分類

• データの半分を訓練に使い、残り半分を評価するためのテストに使う 9

時間 X Y Z

0 -0.9051 -0.25746 0.2247

1 -0.9051 -0.25746 0.24006

2 -0.90186 -0.24702 0.2391

3 -0.90186 -0.24702 0.2391

4 -0.90186 -0.24702 0.23526

5 -0.8613 -0.25692 0.23526

6 -0.8613 -0.25692 0.23526

7 -0.8613 -0.25692 0.23526

8 -0.84642 -0.27174 0.24048

9 -0.84642 -0.27174 0.24048

10 -0.84642 -0.27174 0.24048

今後の展開• より多くのサンプル・データ採取

• シリアル通信からの脱却 → BLEでやりとり、スマートフォンとの連携

• HaLakeにてIoT勉強会、機械学習勉強会を開催、知見を広める

10

コワーキングスペースHaLake

http://halake.com/• 越谷市レイクタウン駅から徒歩30秒

• IoTガジェットの貸出も始めました

• 月額会員(1万2000円/月)になると、

• 3時間の技術支援

• 毎週日曜開催の親子！プログラミング教室(Arduino、Scratch)に無償で参加

• イベント続々

• 10/31開催のlittleBitsワークショップ

• 11/6 ルネサスさんとのプロデューサーミーティング

• 今後のHaLakeでのイベント情報 https://halake.doorkeeper.jp/ 11

IoT開発の貸し出しサービスもスタート！

http://iot.halake.com/

12

ESP8266や、GRシリーズなど面白いボード、マイコンが出ていて、IoTの波が来ています。

一緒に楽しみましょう！

資料 -> http://bit.ly/iotlt-carry

13