realsense を活用した猪鹿蝶アタック

RealSense 活用した猪鹿蝶アタック

増田智明（@moonmile）

.NET ラボ Micorosft MVP .NET

Moonmile Solutions

自己紹介

増田智明 masdua@moonmile.net

執筆業＆プログラマ

C#によるiOS, Android, Windowsアプリケーション開発入門

逆引き大全 Visual C# 2013, Visual Basic 2013

逆引き大全 iPhone/iPad アプリ開発（iOS8版を近日発売）

Intel Realsense

顔分析、ハンド認識など、カメラ機能とライブラリがワンセットで提供される。

http://japan.intel.com/realsense/

SDKは無償で使える

https://software.intel.com/en-us/intel-realsense-sdk

一部の機能（顔認識など）は普通のWebCamでも利用できる。

PXCMTracker クラス

「Metaio Object Tracking and Recognition」を利用

本来は 3D モデルのトラッキング用なのだが、2D にも利用できる

花札認識

2D（写真）で花札を登録しておく。

PXCMTrackerクラスを使って認識する。

コードの抜粋(初期化)

// Realsense の初期化

PXCMSenseManager sm = PXCMSenseManager.CreateInstance();

// Tracker の初期化

sm.EnableTracker("Metaio Object Tracking and Recognition");

PXCMTracker ft = sm.QueryTracker();

// 認識する2D画像の読み込み

foreach (Model model in this.models) {

model.cosIds.Clear();

var sts = ft.Set2DTrackFromFile(model.getFileName(), out firstID);

model.AddCosID(firstID, name);

}

コードの抜粋(認識時)

// トラッキングデータ

PXCMTracker.TrackingValues trackData ;

// サンプリング

PXCMCapture.Sample sample = sm.QueryTrackerSample();

foreach (Model model in this.models) {

for (Int32 j = 0; j < model.cosIds.Count(); j++) {

Model.TrackingState track = model.cosIds[j];

// 見つける cosID を指定するとここでカード数を絞れる

ft.QueryTrackingValues(track.cosID, out trackData);

if (PXCMTracker.IsTracking(trackData.state)) {

// 見つかった場合の処理

フィードバックを付ける

花札認識と Android, Arduino などと連携させる。

Realsense + PC で画像認識

Android TV に結果を表示

Raspberry Pi で LED を光らせる

Android TV App

Recognition App

Figure and Cards

LED App

RealSense

システム構成

Realsenseで認識した結果をHTTPプロトコルで Android と RasPi に送信

通信は WiFi を使っている

Android TV App

Simple HTTP Server

Attach pattern

Figure Image Display

Recognition App

Detect Figure

Detect Cards

Command sendFigure and Cards

LED AppSimple HTTP ServerLED pattern control

RealSense

HTTP protocol

GET or POST

デモ

デモビデオ

https://www.youtube.com/watch?v=efn3aSGfo1g

今後の予定

Intel RealSense 3D Camera の取り込み

OpenCV との組み合わせ（特徴量抽出、背景差分など）

Bluetooth/RFCOMMを使った通信

LED以外にフィードバック（サーボ、モータ制御、音など）

Arduino, Netduinoの利用

Android TVアプリがチープなので、何とかする（苦笑）

参考文献

Intel Realsensehttp://japan.intel.com/realsense/https://software.intel.com/en-us/intel-realsense-sdk

Xamarin.Androidhttp://Xamarin.com/

Raspberry pihttp://www.raspberrypi.org/

Arduinohttp://www.arduino.cc/

Netduinohttp://www.netduino.com/

スイッチサイエンスhttps://www.switch-science.com/