realsense を活用した猪鹿蝶アタック
TRANSCRIPT
RealSense 活用した猪鹿蝶アタック
増田智明（@moonmile）
.NET ラボ Micorosft MVP .NET
Moonmile Solutions
自己紹介
増田智明 [email protected]
執筆業＆プログラマ
C#によるiOS, Android, Windowsアプリケーション開発入門
逆引き大全 Visual C# 2013, Visual Basic 2013
逆引き大全 iPhone/iPad アプリ開発（iOS8版を近日発売）
Intel Realsense
顔分析、ハンド認識など、カメラ機能とライブラリがワンセットで提供される。
http://japan.intel.com/realsense/
SDKは無償で使える
https://software.intel.com/en-us/intel-realsense-sdk
一部の機能（顔認識など）は普通のWebCamでも利用できる。
PXCMTracker クラス
「Metaio Object Tracking and Recognition」を利用
本来は 3D モデルのトラッキング用なのだが、2D にも利用できる
花札認識
2D（写真）で花札を登録しておく。
PXCMTrackerクラスを使って認識する。
コードの抜粋(初期化)
// Realsense の初期化
PXCMSenseManager sm = PXCMSenseManager.CreateInstance();
// Tracker の初期化
sm.EnableTracker("Metaio Object Tracking and Recognition");
PXCMTracker ft = sm.QueryTracker();
// 認識する2D画像の読み込み
foreach (Model model in this.models) {
model.cosIds.Clear();
var sts = ft.Set2DTrackFromFile(model.getFileName(), out firstID);
model.AddCosID(firstID, name);
}
コードの抜粋(認識時)
// トラッキングデータ
PXCMTracker.TrackingValues trackData ;
// サンプリング
PXCMCapture.Sample sample = sm.QueryTrackerSample();
foreach (Model model in this.models) {
for (Int32 j = 0; j < model.cosIds.Count(); j++) {
Model.TrackingState track = model.cosIds[j];
// 見つける cosID を指定するとここでカード数を絞れる
ft.QueryTrackingValues(track.cosID, out trackData);
if (PXCMTracker.IsTracking(trackData.state)) {
// 見つかった場合の処理
フィードバックを付ける
花札認識と Android, Arduino などと連携させる。
Realsense + PC で画像認識
Android TV に結果を表示
Raspberry Pi で LED を光らせる
Android TV App
Recognition App
Figure and Cards
LED App
RealSense
システム構成
Realsenseで認識した結果をHTTPプロトコルで Android と RasPi に送信
通信は WiFi を使っている
Android TV App
Simple HTTP Server
Attach pattern
Figure Image Display
Recognition App
Detect Figure
Detect Cards
Command sendFigure and Cards
LED AppSimple HTTP ServerLED pattern control
RealSense
HTTP protocol
GET or POST
今後の予定
Intel RealSense 3D Camera の取り込み
OpenCV との組み合わせ（特徴量抽出、背景差分など）
Bluetooth/RFCOMMを使った通信
LED以外にフィードバック（サーボ、モータ制御、音など）
Arduino, Netduinoの利用
Android TVアプリがチープなので、何とかする（苦笑）
参考文献
Intel Realsensehttp://japan.intel.com/realsense/https://software.intel.com/en-us/intel-realsense-sdk
Xamarin.Androidhttp://Xamarin.com/
Raspberry pihttp://www.raspberrypi.org/
Arduinohttp://www.arduino.cc/
Netduinohttp://www.netduino.com/
スイッチサイエンスhttps://www.switch-science.com/