kinect、real senseの概要とさまざまな使い方

Kinect,RealSenseの概要とさまざまな使い方

2015/09/26@Comm Tech Festival

中村薫

自己紹介

中村薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発

講演、ハンズオンセミナー

執筆など

Microsoft MVP for Kinect for Windows

http://www.naturalsoftware.jp/

[email protected]

Copyright © 2015 Natural Software All rights reserved.

http://www.naturalsoftware.jp/

mailto:[email protected]

Tokyo MotionControl Network

https://www.facebook.com/TokyoMotioncontrolNetwork

Copyright © 2015 Natural Software.jp All rights reserved. 4

https://www.facebook.com/TokyoMotioncontrolNetwork

大きな流れ・1


大きな流れ・1


Microsoft Intel

Apple Google

大きな流れ・1


Microsoft Intel

Apple Google

Windows Hello

Project Tango

Windows Hello


https://www.youtube.com/watch?v=yBb76e53hno


Project Tango


http://www.engadget.com/2015/08/18/google-intel-realsense-tango/

http://www.engadget.com/2015/08/18/google-intel-realsense-tango/

Project Tango

Copyright © 2015 Natural Software All rights reserved.https://twitter.com/warapuri/status/631838671054991360

https://twitter.com/warapuri/status/631838671054991360

紹介するDepthセンサー


MicrosoftKinect v2

IntelRealSense

Apple Google

Windows Hello

Project Tango

Kinect v2

12Copyright © 2015 Natural Software.jp All rights reserved.

Kinect v2

•2014年10月に正式版リリース

•さまざまなWindows環境に対応• Windowsストア

• Windowsデスクトップ

• Unity

Copyright © 2015 Natural Software.jp All rights reserved.

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

13

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

Kinect v2

Color:カラー画像 Depth：距離データ

Body:体の情報(関節など)


Audio:音声データ

Infrared:赤外線画像

PlayerIndex:プレイヤー番号

14

Kinect v2

Control:ユーザーインタフェース(NUI)

Fusion:3次元モデルの再構築

Face:顔の情報(表情など)


HD Face:高精度の顔情報(3Dモデルなど)

Speech:音声コマンド認識

Gesture:ユーザー定義のジェスチャー

15

Kinect v2

Kinect Studio:Kinectデータの記録と再生

Visual Gesture Builder:ポーズやジェスチャーの作成


Kinect v2 Configuration Verifier:

ハードウェアが要求を満たしているかチェックする

16

インテル RealSense テクノロジー

17Copyright © 2015 Natural Software.jp All rights reserved.

インテル RealSense テクノロジー

• 手指や顔の表情を認識できる

• インテル RealSense SDKを利用する

• インテル RealSense カメラが3Dを担当

• コンピューターへの内蔵化が進む


http://click.intel.com/intelr-realsensetm-developer-kit.html18

http://click.intel.com/intelr-realsensetm-developer-kit.html

インテル RealSense カメラの種類


https://software.intel.com/en-us/realsense/home

19


インテル RealSense カメラの種類



20


インテル RealSense カメラ


F200 R200

F200の構造


https://software.intel.com/en-us/blogs/2015/01/26/can-your-webcam-do-this

https://software.intel.com/en-us/blogs/2015/01/26/can-your-webcam-do-this

R200の構造


https://software.intel.com/en-us/articles/realsense-r200-camera

https://software.intel.com/en-us/articles/realsense-r200-camera

インテル RealSense SDK

Color/Depth/IR Stream Facial AnalysisEmotion


Hand and Finger Tracking Gesture and Pose Depth Mask


Segmentation Object Tracking(AR) 3D Scan


Speech Recognition Voice Synthesis

"Nothing to say?"

Eye Tracking


Measure Refocus Paste On Plane


Depth Upscale Color PopDepth Enhance


Scene Perception


Enhanced VideographySegmentation

事例


エンタメ


http://www.naturalsoftware.jp/entry/2014/09/07/120940

http://www.naturalsoftware.jp/entry/2014/09/07/120940

認証




3Dスキャン


https://www.youtube.com/watch?v=nJOyqaBQg74

https://www.youtube.com/watch?v=nJOyqaBQg74

フェイススキャン


医療、リハビリ


https://www.youtube.com/watch?v=KVhdJgnPak4

https://www.youtube.com/watch?v=KVhdJgnPak4

様々な業界から、自分たちの問題を解決する手段に使えそうなアイデア


デモ


www.naturalsoftware.jp


kinect、real senseの概要とさまざまな使い方

Technology