ARグラス基礎講座：AR位置トラッキングへの期待と注意

発表者：あるしおうね

あなた誰？•あるしおうね　と言います（ twitter: AmadeusSVX）•ニコニコ技術部（自称）で動画をアップしています•主に AR＋ミクさん方面で活動させてもらってます•転職したてで最近停滞気味です…頑張ります

ARミクさんと（物理的に）キス 触れる ARミクさんフィギュアARミクさんと生活

今日のお題は？•謎の多い HololensやMagic Leap•光学系は？位置トラッキングは？開発環境は？応用事例は？•今回は、事前アンケート結果から…

AR位置トラッキングで出来る事、注意する事は？

以前の ARアプリといえば…•マーカーの上に CGを重畳•例： ARtoolkit, ArUco等

マーカー 1つでも マーカー沢山でも出典： ARToolKitで初音ミクも『ｳｯｰｳｯｰｳﾏｳﾏ ( ﾟ∀ﾟ ) 』　　　　　　　　　　　　　　　　　http://www.nicovideo.jp/watch/sm2300874ArUco　 http://www.uco.es/investiga/grupos/ava/node/26

以前の ARアプリといえば…•任意の画像の上に CGを重畳•例： Vuforia、 SmartAR、旧Metaio等

Vuforia SmartAR出典： Vuforia Developper Portal:https://goo.gl/XvPR6J SmartAR： https://www.youtube.com/watch?v=XCEp7udJ2n4

以前の ARアプリといえば…•良くある開発フロー1. 使うマーカー、画像を登録する2. マーカーを原点に再生するコンテンツを作る

マーカー画像 マーカーを原点にコンテンツ再生出典：デジアイ AR Live： http://jp.rohto.com/digieye/ar/

以前の ARアプリといえば…•良くある開発フロー1. 使うマーカー、画像を登録する2. マーカーを原点に再生するコンテンツを作る

マーカー画像 マーカーを原点にコンテンツ再生出典：デジアイ AR Live： http://jp.rohto.com/digieye/ar/

以前の ARアプリといえば…

マーカーは開発側であらかじめ登録

•良くある開発フロー1. 使うマーカー、画像を登録する2. マーカーを原点に再生するコンテンツを作る

Magic Leapのイメージビデオ•自分で開発するなら？という視点でどうぞ

出典：Magic Leap https://www.youtube.com/watch?v=kPMHcanq0xM

Magic Leapの場合…•良くある開発フロー？1. 使うマーカー、画像を登録する2. マーカーを原点に再生するコンテンツを作る

Magic Leapの場合…•良くある開発フロー？1. 使うマーカー、画像を登録する　マーカーが無い！2. マーカーを原点に再生するコンテンツを作る

Magic Leapの場合…•良くある開発フロー？1. 使うマーカー、画像を登録する　マーカーが無い！2. マーカーを原点に再生するコンテンツを作る

原点もない！

（話を戻して）以前の ARアプリの場合…•遊ぶ側（使う側）は？1. マーカーを準備して目の前にかざす　2. 出現する ARコンテンツを楽しむ

じゃあMagic Leapでは？•遊ぶ側（使う側）は？1. マーカーを準備して目の前にかざす　マーカーがない！2. 出現する ARコンテンツを楽しむ

じゃあMagic Leapでは？（予想）•遊ぶ側（使う側）は？1. 最初に部屋を動き回って環境を計測する2. 出現する ARコンテンツを楽しむ

出典： Temporally Enhanced 3D Capture of Room-sized Dynamic Scene with Commodity Depth Camerashttp://www.cs.unc.edu/~doums/

じゃあMagic Leapでは？（予想）•遊ぶ側（使う側）は？1. 最初に部屋を動き回って環境を計測する2. 出現する ARコンテンツを楽しむ

部屋全体＝マーカー

じゃあMagic Leapでは？ (予想 )•遊ぶ側（使う側）は？1. 最初に部屋を動き回って環境を計測する2. 出現する ARコンテンツを楽しむ

部屋全体＝マーカーをユーザーが登録する

（再掲）以前の ARアプリといえば…•良くある開発フロー1. 使うマーカー、画像を登録する2. マーカーを原点に再生するコンテンツを作るマーカーは開発側であらかじめ登録

それの何が問題なの？•どんな部屋＝マーカーが来るか分からない•マーカーとして使える？•原点はどこ？そこに人は立てるの？•広い？狭い？•部屋の中に何が置いてあるの？

ありとあらゆる間取り

問題１：部屋をマーカーとして使えるか？•マーカーに使える十分な目印が必要• 形が単純、壁模様が無地などは苦手かも？• 「目印になる度メーター」みたいな物はあるのか？• ユーザーが適切に部屋を計測してくれるのか？※おそらく現状だと屋外は想定外

散らかっている十分な目印がある部屋の例

問題 2：原点をどこに設定するのか？•部屋が千差万別＝原点も千差万別（ Riftや Viveと違う）•コンテンツ再生時の最適な原点は？•その原点に人は立てるか？•原点設定の補助手段はあるのか？

問題 2：原点をどこに設定するのか？•部屋が千差万別＝原点も千差万別•コンテンツ再生時の最適な原点は？•その原点に人は立てるか？•原点設定の補助手段はあるのか？

×

×

問題 3：広い /狭い部屋に対応できるか？•部屋の大きさが違う＝コンテンツ再生時の空間が違う• 十分な空間の有無の確認手段は？• 想定より広い /狭い場合は？• Windowsアプリみたいに、スペースの広さに応じてコンテンツを可変にする必要がありそう

松竹梅

問題 4：部屋の配置を把握できるか？•部屋の物や配置に応じたコンテンツが必要• 机、壁、天井などの「平面」程度は自動で認識？• もしくは事前にユーザーが簡単な識別タグをつける？

• 十分な「平面」が無い場合はコンテンツ可変？• 部屋の種類、家具や物の詳細な認識は不可？（※研究途上です）例：台所、タンス、食器等々…

穴の開く天井破壊される壁武器の置かれた机

まとめ• AR位置トラッキングは凄いハイテクです。が・・・• どこでも使える訳ではない。限界を要確認• 開発環境に限界評価機能がないかチェック

• 開始位置、エリア等が可変なコンテンツが必要• 開発環境に領域可変向け補助ツールがないかチェック

• 部屋の中の物の詳細な種類はまだ認識できない• 開発環境に、基本形状認識 orタグ付与機能がないかチェック• 逆に言うと、いつか自動認識できる日が来ます（ 5 ～ 10 年の間？）• 間違いなく世界が変わるので、今からアイデアを温める価値はあるかも

補足資料• まとまってませんが、参考までにどうぞ！

ARの位置トラッキングは何が違う？•実視界と CGを重ねて見る：自然に見せるのが難しい•ずれは許されない•ジッタ＝ぷるぷるは許されない•遅れは許されない（特に HoloLens等）

•色んな環境で使われる•設置式のセンサは面倒•千差万別の環境でトラッキングできるか？

その他の AR位置トラッキングその 1：機械式•例：ダモクレスの剣•角度センサで位置トラッキング•高速で高精度（というか昔はこれしかなかった）•デカくて重い•動き回れない

その他の AR位置トラッキングその 2：光学式（ Outside-In）•例： VICON, OptiTrack等•Oculus Rift/HTC Vive等と本質的に同じ•広範囲対応は高価•将来低価格化する可能性？

•設置が面倒

その他の AR位置トラッキングその 3：立体物追跡式• 例： Vuforia, 故 Metaio等 • カメラだけで良い（必要に応じてジャイロ等も使用）• 色んな立体物が使えて広い応用？• （全周で立体物を取り込むのが面倒）• 使用には注意が必要• 使える立体物に制限がある（模様が必要）• そんなにロバストではない• そんなに皆同じ立体物を持ってない

出典： Vuforia https://www.youtube.com/watch?v=mXpr37pR34U

最新研究紹介：特定物体追跡　 LINE-MOD• 高性能な三次元の特定物体認識アルゴリズム• Kinect等の RGB-D センサ向け• 事前登録した物体を認識できる• 物体の得意、不得意がある• 模様が少な目でも大丈夫（ Vuforiaは少ないと厳しい）• シルエットの形が特徴的な方が良い

• ROS 向けに実装済• ロボット系では既に色々使われています

出典： http://campar.in.tum.de/Main/StefanHinterstoisser

最新研究紹介：一般物体認識　 GoogLeNet• 二次元画像の一般物体認識の最新研究• 性能は説明不要なレベルに凄い＋今後まだ発展しそう• 画像中の矩形領域内の種類を判定するだけなので、

三次元の ARには完全な適用は難しい• 各物体の三次元位置や向きまでは計測していない• そこまで厳密にしなくても色々応用はありそう

出典： http://googleresearch.blogspot.jp/2014/09/building-deeper-understanding-of-images.html

最新研究紹介：三次元物体認識　PanoContext• 部屋を対象にした全周囲カメラによる三次元一般物体認識の試み• 部屋の中心を撮影して、壁、家具などを自動認識• 全て長方形～直方体の仮定はあるが、三次元的な認識を行っている• 本研究室では、 RGB-D センサによる三次元一般物体認識も進めており、最先端研究として要注目

出典： http://panocontext.cs.princeton.edu/paper.pdf

最新研究紹介：位置トラッキング LSD-SLAM• カメラ 1 台だけ（でも広角推奨）で行える高精度な SLAMの最新研究• SLAM：位置トラッキングとそれ用の地図＝マーカーを同時作成※HoloLensもMagic Leapも SLAMと言われている• 本手法は 2 台＝ステレオカメラにもすぐ拡張可能

• 多すぎず、少なすぎず、中庸のアプローチ• 面で高密度に風景を計測する： KinectFusion等＝重い• 点で低密度に風景を計測する： PTAM等＝ロバスト性低• エッジで中密度に風景を計測する＝軽くてロバスト性高い

• 軽くてロバスト性が高いので広い範囲で動き回れる• ROS 向けに実装がある出典： https://vision.in.tum.de/research/vslam/lsdslam 超広い範囲をマップ化できてしまう

最新研究紹介：動く風景向け　DynamicFusion

• 周囲が完全静止しているとは限らない＝動く環境に対応• 対象を、変形可能な物と定義してトラッキングが可能• 大きく動いたり、大きく隠される（見えなくなる）部分が出るとまだ破綻する• この部分も今後研究が進みそう

出典： http://grail.cs.washington.edu/projects/dynamicfusion/

手を動している人を基準に位置トラッキング

最新研究紹介：モバイル環境向け　MobileFusion• モバイル環境向け位置トラッキング＋高密度三次元計測• 既存のスマートフォンのカメラと CPUだけで SLAMを実現• PTAM等と異なり、マッピング時に高密度な三次元計測を行う• 画像特徴ベースのため、テクスチャの乏しい対象では破綻する• ボクセルベースの空間定義を行っているため、現状では GPU的に広範囲のマップを作成できない制限がある。改善に期待

出典： http://www.robots.ox.ac.uk/~mobile/Papers/2015ISMAR_ondruska.pdf

最新研究紹介：平面領域抽出 Dense Planar Mapping　• 被写体中の平面を検出して位置トラッキングに使用• Kinect等の RGB-D センサで平面の部分を抽出• 大面積の平面を計算に使うことで安定したトラッキング• 平面に IDを振れるので、 HoloLensやMagic Leapのデモのようなことが可能になる• トラッキング方式は不明だが、平面抽出技術として

似たようなものが取り入れられるのでは？

出典： http://www.doc.ic.ac.uk/~rfs09/dps.html

壁いっぱいに Facebook

最新研究紹介：タグ付け　 Semantic Paintbrush

• 今見ている対象を指定して、リアルタイムにタグ付け• ステレオカメラによる SLAM（屋外計測可能）• レーザーポインタで対象を指定してジェスチャ• 同じ特徴を持つ領域を自動的に抽出してタグ付け• 繰り返すと場所の意味を含む「 Semantic Map」が出来上がる

出典： http://graphics.stanford.edu/~niessner/miksik2015chi.html