pose tracking from natural features on mobile phones

Pose Tracking from Natural Features on

Mobile Phones西村　孝

はじめに

リアルタイムでテンプレートとの対応点マッチング

Pose Tracking from Natural Features on Mobile Phones ， ISMAR2008

Fast Keypoint Recognition using Random Ferns ， PAMI 2009

Fast Keypoint Recognition in Ten Lines of Code ， CVPR 　 2007

Keypoint Recognition using Randomized Trees ， PAMI 2006

手法の流れ

特徴点検出

DoG 処理は削除 FAST corner detector に置き換え 異なるスケールすべてから特徴量算出

→ スケール変化の不変性を得る

→ メモリ資源を使い CPU にかかるコストを削減

FAST corner detector（ 1/2）

コーナ点： Ip の輝度より円上のすべてのピクセルの輝度は明るいか暗い高速化のため円上の 4 方位のピクセルのみを比較（ 1 ， 5 ， 9 ， 13 ）

p：コーナ候補点

FAST corner detector （ 2/2）

t：閾値x：円上のピクセル座標（ 1～ 16）

暗い差がない明るい

ｄ ,s,b ：状態

トラッキング

アウトライア判定に通過した特徴点を用いる 良い特徴点：アウトライアに合格しマッチング成功

悪い特徴点：マッチング失敗，アウトライア判定に失敗

良い悪い特徴点の情報を次フレームに送る 有効な特徴点のみを処理

追跡範囲は前フレームの半径 25ピクセル

記述子：特徴量

3x3領域から 4つの勾配方向 (36次元 )→メモリ削減のため．精度は 128次元より 10％低下

15ピクセルの領域から 3x3の領域を作成 1ブロック： 5ピクセル

3×3のガウスで平滑化→ノイズの影響を軽減

3×3の領域

記述子：オリエンテーション オリエンテーション算出は SIFTと同様

3つ以上のピークが存在する場合はその特徴点を削除　→あらゆる方向のテスクチャが多い場所：物体の内側

オリエンテーション方向にパッチを回転 回転したパッチに対して特徴量記述

オリエンテーションの数だけ特徴量が存在

マッチング

全探索による対応点マッチング 計算コストが高い

Spill Treeを利用 モデル画像の特徴点をクラスタリング（クラス数は定義）

追跡対象に一番近いクラス内を探索→探索範囲の削減

Constructing a Spill Tree[Preperata and Shamos 1985]

Constructing a Spill Tree

1. 2つのクラスに分ける

Constructing a Spill Tree

2.ベクトルの中間点と垂直な線（決定境界）を算出

Constructing a Spill Tree

3.オーバーラップ・バッファー中のノードは両方のクラスの特徴を多く含んでいる　　オーバーラップ・バッファー中の追跡点は削除

overlap buffer

アウトライア

オリエンテーションを利用 追跡点は常に同じオリエンテーションを持つ

異なるオリエンテーションを持つ特徴点は削除

オーバーラップ・バッファー中の特徴点は削除

ターゲットデータ取得

モデル画像の特徴データベースの作成 イメージピラミッドの作成

入力画像を　　倍づつ縮小 各縮小画像に対してコーナ点算出　　→連続した縮小画像に対して同位置のコーナ点を特徴点として決定

スケールの範囲は定義 すべてのスケールで特徴量算出 3つ以上のオリエンテーションがある特徴点は削除

2

1

2

1

2

1

スケール

36次元

36次元

36次元

Ferns

C：クラス　 Fi: ノードの特徴量

木の表現

深さが 3なら 1バイト

学習

学習画像 1枚の正面の画像をアフィン変換 各キーポイントにヒストグラム作成

マッチング

木の深さ

ノードの数は 6個を採用

評価実験

速度の比較

実験に用いる端末を下記に示す（ 4種類）実験データ

PCを用いた結果

約 15 ～ 20倍高速化

モバイル端末を用いた結果

15fps程度の実行速度を実現

おわりに

Pose Tracking from Natural Features on Mobile Phones の文献調査