マーカと自然特徴点の追跡による 動画像からのカメラ...
TRANSCRIPT
マーカと自然特徴点の追跡による動画像からのカメラパラメータの推定と三次元復元
佐藤 智和 � 神原 誠之 � 横矢 直和 � 竹村 治雄 �
�奈良先端科学技術大学院大学 情報科学研究科�大阪大学 サイバーメディアセンター
あらまし 動画像からの三次元復元は� 物体認識� ロボットナビゲーション� 複合現実感など� 様々な分野への応用が可能であるが� 特徴点の追加や削除がおこる多数の画像からの三次元復元は� 計算量や精度の点で問題がある�
この問題を回避するため� 本研究では三元位置関係と色 �形状が既知の複数個の基準マーカを利用する� 提案手法では� 基準マーカと自然特徴点を画像上で追跡することによって� カメラパラメータと自然特徴点の三次元位置を毎フレーム推定する� これにより� 基準マーカが観測できないフレームにおいてもカメラパラメータを推定することができる� また� 処理の最後に動画像全体での最適化を行うことにより� 逐次処理による推定誤差の蓄積を抑える� 実験では� 実環境を撮影した動画像を入力とした復元結果を示し� 本手法の有効性を示す�
������ ��������� ������� ��� � �������������� � ��� ����� �������� �� ������� ������� ��� ������� ��������
�������� ��� �� ����� ����� ������� ������ ����� �������
��������� ����� � !" �������" ���"��� ���� !" ������ � ���"�� �"� ����"���#�
�$�%������� $�"���� � ��� �"�&�� ���
% �����' �����(����" ��"�� )*+, ����" �������" ��� �" ���#� �-��"�� � &��� � � �� �� �%.��� ����#(
"����"� ��%�� "�&�#����"� ��/�� �������� �"� � �"� ��0�&��� ����� � � 1��%��� � ����������" �� � �"� ���
1���� ��" �" ��� *+ ����" �������" ��� ��"� ���#� � !" ��� ��1���� 0� 1��1� � � *+ ����" �������" ������
0���� � %� �� �" � �"# � "��%�� � ������ 0��� �"�0" 1� ����"� ����� �"� ��1�� � 0��� � "������ ������ �
��� ������ 1�������� �"� *+ 1� ����" � "������ ������ ��� � ������� ����"��� �" �&��� ���� %� ������"#
��� � ������ �"� "������ ������ � 2�"���� ��� �����������" � � ������� ����� � ��"������ %� �1���������"
�" ��� 0���� �"1��� 3� ����" ����� �/1�����"��� �� ��� � *+ ����" �������" ��� ���� ���#� �-��"�� ��
��0�"# ��� &������� � ��� 1��1� �� �������
� はじめに
動画像からの三次元復元は� 物体認識� ロボットナビゲーション� 複合現実感など� 様々な分野への応用が可能である� そのため動画像の特徴点の動きから� 特徴点の三次元位置とカメラパラメータを自動的に復元する手法 ) ��1� ��� �����",に関する研究が盛んに行われている 45� 6� *� 7� 8� 9� :� ;<�
それらの代表的な手法に� カメラモデルを線形近似し� 線形解法によって撮影対象の形状とカメラの運動パラメータを同時に求める因子分解法 45� 6<がある� こ
の手法は安定かつ高速に対象の復元を行うことができるが� カメラモデルを線形近似するためにカメラパラメータの復元精度に問題がある� また� 動画像の全てのフレームに撮影されている特徴点を用いることを前提としているため� 特徴点が全てのフレームに渡って連続して観測できない動画像の三次元復元は困難である�
一方� カメラモデルとして透視投影モデルを仮定し�
射影的な三次元復元手法を用いる手法が提案されている 47� 8� 9� :<� しかし� 多くの手法は計算量の問題や手法上の制約から� オクルージョンを含まない狭い範囲の環境を復元することにとどまっている� また� これ
らの手法では現実世界と復元されるデータとの位置関係およびスケールの情報が失われるため� 複数回に分けて撮影した動画像間の復元データを統合して広域な環境を復元するのは難しい�
そこで本稿では� 環境中に存在する自然特徴点の中から� 基準となるいくつかの特徴点 )以下� 基準マーカ,
の三次元位置をトータルステーションと呼ばれる三次元測量機材を用いて計測し� 基準マーカと自然特徴点を画像上で追跡することにより� 自然特徴点の三次元位置と撮影時のカメラパラメータを復元する手法を提案する� 本手法ではロバスト推定の手法を用いることで� マーカが画像上に存在しないフレームにおいても自動的に自然特徴点を追加・削除しながら追跡し� 効率的に精度の良いカメラパラメータを復元する� ただし� 本研究ではカメラの内部パラメータは既知であるとする�
以下� 6章では� 特徴点 )基準マーカと自然特徴点,
を画像上で追跡し� カメラパラメータと自然特徴点の三次元位置を復元する手法について述べる� *章では�
実際に現実環境を撮影した動画像を入力として実験を行い� 本手法の特徴と有用性について考察する� 最後に 7章で� 本稿のまとめと今後の課題を述べる�
� 特徴点の追跡による三次元復元
本章では� 動画像中の特徴点を追跡し� カメラパラメータを推定をする手法について述べる� ただし� カメラの内部パラメータは既知であるとする� 本手法では� 図 5に示すように� まず初期フレームにおいて画像上で三次元位置の分かっている 9個以上の基準マーカを画像上で指定する� これにより� 初期フレームにおけるカメラの外部パラメータが推定される� 次に� フレーム毎の処理 )図中 ,を初期フレームから最終フレームまで繰り返すことにより� 全てのフレームにおけるカメラパラメータと自然特徴点の三次元位置を逐次的に推定する� しかし� この推定には蓄積誤差が含まれるため� 最後に� 推定されたカメラの外部パラメータと自然特徴点の三次元位置を入力動画像全体で最適化する )図中 �,� 本手法では� マーカが画像上に存在しないフレームにおいても� 自動的に自然特徴点を追加・削除しながら追跡し� 効率的に精度の良いカメラパラメータを復元する� 以下� 各処理について詳述する�
��� 逐次処理によるカメラパラメータの推定
本節では� フレーム毎の処理 )図 5),,によって�カメラパラメータと自然特徴点の三次元位置を推定する手法について述べる�
マーカと自然特徴点の追跡
カメラの外部パラメータの推定
自然特徴点の三次元位置の推定
自然特徴点の追加と削除
(B)動画像全体での最適化
マーカの指定
(A) 逐次処理によるカメラパラメータの推定
自然特徴点の信頼度の算出
図 5' 提案手法の処理の流れ
����� マーカと自然特徴点の追跡
一般に� 画像上の情報のみを用いた自然特徴点の追跡では� )�, フレームが進むに従って増加するテンプレートの中心位置のずれ� )%, 周辺類似パターンとの誤対応� が発生し� 問題となる� 本研究では� )�,を解決するために� 入力画像上のエッジのコーナなどの追跡の容易な点を����� のオペレータ 4=<を用いて検出し�
この出力が極大値となる点を自然特徴点の追跡位置の候補とする� また� )%,を解決するために� 自然特徴点の仮の追跡を行ってロバスト推定の手法を用いることで� 追跡すべき自然特徴点の探索範囲を限定する�
以下に� 第 � フレーム )� � 6,における特徴点の追跡アルゴリズムを述べる�
)5, 第 )� � 5,フレームにおける各基準マーカに対して� 色や形状などの情報により基準マーカを画像上で自動追跡するか� または手動によって追跡を行う�
)6, 第 )� � 5,フレームに追跡されている各自然特徴点に対し� その特徴点の画像上の位置を中心とする探索窓内で +によるテンプレートマッチングを用いることで第 � フレームへの仮の追跡を行う� ただし� テンプレートマッチングは ����� オペレータ 4=<により検出される追跡の候補位置に対してのみ行われる�
)*, 以下� ロバスト推定の繰り返し処理を開始する�
� 回目の繰り返し処理においては� まずステップ)6,で追跡された特徴点からランダムに �個 �� >
����� ���� � � � � ����を選択し� 次節に述べる手法によって仮のカメラパラメータ ?�� を推定する� 次に�追跡された全ての特徴点に対して�特徴点が追跡された画像上の座標 ���と特徴点 �の三次元座標 �� を ?�� によって画像上に投影した座標 ?���との距離の二乗誤差����)以下� 再投影誤差,の中間値 ��� を算出する� ただし� ここでは �� として第 )� � 5,フレームで推定されている三次元位置を用いる� また� 再投影誤差����とその中間値��� は以下の式によって表される�
���� > ���� � ?����� )5,
��� > �)����� ����� � � � � ����, )6,
ただし� はステップ )6,で仮に追跡された特徴点の数である�
)7, ステップ )*,を �回繰り返して得られる複数の仮のカメラパラメータ ) ?��� � � � � ?��,に対して�以下に示す @���基準を最小とするカメラパラメータを選択し� 暫定カメラパラメータ A�� とする�
��� > ��)���� ���� � � � � ���, )*,
)8, 暫定カメラパラメータ A�� を用いて第 )� � 5,フレームにおける全ての特徴点 � の三次元座標 ��
を画像上に投影し� その座標を中心とする探索窓内でステップ )6,と同様の対応づけを行い追跡位置を確定する� ただし� ここで用いる探索窓はステップ )6,で用いた探索窓より小さくする�
����� カメラパラメータの推定
本節では� 特徴点の画像上の二次元座標と� 特徴点の世界座標における三次元座標を用いてカメラの外部パラメータを推定する� 本手法においては� 式 )5, で示した再投影誤差���を誤差として利用する� これにより� 第 � フレームおけるカメラパラメータ�� は次の誤差関数�� を最小化することで推定される�
�� >��
������ )7,
ここで� ��� は特徴点 �における重みであり� 後述する特徴点 �の信頼度により決定する� また� カメラパラメータ�� の自由度は 9とし� カメラ座標系の基底ベクトルは単位直交条件を満たすものとする� しかし�
このような誤差関数 �� の最小化は非線形最小化問題であり� 局所解や計算量の問題がある� そこで� 本手法では出口らの手法 45B<を利用し� 最小自乗法によってカメラパラメータの初期値を線形演算によって推定し�
補正を行った後に� 非線形最適化を行う� 以下にカメラの外部パラメータの推定手順を示す�
)5, 出口らの手法 45B<を利用し�線形最小自乗法によってカメラの外部パラメータの初期値を推定する� ここで推定されるカメラパラメータは� カメラ座標系の基底ベクトルが単位直交条件を満たしておらず� 自由度が 56となるため� 推定されるカメラの位置がノイズに敏感となる�
)6, ステップ )5,で推定された初期値を補正し� カメラパラメータの自由度を 9に補正する� 観測誤差が画像上の誤差であることから� 推定されたカメラ位置の誤差は主としてカメラの光軸方向に含まれると考えられる� このため� 本手法では真のカメラ位置が推定された光軸上に存在すると仮定し�
線形演算によってカメラパラメータの自由度を 9
に補正する�
)*, 自由度が 9に補正されたカメラパラメータを初期値とし� 勾配法により�� を最小化する� この初期値は先に行った線形演算による真値に近い推定値であると考えられるため� 局所解に陥ることを回避し� 少ない演算回数で大域最小解を求めることができると考えられる� これにより� 再投影誤差の重みつきの和である�� を最小化する�� を求めることができる�
����� 自然特徴点の三次元位置の推定
推定されたカメラパラメータ�� と自然特徴点 �
の画像上の座標 ��� から� その自然特徴点の三次元位置 �� を推定する� ここでは� 図 6に示すように� 自然特徴点が追跡された全フレームにおいて� 自然特徴点の画像上の座標とカメラの投影中心を結ぶ直線を考え�
それらの直線との距離の二乗和が最小となる点を最小自乗法によって算出し� 推定位置とする�
����� 特徴点の信頼度の算出
第 � フレームにおいて算出される自然特徴点の信頼度は� 第 )� C 5,フレームにおけるカメラパラメータ推定の重みと� 第 � フレームにおける自然特徴点の追加・削除の指標として用いられる� 本節では第 � フレームにおける自然特徴点の信頼度の算出について述べる�
先に求まった第 � フレームにおける特徴点 � の画像上の座標 ��� は� 追跡誤差により �の三次元位置��
を画像上に投影した座標 ���� に一致しない� そこで�
この追跡誤差が ���� 周辺に分散 ��� をもつガウス分布を成すものとしてモデル化を行う� このとき� ��� が真
自然特徴点pの
画像上の座標
各フレームにおけるカメラの投影中心
推定される自然特徴点pの三次元位置
図 6' 推定される自然特徴点の三次元位置
値である確率 �)���,は次式のようになる�
�)���, >5
6������)�
���� � �����
6���, )8,
これを用い� 第 � フレームにおける全ての特徴点 �の確率密度関数の積 �� を考える�
�� >��
�)���, )9,
このような確率密度関数の積 �� を最大とするカメラパラメータ�� は�
��� >��
���� � ������
6���):,
を最小化することにより得られる� 本手法では� ��� として第 )� � 5,フレームまでの再投影誤差の分散を用い� 式 )7,と式 ):,を比較することにより� 第 )� � �,
フレームから第 )� � 5,フレームまで追跡されている特徴点 �の信頼度��� を次式のように定義する�
��� >5
6���>�
6
�����
�����
���� � ������
���
);,
���� 自然特徴点の追加 �削除
自然特徴点の追加は� 画像上の情報のみを用いて追跡された自然特徴点の候補から� 以下の条件を全て満たすものを選択することで実現する�
� 信頼度が一定値以上
� 各画像間のマッチング誤差が一定値以下
� ����� オペレータによる特徴量が一定値以上
� 推定される三次元位置と各フレームのカメラの投影中心を結ぶ直線の成す最大角が一定値以上
また� 以下のどちらかの条件を満たす自然特徴点を削除する�
� 信頼度が一定値以下
� 各画像間のマッチング誤差が一定値以上
��� 動画像全体での最適化
これまでの処理は逐次的に行うため各フレームにおける処理は短時間で行えるが� 誤差が蓄積するという問題がある� そこで� カメラパラメータ�� と自然特徴点 �の三次元位置 ��をパラメータとし� 最後に全フレームに対して最適化を行う� 最適化の誤差関数には次式を用い� �� と ��の初期値には逐次処理によって得られた推定結果を用いる�
� >��
��
������ � ������ )=,
ここで�� には� 逐次処理で得た自然特徴点 �の信頼度を用いる� また� 追跡中に削除された自然特徴点に関しては� 削除されたフレームから一定フレーム前までの追跡の信頼度が低いといえるため� その追跡結果は利用しない� この最適化は非線形最小化問題となるが�
初期値が真値に近ければ解は大域最小解に陥りやすくなり� また高速に求めることができると考えられる�
� 実験提案手法の実環境での有効性を確認するため�奈良・
朱雀門を手持ちのビデオカメラで撮影し� 復元実験を行った� 本実験ではワイドレンズ )�"� D$@(��B:8;,
を取り付けたビデオカメラ )�"� +�(+E(58B,を用いて� 建物の正面・背面を二つのシーケンスに分けて撮影し� 図 *を含む )�,建物正面の画像 :7:枚と )%,建物背面の画像 =;6枚 ):6B7;B画素� プログレッシブ撮影,を得た� また� カメラの内部パラメータは� あらかじめ � ��の手法 455<によって算出した�
本実験においては� 図 7)�,)%,の第 5フレームに○印で示す点を基準マーカとし� あらかじめその三次元位置関係を�三次元測量機材であるトータルステーション )@���� �$�55B8,を用いて座標系を統一して計測した� また� 基準マーカの画像上の位置は建物正面・背面ともに第 67Bフレームまで手動で指定した� 実験には�
E$)E�"����7 6���� ������ 5��,を用い�自然特徴点の自動追跡を含む三次元復元に要した時間は� 建物正面で� 逐次的な復元処理に 6*BB秒� 全体での最適化処理における 5BB回の繰り返し計算に 69BB秒� 建物背面で� 逐次的な処理に *8BB秒� 全体での最適化に 75BB
秒であった�
図 7に特徴点の追跡結果を示す� 図中の○印は指定した基準マーカを� ×印は追跡された自然特徴点を
第 5フレーム 第 68Bフレーム 第 8BBフレーム 第 :7:フレーム)�,建物正面
第 5フレーム 第 *68フレーム 第 98Bフレーム 第 =;6フレーム)%,建物背面
図 *' 入力画像
表している� 同図に示すように� 多数の自然特徴点が追加・削除を伴って安定に追跡された� 本実験において追跡された自然特徴点の数は一枚あたり平均 6:B点であった�
図 8に復元された自然特徴点の三次元位置とカメラパラメータの推定結果を示す� 曲線は推定された二つのカメラパスを� 錘台は 8Bフレーム毎のカメラの姿勢を表す� 同図から分かるように� カメラ位置の軌跡は滑らかに推定されており� また基準マーカが観測できないカメラ位置においても� カメラの位置 �姿勢を復元することができた�
図 9に�推定されたカメラパラメータを用いて� $�
で描かれたワイヤーフレームを入力画像に重畳表示した結果 )����� ��&�, を示す� 本実験においては� ワイヤーフレームの各頂点の三次元座標として� トータルステーションで計測した朱雀門の屋根のコーナの三次元座標を利用した� 同図に示すように� ワイヤーフレームが現実環境の一定の位置から大きくずれることなく重畳されていることから� カメラパラメータの推定に大きな誤差が含まれていないと言える�
� まとめ本稿では� 初期フレームにおいて指定した基準マー
カからカメラパラメータを推定し� 三次元位置が推定された自然特徴点を新たなマーカとして逐次利用することで動画像からカメラパラメータと自然特徴点の三次元位置を復元する手法を提案した� 実験により� 本手法では千枚程度の画像から成る動画像に対しても三次元復元を行うことが可能であることを確認した�
今後は� 全方位型のカメラを用いた動画像からの三次元復元手法の検討や� 新たに出現した基準マーカを追加する手法の検討などが挙げられる�
参考文献��� �� ���� ��� �� ������ ������ ��� ����� ����
����� ������ ����� ������������ � ������ ����������!" ���� #�����$ �� �������� %��! %�$� &!'�� (! ��� �)*+�,-! �&&(�
�(� #� .�$���� ��� �� ������ �� .����������/� ���0��� ���� ������ ��� ����� ��� ����� 1���/���!"����� 1��� ��20��0&)0(�&! �������0��$$�� 2�/�!�&&)�
�)� 1� � �$3 ��� �� 4� ���� �1����/���� )5 �������� ����� ���� ����� ������ 2�� '��0$����6��� �7����!" #�����$ �� %��$ �������������� ����� 1�����������! %�$� 8! '�� �! ��� �9+(:!�&&-�
�-� .� 4����$��! �� ;����� ��� 5� ������� ���7���0��$ 2������ �� .��<���/� ��� ��� ��������� ���������!" ���� #���� �� �������� %��! %�$� ()! '��)! ��� (),+(,&! �&&*�
�,� =� �� ��>����! ?� @��! #� ����� ��� 1� �0���� ���$�0/�> )5 A������ ��� ���$����� ������� ��/�!" .���� �AAA B��3��� �� ��$�0/�>����$�� ��� ���$� �� %��$ �����! ��� (�+(:!�&&&�
�8� @� 1��� ��� �� B�������� �2�� .��<���/� %0�� �� ��� ������ .���� � �� ����� ��07�����!" .���� �)�� ���� ����� �� %�� ���������!��� :*+&-! (999�
�*� �� .�$$����! 1� ���! �� %�����>��! �� ��5�3����� ��� 6� #� %� @��$� ������0��������$����� 1����������� ���� �����!" .���� �.�A!%�$� )&,:! ��� (�,+((8! (999�
�:� �� ����! �� ��C���! =� ��3����� ��� '� ?�3�����)05 1����������� ���� � ������$�� ����� ��07����� C� ����3�� ���3�� ��� '�����$ �������!".���� �-�� ���� ����� �� %�� ���������! ��� �,*+�8-! (99��
�&� �� =��� ��� �� �������� �� ���C��� ���0��� ��� A��� 5�������!" .���� �$/�� %�� �����!��� �-*+�,�! �&::�
��9� 出口� �射影幾何学による .�. カメラ補正問題の統一的解法"! 情処シンポジウム! %�$� &9! ��� -�+,9! �&&9�
���� 1� ?� ��� ��� A���� ��� �������� ������ ��$0C����� �����7�� ��� )5 ������ %��!" .�����AAA ����� �� �������� %�� ��� .������ 1����0����! ��� )8-+)*-! �&:8�
第 5フレーム 第 68Bフレーム 第 8BBフレーム 第 :7:フレーム)�,建物正面
第 5フレーム 第 *68フレーム 第 98Bフレーム 第 =;6フレーム)%,建物背面
図 7' 特徴点の追跡結果
図 8' 復元されたカメラパラメータと自然特徴点の三次元位置
第 5フレーム 第 68Bフレーム 第 8BBフレーム 第 :7:フレーム)�,建物正面
第 5フレーム 第 *68フレーム 第 98Bフレーム 第 =;6フレーム)%,建物背面
図 9' �������&�