cram: compact representation of action in movies
DESCRIPTION
CRAM: Compact Representation of Action in Movies. 古川拓弥. はじめに. 著者 Mikel Rodriguez University of Central Florida CVPR2010 のポスター発表 映像の要約( Video Summarizing ) 特定動作の着目した要約 フーリエ変換を利用した動作特定. 提案手法の流れ. 時空間領域中における動的領域の決定 動的領域内からの特定動作の検出 エネルギー最小化による映像要約. 動的領域の決定( 1/3 ). 入力映像からオプティカルフローの算出 - PowerPoint PPT PresentationTRANSCRIPT
CRAM: Compact Representation of Action in Movies
古川拓弥
はじめに
• 著者– Mikel Rodriguez – University of Central Florida
• CVPR2010 のポスター発表
• 映像の要約( Video Summarizing ) – 特定動作の着目した要約– フーリエ変換を利用した動作特定
提案手法の流れ
1. 時空間領域中における動的領域の決定2. 動的領域内からの特定動作の検出3. エネルギー最小化による映像要約
動的領域の決定( 1/3)
• 入力映像からオプティカルフローの算出• フロー場を周波数領域で考える– フロー場のフーリエ変換: Clifford Fourier
Transform
– 逆フーリエ変換 : Inverse Clifford Fourier Transform
動的領域の決定( 2/3)
• 位相情報の逆フーリエ変換により動的領域 Wの特定– フーリエ変換における位相情報とは?• 2 次元画像の場合:画像の濃淡変化が得られる
• フロー場の場合:動きの変化を捉えることが可能
動的領域の推定( 3/3)
• 位相情報の逆フーリエ変換により動的領域 Wの特定– しきい値処理によって領域分割 = worm
u :フロー場 P( f(x, y, t) ) :位相スペクトル
特定動作の検出
• 動作テンプレートに基づく特定動作の推定– 入力シーケンスとテンプレートの尤度計算
H(x, y, t) :動作テンプレートs(l+x, m+y, n+t) :入力シーケンス
尤度の正規化
• 相関空間の正規化により応答値を最適化
– EH :フィルタエネルギー
– Es(l, m, n) :位置 (l, m, n) における評価ボリュームの エネルギー
エネルギー最小化による映像の要約
• グラフカットを用いてエネルギーを最小化
– データ項 Et :最大時間コスト• 要約映像の長さ(最大時間)
– 平滑化項 Eo :時間重複コスト• 特定動作毎の時間的な重複
– ラベル: worm の時間推移
映像要約例
• 「拾う」動作に着目した映像の要約– 特定の動作のみを一つのシーンに集約– 動作検索が容易
元映像 要約映像 特定動作の要約映像
映像要約例
• ムービー– http://vimeo.com/9761199
まとめ
• 特定の動作に着目した映像の要約– 周波数領域において映像中の動的領域を推定– テンプレートマッチングにより特定動作を特
定– グラフカットを用いて映像の要約→ 映像解析の簡略化