関西cvpr勉強会 2012.7.29

CVPR2012 Review

“Social interactions:

A first-person perspective”

Akisato Kimura (@_akisato, @_akisato_)

何でこれを紹介しようと思ったんですか？

Social という単語に釣られました… （嘘

関西CVPR勉強会 (July 29, 2012) 2

何でこれを紹介しようと思ったんですか？

Social という単語に釣られました… （嘘

Ego-centric visionで本質的に面白い問題はこれ！

関西CVPR勉強会 (July 29, 2012) 3

何でこれを紹介しようと思ったんですか？

Social という単語に釣られました… （嘘

Ego-centric visionで本質的に面白い問題はこれ！

ライフログ？ いや，スナップショットで十分だし…

http://itunes.apple.com/jp/app/puno-laita-dao/id536059062

http://www.ntt.co.jp/ylab/special/vol_3/index.html

関西CVPR勉強会 (July 29, 2012) 4

一言で言うと，何これ？

関西CVPR勉強会 (July 29, 2012) 5

誰が何をしているかを予測します！

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 6

あなたです

みんな

あなたを

見ています

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 7

あなたです

みんな

あなたを

見ています

あなたです

みんな

あなたを

放置です

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 8

あなたです

みんな

あなたを

見ています

画面に映る人の役割や意図を予測します！

あなたです

みんな

あなたを

放置です

こんなことして何が嬉しいの？

関西CVPR勉強会 (July 29, 2012) 9

リアルお友達関係が映像だけからわかります．

行動パターンが似ている人がわかります．

同一行動をしていたグループ全員

HMDをつけていた人たち (First person)

（注： HMDをつけている人が自分自身を映すことはできないので，自分とは仲良くなれません．）

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 10

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 11

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 12

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 13

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割 観測特徴系列

謎の離散

隠れ変数系列

何らかのラベル

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 14

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割 観測特徴系列

謎の離散

隠れ変数系列

何らかのラベル

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 15

フリーソフト PittPatt を利用

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 16

フリーソフト PittPatt を利用

http://www.pittpatt.com

(゜Д゜)

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 17

フリーソフト PittPatt を利用

http://www.pittpatt.com

http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/

(゜Д゜)

(゜Д゜)

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 18

キャリブレーションができていればできる．

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 19

キャリブレーションができていればできる．

画面上での顔位置，

顔の大きさ，

顔向き (Yaw, Pitch, Roll)

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 20

キャリブレーションができていればできる．

画面上での顔位置，

顔の大きさ，

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ）

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 21

キャリブレーションができていればできる．

画面上での顔位置，

顔の大きさ，

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ）

ℎ 𝑟

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 22

キャリブレーションができていればできる．

画面上での顔位置，

顔の大きさ，

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ）

ℎ 𝑟

HMDな人

ターゲット

上から見た図

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 23

顔向きと注意位置は一致しません！

でも全く相関がないわけではない．

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 24

顔向きと注意位置は一致しません！

でも全く相関がないわけではない．

たぶんこんな感じ

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 25

顔向きと注意位置は一致しません！

でも全く相関がないわけではない．

たぶんこんな感じ

顔向きからわかる，ぼやっと拡がる視野

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 26

顔向きと注意位置は一致しません！

でも全く相関がないわけではない．

たぶんこんな感じ

顔向きからわかる，ぼやっと拡がる視野

その視野内に誰かいれば，その人を見ているはず

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 27

顔向きと注意位置は一致しません！

でも全く相関がないわけではない．

たぶんこんな感じ

顔向きからわかる，ぼやっと拡がる視野

その視野内に誰かいれば，その人を見ているはず

そうでないときは，勝手に見ている場所を作る！

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 28

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 29

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

（観測できるもの） 𝑖さんの顔 𝑓𝑖 の

実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖

（推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 30

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

尤度項 隣接項

人数

（観測できるもの） 𝑖さんの顔 𝑓𝑖 の

実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖

（推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 31

尤度項

隣接項

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 32

尤度項

隣接項

正面ほど高得点

周辺視は低得点．

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 33

尤度項

隣接項

自分が自分を見ない

ような縛りを掛ける．

正面ほど高得点

周辺視は低得点．

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 34

尤度項

隣接項

誰かの顔を見ていれば，高得点get！

自分が自分を見ない

ような縛りを掛ける．

正面ほど高得点

周辺視は低得点．

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 35

尤度項

隣接項

α-expansion的な何かで推定可能 (cf. P4右)

誰かの顔を見ていれば，高得点get！

同じ人の顔を見ていれば，高得点get！

自分が自分を見ない

ような縛りを掛ける．

正面ほど高得点

周辺視は低得点．

関西CVPR勉強会 (July 29, 2012) 36

実はここからが本番

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 37

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 38

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 39

（観測できるもの） フレーム𝑘の各種特徴量

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 40

（観測できるもの） フレーム𝑘の各種特徴量

（観測の教師なしclustering結果） フレーム𝑘の離散潜在変数

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF) フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 41

（観測できるもの） フレーム𝑘の各種特徴量

（観測の教師なしclustering結果） フレーム𝑘の離散潜在変数

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

特徴尤度項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 42

（観測できるもの） フレーム𝑘の各種特徴量

（観測の教師なしclustering結果） フレーム𝑘の離散潜在変数

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

潜在尤度項 特徴尤度項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 43

（観測できるもの） フレーム𝑘の各種特徴量

（観測の教師なしclustering結果） フレーム𝑘の離散潜在変数

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

NLP業界大好き 条件付き確率場 (CRF)

潜在尤度項 特徴尤度項 隣接項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 44

（観測できるもの） フレーム𝑘の各種特徴量

（観測の教師なしclustering結果） フレーム𝑘の離散潜在変数

（推定したいもの） 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

CRFに突っ込む特徴量 （１）

関西CVPR勉強会 (July 29, 2012) 45

HMDな人の近くにいる人の数を数えてみる

CRFに突っ込む特徴量 （１）

関西CVPR勉強会 (July 29, 2012) 46

HMDな人の近くにいる人の数を数えてみる

75度 －75度

HMDな人 ０ｍ

５ｍ

CRFに突っ込む特徴量 （１）

関西CVPR勉強会 (July 29, 2012) 47

HMDな人の近くにいる人の数を数えてみる

視野を20分割して，それを20次元のベクトルに．

人々の位置関係で誰がどう話しているかわかる．

75度 －75度

HMDな人 ０ｍ

５ｍ

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 48

見られている，ということを基準にした特徴

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 49

見られている，ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 50

見られている，ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 51

見られている，ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 52

見られている，ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

𝑖さんと同じ場所を見ている人の数

1以上 = その場所が注意の中心

CRFに突っ込む特徴量 （２）

関西CVPR勉強会 (July 29, 2012) 53

見られている，ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

𝑖さんと同じ場所を見ている人の数

1以上 = その場所が注意の中心

（合計，4次元の特徴）

CRFに突っ込む特徴 （３）

関西CVPR勉強会 (July 29, 2012) 54

HMDな人の頭部運動

特に，歩行中のインタラクション判別に効果的．

CRFに突っ込む特徴 （３）

関西CVPR勉強会 (July 29, 2012) 55

HMDな人の頭部運動

特に，歩行中のインタラクション判別に効果的．

① Dense optical flowを計算

CRFに突っ込む特徴 （３）

関西CVPR勉強会 (July 29, 2012) 56

HMDな人の頭部運動

特に，歩行中のインタラクション判別に効果的．

① Dense optical flowを計算

②３×３の部分領域に分割

CRFに突っ込む特徴 （３）

関西CVPR勉強会 (July 29, 2012) 57

HMDな人の頭部運動

特に，歩行中のインタラクション判別に効果的．

① Dense optical flowを計算

②３×３の部分領域に分割

③各領域を左右上下成分に分割 （全成分非負値）

CRFに突っ込む特徴 （３）

関西CVPR勉強会 (July 29, 2012) 58

HMDな人の頭部運動

特に，歩行中のインタラクション判別に効果的．

① Dense optical flowを計算

②３×３の部分領域に分割

③各領域を左右上下成分に分割 （全成分非負値）

合計，36次元．

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 59

HMDな人の近くにいる人の数を数えてみる

全部で20次元

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 60

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている，ということを基準にした特徴

全部で4次元

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 61

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている，ということを基準にした特徴

全部で4次元

HMDな人の頭部運動

全部で36次元

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 62

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている，ということを基準にした特徴

全部で4次元

HMDな人の頭部運動

全部で36次元

全部合わせて，

60次元の特徴ベクトル/frame の完成．

条件付き確率場 (CRF)

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 63

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

条件付き確率場 (CRF)

潜在変数に依存する重みで，特徴の各次元を重み付け

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 64

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

条件付き確率場 (CRF)

どの潜在変数が出やすいか，

行動ラベルによって変わる．

潜在変数に依存する重みで，特徴の各次元を重み付け

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 65

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

条件付き確率場 (CRF)

どの潜在変数が出やすいか，

行動ラベルによって変わる．

潜在変数に依存する重みで，特徴の各次元を重み付け

現時点の前後での潜在変数の

変わりやすさが行動ラベル依存．

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 66

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

で，CRFってどうやって解くの？

関西CVPR勉強会 (July 29, 2012) 67

準ニュートン法の一種であるBFGSで解けるっぽい

で，CRFってどうやって解くの？

関西CVPR勉強会 (July 29, 2012) 68

準ニュートン法の一種であるBFGSで解けるっぽい 反省しています…これを読んで出直します…

http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670

データセット

関西CVPR勉強会 (July 29, 2012) 69

http://www.cc.gatech.edu/~afathi3/Disney/

http://vimeo.com/37507972

使った機材

関西CVPR勉強会 (July 29, 2012) 70

GoPro HD HERO2： 今なら1台299USD！

http://jp.gopro.com/hd-hero2-cameras/

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 71

8人に42時間HMDな人になってもらう．

その他含めて25人以上の団体様でテーマパークへ．

データに残ったのは25人だった模様．

1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 72

8人に42時間HMDな人になってもらう．

その他含めて25人以上の団体様でテーマパークへ．

データに残ったのは25人だった模様．

1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．

全映像に手動でラベリング．

6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．

行動の開始と終了も丁寧にアノテーション．

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 73

8人に42時間HMDな人になってもらう．

その他含めて25人以上の団体様でテーマパークへ．

データに残ったのは25人だった模様．

1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．

全映像に手動でラベリング．

6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．

行動の開始と終了も丁寧にアノテーション．

顔向きや位置は各人1000フレームだけラベリング．

5人分を各種学習に，残り3人分をテストに．

行動ラベリングの結果 （１）

関西CVPR勉強会 (July 29, 2012) 74

Dialogue Discussion Monologue

Tru

e p

osi

tive

False positive

水色： 位置に関する特徴だけ

緑色： HMDな人の頭部運動特徴だけ

青色： 注目度に関する特徴だけ

赤色： 全部使ってみた （提案法）

行動ラベリングの結果 （１）

関西CVPR勉強会 (July 29, 2012) 75

Dialogue Discussion Monologue

Tru

e p

osi

tive

False positive

水色： 位置に関する特徴だけ

緑色： HMDな人の頭部運動特徴だけ

青色： 注目度に関する特徴だけ

赤色： 全部使ってみた （提案法）

対抗手法ないのでこれで勘弁してやろうか…

行動ラベリングの結果 （２）

関西CVPR勉強会 (July 29, 2012) 76

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色： 位置に関する特徴だけ

緑色： HMDな人の頭部運動特徴だけ

青色： 注目度に関する特徴だけ

赤色： 全部使ってみた （提案法）

行動ラベリングの結果 （２）

関西CVPR勉強会 (July 29, 2012) 77

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色： 位置に関する特徴だけ

緑色： HMDな人の頭部運動特徴だけ

青色： 注目度に関する特徴だけ

赤色： 全部使ってみた （提案法）

Dialogとdiscussionを区別するのは大変．

行動ラベリングの結果 （２）

関西CVPR勉強会 (July 29, 2012) 78

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色： 位置に関する特徴だけ

緑色： HMDな人の頭部運動特徴だけ

青色： 注目度に関する特徴だけ

赤色： 全部使ってみた （提案法）

Dialogとdiscussionを区別するのは大変．

歩いているとさらに大変．

実世界における仲良し関係が明らかに

関西CVPR勉強会 (July 29, 2012) 79

特に何も解析はしていないが，

多くのデータで突き詰めて解析すると，

何か面白い結果が出る，かも？

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 80

グループ全員の行動パターンを知る

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 81

グループ全員の行動パターンを知る．

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012.

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 82

グループ全員の行動パターンを知る．

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012. 同じ，じゃないよね，まさか…

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 83

グループ全員の行動パターンを知る．

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012. 同じ，じゃないよね，まさか…

複数のHMDの幾何拘束を使って

本質的にインタラクションの問題を解ける．

たぶんどっかで見たけど，忘却の彼方…

参考資料

関西CVPR勉強会 (July 29, 2012) 84

第1著者のページ (Alireza Fathi)

http://www.cc.gatech.edu/~afathi3/

2nd IEEE Workshop on Egocentric (First-Person) Vision

in conjunction with CVPR2012

http://egovision12.cc.gatech.edu

First-person social interaction dataset

http://www.cc.gatech.edu/~afathi3/Disney/

Woodman Labs GoPro HD HERO2

http://jp.gopro.com/hd-hero2-cameras/

数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー

http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670