進化する物体認識技術 一般物体認識とは
TRANSCRIPT
1
進化する物体認識技術 一般物体認識とは
http://mprg.jp/tutorials
機械知覚&ロボティクス研究グループ(中部大学)
中部大学工学部 ロボット理工学科
宮腰 あゆみ機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering
Ayumi Miyakoshi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 ロボット理工学科助手
山内 悠嗣機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant
Dr.Eng.Yuji Yamauchi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 情報工学科講師
山下 隆義機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer
Dr.Eng.Takayoshi Yamashita
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 ロボット理工学科教授
藤吉 弘亘機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor
Dr.Eng.Hironobu Fujiyoshi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 ロボット理工学科
宮腰 あゆみ機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering
Ayumi Miyakoshi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 ロボット理工学科助手
山内 悠嗣機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant
Dr.Eng.Yuji Yamauchi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 情報工学科講師
山下 隆義機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer
Dr.Eng.Takayoshi Yamashita
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学工学部 ロボット理工学科教授
藤吉 弘亘機械知覚&ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor
Dr.Eng.Hironobu Fujiyoshi
Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
1.1 進化する物体認識 1.2 一般物体認識とは 1.3 一般物体認識の細分化
2
3
夜間の歩行者や障害物を検知 人の目に見えない近赤外線を前方に照射し、夜間見えにくい前方の歩行者、道路状況などを近赤外線カメラで撮影し、ディスプレイに表示 http://www.toyota.co.jp/jpn/tech/safety/technology/technology_file/active/night_view.html
ナイトビューシステム(トヨタ)
4
年齢/性別が判別できる自販機(JR品川駅) 人が自販機の前に立って、商品購入をしようという場合は、顧客属性(年齢、性別)を判定し、属性ごとにお勧め商品の表示を行ったり、季節や時間帯、環境に応じた商品の提案 http://news.mynavi.jp/news/2010/08/10/058/index.html
デジタルサイネージ自販機(オムロン)
5
Amazon Flow
実世界をアマゾンにするAR買い物アプリ 商品情報をオーバーレイ表示 http://itunes.apple.com/us/app/flow-powered-by-amazon/id474664425?mt=8
8
6
写真から被写体やテキストを解析して検索する画像検索ツール 対象:書籍とDVD, ランドマーク, ロゴ, 連絡先情報, 芸術, お店, 商品, バーコード, テキスト http://www.google.com/mobile/goggles/
Text Artwork
WineLandmark
Google Goggles
7
KINECT for Xbox360(Microsoft)
人体部位認識に基づく三次元姿勢推定 異なる姿勢の大量の人サンプル画像をコンピュータに学習 http://research.microsoft.com/en-us/projects/vrkinect/default.aspx
8
KINECT for Xbox360(Microsoft)
9
一般物体認識とは?
10
歩行者検出・車両検出・標識認識・白線検出・シーン分割・シーン理解
一般物体認識の解
11
• 制約のない実世界シーンの画像に対して、計算機がその中に含まれる物体を一般的な名称で認識すること ‒ 物体認識を難しくする要因
‒ 多くのカテゴリが存在 ‒ 物体の位置が不明 ‒ 見え方の違い ‒ 照明変動 ‒ オクルージョン ‒ スケールの変化 ‒ 変形
一般物体認識とは
14
一般物体認識問題の細分化
これは建物ですか?照合
人はどこですか?物体検出
何の画像ですか?画像分類
どのようなシーンですか? シーンの理解
特定物体認識
一般物体認識
標識”止まれ”ですか?
12
照合:Object Verification
• 画像中のある物体を指し,対象物体のカテゴリであるか否かを照合する問題 ‒ 指紋照合 [松本, 佐藤, 藤吉, 梅崎, "LPC分析に基づく指紋照合法の評価", 電学論, 122-C, No. 5, pp. 799-807, 2002]
登録パターン
特徴抽出→ 出力:本人/他人入力:画像 →照合→
指紋入力
距離計算・判定 本人/他人特徴抽出
照合
13
物体検出:Object Detection
• あるカテゴリ物体が,画像中のどこにあるかを求める問題 ‒ 顔検出 [P. Viola, M. Jones, “Robust Real-time Face Detection”, IJCV2001]
‒ 人検出 [N. Dalal, B. Triggs, “Histogram of Oriented Gradient for Human Detection”, CVPR2005]
Haar-like特徴量
HOG特徴量抽出
顔検出結果
人検出結果 HOG特徴量
14
画像分類:Image Categoraization
• 画像中の物体がどの物体カテゴリであるかを分類する問題 ‒ Bag-of-Keypoints (BOF)
[G. Csuka et al., “Visual Categorization with Bags of Keypoints”, ECCV2004]
顔
バイク
→
→
→
→
入力画像
入力画像
特徴抽出
特徴抽出
ベクトル量子化ヒストグラム
ベクトル量子化ヒストグラム
→
→
15
シーンの理解:Scene Understanding
• 画像内のシーン構造を理解する問題 ‒ 画像セグメンテーションとラベル付けによる三次元構造の獲得
[D. Hoiem et al., "Automatic Photo Pop-up", SIGGRAPH 2005]
入力:単一画像
Ground
Vertical
Sky
ラベル付け シーン分割 出力:三次元構造
Image
Learned Models
→ → →
16
• 画像中のある物体の固有名詞を答える問題 ‒ 交通道路標識の認識
[高木, 藤吉, "SIFT特徴量を用いた交通道路標識認識", 電学論, Vol. 129-C, No. 5, pp. 824-831, 2009]
特定物体認識:Specific Object Recognition
交通標識(テンプレート)
� � �� � � �
�
� �
�����
30 �� ��� � �� ��� �
������ ������ �����������
�����
30
入力画像
登録パターン
17
18
• 一般物体認識とは ‒ 制約のない実世界シーンの画像に対して、計算機がその中に含まれる物
体を一般的な名称で認識すること
• 一般物体認識を細分化 ‒ 特定物体認識
画像局所特徴量 ‒ 物体検出
局所特徴量と統計的学習手法の組み合わせ
まとめ