コンピュータビジョンとその応用（２）

～　画像監視・移動ロボット

　　

　 鹿児島大学大学院　理工学研究科渡邊　睦

　 mutty@ics.kagoshima-u.ac.jp

渡邊研究室研究内容：　３次元・動画像処理・認識技術

3 次元物体認識 動画像処理・認識 統計的画像パターン認識 並列協調分散画像認識　

　（親和的情報空間の構築） 移動ロボット視覚認識 福祉応用ビジョンシステム 画像監視ビジョンシステム

・・・ 渡邊研究室：

http://www.ics.kagoshima-u.ac.jp/~fics/

親和的情報空間とはFriendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ）

人間（群）とコンピュータ（群）が自然・自在にコミュニケーションできる環境

（物理空間，情報空間，認知空間のシームレスな結合）

身近・手軽・リアルタイム・完全非拘束 ロバスト（環境変動，照度変化，有限視野，・・） エージェントベース

　～状況に応じた発現（隠身・気付き・気配り） 学習・進化発展

関連研究 Forest of Sensors ～ MIT ・ AI Lab / E.Grimson

& INRIA / O.D.Faugeras

複数物体の移動状態追跡による屋外監視 Smart Room ～ MIT Media Lab./ A.Pentland et al. “Perceptual intelligence” を持ったアシスタント（ＡＬＩＶＥ） ロボティック・ルーム　 ～　東大先端研 / 佐藤（知）

インテリジェントな病室の実現 Human Reader ～ ATR ・知能映像通信研 / 間瀬

ビジョンベース・マンマシンインタフェースの実現 就寝状態自動モニタリングシステム ～ 東芝・渡邊ら / 愛媛大・石原ら

夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ群、

親和的情報空間構築の意義少子化・高齢化社会の進行

　～　２０２０年には４人に一人が高齢者（６５歳以上）　　　痴呆者　現在１８０万人　⇒　数年後３００万人へ

効率重視型（省力・自動化）⇒人間中心型～　ＣＶ・ＰＲ　キラーターゲットの変遷

次世代研究テーマの発掘

⇒能（脳）力補完・補助　ｖｓ　脳機能・日常活動の阻害

～　分散並列ＡＩ， 4次元（ 3 次元＋動画像処理）ビジョン，　　感性情報処理・認識，意識の解明・人工意識の実現

親和的情報空間のイメージ１（自動ドア）

移動中の人物を追跡

屋外：　信号機の適応的制御，迷子用道案内，・・

動画像処理：　計測⇒利便性向上

人物がドアに向って接近したら開くドアの傍に所在

親和的情報空間のイメージ２（訪問者応接）訪問者認識・　　挨拶

訪問者の作業状態（多忙・暇）に応じた出現・消滅

訪問者の心理状態に応じた応接～　対話，自律移動ロボットによるサービス

現在目標：　分散協調視覚認識による 親和的情報空間の構築

物理的空間に配置された複数カメラの動画像入力↓

自律エージェント群による分散並列視覚処理・認識　　　　　　　　　　　　　↓

　　　　人物の挙動，状態のリアルタイム認識

自律移動ロボットの視覚制御 対話型コミュニケーション（ CG アニメーション，音声）

～アフォーダンス付加

渡邊研究室の構成 Ｈ１６年度メンバー（１５名） Ｄ３：　古賀由紀夫（休学中） Ｄ１：　勝間大輔，福添孝明 M ２：　片山明伯，西奈津子，山本大樹 Ｍ１：　伊藤雅人，下脇克友，中野広樹，矢野雅之，水戸大輔 B4：　清水大輔，竹井沙織，田中宏樹，堀之内あすか 研究Ｇ★状況認識Ｇ：　福添，伊藤，水戸，田中，堀之内★3D 物体認識Ｇ：　勝間，矢野，竹井　★移動ロボットＧ：　（古賀），片山，下脇，中野★スポーツ映像解析Ｇ：　山本，清水★福祉ビジョン：　西

研究目標（個別） 動画像シーンの実時間記述作成 シーン変化の実時間認識 移動人物実時間追跡 人物状況認識（当面：制約状況下） 実時間個人認証 3 次元物体認識（当面：研究室内備品を対象） 環境認識（当面：研究室を対象） 移動ロボットと人間のインタラクション支援 映像解析による利便性向上（当面：スポーツ映像を対象） 意思疎通支援（当面：障害者・高齢者を対象）

動画像シーンの実時間記述作成 シーン変化の実時間認識 移動人物実時間追跡 人物状況認識（当面：制約状況下） 実時間個人認証 3 次元物体認識（当面：研究室内備品を対象） 環境認識（当面：研究室を対象） 移動ロボットと人間のインタラクション支援 映像解析による利便性向上（当面：スポーツ映像を対象） 意思疎通支援（当面：障害者・高齢者を対象）

複数移動物体追跡技術による在席自動管理システムの構築

伊藤　雅人学会発表：伊藤，福添，水戸，田中，堀之内，渡邊，

“ 複数移動物体追跡技術による在席自動管理システムの構築”，

H16 年電気関係学会九州支部連合大会講演論文集，

Vol.？？ , pp.- (2004.9)

在席自動管理システムの処理内容

アクティブカメラを制御し人物の追跡、着席判定を行いその着席位置の情報をサーバに送る

人物の固有情報を検出時に取得し，テンプレートマッチング技術を用いて追跡を行う

人物が着席したということを判断し、その時のカメラの角度情報から着席位置を表示する

テンプレート取得　追跡開始

サーバにカメラの追跡最後の角度情報を送る

全体の処理の流れ

着席があるか

N

Y

テンプレート取得領域全てに変化があるか

Y

角度情報から着席位置を表示する

カメラが初期位置に戻る

N

実験条件 1

右カメラ

左カメラ

実験室全景 左右カメラ位置

現在 (2004.9)は部屋の４隅にアクティブカメラを設置

実験条件 2

左カメラからの視野

右カメラからの視野

　着席検出実験例（実験室３・原画像）

結果右カメラ

左カメラ

サーバ

実験結果 （ 2004.2 時点）

8人がそれぞれ8箇所の席の中からランダムに選んだ5箇所の席に着席する状況で，合計 40 回の着席検出実験を実施

・追跡成功率（進入から着席直前まで）　　 85% （ 34/40 回成功）・着席判定率（進入から着席位置表示まで）70% （ 28/40回成功）

待機中　 15FPS 　　追跡中　 3 ～４ FPS

処理速度：

分散協調視覚システムにおける完全無拘束型人物認証システム

福添　孝明

学会発表：福添，伊藤，水戸，渡邊，

“ 分散協調型人物認証方式の研究開発”，

第7回画像の認識・理解シンポジウム（ MIRU2004) 論文集，

Vol.1, pp.607-612 (2004.7)

概要人物認証を制約的に実施できない環境において，個人性を反映すると考えられる画像特徴を複数同時取得し，確率的手法にて統合判断することにより，人物認証を行う手法の開発

適用例：　親和的情報空間化 研究室等の在室管理 講義における出席管理 コンビニ等における利便性向上

CD ショップの防犯(株式会社Ｍｉｓｕｍｉ）「鹿児島 TLO 情報交換会」

番号 名前 1 8 15 22 291古賀 × × × × ×2勝間 × × × × ×3 福添 ○ ○ ○ ○ ○4片山 ○ × ○ ○ ○5西 × ○ ○ ○ ○6山本 ○ × × × ○7伊藤 ○ ○ ○ × ×8下脇 ○ ○ × × ○9中野 ○ ○ × × ○

10水戸 ○ × × ○ ○11矢野 ○ ○ ○ ○ ×

Aさん ?Bさん ?Cさん ?

分散協調個人認証手法の概要体型が細めなら

AさんかBさんだろうな

顔が黒いなら

Bさんだろうな

身長が高いならBさんか Cさんだろ

うな

たぶんBさんだ！

提案手法の流れ

人物領域の取得 頭位置の取得

顔向き判定 人物特徴取得

統合判断

人物領域の取得 1

背景画像 入力画像

人物領域の取得 2

背景差分

人物領域の取得 3

人物領域

頭位置の取得

顔向き判定

頭部明度ヒストグラム

後 前

人物特徴の取得

人物領域の幅と頭の幅 体型人物領域の高さと頭の幅 頭身人物領域の縦横比 体型頭領域の明度分布 髪・顔人物領域の面積と頭の幅 体型人物領域のエッジ量 服の着こなし

現時点では，数値（１次元）化可能な特徴のみ利用

人物認証手法

特徴数

特徴ｉ条件付事前事後 特徴ｉ）（人物ｘＰ（特徴ｉ）Ｐ）（人物ｘＰ

1

/)()( kk

１．１．ベイズベイズ（ネットワーク）判（ネットワーク）判別：別：

）｝（人物ｘ｛Ｐの判別結果各時点 事後 )()( kkMaxt

２．２．最大事後確率推定（最大事後確率推定（ MAP)MAP)法法：：

３．３．多数決原理多数決原理：：動画像系列において最大判別数を持つ人物を当該人物として認証

人物特徴の蓄積情報

時系列観測

人物特徴の蓄積情報人物特徴

2.02.11.92.32.22.12.22.11.9

人物認証実験例（プログラム演習室）

最大事後確率値

（

多数決

）

を有す

る人物

大

小

実験結果（判別結果推移例）

0

5

10

15

20

25

30

35

40

45

501 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100

103

106

109

112

115

Frame

Freq

uenc

y

People01People02People03People04People05People06People07People08People09People10

認証対象者：山本 (People02)

10 名による認識成功率（ 2004.2 時点）

実験室（人物特徴６つ） 80% 実験室（人物特徴 4つ）70% 実験室（人物特徴 2つ） 50%

処理速度：処理速度： 15FPS15FPS ，， CPUCPU使用率使用率 20%20% 前後前後

動画像処理による講義自動評価システムの研究

　　水戸　大輔　　

学会発表：水戸，福添，伊藤，田中，堀之内，渡邊，

“ 動画像処理による講義自動評価システムの研究”，

H16 年電気関係学会九州支部連合大会講演論文集，

Vol.？？ , pp.- (2004.9)

アンケートによる授業評価の問題点

背景　～ＦＤと授業評価～

　・当該時間の指導内容を評価していない

理想的なＦＤにはアンケートだけの判断で理想的なＦＤにはアンケートだけの判断でなくなくさらに複眼的な講義状況の把握の必要性さらに複眼的な講義状況の把握の必要性

　・生徒の評価者としての信頼性

　　　　研究目的

　講義をテーマに受講者の状態　　 　を把握するシステムの開発

遠隔授業や授業評価　遠隔授業や授業評価　システムの発展へシステムの発展へ　

　

処理の流れ 座席領域の設定（手動） ターゲットの着席判定 ヒストグラムを用いた「正面顔」パターンの学習

　顔向き判定＋ターゲットのアクティブ判定

による統合判断

ヒストグラム解析による顔向き判別時系列変化の解析による動作認識

⇒ 集中度集中度をリアルタイム表示

講義自動評価実験の様子

講義評価時の状態認識

　 大 小

前 ACTIVE ACTIVE

それ以外 　Non-ACTIVE

顔向き

動き

状態未知

実験環境

実験場所　　　鹿児島大学情報工学科棟72 号講義室

実験講義　　　人工知能基礎 (渡邊 ) 実験対象者　 ３年生　１２名 (１７名中 )

PPT による講義のため消灯する⇒　居眠りなどが発生

実験の様子－１　上段：　動き認識結果

　下段：　顔向き認識結果

実験の様子－２上段：　動き認識結果

　下段：　顔向き認識結果

54%

12%

34%

ACTIVENon- ACTIVE

状態未知28%

55%

17%

総合結果

40%

26%

34%

講義自動評価実験　まとめ処理速度：　　　　８ＦＰＳ

　自律移動ロボットにおける　人物追跡の研究

中野　広樹学会発表：中野，下脇，片山，渡邊，

“カルマンフィルタを用いた人物位置予測に基づく

自律移動ロボットの人物追跡システム”，

第22回日本ロボット学会学術講演会論文集，

Vol.？？ , pp.- (2004.9)

　目　的 移動ロボットから送信される動画像を解析することにより，人物の足領域を検出・位置特定し、実時間で追跡を行うシステムの開発

　背　景

介護・活動支援 （例）盲導犬ロボット，知的車椅子

自律移動型ロボットの用途の広がり

教育・アミューズメント支援 （例）ペットロボット，自動運転シミュレータ

日常生活支援 （例）掃除機ロボット，スーパー自動買物カート

　今回提案するシステム

背景差分による処理領域内への人物の進入を検出初回検出時

エッジ検出処理を行い、この結果に対してカルマンフィルタによる一期先予測を行い、人物の場所を推定

人物追跡時

　（繰り返し）　上記で推定した人物の存在方向にロボットが移動

　人物検出（背景差分）【システム 1番目の処理】

背景差分を用いて人物の処理領域内への進入を検知

X・ Y軸方向の累積投射のピークを検出することにより，　　人物の下端（足元）座標を決定

このエッジ周辺の色相ヒストグラムパターンを学習

　人物位置予測・位置特定　　　【システム２番目の処理】

　　一期前の画面上での人物の位置・速度の情報をカルマンフィルタに入力し、現時点の到達位置を予測

↓　　上記の予測位置周辺の領域を設定し，この領域に含まれるエッジを探索

↓領域中で最下端位置にあるエッジを人物の下端（足元）候補として選出

↓このエッジ周辺の色相情報を取得し，最初に学習したヒストグラムパターンと比較することにより検証

　カルマンフィルタ

フィルタリング人物位置の観測値と予測値との誤差を比較し、統計学的に現在位置を修正

111

1

ˆ

ˆ

ˆ

HRHPP

HRPK

XHZKXX

tT

tt

ttt

ttttt

tT

tt

tt

QFPFP

XFX

ˆ

ˆ

1

1

一期先予測

　　この修正・予測を繰り返すことで、次第に、予測式は最適な形に収束

確からしい予測値を時系列的に求めるためのフィルタ

　カルマンフィルタの設定今回は下記のように設定

0000

1

ˆˆ

10

01

10

1

PPXX

HF

X

t

XXX

t

XX

ttt

T

ttt

　ロボットの移動【システム３番目の処理】

画面内での座標より，人物の下端までの 3 次元距離、方向を算出 計算後、下記のように速度を設定し，

人物の存在予測方向に向けて移動制御

V

Lt

Θt

TtDTt

TV

L

R

KKV

LKV

VVV

VVV

移動ロボットによるターゲット追跡時の速度の設定

　見失った場合の処理

足元周辺の色相ヒストグラム(正規化済み )

違う状態が続くようであれば↓

ロボット停止背景差分処理へ

初回学習パターンとの類似性判定

↓

ロボット追跡再開

◇ 計算機のスペックCPU / P4-2.6GHz memory / 1G OS / Windows XP 開発言語 / Microsoft Visual C++ .NETキャプチャ / Matrox METEOR-Ⅱ

TELSTAR TR-801C

ロボット / Pioneer3-DX8カメラ / 約 25万画素相当のカメラ

映像信号 (有線 )

映像信号 (無線 )

ロボット制御信号(無線シリアル通信 )

　実験環境・通信システム処理速度：　 ８～９ FPS

実験結果１　【自律移動型ロボットによる人物追跡】

実験結果２ 【人物追跡時の処理画面】

実験結果３ 【追跡中に別な人物が現れた場合】

今後：人物状態自動認識研究の目標　人物の内面状態を，外部への顕れから推定する技術を確立することにより，完全無拘束状態における状態認識システムを実現

内部状態（認識対象候補）：　- 集中・居眠り- 快・不快- 注視・概観

利用可能な画像情報- 姿勢：　身体伸び・伏せ・・・- 動作：　手，首，身体全体，・・- 表情：　顔部品の局所変形，目線，・・

内部状態と外部への顕れとの関連付けをどうするか？⇒　脳波解析の利用

実験計画中

脳波波形モニタリング

画像記録画像記録

呈示・作業内容：・データ入力・語学問題・映画・ドラマ・スポーツ映像・ゲーム　～　特異キャラ出現

ご静聴ありがとうございました