miyamori m

CNNを用いたネットワークカメラ画像の人物追跡に関する研究A Study on Human Tracking with Network Camera using Convolutional Neural Network

北海道大学大学院情報科学研究科情報理工学専攻複雑系工学講座調和系工学研究室

修士２年宮森勇作

2016年2月9日

1

背景

CNNを用いたネットワークカメラ画像の人物追跡に関する研究

※宮森勇作, 川村秀憲, 鈴木恵二(はこだて未来大): 屋内球技におけるチームプレー誘導に向けた床面情報提示の検討, 2015年度人工知能学会全国大会, 函館, 1L4-4, pp1-2 (2015)

セキュリティ

多数の建物で一般的にネットワークカメラの普及

目標ネットワークカメラ画像を用いた

自律的かつマーカーレスな人物認識システムの実現及び応用

画像

人の状態情報の取得(状態情報：位置・姿勢・動作など)

人物認識技術

マーケティング人の行動の分析や予測

インタラクティブシステム※

広告・客寄せ

スーパーや家電量販店などの店舗

人の状態情報を自律的に取得するシステムの必要性

2

本研究の目的


人物認識とは

人物検出画像内に人物がいる領域を検出．人の写りの変化や人の混み合う状況において，人物を高精度に検出できない問題．

人物追跡動画像内の人物の位置を得て，軌跡から動線の把握．追跡する人物の写りの変化とともに照明や人物同士の重なりなど環境の変化に対して頑健さが必要．

行動認識人物の行動（人物の姿勢，動作など）の認識．人物検出と人物追跡により人物領域を抽出，抽出領域から行動の推定・認識．人物検出が正確でない場合，行動認識の精度が低下する問題．

本研究の目的人物検出手法の調査と人物追跡アルゴリズムの実装

人物追跡アルゴリズムの実装

人物検出手法の調査

※宮森勇作, 川村秀憲, 鈴木恵二(はこだて未来大): 屋内球技におけるチームプレー誘導に向けた床面情報提示の検討, 2015年度人工知能学会全国大会, 函館, 1L4-4, pp1-2 (2015)

3

本研究の位置づけ


人物追跡の流れ

複数ネットワークカメラ画像の取得カメラ毎で同一の人物に

同一のラベルを付ける

カメラ毎に得た情報の統合

人物領域の抽出

検出されたフレーム

検出されなかったフレーム

人物領域とラベル付けの補間

人物検出

時系列フィルタリング

人物照合

4

本研究の位置づけ






人物照合


人物検出





5

先行研究：人物検出手法



複数ネットワークカメラ画像の取得ラベル付け





人物照合

背景差分前景ピクセル抽出

問題：人物だけでなく影やパソコン画面など抽出してしまう

KaewTraKulPong, Pakorn, and Richard Bowden. "An

improved adaptive background mixture model for real-time tracking with shadow detection." Video-

based surveillance systems. Springer US, 2002. 135-144.

Haar-Like特徴量[Viola, Paul,

2001]

局所的な明暗差を特徴量として，統計的な学習手法であるAdaboost による学習を行い，識別器を作成し，

人物の顔や全身の検出を行う．

HOG特徴量[Dalal, Navneet, 2005]

局所領域の輝度の勾配方向をヒストグラム化することで得られる．得られた特徴量を統計的な学習手法であるAdaboost による学習を行い，識別器を作成し，人物の検出を行う．

特徴：比較的，人の動きの変化に頑健であること，照明の変動に強い

Viola, Paul, and Michael Jones. "Rapid object detection using a boosted cascade of simple

features." Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. Vol.

1. IEEE, 2001.

Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection."

Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on.

Vol. 1. IEEE, 2005.

Selective-Search前景候補領域の抽出

問題：非常に時間がかかる

Uijlings, Jasper RR, et al. "Selective search for object recognition."

International journal of computer vision 104.2 (2013): 154-171.

First R-CNN [Girshick, Ross,

2014]

CNNを用いた最初の領域検出Selective-Searchを用いて候補

領域を多クラスでスコアリング，スコアの高い領域座標を出力する

Fast R-CNN [Girshick, Ross,

2015]

Multi-task loss（分類誤差と矩形回帰領域の和の最適化）を用いることで学習効率と検出精度の向上

Faster R-CNN [Ren,

Shaoqing, 2015]

Selective-Searchの利用部分をCNNで実装して学習することで

高速な物体検出

Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic

segmentation." Proceedings of the IEEE conference on computer vision and pattern

recognition. 2014.

Girshick, Ross. "Fast r-cnn." Proceedings of the IEEE International Conference on

Computer Vision. 2015.

Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in

Neural Information Processing Systems. 2015.


人物検出

6

先行研究：人物追跡手法







パーティクルフィルタ一般状態空間モデルにおける状態ベクトルの推定手法

物体追跡を行う場合は，状態遷移関数と尤度関数を設定することで物体の位置推定を行うことができる

小林貴訓, et al. "パーティクルフィルタとカスケード型識別器の統合による人物三次元追跡." 電子情報通信学会論文誌 D 90.8 (2007): 2049-2059.

Nummiaro, Katja, Esther Koller-Meier, and Luc Van Gool. "An adaptive color-based particle filter." Image and vision computing 21.1 (2003): 99-110.

多視点画像を用いた人物追跡[森大樹, 2001]

視野の共有しない複数カメラ人物照合[井尻善久, 2011]

森大樹, et al. "非同期多視点画像による人物追跡システムの構築." 電子情報通信学会論文誌 D 84.1 (2001): 102-110.

井尻善久, et al. "サーベイ論文: 視野を共有しない複数カメラ間での人物照合." 信学技報, PRMU 119 (2011): 2011.





7

人物検出の調査（1/2）

目的人物追跡に有効な人物検出の調査及びそれぞれの人物検出手法の利点と欠点の調査

実験設定数分間，単数人で研究室内を歩き回り、5台のネットワークカメラで撮影し，Haar-Like特徴量とHOG特徴量を用いて人物検出を行った．

実験の評価

実験結果


・宮森勇作, 川村秀憲: OpenCVによるカメラ画像からの人物検出の評価, 情報処理北海道シンポジウム2015, 札幌, PM30 (2015)

実験で使用したネットワークカメラの設置状況

設置したネットワークカメラに写る画像

8

人物検出の調査（2/2）


カメラ毎の検出および誤検出画像をランダムに選択した画像群（HOGによる人物検出）

R-CNNを用いた人物検出画像

カメラ5で撮影した画像に対してR-CNNによる人物検出を利用した結果，

身体の一部が写っている場合や人物が重なっている場合でも

高精度な人物検出が実現できる

人が写っていない箇所での，誤検出の繰り返しが頻繁に起こる

9



画像の取得

グレースケール化

人物検出

背景差分

画像の二値化

パーティクルフィルタの処理

人物領域の描画

パーティクルフィルタの尤度計算1．人物検出で得た領域とパーティクルにより推定した領域の距離を計算

2．背景差分及び二値化した画像において，パーティクルにより推定した領域内のピクセル数をカウントする．また，領域の上下右左端の20%にある場合は，その分差し引く．ただし，カウントが0以下の場合，0とする．

3．上記の距離の逆数とカウントの積を尤度として算出

パーティクルフィルタの処理1．予測2．尤度計算3．正規化4．散布

HOG特徴量を用いた人物検出

大津の手法を用いた二値化

𝑑 = 𝑥 − 𝑥02 + 𝑦 − 𝑦0

2 + 𝑤 −𝑤02 + ℎ − ℎ0

2

パーティクルの状態ベクトル：矩形領域の中心座標，横幅，縦幅，尤度を持つ5次元ベクトル(x,y,w,h,weight)

目的人物領域の推定

人物追跡アルゴリズムの流れ

𝑐𝑜𝑢𝑛𝑡 = 𝑓(𝑖𝑚𝑎𝑔𝑒, 𝑥, 𝑦)

𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1

𝑑∗ 𝑐𝑜𝑢𝑛𝑡

尤度計算2．のペナルティエリア

推定した領域

人物検出領域

パーティクルの予測計算：1．矩形領域の中心座標(x,y)については，前フレームと現在のフレームの移動距離と差分にガウス分布を現在の座標に加える2．矩形領域の横幅と縦幅(w,h)については，ガウス分布を現在の座標に加える

10

結果

カメラ画像内に最初から人物がいる状態で人物追跡プログラムを実行した．

身体の一部しか写っていないときに，精度が悪くなる←HOG特徴量を用いた人物検出の誤検出


最初のフレーム

最終フレーム青枠：推定した人物領域

11

まとめ


今後の課題調査結果から人物検出には有用なR-CNNと人物追跡に有用なパーティクルフィルタ，人物照合技術を組み合わせることで高精度名人物追跡が実現できると考えられる．今後は，自律的にかつマーカーレスな方式で高速高精度な人物追跡を確立し，行動認識や人の行動ログの分析・インタラクティブシステムの開発に取り組む．

本研究のまとめ本研究では，実環境における人物検出の検出精度を調査した．また、人物検出とパーティクルフィルタを組み合わせた人物追跡アルゴリズムを実装し，概要をまとめた．

人物認識

人物検出画像内に人物がいる領域を検出．人の写りの変化や人の混み合う状況において，人物を高精度に検出できない問題．

人物追跡動画像内の人物の位置を得て，軌跡から動線の把握．追跡する人物の写りの変化とともに照明や人物同士の重なりなど環境の変化に対して頑健さが必要．

行動認識人物の行動（人物の姿勢，動作など）の認識．人物検出と人物追跡により人物領域を抽出，抽出領域から行動の推定・認識．人物検出が正確でない場合，行動認識の精度が低下する問題．

目標ネットワークカメラ画像からの人物追跡


人物検出の調査

miyamori m

Technology