東工大 長谷川修研の 環境学習・認識・探索技術

長谷川修

東京工業大学

oh@haselab.info

2011年7月31日版

• ロボットは、GPSを使わずに、指示した場所まで効率的に移動できると良い。

• ロボットへの教示は、人が居る環境で、人を案内するように連れて歩くだけで済ませたい。

• 天井にセンサをつけたり、床にラインを引くなどの、手間や経費をかけたくない。

• 以上を実現し、清掃、警備、案内ロボット等に実用レベルで使いたい。

目標：人の身近で活動するロボットを創りたい

電動車椅子にも使いたい

• GPSが利用できない地下や屋内の人混みで、電動車

椅子を自律制御したい。これにより、搭乗者、歩行者、双方の安全・安心を確保したい。

• 移動のための地図は、高齢者を含む誰もが簡単に作成可能としたい。

3

• 通常、人は日頃利用する駅の、改札前の様子を思い出すことができる。

• しかし、今日、改札の前にいた人を、思い出すのは困難。

• つまり、人間は、非常に優れた画像情報処理をしており、そこにたまたま居た人のことは覚えず、改札付近の情景だけを的確に選び出して覚えている。

人は環境をどう見ているのか？

人は、覚えるべきものと、覚えなくて良いものを

瞬時に判別している。(大岡山駅前の例)

人は、覚えるべきものと、覚えなくて良いものを

瞬時に判別している。(大岡山駅前の例)

覚える 覚える

覚える

覚えない 覚えない

覚えない

この機能は、実環境で人と共存するロボットには不可欠。

以下は、移動ロボット分野における性能評価のための世界標準データの一つ。

移動ロボットが以下の情景の中をループ状に２回周回する。２周目には、１周目のどの情景と一致するかを当てる。

１周目に居た、人や車が居なくなっても当たるか？

これを画像処理で実現したい！

長谷川研の独自手法の導入

PIRF

8

PIRF Position Invariant Robust Features

動くカメラの映像中から止まっているもののみを取り出す技術

9

Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant Robust

Features for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions on

Information and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010)

PIRF：動いているカメラから、止まっている

ものと、動いているものを見分ける技術

SIFT : 普通に処理すると、あらゆるところから画像特徴が出る。

PIRF: 提案手法の処理結果例

10

たまたま通りかかった人。 PIRFは出て いない。

PIRF: algorithm

11

Current image

過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。

12

PIRF は下記の上下が同じ場所で あることを認識出来る。

学内駐車場： 上は休日、下は平日。

上は昼、下は同じ場所の夜。

PIRF-Nav, PIRF-Nav2.0 PIRF based Navigation

PIRF を用いた、日常生活空間に

おける自己位置推定手法

(PIRF-Nav2 は改良高速版)

13

A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online and

Incremental Appearance-based SLAM in Highly Dynamic Environments",

International Journal of Robotics Research (IJRR), 2010

OXFORD大から公開されているデータセット OXFORD大周辺の景観

New College

14

独自に整備したデータセット 東工大すずかけキャンパス周辺を全方位カメラで撮影

Suzukakedai

15

比較実験タスク（再掲）

移動ロボットが以下の情景の中をループ状に２回周回する。２周目には、１周目のどの情景と一致するかを当てる。

１周目に居た、人や車が居なくなっても当たるか？

赤い点が多い方が優れた手法

さらに、提案手法は完全オンライン学習手法

FAB-MAP (Oxford Univ.) 提案手法

認識率 43.32%

東工大の情景データに対する実験結果

（提案法の優位が歴然）

18

FAB-MAPは辞書を事前にバッチ学習。ゆえに新規なデータには対応困難。

PIRF-Nav 2.0 Fast and Online Incremental Appearance-Based

Loop-Closure Detection in an Indoor Environment

Aram Kawewong, Tongprasit Noppharit and Osamu

Hasegawa, Elsevier Robotics and Autonomous Systems,

2011. (To Appear)

20

さらなる実験

東工大学食での実験

エキストラでない不特定多数の人が利用

• 認識率：86.65%（FAB-MAP：17.80%）

• 平均処理時間：264ms / 枚（同：577ms/枚）

21

全方位カメラの画像のため，同位置の画像でも 撮影時のカメラの向きによって見え方が異なります

混雑した学食での実験

入力（テスト）画像 同位置と推定された学習画像

食堂での実験結果

22

提案手法 圧倒的に優れる

提案手法は、完全オンラインで、その場で学習・識別していることに注意

Oxford

FAB-MAP

PIRF,PIRF-NAV,PIRF-NAV2.0から

3D-PIRF へ • PIRF

↓ 自己位置同定技術に拡張

• PIRF-NAV, PIRF-NAV2.0

↓ ３次元地図の構築技術に拡張

• 3D-PIRF

3D-PIRF

PIRF を用いた、３次元地図の学習・構築手法。

これにより、移動ロボットは混雑環境中でも環境地図を

即座に学習し、任意の地点に移動できる。

24

Vision-based Mobile Robot's SLAM and

Navigation in Crowded Environments

Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa

IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011)

長谷川研ホームページにデモビデオ有り 25

認知地図（cognitive map）の獲得と利用 ー この技術を、自律移動ロボットに搭載して実験 －

→ 場所の情景と、行動とを複合的にオンライン学習 • 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札の情景から、左に曲がり、少し進むと、石の階段がある、など。

• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。

左旋回

前進

左旋回

右旋回して前進

前進

人を案内するように、ロボットを連れて歩くと、ロボットは

入力映像中の人の影響を極力排除し、情景だけを覚え、

任意の地点間を自律移動できる。

本研究で構築する「ハイブリッド地図」のイメージ

28

00.5

11.5

22.5

x 104-2000

-1000

0

1000

2000

3000

4000

5000

-101

x 104

z

FeatureNum: 1460

x

y

特徴点

ハイブリッド地図

観測データ

全方位カメラ エンコーダ

局所地図

グラフ構造を持つため，経路計画がしやすい

距離情報も持つため，最短経路探索が可能

…

軌跡

特徴点の3次元位置の計算とハイブリッド地図の構築

29

オドメトリ

3D-PIRF

観測

(特徴点の計測方向)

ロボットの姿勢

特徴点の3次元へのマッピング方法

30

最大化

事後確率

(ロボットの姿勢)・ (特徴点の位置)が求まる

ロボットの姿勢

特徴点の位置

入力

から見た の観測値

(相対座標)

ハイブリッド地図

局所地図

ナビゲーションフェーズ

31

ナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従

学習した地図と現在の地図とのノード間の距離・局所マップを比較し，自己位置を推定する

学習した軌跡に追従するように経路計画を行う

スタート

ゴール

: 学習した局所地図

: 現在の局所地図

ナビゲーションフェーズ

32

局所マップの比較による自己位置推定のための情報取得

1. Loop-Closing検出を行う

2. 学習した地図と現在の地図との局所マップを比較(特徴点のマッチングを取る)

3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿勢を求める

局所マップ中の特徴点の数 : 平均20～30個程度

相対姿勢の誤差 : 平均20[cm]以内

相対姿勢

過去の

局所マップ

現在の

局所マップ

提案システム全体

33

連続画像

3D-PIRF抽出

相対位置計算

Loop-Closing

の検出，

軌跡の修正

オドメトリ

ハイブリッド地図

…

軌跡

局所メトリカル地図

3D-PIRF

相対位置

学習フェーズで学習したハイブリッド地図

…

軌跡

経路計画

局所メトリカル地図

ナビゲーションフェーズのみ

実験結果 : 学習フェーズ(人が操縦)

34

オドメトリのみの場合，軌跡を正しく計算できない

提案手法では，カメラから安定した特徴点を抽出して，その情報を用いることで軌跡が正しく計算できている

: Loop-Closing検出位置

提案手法 オドメトリのみ

実験結果 : ナビゲーションフェーズ(自律移動)

35 ゴールまで自律的に到達できている

動いている人の周辺からは抽出されていない

3D-PIRF

この技術は移動支援IRTへの活用を検討中

• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも自律移動

• 搭乗者、歩行者、双方の安全・安心の実現

• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成可能（従来法は膨大な手間）

• まず、電動車椅子への搭載を検討。人の生活環境で活動するロボット全般に利用可能。

36

ルンバとの違い？

ルンバはランダムに

移動するのみ。

地図を学習せず、指定した場所まで移動、といったことはできない。

テスト画像 手持ちのiPhone4

のカメラで撮影

学習画像 手持ちの家庭用

ビデオカメラ

で撮影

この技術は、携帯カメラでも稼働する

下が学習画像で、上がテスト画像。人が居ても、人の影響を受けずに上下は同位置と正しく判定している。 テスト画像にはiPhone4の画像を使用。

GPSの使えない屋内や地下でも利用可能 38