図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2...

28
平成 22 年度卒業論文 図形パターン照合を目的とした多角形認識アルゴリズムと その自律走行ロボットへの応用 Polygon recognition algorithm for the purpose of image pattern matching and its application to autonomous mobile robot 群馬大学工学部情報工学科 知識情報工学講座第一研究室 学籍番号:07307911 氏名:DZULFAHMI 指導教官:太田 直哉 教授

Upload: others

Post on 31-Jul-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

平成 22 年度卒業論文

図形パターン照合を目的とした多角形認識アルゴリズムと

その自律走行ロボットへの応用

Polygon recognition algorithm for the purpose of image pattern matching and

its application to autonomous mobile robot

群馬大学工学部情報工学科

知識情報工学講座第一研究室

学籍番号:07307911

氏名:DZULFAHMI

指導教官:太田 直哉 教授

Page 2: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

i

目次

第 1 章 はじめに

第 2 章 つくばチャレンジ

2.1 2010 年度のつくばチャレンジ

2.2 コース

2.3 達成すべき課題

2.4 走行ロボット MG10

第 3 章 多角形認識のアルゴリズム

3.1 自動ドアの認識

3.2 輪郭検出による三角形認識の処理手順

3.3 各処理の詳細内容

第 4 章 実験・結果

4.1 実験結果

4.2 三角形の重心からの自己位置情報推定

4.3 例外発生

4.4 その他の応用

第 5 章 結論

5.1 まとめ

5.2 今後の課題

謝辞

参考文献

Page 3: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

第 1 章

はじめに

近年、技術の発展によりロボットの存在が産業の工場にとどまらず、我々一般社会の中

でも活躍している。生産工程などの現場ではロボットが難しい細かい作業、厳しい環境下

での作業が可能にすることだけではなく、介護などの福祉分野でも使用されるようになっ

た。今後の高齢化社会は、ロボットの技術の展開によって変わってくる可能性がある。

しかし、今後の高度な知能ロボットの開発では視覚、触覚、力覚、聴覚などによる外界

の認識が必要となる。なかでも視覚による環境認識能力は、ロボットの高知能化には不可

欠である。視覚機能は環境の中での対象物などの情報をフィードバックする手段であるが、

対象物あるいは作業目的によって要求される機能も異なってくる。

また、一般社会内の人間とロボットが共存する場合、ロボットに最も求められるものは、

その環境において周囲に危害を加えないという、周囲への安全性である。また、ロボット

が自律移動する際に現在ルート上のどこにいるのかという自己位置推定も重要である。さ

らに、ロボットの走行経路上に目印となるランドマークを置いておきそのランドマークを

検出しながら目的地までの誘導する手法が考えられる。本研究ではこれらの点に注目し、

ロボットの「目」、あるいは「カメラ・センサ」となる部分を中心に自律走行ロボットの自

己位置推定をテーマとして、研究活動を行う。

本研究における目標達成のパラメータとしては、自律移動ロボットの実証実験大会

「つくばチャレンジ」に出場し、ロボットが走行経路の完走を目指す。そのために、つく

ばチャレンジから与えられた課題を元に、研究の報告を示す。

Page 4: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図1.つくばチャレンジ

第 2 章

つくばチャレンジ

2.1 2010 年度のつくばチャレンジ

つくばチャレンジは、人々が生活している空間の中でロボットが自律的に行動する

技術の追求を目的とした「実世界ロボットチャレンジ(The Real Robot Challenge)」

である。[1]

つくばチャレンジに出場するロボットは速度で競争するのではなく、共通の「課題」

を持って「安全かつ確実に動く」ロボットを作ることにチャレンジすることが目的で

ある。

今年度、2010 年 11 月の 18 日と 19 日に開催されたつくばチャレンジは第 4 回目

の大会となっており、多くの大学や研究機関、企業、技術者などが参加した。

群馬大学は(株)ミツバと共同で大会に出場し、2 回目の参加となった。予選の日

に、本番コースの一部の約 240m を走行するトライアルが突破することができ、フ

ァイナル走行にて 95m という記録を残した。

この大会に群馬大学チームの一丸として参加し、課題達成を狙うための試みとして

行なった研究の報告を示す。

Page 5: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

A

B

C D

E

F

G

H

図 2.つくばチャレンジ 2010 のコース

2.2 コース

つくばチャレンジ 2010 のコースは下記の図2に示す。移動ロボットは外部から一切の操

作を受けずに、つくば市の中央公園北側の「エキスポセンター」をスタート地点とし、つ

くば公園周辺の遊歩道に自律的に走行する必要がある。約 1.1km のコースをわたってから

ゴールに着く。ゴール付近では、つくばインフォメーションセンターの自動ドアを通って

その中に入るとコースの完走という。

A = スタート地点

D = トライアル(予選)のゴール地点

H = 本走行のゴール地点

A H G

F E D C

B

Page 6: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 3.MG10 の詳細部分

2.3 達成すべき課題

2010年度の特徴的な課題としては狭い公園内の林間コースから公園通りの広い遊歩道に

出る場所、また、安全確保が目的として一旦停止を求める場所が設定されている。一旦停

止の地点は 2010 年度の追記課題であり、ロボットが自律的に決められた箇所に一時的な停

止をする必要がある。そのうえ、オペレータが安全を確保して走行再開の指示を出すのを

待つこととした。

また、開発のための実験においてはゴールに入った後もスタート点に戻る必要がある。

この区間の距離は約 700m であり、ロボット走行コースとして考え、できる限り自律走行

モードに移動することが望ましい。

2.4 走行ロボット MG10

本研究の実証実験で使用したロボットの名称は「MG10」である。ロボットの詳細部分は

下の図 3 に示す。

MG10 では車輪回転センサにより計算されたオドメトリデータを補正するためにセンサ

としてステレオ・カメラ 1 台を使用した。ものを認識するということに対してカメラ画像

というものは多くの情報をもっているので有効である。さらに、ロボットの手前に存在す

る障害物の距離を計算するために LRF (Laser Range Finder)を導入した。LRF は広範囲

の周囲情報を取得することが出来、周囲の形状等を認識することで自己位置情報の補正出

来るという長所がある。

非常停止スイッチ

ステレオ・カメラ

車輪回転センサ

駆動・操舵機構

LRF

(Laser Range Finder)

パソコン

従動輪・

サスペンション

車両コントローラ

Page 7: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 4.走行ロボット「MG10」

図 5.ステレオ・カメラ

ステレオ・カメラ

本研究では、メインとなるセンサは上の図5で示すステレオ・カメラである。入力

画像を取得し、様々な画像処理の実験を行う。

ロボット名 MG10

サイズ 50 cm x 115 cm x 70 cm (W x L x H)

重量 36.2 kg

駆動形式 前輪駆動

差動式操舵

制御系

ベアボーン PC Atom 330 1.6 GHz

ネットブック PC Atom 280 1.6 GHz

車両コントロー

SH2E 80MHz

センサ系

カメラ TD-BD-SCAMv2

OPT.エンコーダ

LRF

イメージセンサ 1/42 型富士フィルム社製 CCD センサ

有効画素数 648(W) x 486 (V) x 2

画像サイズ 1280 x 480 (左右含む)

フレームレート 最大 30fps(認識処理含まず)

レンズ 水平画角 91゜

カメラ間距離 100mm

画像転送 I/F USB2.0

Page 8: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 6.つくばサイエンス・インフォメーション 図 7.自動ドア

図 8.三角形の注意マーク

第 3 章

多角形認識のアルゴリズム

3.1 自動ドアの認識

つくばチャレンジ 2010 の課題の中で、筆者はコースのゴール付近への誘導方法をどうす

ればできるかを課題として与えられた。

上の図6と図7で示すように、つくばチャレンジ 2010 におけるゴール付近はロボットが

つくばサイエンス・インフォメーションの自動ドアを通して、ビルの中に入る必要がある。

自動ドアの周辺では、得られる画像の特徴が尐なく、照合を行ないにくいため、自己位置

の認識が難しい。

しかし、自動ドアには特徴となる「ランドマーク」が存在する。下記の図8で示すよう

に、自動ドアに特徴を持つのが三角形の注意マークである。それを認識すればロボットの

進行方向の算出ができると考えられる。

Page 9: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 10.雑音がある画像 図 9.元画像

3.2 輪郭検出による三角形認識の処理手順

本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

従って実験を行った。

A) ノイズの除去

B) 2値画像における輪郭検出

C) 輪郭凸状の検査

D) 多角形の近似処理

E) 認識目的の追加条件

結果としては画像内に検出した三角形の位置情報が得られる。次に、三角形の重心の位

置からロボットの進む方向を予測する。

3.3 各処理の詳細内容

以下に各処理手順の詳細内容を示す。

A) ノイズの除去

「ノイズ」もしくは「雑音」という言葉はもともと何か目的があって、それを邪魔

するものの総称として使われる言葉である。画像処理の分野においては、具体的な例

でいえば、テレビのアンテナの調子が悪いと画像が乱れて見えにくくなるが、このよ

うな状態を ”画像の务化” という。务化した画像は二つに分類される。ひとつは、目的

画像そのものが歪んだり、ぼけたりする务化。もうひとつは、目的画像の上にざらざ

らした邪魔物が乗ることによる务化である。その後のほうの邪魔物が画像の雑音(ノ

イズ)という。

※)写真などで見られるランダムな粒状性。場所、大きさ、時間的なランダムな雑音

がある。

Noise = a general term for the deviation of a signal away from its “true” value. In the case of

images, this leads to pixel values that are different from their expected values.[3]

Page 10: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 11.Gaussian 5x5

ノイズの性質によってノイズ除去の方法も変わってくる。本実験では、画像の輪郭

抽出が主な処理となるので、できる限りノイズ除去の方法においてはエッジを保存し

て雑音を除くだけでなく、エッジが強調されることが大切である。

ノイズを除去するために、ガウシアンピラミッド分解(Gaussian pyramid

decomposition)を導入した。細かい処理としては、二つの詳細方法に分かれており、

ダウンサンプリング(down sampling)とアップサンプリング(up sampling)である。

i. ダウンサンプリング(down sampling)

この処理はガウシアンピラミッド分解の 1 ステップであり、入力画像とガウシ

アン・フィルタ ( 5 x 5 ) の畳み込み処理を行う。

ガウシアン・フィルタはガウス分布の関数を利用し、画像のノイズを除去する

スムージングフィルタである。数式は下記のとおり:

σが大きくなるほど低周波領域の成分が強調されるため、結果として画像がぼや

けた感じになる様子を下の結果から確認できる。

図 12.元画

図 15.σ=10 図 14.σ=2

図 13.σ=1

𝑓 𝑥,𝑦 =1

2𝜋𝜎2𝑒 −

𝑥2+𝑦2

2𝜎2

Page 11: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 16.ガウシアン・ピラミッド

この処理では、ガウシアン・フィルタを実行

しながら、画素のサンプリングを縦横ともにひ

とつ置きにして、偶数行と偶数列を間引くこと

でダウンサンプリングを行う。得られる結果画

像の大きさは縦横それぞれ半分となる。

サンプリングされた画素には、その周囲の画

素の色成分がガウス関数の分布に従って加味

されるので、ある程度周囲の画素の影響を受け

ることになる。この性質を利用して、通常のサ

ンプル補間によって発生するエイリアシングを抑えることができる。

(エイリアシング(英: Aliasing)とは、異なる連続画素が標本化によって区別でき

なくなることをいう。)

ii. アップサンプリング(up sampling)

この処理は上記と同じ原理を持っているが、入力画像に 0 の行と列を挿入する

ことでアップサンプリングを行う。補間のために 4 倍したガウシアン・フィルタ

(5 x 5)との畳み込みを行う。出力画像は入力画像の 4 倍の大きさになる。

実際に、ダウンサンプリングとアップサンプリングによって得られた画像は下

図で示す。

図 17.元画像

図 18.ダウンサン

プリングした画像

図 19.アップサンプ

リングした画像

Page 12: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 20.注目画素

B) 2値画像における輪郭検出

「輪郭」もしくは「エッジ」とは画像の濃度や色に急峻に変化する部分を示す。画

像内に存在する物体と物体、あるいは物体と背景の境目の検出処理は多角形認識アル

ゴリズムにおいては重要な処理である。

B.1) 輪郭検出

輪郭(エッジ)検出には様々な手法があるが、実験で行ったのは通常 1 次微分で勾

配を計算することでエッジの強さを計算する。勾配の方向からエッジの局所的方向を

予測し、その方向の勾配が局所的に極大となる箇所を探す。

1 次微分(グラディエント)

エッジは明るさの局所的な変化であるので、明るさの画像のあるラインの断面

での1次微分によって求められる。しかし、ディジタル画像は離散値の集合とし

て表れるため、1次微分を厳密に計算するには微分を近似して計算する。

実際に実験で行った処理は次のように述べる。注目画素と、その上下左右の画

素(4近傍)、または上下左右と斜めに隣接する画素(8近傍)との差をそれぞれ

もとめ、足し合わせる方法を導入した。その際、隣接する画素にそれぞれどう重

みを付けるかによって得られる差分結果が異なり、この重みの付けかたを行列の

形で表現したものをオペレータという。

入力された画像はグレイスケールへの変換処理が行い、フィルタをかけて各画

素のエッジの強度を計算する。Sobel オペレータを用いて、下記の計算を実行する。

注目画素A(i, j)とその近傍、

(i-1, j-1) (i, j-1) (i+1, j-1)

(i-1, j) (i, j) (i+1, j)

(i-1, j+1) (i, j+1) (i+1, j+1)

x 方向と y 方向の微分に対応する Sobel オペレータ

以下の式により輪郭の強度 p と方向θを計算できる。

-1 0 1

-2 0 2

-1 0 1

-1 -2 -1

0 0 0

1 2 1

𝑆𝑥 𝑆𝑦

𝑝 = 𝑖・𝑆𝑥 2 + 𝑗・𝑆𝑦 2 θ = tan−1 𝑗・𝑆𝑦

𝑖・𝑆𝑥

Page 13: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 21.元画像 図 22.輪郭検を出した結果

図 23.元画像 図 24.輪郭検を出した結果

上記の処理に基づいて、次の結果画像が得られる:

B.2) 細線化

上述の方法を用いて得られた輪郭においては、より正確な認識制度を得るために、

検出した輪郭を幅1画素の線にする必要がある。

細線化は、太さが不ぞろいの輪郭線を同一の太さの線(幅1画素)に整える処理で、

閾値処理を行った後の2値画像で行う。太い輪郭線を外側から削っていき、1画素の

太さになったところで処理が終了する。

画像内の除去できる点は順方向ラスタ走査を行い、以下の3つの条件にすべてあて

はまる 0(白)である注目画素を 1(黒)に反転する。

(注意:実験では注目画素が白で、背景が黒である。)

(i) 境界条件

⇒注目画素の 4-近傍に 1(黒)画素が 1 つ以上存在する。

これは注目画素が領域の周囲の画素である条件という。ここで述べた画素の 4-

近傍とは注目画素の上下左右の画素のことを示す。

Page 14: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

(ii) 連結性条件

⇒注目画素の 4-連結数が 1 である。

この条件の目的は幅が 1 画素分の線を除去しないで、そのまま残しておく。幅 1

画素の線をそれ以上削ると線が分断されてしまうからである。

4-連結数の計算方法を以下に示す。

対象画素を𝑥0(i, j)、その 1 つ右の画素を𝑥1、そこから反時計回りにx2, x3, x4, x5,

x6, x7, x8とする。

𝑥4

(i-1, j-1)

𝑥3

(i, j-1)

𝑥2

(i+1, j-1)

𝑥5

(i-1, j)

𝑥0

(i, j)

𝑥1

(i+1, j)

𝑥6

(i-1, j+1)

𝑥7

(i, j+1)

𝑥8

(i+1, j+1)

(4-連結の場合)連結数は、

ただし、𝑆1 = {1, 3, 5, 7}

この結果が 1 となる画素を、条件を満たす画素とみなす。

(iii) 非端点条件

対象画素の 8-近傍に 0(白)画素が 3 つ以上存在する。

この条件の目的は幅が 1画素となった線の端を削らないようにするためである。

上記の 3 つの条件においては、項目 (i) 境界条件では全ての近傍で走査開始前の値

を利用し、項目(ii)連結性条件と項目(iii)非端点条件では走査後の値を用いる。ラスタ走

査終了の時点で除去された画素がなければ終了する。エッジ検出処理が終えた後の画

像を細線化すると以下のようになる。

𝑁𝑐 4 = {𝑓 𝑖𝑘 − 𝑓 𝑖𝑘 𝑓 𝑖𝑘+1 𝑓 𝑖𝑘+2 }

𝑖𝜀 𝑆1

Page 15: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 25.細線化した結果

図 26.細線化した結果

図 27.検査対象の画像

C) 輪郭凸状の検査

これまでに検出した輪郭を幅が 1 画素の線に変換し、閾値フィルタをかけた後に 2

値画像が得られた。しかし、下の図で示すように細線化処理で得られた線の群は途中

で切れたり、他の線と重ねたり、凸凹な形で出力してしまう場合がある。

a, b, c のような線のタイプは本来の多角形認識処理には望ましくない線である。画像

内の水平、垂直、と斜めの線の情報をできる限り効率的に次の処理手順に展開するた

めに、望ましくない a, b, と c のような線のタイプを省略させる必要がある。

b a c

a = 途中で切れた線

b = 凸凹な線

c = 他の線と重ねる

これらの線は本研究での多角形

認識においては必要としない線

である。

Page 16: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

Check Contour Convexity

入力した画像の輪郭は凸かどうかを調べることが主な処理となる。

対象となる輪郭の座標点のシーケンスは輪郭ごとの点の情報を配列に追加され、

Check Contour Convexity 関数に渡される。そこから、処理の実行が開催し、輪

郭凸状の検査を行う。

上の図で示すように途中で線が切れたり、他の線と重ねたり、凸凹な形を持つ

線が対象外となるので、直線の性質を持った水平、垂直と斜めの線の情報だけを

保存する。従って、Check Contour Convexity 処理の結果としては画像内の直線

情報が得られる。それ以外の形はスキップされるので、処理時間が短くなると考

えられる。

(注意:輪郭は自己交差しないような単純なものであると望ましい。)

D) 多角形の近似処理

凸状検査で得られた直線群をより正確な検出を行うために下記2つの処理に別けら

れる。

1.) Find Contours

実際に、Find Contours 処理で行うことは下記のイラストレーションで説明する。

緑の枠に囲まれている輪郭を注目し、拡大してみると下の図のように見える。

連結成分を持つ輪郭を一つずつ抽出していく。

Page 17: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

上記の図で示すように、検出した直線群をひとかたまりとして、その位置情報を

保持する。輪郭が検出されなかった場合は NULL として返す。

線の情報を保持するために、リストに追加する。

ここまでの手順は OpenCV の抽出モード CV_RETR_LIST というパラメータに

相当する。

水平・垂直・斜めの線分を圧縮し、それぞれの端点のみを保管する。

リストに保持された連結成分を持つ線を一本ずつ取り出す。それぞれの線を圧縮

し、両端の座標が得られ、各端点の情報を保管する。この処理では OpenCV の

CV_CHAIN_APPROX_SIMPLE というパラメータに相当する。

2.) Approx Poly

以前の処理で得られた端点の情報を利用し、指定した精度(ε)で多角形を近似す

る。近似処理のアプローチとしてはDouglas-Peuckerアルゴリズム[6]を導入する。

Douglas-Peucker のアルゴリズム

Douglas-Peucker のアルゴリズムは地理情報システム(Geographic

Information System)の分野において標準的に用いられている方法であり、統

計分析の地図として広く用いられている。

このアルゴリズムでは複数の点からなるデータの間引く際、近似曲線から

一定距離内に元の多角形を構成する点が全ておさまった場合にアルゴリズム

リストに追加

一本の線に注目

(x,y)

(x,y)

両端の座標を取得

Page 18: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

が終了し, 最終的な近似曲線が決定される。[7]

上記のアルゴリズムで、多角形の近似処理を行い、最終的な多角形を決定される。

結果としては、画像内に存在する認識目的の多角形を検出し、緑枠で囲む。

1.始点と終点による近似曲線を引

き、各頂点と近似曲線との距離(垂

線の距離)を計算する。ポリゴン

データの場合は、始点と終点の1

つ前の点で近似曲線を引く。

注意:全ての点において近似曲線

からの距離がεよりも小さければ

アルゴリズムが終了。

2.精度εよりも大きく、近似曲線か

ら最も距離がある点(n番目とす

る)に次の近似曲線を引く。

3.始点からn番目の点

n番目の点から終点

の2つで近似曲線を引き、それぞ

れにおいて手順 1&2 と同様に近

似曲線から各点への距離を計算

し、εより大きい点があれば次の

近似曲線を引く。

4.すべての点がε収まるまで再帰的

に繰り返す。

すべての点がεに収まれば、アル

ゴリズム終了。

始点 終点

近似曲線 ε

n

近似曲線

ε

n

近似曲線

ε

n

Page 19: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 28.誤解認識と正常認識

E) 認識目的の追加条件

この処理は認識目的に従って実装するので、かなり自由度がある。本研究の実験では、

三角形が認識目的となるので三角形の性質に基づいて実装していく。

角度

性質的には、一番望ましい三角の形は正三角形と近い形を持つ輪郭を検出したい

ので、条件としては角度が 𝜋 6⁄ から𝜋2⁄ であることが前提である。

条件の必要性:

誤解の認識を防ぐために角度を制限する必要がある。下記の図でしますように、本来認識

したい三角は正三角形と近い。

𝜋

6≤ tan−1 𝛼 ≤

𝜋

2

tan𝛼 = 𝑚1 −𝑚2

1 +𝑚1𝑚2

本来の認識

目的となる

三角形

誤認識の原因としては、検

出した三角形のある角度が

小さいとわかる。(ほぼ 𝜋

6

より小さい)

これによって、ある角度が 𝜋

6 より小さい三角形をわざ

と認識させない。

正三角形と近い三角形だけ

を認識するように。

誤認識

Page 20: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

第 4 章

実験・結果

4.1 実験結果

以上の処理手順で実験を行った結果、下の図で示すように三角形を認識することができ

た。ただ認識するだけではなく、三角形の位置情報(画像内における座標)も取得できた。認

識した三角形は緑の枠で囲み、各コーナーのところに小さい円マークが付けられる。

下の図では、4種類の認識対象(2つの四角形、円形、と三角形)が存在する。プログラム

を実行した結果、三角形の認識ができた。認識対目的ではない多角形はそのまま無視する。

元画像

認識した三角形と

各コーナーの座標

元画像

画像内にある多角形に対し、

三角形のみ認識する

Page 21: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

実際に、つくばチャレンジのコース上で、ゴール付近の画像を撮影し、実験で性能の検

証を行った。下の図で示すように自動ドアにある三角形マークを認識することができた。

認識 認識

認識

これは群馬大学情報棟(6号館)に

ある自動ドアの画像である。カメラ

と自動ドアの距離はその自動ドア

が開く直前、100cm ぐらいである。

Page 22: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

4.2 三角形の重心からの自己位置情報推定

下の図で示すように画像中央部から三角形の重心にどれくらいずれているかを計算する

ことができる。そのズレ角度に基づき、ロボットの進むべき方向を予測することができる。

本番コース上における、本研究処理の検証地点を以下に示す。

上の図のように、ゴール付近は建物などが主な風景であり、特徴が尐ないために自己位置

認識用の画像が使用できない場所では、自己位置の認識は難しい。だが本研究の方法を用

いることで、特にゴール付近のエーリアでは、ロボットの誘導ができると考えられる。

しかし、検証時に以下に示すような例外が発生した。

θ(角度のズレ)がわかる!

本研究処理の

検証地点

Page 23: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

4.3 例外発生

本研究の実験を行った際に例外が発生したことがわかる。下の図で示すように、左の三

角形は認識成功したが、右の三角形は認識失敗だった。

考えられる原因としては、右側の三角形の隣り合う画像(右上の部分)が自動ドアに反射さ

れる空のイメージが強いので、輪郭を検出する際にエッジがうまく取れなかったことがわ

かる。実際に、二値化画像における輪郭の状態は下の図で示す。

輪郭の検出がうまく取れなかったため、途中で三角形の線が切れてしまった。従って、

きれいな連結成分を持つ線が描画されなかったので、凸状検査処理(手順 C)に右側の三角

輪郭検出がうまく取れなかった

例外が発生!

Page 24: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

形マークは無視されてしまった。その結果、認識ができなかったということがわかった。

対策としては、細線化処理を実行する際に閾値のパラメータを調整することで、具合の

良い線の情報を取得することが期待できる。

4.4 その他の応用

本研究の多角形認識は他の応用にも適用できると考えられる。特に、交通機関の「止ま

れマーク」などを認識することができた。結果は下の図に示す。

Page 25: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

図 29.群馬大学チーム(ファイナル走行)

第 5 章

結論

5.1 まとめ

以上のように、図形パターン照合を目的とした多角形認識アルゴリズムによって画像内

にある物体の輪郭と認識目的の形状(三角形)との類似度がマッチングしたことを確認し

た。

5.2 今後の課題

ゴール付近にある自動ドアのガラス反射により、認識対象の輪郭がうまく取れなかった

という例外が発生した。また、実際に本番コース上でこの方法を用いた走行実験を行なう

ことは、時間の関係からできなかった。来年のつくばチャレンジでこの方法を用いた安定

した走行が行なえるようにするために、季節による環境の変化なども含め、この方法が使

える場所を前もってきちんと確認しておくこと、またこの方法を用いた上での実際の走行

実験を十分にこなしておくことを目指す。

また、本研究で利用した画像は画質がかなり高いので、なるべく低い画像でも安定性の

ある結果を得られることも今後の課題である。

Page 26: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

謝辞

本研究において株式会社ミツバとの共同研究であり、MG10 ロボットの製作や開発にあ

たり、貴重な体験をさせていただいたことにお礼申し上げます。

本研究室教授の太田先生には大変お世話になり、研究の仕方や問題点の見つけ方、卒業

研究の指導教員として多くのご指導をいただくことに感謝いたします。来年度の 4 月から

修士課程に進学し、先生のご指摘ご指導をお願いいたします。

株式会社ミツバ、同研究室の塩谷敏昭氏にはつくばチャレンジにおいてプロジェクトリ

ーダとして数多くのアドバイスをいただき、仕事に忙しい中にも、本研究の全般にわたっ

てたくさんのご意見や細かく指導していただくことに感謝申し上げます。

同研究室、修士課程 1 年の平野悠太さんと角田勇樹さんには画像処理の実験やロボット

の操作を説明していただき、感謝いたします。また、同級生の 4 年小平浩之さんにはつく

ばチャレンジの走行実験にいろいろ手伝っていただくことに感謝いたします。

知識情報第一研究室の皆様には卒業発表会の練習においてたくさんのご意見やご指摘を

いただきました。心よりお礼申し上げます。

Page 27: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

参考文献

[1] 油田信一 : つくばチャレンジ 2010 実世界で働くロボットを目指して: つくばチャ

レンジ 2010 開催記念シンポジウム参加レポート集, pp.1-5, 2011

[2] オーム社出版局 井上誠喜 C言語で学ぶ実践画像処理

[3] Dictionary of COMPUTER VISION and IMAGE PROCESSING, p.191

[4] オーム社出版局 田村秀行 編著 コンピュータ画像処理

[5] 毎日コミュニケーションズ出版局 奈良先端科学技術大学院大学 OpenCV プログラミ

ングブック製作チーム OpenCVプログラミングブック

[6] David H. Douglas and Thomas K. Peucker (1973), Algorithms for the reduction

of the number of points required to represent a digitized line or its caricature,

The Canadian Cartographer 10

[7] 今井拓也(2006), 動的に描画点数を考慮した非同期数値地図表示システムの設計と

実装, 島根大学 総合理工学部 数理・情報システム学科 卒業論

[8] 坂口 隼, グラフ理論に基づく複体の描画点数低減の検討, 島根大学 総合理工学部

数理・情報システム学科

[9] 財団法人ニューテクノロジー振興財団: “つくばチャレンジ Real World Robot

Challenge” (2010) http://www.ntf.or.jp/challenge/challenge10/index.html

[10] OpenCV.jp opencv samples and documents : “OpenCV-1.1pre リファレンス マニュ

アル(日本語訳)”http://opencv.jp/opencv-1.0.0/document/index.html

Page 28: 図形パターン照合を目的とした多角形認識アルゴリズムと そ …...3.2 輪郭検出による三角形認識の処理手順 本研究では、認識目的とした多角形は三角形であると改めて意識し、下記の処理手順に

タイトル:

図形パターン照合を目的とした多角形認識アルゴリズムとその自律走行ロボットへの応用

Polygon recognition algorithm for the purpose of image pattern matching and its

application to autonomous mobile robot

概要:

画像認識の様々な状況で必要とされる図形パターンの照合を行うため、本研究では多角形

の認識を用いたアルゴリズムを考案し、実験した。このアルゴリズムでは、画像内にある

物体の輪郭と認識目的の形状との類似度を計算することによって図形を認識する。このア

ルゴリズムを自律型走行ロボット大会「つくばチャレンジ」のロボットの環境認識に適用

して例を述べる。このアルゴリズムによってゴール付近の自動ドアにある特徴的な形状(三

角形)を認識し、ゴールへと誘導する。

The problem of detecting and recognizing polygon shapes in images becomes one of

important research topics in the field of image processing. In this paper, we present an

effective approach to recognize polygon shapes based on object contour approximation.

Its application is then deployed into our participation in The Tsukuba Challenge

autonomous mobile robot competition. Experimental results indicate that the proposed

technique shows promising achievement on recognizing a unique (triangle) shape on the

automatic door near the Goal area.