si2016 発表スライド

20
Tsukuba Exploration Rover のののの のののののののの 2016 ののののの

Upload: robotics-engineer

Post on 15-Apr-2017

130 views

Category:

Engineering


0 download

TRANSCRIPT

Page 1: Si2016 発表スライド

Tsukuba Exploration Rover の開発とつくばチャレンジ 2016 へ取り組み

Page 2: Si2016 発表スライド

About Me• 所属  XXXX 株式会社  XXXXXXXXXXXXXXXXX

業務内容:車載カメラ向けの画像処理ソフト開発• 画像処理技術 & 自律走行技術 & 応用アプリケーショ

ンを作りたい• ものづくり大好き

過去にもロボコン参加歴あり.• ET ロボコン 2013• つくばチャレンジ 2015

Page 3: Si2016 発表スライド

つくばチャレンジ 3 ヵ年計画

• つくばチャレンジ 2015 ( 参加初年度 ) ハードウェアの作成

• つくばチャレンジ 2016 (<- 今ここ ) ソフトウェアの作成及び,コース完走

• つくばチャレンジ 2017 コース完走,及び全課題達成!

Page 4: Si2016 発表スライド

つくばチャレンジ 3 ヵ年計画

• つくばチャレンジ 2015 ( 参加初年度 ) ハードウェアの作成

• つくばチャレンジ 2016 (<- 今ここ ) ソフトウェアの作成及び,コース完走 ベースとなるアイデアの作成...

• つくばチャレンジ 2017 コース完走,及び全課題達成!

2015 年,ここでリタイア 70m/1580m

2016 年,ここでリタイア 80m/2013m

進歩, 10m ...(((( ;゚ Д ゚ ))) ガクガクブルブル

Page 5: Si2016 発表スライド

ということで,技術的にはかなり素朴な発表内容になりますが,,,

「素人が Google 先生に頼りながら,0 から自作ロボットを作ったらどうなるか?」

という観点で見ていただけると楽しんでいただけるかと思います.

Page 6: Si2016 発表スライド

Tsukuba Exploration Rover コンセプト

• パッシブセンサ(画像処理)だけでコースの完走をめざす!!

• 達成できれば,注目される! パッシブセンサのみで完走したチームはいまだ無し.

• 「素人のように考え,玄人のように実行する」 by 金出先生 動物は視覚情報のみで自律移動 解釈さえ正しくできれば,一番リッチな情報源.

Why Image Processing?

Page 7: Si2016 発表スライド

Tsukuba Exploration Rover コンセプト

• パッシブセンサ(画像処理)だけでコースの完走をめざす!!

• 達成できれば,注目される!• パッシブセンサのみで完走したチームはいまだ無し.

• 「素人のように考え,玄人のように実行する」 by 金出先生• 動物は視覚情報のみで自律移動• 解釈さえ正しくできれば,一番リッチな情報源.

Why Image Processing?

と,いうわけで,

「素人のように考え,素人のように実

行.」

した一年の取り組みを発表します.

Page 8: Si2016 発表スライド

システム構成 ~ Hardware ~

Arduino x 2

CMOS Cam x 2

IMU

Ubuntu PC

PC Battery

Motor Battery

Components Qty Model

Platform 1 Toyota Land Cruiser – CR01 (Tamiya)

CMOS Camera 2

Camera : DFK23UM021 (Imaging Source)

Lens : 13FM22IR (Kowa)Micro

Controller 2 Arduino Leonard

PC Battery 2 700-BTL017BK (Sanwa)Motor

Battery 2 YB-S392 (Yokomo)

Servo Motor 2 MG995IMU w

Compass 1 MPU9150 (InvenSense)

DC Motor 1 AT7-146 (ATLAS)

PC 1PC : BOXNUC5I7RYHR (Intel)

OS : Ubuntu 15.04, Memory 16GB

Page 9: Si2016 発表スライド

システム構成~ Software ~

Tsukuba Exploration Rover

Arduino Controller

Camera Left

OdometryController

Camera Right

IMU

Wheel PulseRight

Wheel PulseLeft

Localization

Map Server

Free Space Detector

Stereo

GridMap (Stereo)

Odometry

ImageImage

Top View Transform GridMap

Diparity ImageImage GridMap (Color, Texture)

Odometry

Page 10: Si2016 発表スライド

Tsukuba Exploration Rover コンセプト 画像処理を用いた検知・認識

• 路面の “色・テクスチャ” ,障害物の “立体構造” を用いた自己位置認識,及び軌道計画の実施. ステレオカメラを用いた立体構造物の検出. 路面色・テクスチャ情報の抽出.

1. 映像取得

2-1. 視差計算,路面検出,構造物検出

2-2. 色,テクスチャ検出

3. 走行可能エリア検出     & マップマッチング

Page 11: Si2016 発表スライド

システム構成~ Stereo ~

• ステレオ Extrinsic, Intrinsic ともに OpenCV を使用. SGBM ( Semi Global Matching ) を使用. ソフトウェアにてシャッタータイミングを同

期.( ハードウェアトリガがサポートされておらず,同期が ms オーダーでしか実現できず,フレーム取得時にロボットを停止させる必要あり.. )

• 出力視差情報:路面上に存在する障害物の検知に利

用.vDisparity : ロボットのピッチ角推定に使用.

左右画像 視差情報,及び vDisparity

ステレオカメラ

コーナンで買った1000円のアルミステー

Page 12: Si2016 発表スライド

システム構成~ TopView Transform ~

• 鳥瞰図変換 自動車のサラウンドビューを見て,使うことを思いつく. ステレオの視差情報をもとに,ピッチ角を計算. ピッチ角情報をもとに,視点変換.

XvcYvc

Zvc

Oc

Ovc

XcYc

Zc

Ow

Zw

Xw

Yw

XY

X’Y’

HC

DVC

HVC

θ

映像取得 鳥瞰図画像模式図

Page 13: Si2016 発表スライド

• 立体構造物検知による Free Space の検出 路面を一様平面と仮定し,視差が推定路面の範囲より大きいも

のを障害物として扱う.(障害物は路面に垂直に生えていると仮定する.)

• 路面色・テクスチャ情報による Free Space の検出. ロボットの前方 1m2 内の色情報を分析し,色情報が似通って

いる場所のみを Free Space とする.

システム構成~ Free Space Detector ~

映像取得

視差取得,障害物検知

鳥瞰図変換 & 色分析 二値化

鳥瞰図変換

合成結果

Page 14: Si2016 発表スライド

システム構成 ~ Map, Localization ~

• レファレンスデータ取得のため,台車を作成. 自作ロボットでは足回りが不安定なため,

レファレンスデータ取得に不向き. ステレオカメラ,オドメトリ計測器を搭載. 大清水公園一周くらいは耐えられるオドメ

トリ

大清水公園のマップデータ

Page 15: Si2016 発表スライド

2016 年の反省と 2017 年に向けて

• いろんなこと (新しいこと,難しいこと ) がやりたくなる. 寄り道厳禁!まずは簡単,シンプルなことから取り組む.

• 開発,実機検証の小さなループを常に回す. システムとしての検証を怠らない!

• 1 年は短い! つくばチャレンジ参加者向け説明会が 7月で,ここから本番ま

で 4 か月....この段階である程度動くものがないと,ツラい...

1月 2月 3月 4月 5月 6月 7月 8月 9月 10月

11月

12月

本番

試走会シーズン

説明会

Page 16: Si2016 発表スライド

2016 年の反省と 2017 年に向けて

• いろんなこと (新しいこと,難しいこと ) がやりたくなる. 寄り道厳禁!まずは簡単,シンプルなことから取り組む.

• 開発,実機検証の小さなループを常に回す. システムとしての検証を怠らない!

• 1 年は短い! つくばチャレンジ参加者向け説明会が 7月で,ここから本番ま

で 4 か月....この段階である程度動くものがないと,ツラい...

1月 2月 3月 4月 5月 6月 7月 8月 9月 10月

11月

12月

本番

試走会シーズン

説明会

戦いは,もうすでに始まっている!

Page 17: Si2016 発表スライド

ご清聴,ありがとうございました.2017 年も,よろしくお願いします ( ・ ω ・ )

Page 18: Si2016 発表スライド

Appendix

Page 19: Si2016 発表スライド

質問事項

• つくばチャレンジへの参加目的と達成度合い 画像処理技術,自律走行のための知識・方法論に対する理解を深める. (40%) 実際にモノづくりを通して,スキルの向上を図る. (100%)

• 技術的目標と目標達成のために必要であった基本的技術要素 技術的目標 「パッシブセンサのみを用いたコースの完走」 必要であった基本的技術要素:無数にあったような気がしています...

• システム構築における既存システムの利用 ROS (ノード間通信 ) , Arduino (モータ制御,センサコントロール ) , OpenCV ( 画

像処理のための枠組み )

• つくばチャレンジの経験や成果を生かしていく具体的な計画 仕事とある程度リンクしているので,習得した技術はそのままダイレクトに役立って

います.

Page 20: Si2016 発表スライド

画像処理部の作成 試験走行で発覚した課題

• 日向,日陰の対処