Droneの自立飛行による 新たな撮影方法の提案

LINK B2　water 親chocoさん

概要 �  Droneを用いた旅行中における新たな撮影方法の提案

シナリオ

�  友人と旅行！ ↓

�  思い出を残したい ↓

�  撮影係になる ↓

�  写真が無い

問題意識 �  旅行中に撮影を行う人というのはだいたい決まっている

�  撮影役の人の写真が少ない �  全員での写真が少ない

�  疲労が溜まってきたり話に夢中になってるときは写真を撮らない �  楽しかったりする瞬間を必ず撮影しているとは限らない

目的 �  旅行者全員を認識して常に自動で撮影を行ってくれるカメラマンに代わる装置を作成する

イメージ

関連研究

�  Flying Eyes:Free-Space Content　Creation Using Autonomous Aerial Vehicles •  Jun Rekimoto Keita Higuchi Yoshio Ishiguro •  撮影対象である人間との位置関係を計測しながら追跡する無人ヘリコプターの自律飛行を実現

アプローチ 1.  自律飛行

�  画像解析を行い焦点を当てられた人物が常にカメラの中心にくるような飛行を続け設定人数を認識する事により撮影

2.  複数人認識方法 �  複数人認識方法として顔認識を用いる

アプローチ手順

事前準備

探索フェーズ

発見・追跡フェーズ

探索発見フェーズ

撮影

アプローチ手順① 1.  事前準備

�  旅行者の顔データをDroneに記憶させる

アプローチ手順② 2.探索フェーズ

�  Droneを起動させ前方方向に飛ばす

�  一定の距離離れたところで１回転する事によりターゲットとなる人物を探索

アプローチ手順③ �  発見・追跡フェーズ

�  旅行者のうち１人(顔)を発見し焦点とする

�  焦点を画面の中央に来るようにtrackingする

アプローチ手順④ �  探索発見フェーズ

�  焦点を中心としたまま事前に認識した全ての人を検知するようドローンを移動

今期取り組んだ事

事前準備

探索フェーズ

発見・追跡フェーズ

探索発見フェーズ

撮影

今期取り組んだ事 �  発見・追跡フェーズ

�  旅行者のうち１人(顔)を発見し焦点とする

＊今回は顔がカメラの前に存在する事を前提とする

�  焦点が画面の中央に来るようにtrackingする

機能要件 1.  顔認識

2.  tracking

顔認識方法 �  Droneカメラ性能

�  30fps

�  640×480 �  広角レンズ：画角92°

�  Opencvを使用 �  顔認識、顔座標を取得

�  画像の処理速度が遅くなってしまった為、画像のサイズを1/2に変更

Tracking方法 �  認識した顔の顔座標とその１つ前に認識した顔の顔座標の差によって上下左右前後、それぞれにtrackingを行う

システム構成図

顔認識モジュール

Drone飛行モジュール

左右調整モジュール 上下調節モジュール

Drone

前後調整モジュール

0.5秒に一度座標をもとに計算

評価(顔認識)

�  AR Droneのカメラを用いて顔認識の精度の確認

�  顔の向き �  カメラとの距離 �  環境

評価手法(顔認識) �  １mごとにカメラの距離を離して、顔を認証する

�  顔の向き：前、横

�  環境:教室、外

結果 １m ２m ３m ４m

外

前向き ○ 横向き ×

前向き ○ 顔以外を検出 横向き ×

前向き △ 顔以外を検出 横向き ×

前向き × 顔以外を検出 横向き ×

教室 （背景が単色)

前向き ○ 横向き ×

前向き ○ 横向き ×

前向き △ 横向き ×

前向き × 横向き ×

結果・考察(顔認識) �  顔を横に向けてる時は検出できない

�  3mを超えると精度が落ち、4mを超えると顔認識ができない

�  背景が単色の場合は誤って検知をすることはなかった

�  背景が単色でない場合は、顔認識に誤作動が生じていた

分類器を作成することによってこれらを解決できるのでは・・？

映像にフィルターをかける事によって，ノイズを除去できるのでは・・？

Tracking実装 �  認識した顔の顔座標とその１つ前に認識した顔の顔座標の差によって上下左右前後、それぞれにtrackingを行う

�  Droneの移動にかかる力の大きさから0.5秒に一度の顔座標をもとに計算

デモムービー

考察(tracking)

�  素早い，もしくは複雑な動きに対してはtrackingができなくなってしまう �  それぞれの方向にtrackingできているが、1つのアルゴリズムとして完成していない

�  Droneのspeedの調整が十分でない

�  ホバリングが十分に出来ない

今後の展望 �  顔認識精度の向上のためのフィルタを作成

�  斜め方向へのtracking

�  上下と前後左右方向へのtrackingを同時に行う

�  今回手をかけなかった以下のフェーズの実装を行う �  事前準備 �  探索フェーズ �  探索発見フェーズ

まとめ

�  顔認識，tracking共に最低限の動くものを作成することはできた

�  今後さらに精度を上げる必要がある