ディープラーニング物体検出アルゴリズムを応用した

検出地物の地理空間データ化と差分管理に係る取り組み

小林裕治・大島聡

A Study of Geospatial Data Conversion using Deep Learning

Real-Time Object Detection Algorithm

Yuji Kobayashi and Satoshi Oshima

Abstract: In recent years, technological progress of real-time object detection using deep learning

has been remarkable, various algorithms have been proposed, and improvements in detection speed

and accuracy have been attempted. Therefore, in this research, we consider the application of the

technology in the depreciable asset management business out of the fixed asset tax business of the

local government. As an implementation example we apply the real-time object detection algo-

rithm "YOLOv3" and the open source deep learning framework "Darknet" Detecting specific geo-

graphical features from a large amount of aerial photographs, making geospatial information im-

mediately, and establishing a mechanism to manage aging.

Keywords: 深層学習（deep learning :ディープラーニング）, リアルタイム物体検出（Rea

l-time detection）, 航空写真判読, 固定資産税, 償却資産

1. はじめに

ここ数年, ディープラーニングを活用した Object

Detection（画像から検出した物体領域のクラス分類）

の技術的進化が著しい. とりわけリアルタイム物体

検出に関しては, YOLO（Joseph Redmon ら 2015）,

SSD（Wei Liu ら 2016）などのアルゴリズムが提唱

されており, 年々検出速度と精度の向上が図られて

いる. リアルタイム物体検出は, クラス分類の前工

程において映物体候補の短径領域を検出するため,

数値化された短径領域と分類結果を組み合わせるこ

とによって, 次のアクションへのトリガーとして,

広く応用できる技術である.

そこで YOLO を応用して, 大量の航空写真画像か

ら対象地物を即時検出するシステム（以下 判読シス

テム）を構築し, 地方自治体の固定資産（償却資産）

実態把握業務への適用について検討した. 具体的に

は恵那市役所税務課資産税係に提供頂いた航空写真

画像をもとに, 判読システムを用いて太陽光発電施

設（以下 ソーラーパネル）を検出し, 精度検証・評

価を行った.

2. 判読システムの実装

ソーラーパネルの検出に用いた判読システムの概

要について述べる. リアルタイム物体検出アルゴリ

ズムには, YOLO の最新版 YOLOv3（Joseph Redmon

ら 2018）を採用した.

2.1. YOLOv3 の特徴

YOLOv3は, ResNetベースのDarknet53を使用した

106 層の fully convolutional network である. 出力部に

全結合層を用いていた YOLOv1 とは大きく異なる.

小林裕治 〒460-0012 名古屋市中区千代田 1-12-5

株式会社オービタルネット

Phone: 052-249-3350

E-mail: y-kobayashi@orbitalnet.jp

また, ショートカットレイヤとアップサンプリング

レイヤ, 3 層の異なるサイズの検出レイヤを持つ

Feature Pyramid Network（Tsung-Yi Lin ら 2017）のよ

うな構造が特徴である（図-1）. YOLOv2 と比較して,

ネットワークが複雑化したことによる検出速度の低

下はみられるが, 検出精度向上を実現している.

図- 1 YOLOv3 のネット―ワーク構造

YOLO は物体検出と分類を同じネットワークで実

現している. その仕組みを解説する. 出力層の特徴

マップはセルに分割され, セル単位で物体候補を内

包する短径（Bounding Box）を複数（本件では 3）保

持することができる. 特徴マップにはオブジェクト

性スコア, 短径の中心座標 x, y, width, height, クラ

ス確率 × 分類クラス数の情報が格納される（図-2）.

13

13

1

1

18

Feature Map

BB(1) BB(2) BB(3)

Detect Layer 1

×B

*本件ではソーラーパネルの１クラスBounding Box

図- 2 YOLOv3 による物体検出の仕組み

2.2. 判読システムの構成と機能概要

判読システムは, YOLO の考案者が公開してい

る YOLO 実装を含むディープラーニング・フレーム

ワーク Darknet*2をベースに構築した（表-1）。

表-1 判読システムの構成

CPU Core i7770K

メインメモリ 32GB

GPU NVIDIA GeForce GTX1080Ti 11GB

OS Ubuntu16.04 LTS

CUDA 8.0

cuDNN 6.0

OpenCV 3.2.0

物体検出アルゴリズム YOLOv3

ディープラーニング・フレームワーク Darknet

開発言語 C, Python2.7

NoSQLデータベース MongoDB v3.4.15

GIS QGIS2.8.6 with Mongo Connector Plugin

Darknet のソースコードを改良するなどして, 『フ

ォルダ内の画像を連続処理する機能』,『画像上の短

径座標と物体カテゴリー名, 推定確率を地理空間情

報に変換する機能』,『既知のデータとの差分抽出機

能』,『NoSQL データベース MongoDB に登録する機

能』及び『GeoJson, CSV に出力する機能』などを実

装した. CNN の検出処理を通して MongoDB への登

録, GeoJson及びCSVファイル出力まで, 連続して処

理が流れる仕組みになっており , 検出結果は

GeoJsonのコレクションとしてMongoDBに登録され,

QGIS で即時に確認できる（図-3）. NoSQL データベ

ースを選択した理由は, 検出地物の属性を自由に拡

張・変更できるようにするためである.

画像上の検出位置座標

検出位置地理座標化

オルソ画像ワールドファイル

GeoJson

学習済モデル（ウェイト）

判読対象オルソ画像データセット

GeoJson

既存地物コレクション

差分情報付与

YOLOv3

GeoJson地物コレクション

シリアライズ

シリアライズ

mongoDB

QGIS

Darknetをベースにした判読システム

図- 3 判読システムのワークフロー

2.3. 差分抽出の仕組み

判読システムを用いて新たに検出したすべての地

物に対して, 既知のソーラーパネル短径との重なり

度合いを IoU（Intersection over Union）を用いて数値

化し（図-4）, 設定した閾値を超えた場合に新設ソー

ラーパネルと定義した. 現在のところ閾値は 0.5 に

設定している.

IoU は YOLO の学習時において, 検出した物体候

補領域と正解物体領域との整合度を計る指標にも用

いられている.

出典: Ayoosh Kathuria, 2018. What’s new in YOLO v3? *1

IoU =Area of OverlapArea of Union

Area of Overlap Area of Union

図-4 IoU（Intersection over Union）

3. ソーラーパネルの学習

3.1. 留意点

地方自治体の多くが保有していると思われる 50

cm 解像度の航空写真画像を判読に使用できるよう,

同程度の画像を学習用に収集することにした. ただ

し, 航空写真撮影時の空気の状態や, 使用写真が非

可逆圧縮されている場合など, 鮮明さが保たれてい

ない画像も多く存在することから, 結果として50cm

～1m まで粒度を揃え, 不特定多数の航空写真画像

を収集した. 1m までとしたのは, それ以上になると

正解ラベル付けが困難になるからである.

3.2. 教師用データセット（正解ラベル）作成

上記条件のもと BBox-Label-Tool*3 を使用し, 収

集した航空写真にラベル付けを行った. 本件のクラ

ス分類は地上設置のソーラーパネルのみである.

900 枚の元画像を回転するなどして水増しした

4000 枚超の画像からソーラーパネルを目視判読

し, ソーラーパネルを内包する短径のピクセル座

標をファイル出力した. 学習には, この座標デー

タと判読元の画像データをペアで使用する.

3.3 学習モデル構築

上記教師用データセットを Darknet に入力し, 反

復学習を行った. YOLOv3 のネットワーク定義ファ

イルにはDarknetに搭載されている yolov3-voc.cfgを,

ウェイトの初期値にはDarknet53.conv.74を指定した.

学習の反復回数は 32,000 とした.

3.4 学習モデル（ウェイト）の評価

教師用データから取り分けた 250 枚の評価用画像

セットを Darknet に入力し, 学習過程で得られた学

習モデル（ウェイト）を CNN のウェイトに設定し

てモデルの性能評価を行った. 結果のみ示す.

, ,

P = 0.981, R = 0.938, F = 0.959

Total Detection Time 4.586sec.

4. ソーラーパネルの検出

4.1. 恵那市航空写真画像を用いた検出

恵那市役所に提供頂いた航空写真画像データのう

ち, 40㎝解像度のデータセットから1,000px×750px,

4,780 枚の検証用データを作成した. これらを判読

システム(検出閾値=0.5)に入力した結果, 430 件の

検出地物（ソーラーパネル候補）が得られた（図-5）.

検出地物は航空写真上で全件目視検査を行った.

また判読漏れについても航空写真上を網羅的に目視

走査し, 検出漏れしたソーラーパネルを集計した.

大規模ソーラーパネルの中には分割検出されたもの

があったが, すべて正としてカウントした. 航空写

真の接合部も同様である. これについては教師デー

タ作成時に, 分割して正解ラベルを付与したことに

起因していると考えられる.

4.2. 検証結果

ソーラーパネルという, 色, 形状, サイズ, 数量

など多様で統一性のない地物にもかかわらず, 検証

結果は precision 0.951, recall 0.949 と良好であった.

表-2 検証結果

relevant（正） not relevant（誤）

True Positive (TP) False Positive (FP)

409 21

False Negative(FN) True Negative(TN)

22 ‐

retrieved（検出）

not retrieved（未検出）

, ,

P = 0.951, R = 0.949, F = 0.950

Total Detection Time 191.077sec.

図-5 検出したソーラーパネル候補の分布

とりわけ検出速度は 25枚/secと, リアルタイム物

体検出の特徴を遺憾なく発揮した結果といえる. 仮

に日本全国の航空写真画像を対象に判読を行ったと

しても, 2 日かからず判読が終了する計算になる.

4.3. GIS による管理

結果地物は GeoJson コレクションとして NoSQL

データベース MongoDB に自動登録され, 即時 GIS

で確認できる. 図-6 は, QGIS を用いて航空写真画

像上に検出地物をオーバーレイ表示した例である.

図-6 GIS に展開（左：ポイント, 右：ポリゴン）

誤検出の例もあげておく. ビニールハウス, ゴミ,

畑, 墓, 工場の屋根, 水面のハレーションなどが誤

検出の代表であるが, 図-7 のように目視で容易に判

定できるものも含まれている.

図-7 誤検出の例

5 今後の課題

本取り組みは, 判読システムの精度検証に重きを

置いたものであった. 検証結果は前述したとおり良

好であった. ただし, 検出漏れが多いことからも

学習用データのパターンを増やすなどして再現率を

さらに高め, 実業務に耐えうるものとしたい.

次の展開として, 今回実装した差分抽出機能を実

際の異動判読業務に活用し, さらに通信鉄塔やガラ

ス温室など, 同時に検出する地物を増やしながら償

却資産全般の業務改善に取り組んでいきたい.

6. おわりに

太陽光発電は, クリーンエネルギーとして良いイ

メージがある反面, 大規模な開発に伴う自然環境破

壊, ごみ問題, 償却資産課税などの問題が如実にな

っている. この対策に取り組んでいる恵那市役所に

よると, ソーラーパネルの所在・所有者の実態把握

にかなりの労力を割いているにも関わらず, 数パー

セントの誤差が発生している.

これに対して判読システムは, 目視判読と同様に

検出精度での課題は残るが, ソーラーパネルの検出

と地理空間データ化の工程が即時完了するため, 後

工程の現地調査・検証に工数を費やすことが可能で

ある. とりわけ人間の作業工数がかかる工程におい

て効果を発揮する.

最後になるが, 判読システムはディープラーニン

グという汎用的な技術をベースにしている. 学習モ

デルを替えることにより他業務での応用, ひいては

幅広い分野への展開が可能であろう.

7. 謝辞

本稿を作成するにあたり,検証用航空写真の提供,

検出結果の検証など, 恵那市役所税務課資産税係の

皆様に多大な協力を頂きました. ここに感謝の意を

表します.

参考文献

Joseph Redmon, Santosh Divvala, Ross Girshick, Ali

Farhadi, 2016. You Only Look Once: Unified, Re-

al-Time Object Detection, Cornell University Library,

arXiv: 1506.02640v5.

Dragomir Anguelov, Dumitru Erhan, Christian Szegedy,

Scott Reed, Cheng-Yang Fu, Alexander C. Berg, 2016.

SSD: Single Shot MultiBox Detector, Cornell Univer-

sity Library, arXiv: 1512.02325v5.

Joseph Redmon, Ali Farhadi, 2018. YOLOv3: An Incre-

mental Improvement, Cornell University Library，

arXiv: 1804.02767.

Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He,

Bharath Hariharan, Serge Belongie, 2017. Feature

Pyramid Networks for Object Detection, Cornell

University Library, arXiv: 1612.03144v2.

*1 https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b*2 https://pjreddie.com/darknet/*3 https://github.com/puzzledqs/BBox-Label-Tool