(一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019....

44
(一財)日本建設情報総合センター研究助成事業 デジカメ点群を主とした小規模構造物の 3D 変状の取得と管理手法 報告書 平成 30 8

Upload: others

Post on 30-Dec-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

(一財)日本建設情報総合センター研究助成事業

デジカメ点群を主とした小規模構造物の 3D 変状の取得と管理手法

報告書

平成 30 年 8 月

Page 2: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

助成研究者紹介

氏名: 中川なかがわ

雅史まさふみ

現職: 芝浦工業大学 工学部土木工学科 准教授(博士(環境学))

主な研究実績:

Masafumi Nakagawa, Keiichi Miwa, Shoya Nozue, Yasushi Sekiguchi, Katsuharu Hirate, Yasuaki Noda,

Masahiro Miyo, Efficiency Improvement of SfM using Image Blocks for Infrastructure Inspection, The 38th

Asian Conference on Remote Sensing 2017, 9 pages, 2017.

Masafumi Nakagawa, Koji Akano, Tamaki Kobayashi, Yasushi Sekiguchi, Relative Panoramic Camera

Position Estimation for Image-based Virtual Reality Networks in Indoor Environments, ISPRS Ann.

Photogramm. Remote Sens. Spatial Inf. Sci., IV-2-W4, pp.349-354, 2017.

Masafumi Nakagawa, Tamaki Kobayashi, Real-time Floor Recognition in Indoor Environments using TOF

Camera, The 37th Asian Conference on Remote Sensing 2016, 4 pages, 2016.

Masafumi Nakagawa,Tatsuya Yamamoto, Extraction and Classification of Building Attributes in Dense Urban

Areas using ALOS-2 and Airborne LiDAR, CEOS SAR Calibration and Validation Workshop 2016, pp.24,

2016.

Masafumi Nakagawa, Toshiaki Kamio, Hiroaki Yasojima, Tamaki Kobayashi, Geofencing-based Localization

for 3D Data Acquisition Navigation, International Archives of the Photogrammetry, Remote Sensing and

Spatial Information Sciences, Volume XLI-B4, 2016, pp.319-324, 2016.

Masafumi Nakagawa,Tatsuya Yamamoto,Shido Tanaka,Makoto Shiozaki,Tetsuya Ohhashi, Point Cloud

Acquisition using Indoor MMS, International Symposium on GNSS 2015, 6 pages, 2015.

Masafumi Nakagawa, Shido Tanaka, Tatsuya Yamamoto, Colorerd Point Cloud Reconstruction Based on

Image Inpainting, The 36th Asian Conference on Remote Sensing 2015, 7 pages, 2015.

Masafumi Nakagawa, Tatsuya Yamamoto, Shido Tanaka, Yasuaki Noda, Kazuyuki Hashimoto, Masaya Ito,

Masahiro Miyo, Location-based Infrastructure Inspection for SABO Facilities, The International of the

Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-3/W3, ISPRS Geospatial

Week 2015, pp.257-262, 2015.

Masafumi Nakagawa, Tatsuya Yamamoto, Shido Tanaka, Makoto Shiozaki, Tetsuya Ohhashi, Topological 3D

modeling using indoor mobile lidar data, The International of the Photogrammetry, Remote Sensing and

Spatial Information Sciences, Volume XL-4/W5, pp.13-18, 2015.

Page 3: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

目次

第 1 章 はじめに

第 2 章 デジカメ画像を用いた従来型 SfM/MVS 処理

第 3 章 SfM/MVS 処理の効率化

第 4 章 全天球カメラ利用による撮影時間短縮

第 5 章 TOF カメラを用いた実時間メッシュモデル作成

第 6 章 構造物情報管理のためのアブストラクションおよびモデリング

第 7 章 まとめ

参考文献

Page 4: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 1 章 はじめに

構造物の点検・管理において,「数をこなすこと」を目指すのであれば,外業時間の短さや実績

の高さを鑑みる限り,紙媒体を主体とした従来型点検で十分である.一方で, Building

Information Modeling(BIM)や Construction Information Modeling(CIM),i-Construction などの

枠組みの目的に沿うならば,画像計測や測位,通信技術,3D モデリングを主体とした次世代型

点検・管理が必須となる.BIM および CIM とは,社会資本の計画・調査・設計・施工・維持管理に

至るまでの事業全体にわたる関係者間で,3D モデル上で情報共有をすることで,建設生産シス

テム全体の効率化・高度化を図るものである.また,i-Construction とは,ICT 活用によって建設プ

ロジェクト全体の効率化を図るものである.近年では,先端的測量器械(測量用 UAV や地上設置

型レーザースキャナ,モバイルマッピングシステム)を用いた大・中規模構造物の計測事例が増え

ている(図 1-1).

図 1-1.大・中規模構造物の計測事例(左図:地上設置型レーザースキャナを利用した橋梁の計

測事例,右図:測量用 UAV を利用した砂防堰堤の計測事例)

しかしながら,小規模構造物を対象にした場合は,計測環境の制約(UAV 空撮やレーザー計

測のための空間を確保できない)や,費用対効果の低さ(得られる成果に対して,使用機器が高

価すぎる),点検・管理の実施主体がもつ制約(技術者不足や,技術力不足,予算不足)といった

課題があり,先端的測量器械の適用は容易ではない(図 1-2).

図 1-2.既往手法との提案手法の比較

メリット

デメリット

従来型点検(紙媒体) ドローン空撮,レーザー計測

・実績がある

・完全性を担保できない・計測ノウハウが必要・記録精度が主観に依存

・記録が客観的・点検漏れを⼤幅に減らせる・CIMに対応できる

・CIM対応が不完全

・外業時間が短い

提案⼿法

・記録が客観的・点検漏れを⼤幅に減らせる・CIMに対応できる

・導⼊コストが⾼すぎ

・⼩規模構造物の計測に適さない

・導⼊リスクが低い・低性能センサで⾼分解能

①⼩回りの効く3D計測

・従来型点検とほぼ同コスト

⾃動・⾼精度に情報重畳できるので,2回⽬(例︓5年先)以降の点検を⼤幅に⾃動化できる

点検の「数をこなす」ならば,従来型点検が簡単

2回⽬以降の点検結果と重ならない

点検結果を補修・管理へ⼗分活⽤できない

CIMを円滑に全国展開できない

CIMの全国展開で必須

ディープラーニング⽤学習データの⾼度化

⼤・中規模構造物の点検や施⼯管理への適⽤

地⽅⾃治体や中⼩企業による3D計測と利⽤の促進

発展性

②GPSに依存しない変状位置データ管理

③点群上での変状の位置情報管理

新規性

Page 5: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

測量用 UAV 測量や地上設置レーザースキャニングに依存する手法では,CIM 等にもとづく構

造物の点検・管理を容易に全国展開できず,構造物の更新や長寿命化をはかる補修を効果的に

実施できない可能性が高い.その理由は前述のとおりであるが,特に「費用対効果の低さ」が大き

い.図 1-3 は,縦軸を構造物規模,横軸を計測コストとして,現状の UAV 測量およびレーザー測

量をマッピングしたものであり,構造物規模が小さく,計測コストを抑えた 3D 計測手法の開発が必

要であることを示している.また,図 1-4 は,縦軸を構造物規模,横軸を計測時技術需要として,

現状の橋梁計測技術需要を図化したものであり,大規模構造物の計測手法が多く提案されてい

る一方で,小規模構造物に適した3D計測手法がそれほど提案されていないことを示している.計

測コストはハードウェアの低コスト化により,費用対効果の改善ができる可能性があるが,依然とし

て,計測環境の制約と,点検・管理の実施主体がもつ制約に関する課題が残る.そのため,低コ

ストで小回りのきく計測とその利用方法を提案する必要がある.

図 1-3.現状の UAV 測量およびレーザー測量 図 1-4.現状の橋梁計測技術

低コストで小回りのきく計測方法は,表 1-1 のように整理できる.これらの手法のうち,すでに地

方自治体による構造物の点検・補修において活用されているデジタルカメラ(デジカメ)をより利活

用するための手法に着目した.

表 1-1.小規模橋梁の 3D データ取得方法の比較

構造物規模

計測コスト

LiDAR(1億円級)

LiDAR(2000万円級)

LiDAR(500万円級)

UAV(5000万円級)

UAV(500万円級)

UAV(50万円級)

JACIC研究のターゲット

空撮許可が必要なので,漸減率

が低い

地上計測なので,計測コストは低い

H28福島

H28江東

⾼ 計測技術需要

構造物規模

ゲートブリッジ級

橋⻑10m

計70万橋

⼩規模構造物に適した計測⽅法がそれほどない

⼤規模構造物に適した計測⽅法は提案されている

JACIC研究のターゲット

⾮測量⽤UAV(SfM/MVS)

⼿持ちカメラ(SfM/MVS)

ヘッドマウント型TOFカメラ(SLAM)

基準点設置 ×(要) ×(要) ✔(不要)点密度 ×(不均⼀) ×(不均⼀) ✔(ほぼ均⼀)相対精度 ✔(⾼くできる)✔(⾼くできる)×(数cm程度)コスト(機材) ×(⼗数万円) ✔(数万円) ×(数万円〜数⼗万円)迅速性(計測) ×(低い) ×(低い) ✔(⾼い)迅速性(処理) ×(⻑時間) ×(⻑時間) ✔(実時間)作業安全性 ×(低い) ✔(⾼い) ✔(⾼い)

Page 6: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

本研究では,多視点の地上撮影のデジカメ画像から生成する高密度点群をデジカメ点群,さら

に変状の計測結果を 3D 変状と定義する.デジカメ点群は,多視点から撮影した画像を用いて,

Structure from Motion(SfM)[1]および多視点ステレオ(Multi-view Stereo: MVS)[2]により得る.

SfM/MVS 処理の関連研究は JACIC の既往研究でも数件取り組まれており,適用可能な対象が

多いと報告されている.しかしながら,既往ソフトウェアや処理環境の制約により,取得できる対象

が構造物の一部でしかないことが課題である.また,デジカメ点群への位置情報の付与による

GIS・BIM ソフトウェア上での管理や,変状特定の自動化,変状の変化・変化量検出,点群への

意味づけの完全自動化には十分に至っていない.そこで,本研究では,3D 計測の実施事例が

乏しい小規模道路橋を対象とし,構造物全体のデジカメ点群の取得とその利活用方法の検討を

目的とする.

本報告書は,「第 1 章 はじめに」と「第 7 章 まとめ」を含む全 7 章で構成する.「第 2 章 デジ

カメ画像を用いた従来型 SfM/MVS 処理」では,レーザー計測と比較した画像計測の優位性,お

よび,構造物計測における SfM/MVS 処理の意義について述べる.また,橋梁を対象とした

SfM/MVS 処理では,橋梁全体の抜けもれない撮影が求められることを説明するとともに,小規模

橋梁の場合でも大量の撮影画像が必要であるために,計測コストと処理コストに課題があることを

述べる.

「第 3 章 SfM/MVS 処理の効率化」では,構造物計測における SfM/MVS 処理の効率化を目

的とし,画像群のブロック化にもとづく画像組合せ候補の絞り込みに着目して,広域・低分解能画

像群と局所・高分解能画像群を入力データとした SfM/MVS 処理の効率化について述べる.

「第 4 章 全天球カメラ利用による撮影時間短縮」では,構造物計測における SfM/MVS のため

の撮影時間コスト改善を目的とし,複数位置で撮影した全天球画像から,多視点の中心投影画

像を生成し,それらの画像群から点群を生成する手法について述べる.

「第 5 章 TOF カメラを用いた実時間メッシュモデル作成」では,コンクリート桁橋および鋼桁橋

の小規模橋梁点検におけるデジカメ点群の生成における課題を抜本的に解決する方法の検討と

して,面的に測距できる Time-of-Flight(TOF)カメラの活用,および,ヘッドマウント型 TOF カメラ

によるメッシュモデルの実時間生成に関する検証実験について述べる.

「第 6 章 構造物情報管理のためのアブストラクションおよびモデリング」では,構造物計測にお

ける衛星測位の課題に着眼し,衛星測位に依存しない,変状の位置情報の管理手法として,属

性情報の位置情報を点群上で直接取得し,点群上で属性情報を管理するアプローチを述べる.

さらに,点群から 3D モデルへ変換する際の中間処理をアブストラクション処理として提案し,ネッ

トワーク情報を持つセグメントモデルの活用例を述べる.

Page 7: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 2 章 デジカメ画像を用いた従来型 SfM/MVS 処理

計測コストや計測精度,空間分解能の面では,レーザー計測と比較して,カメラを用いた 3D 計

測(画像計測)が優位である. 既往研究では,コンクリート供試体を計測対象とした固定基線ステ

レオを用いた近接計測により,高精度,高空間分解能な 3D データ計測,および,ひび割れ図化

の自動化を低コストに実現できることを確認できている(図 2-1).さらに点群レジストレーション処

理を適用した時系列ステレオ画像処理により,コンクリートひび割れ進展を高精度に捉えられるこ

とも確認できている[3].しかし,局所観測にもとづく手法のために橋梁全体を扱えるほどのスケー

ラビリティがない点と,写真測量に関する専門知識を伴う現地作業が必要である点が課題である.

専門知識を伴う現地作業が必要である点は,基準点測量を伴う地上写真測量も同様である.

図 2-1.固定基線ステレオによるコンクリートひび割れの計測

一方で,写真測量に関する専門知識に乏しい技術者であっても扱える画像計測手法として,

Structure from Motion/Multi-view Stereo(SfM/MVS)による手法に着目できる.SfM とは,

Scale-invariant feature transform(SIFT)[4]や Speeded Up Robust Features (SURF)[5],Binary

Robust Invariant Scalable Keypoints(BRISK)[6],Binary Robust Independent Elementary Features

(BRIEF)[7],Fast Retina Keypoints (FREAK) [8],Oriented FAST and Rotated BRIEF(ORB)

[9]などの特徴記述子を利用した画像マッチングにより複数画像間の対応点を取得し,Random

Sample Consensus(RANSAC)[10]などを利用して外れ値を除去し,計測対象の疎点群とカメラ位

置姿勢を同時推定する処理である.また,MVS とは,SfM で得られた計測対象の疎点群とカメラ

位置姿勢を利用して,ステレオ計測により高密度点群を得る処理である.これらの処理は,手作

業を大幅に不要とする処理であるため,誰でも同じ品質の点群を得ることができる.近年では,

PhotoScan ( Agisoft , http://www.agisoft.com/ ) や Pix4D ( Pix4Dmapper , https://pix4d.com/ ) ,

Image Master(TOPCON,http://www.topcon.co.jp/)など,SfM/MVS のソフトウェアが充実しており,

UAV 測量などを主として,写真測量に関する専門知識に乏しい技術者であっても,処理内容をあ

る程度理解できれば,高密度点群を取得できるようになっている.デジカメで橋脚を周回撮影した

画像を入力データとした SfM/MVS の処理例を図 2-2 に示す.

0.033 mm accuracy (3D), subpixel image estimation

ひび割れ幅=最⼤ひび割れ幅

現実の課題クラックスケール

3D計測v.

任意箇所の3D座標値を取得(計測)可能

Page 8: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 2-2.SfM/MVS で生成した橋脚のデジカメ点群(図左:入力画像,図右:出力結果)

SfM/MVS で得られるデータは点群である.入力データである画像上で対応する各画素から色

情報を点群に対して付与することができるため,SfM/MVS では色付き点群を得ることができる.

点群のスケールファクタは,基準点測量をしたマーカー点や,地上設置型レーザースキャナで取

得した色付き点群上の対応点,UAV 測量で利用する対空標識の中心点を,SfM/MVS 入力画像

もしくは点群上で取得し,推定する.また,得られた点群から,TIN モデルやサーフェスモデルを

生成できる.さらに,TIN モデルやサーフェスモデルに対して,入力データである画像からテクス

チャ情報を貼り付けることで,テクスチャモデルを生成できる(図 2-3).

図 2-3.SfM/MVS で生成した橋梁の 3D データ(左上:色付き点群,右上:TIN モデル,左下:

Surface モデル,右下:テクスチャモデル)

Page 9: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

TIN モデルやサーフェスモデルの生成は自動化が可能ではあるが,一般的には点群からのノ

イズ除去やモデリングに失敗した箇所の修正作業が必要であり,SfM/MVS 処理と比較すると手

作業が多い.3D 変状の生成において,凍害やはく離,はく落のように,デジカメ点群で十分に形

状を表現できる変状については,進展を捉えるための形状記録という面では,必ずしもテクスチャ

モデルの生成は必要ではないといえる(図 2-4).一方で,塗膜剥がれや鉄筋露出のように,形状

だけではなく色情報もあったほうが進展を捉えやすい変状については,テクスチャモデルを生成

することが好ましい(図 2-5,図 2-6).また,遊離石灰のように,形状のみで進展を捉えられないた

めに色情報が極めて重要な変状については,テクスチャモデルの生成が必要であると考える(図

2-7).いずれの変状も,局所的に 3D 変状を生成する場合,平面的な変状であれば十数枚,隠ぺ

い領域を含む変状であれば 100 枚程度の撮影画像を SfM/MVS 処理への入力データとすれば,

十分に再現できることを確認している.以上の変状のほか,従来型の目視点検では図 2-8 に示す

流れで変状(図 2-9)を記録していくが,3D 変状の記録についてもこの流れの中で実施できる.

図 2-4.凍害の 3D 変状 図 2-5.塗膜剥がれの 3D 変状

図 2-6.はく離・鉄筋露出の 3D 変状 図 2-7.遊離石灰の 3D 変状

はく離鉄筋露出

Page 10: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 2-8.目視点検の流れ

図 2-9.変状の種類

3D 変状は,橋梁全体のデジカメ点群上で関連付けることで有効に活用できる.これにあたって,

まず橋梁全体のデジカメ点群を生成するが,橋梁全体のデジカメ点群の生成は,橋梁全体を抜

けもれなく,SfM/MVS 処理用の画像を撮影することが必要である.橋梁全体の抜けもれない撮影

とは,橋梁表面全体を多視点かつ画像間の重複(オーバーラップ率は 90%を目安とする)を十分

に確保して撮影することであり,ある領域の画像が 2 枚以上撮影されていることである.まんべん

なく橋梁表面全体を目視する目視点検の流れに沿って画像を撮影することで,これを実現できる.

橋上空間においては,高欄により生じる隠ぺい領域を減らすため,左岸・右岸間を最低 3 往復し,

計 6 測線の撮影を基本とする(図 2-10).

図 2-10.橋上空間の計測方法

Water flow⽬視(全景)

⽬視(橋⾯舗装)

⽬視(排⽔装置)

⽬視(⾼欄)

打⾳(橋⾯舗装)

⽬視(床版)

⽬視(橋台・橋脚)

⽬視(伸縮装置)

橋上

橋下

左岸 右岸

視線⽅向

歩⾏位置計測1

計測3

計測5

計測2

計測6

計測4

変状

初期⽋陥

劣化

損傷

施⼯時に⽣じるもの

時間の経過に伴って進⾏するもの

地震や交通事故で発⽣したもの

(アルカリシリカ反応,塩害,など)

環境条件はく離ひび割れ

はく落浮きさび汁遊離⽯灰

スケーリング

変⾊

断⾯⽋損

ゲル

鋼材腐⾷付帯設備の損傷

使⽤条件荷重条件外観

伸縮継ぎ⼿の不良異常なたわみや振動

Page 11: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

計 6 測線で撮影した画像を入力データとした,橋上空間のデジカメ点群の生成例(使用カメラ:

DSC-HX60V(Sony)および DMC-LF1(Panasonic))を図 2-11 に示す.比較結果として,地上設置

型レーザースキャナの計測結果を図 2-12 に示す.デジカメ点群の生成結果は,地上設置型レー

ザースキャナで取得した色付き点群と,ほぼ同じ再現性を持つことを確認できる.

図 2-11.橋上のデジカメ点群

図 2-12.地上設置型レーザースキャナで取得した橋上の色付き点群

橋下空間においては,橋上空間における撮影方法に準じ,下部工や床版,主桁,高欄の外面

などを撮影する(図 2-13).主桁や横構,対傾構などにより隠ぺい領域が生じる場合は,撮影にお

ける多視点性および画像間の重複に留意する.水位が低く,流速が遅い河川であれば,川の中

に入って床版と正対する位置から橋下空間を撮影できる.水位が高い場合は,舟やマイクロドロ

ーンからの撮影を検討できる.

図 2-13.小規模橋梁の計測の流れ(概略)

橋下空間へのアプローチ

橋上空間での計測

左岸 右岸

Page 12: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

コンクリート桁橋全体のデジカメ点群の計測例(使用カメラ:DSC-HX60V(Sony)および

DMC-LF1(Panasonic),入力画像枚数:3000 枚,使用ソフト:VisualSFM)を図2-14 に示す.また,

同じ橋梁を地上設置型レーザースキャナで取得した色付き点群を図 2-15 に示す.デジカメ点群

には,一部欠損がみられるものの,地上設置型レーザースキャナで取得した色付き点群と,ほぼ

同じ再現性を持つことを確認した.

図 2-14.コンクリート桁橋のデジカメ点群

図 2-15.地上レーザースキャナで取得したコンクリート桁橋の色付き点群

Page 13: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

鉄橋(鋳錬混合)全体のデジカメ点群の計測結果(使用カメラ:DMC-LF1(Panasonic),入力画

像枚数:2,000 枚,点群数:4,650 万点,使用ソフト:VisualSFM)を図 2-16 に示す.また,同じ橋梁

を地上設置型レーザースキャナで取得した結果を図2-17に示す.全体的に,デジカメ点群は,地

上設置型レーザースキャナで取得した色付き点群と,ほぼ同じ再現性を持つことを確認した.さら

に,支承周辺など,地上設置型レーザースキャナで計測しづらい狭隘な領域をデジカメ点群で再

現できていることを確認した.

図 2-16.鉄橋のデジカメ点群

図 2-17.地上レーザースキャナで取得した鉄橋の色付き点群

Page 14: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

橋梁全体の抜けもれない撮影ができていれば,上記のデジカメ点群の生成例のような結果を得

ることができる.しかしながら,撮影における多視点性および画像間の重複が不十分である場合,

橋梁全体のデジカメ点群の生成に失敗することが多い.撮影における多視点性および画像間の

重複が不十分となりやすい箇所は,橋上空間と橋下空間のつなぎ目にあたる領域や,橋上空間

の領域(舗装面と高欄の上流側,高欄の下流側のつなぎ目)が挙げられる.これらの箇所は,橋

梁から離れた位置からの撮影や,ポールカメラを利用した撮影などで得た,引き撮影の画像(橋

梁表面までの撮影距離を長くした画像)を数枚から数十枚加えることで,解決できることが多い.

しかしながら,橋梁周辺に家屋や樹木が密集している場合は,このような撮影は容易ではない.

また,橋下空間の床版・支承周辺は照度が低いことが多いため,デジカメ撮影におけるブレや

ボケが発生しやすい.ISO 感度を上げすぎた撮影は,画像にノイズが含まれるため,精度の良い

特徴点抽出および対応点検出が困難となる.また,床版の撮影が上向きの撮影であることから,

逆光での撮影となることが多いが,シャッター速度や絞りなどを自動設定で撮影した場合,橋梁表

面が真っ暗な画像となるため,カメラのダイナミックレンジが不足する場合は,特徴点抽出および

対応点検出が不十分となる.さらに,綺麗な塗装面やコンクリート面のような,画像特徴量が不足

する箇所については,特徴点抽出および対応点検出が不十分となる.これらを要因として,デジ

カメ点群の生成に失敗することが多い.上記を要因とした,橋下空間の計測における失敗例(使

用カメラ:DSC-HX60V(Sony),使用ソフト:VisualSFM)を図 2-18 に示す.

図 2-18.橋下空間の計測結果例(左図:デジカメ点群,右図:地上設置型レーザースキャナで取

得した結果)

橋梁を対象とした SfM/MVS 処理では,橋梁全体の抜けもれない撮影が求められるが,小規模

橋梁の場合でも 1000~3000 枚程度の大量の撮影画像が必要である.SfM/MVS 処理を 1000~

3000 枚の画像群に適用した場合は,1~3 日程度の処理時間が必要であり,計測コスト(撮影時

間)に加えて,膨大な処理コストがかかる点に課題がある.計測コストと処理コストに関する課題を

解決するために,SfM/MVS 処理の効率化(第 3 章),および,全天球カメラ利用による撮影時間

短縮(第 4 章)を検討した.

Page 15: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 3 章 SfM/MVS 処理の効率化

構造物のデジカメ点群を取得する場合,コンクリートひび割れを判読できる程度の分解能で画

像を撮影するとともに,構造物全体を多様な位置・方向から撮影する必要がある.構造物全体を

広域・低分解能画像群で構成し,劣化損傷がある箇所のみを局所・高分解能画像群で構成した

としても,点群再構成に必要な撮影枚数が膨大となる.さらに,広域・低分解能画像群と局所・高

分解能画像群で構成された画像群に SfM/MVS 処理を適用する場合,対応画像数が全体的に

少ないため,画像マッチングを総当たり法で処理することは,極めて非効率である.そこで本研究

では,画像群のブロック化にもとづく画像組合せ候補の絞り込みに着目して,広域・低分解能画

像群と局所・高分解能画像群を入力データとした SfM/MVS 処理の効率化を行った.

提案手法を図 3-1 に示す.従来型 SfM/MVS 処理と異なる点は,いくつかのブロックに分類さ

れた画像群を入力データとすることと,画像組合せ候補の絞込みを行うことである.まず,主ブロッ

ク,および,いくつかの副ブロックに分類された画像群を入力データとする.主ブロックには計測

対象全体の点群を再構成できる画像群を格納し,各副ブロックには計測対象上の一部に関する

高密度点群を再構成できる画像群を格納する.各ブロック内の画像群は未ソート状態とする.

図 3-1.提案処理の流れ(概略)

画像組合せ候補の絞込み方法を図 3-2 に示す.縦軸・横軸は画像番号であり,塗りつぶし箇

所は画像対の存在を示す.図 3-2 のように,画像組合せを表にしたものを本研究ではマッチング

マトリックスと呼称する.各ブロック内については総当たりでの画像マッチングを適用する.各ブロ

ック間の画像マッチングでは,画像対が疎となることを考慮して,画像マッチングの対象とする画

像を選定する.まず,副ブロック内で対応点数の多い画像をいくつか選定する(①).次に,副ブ

ロック内で選定された画像の対応画像を主ブロックから選定する(②).副ブロックおよび主ブロッ

クで選定された画像群をブロック間の画像マッチングの対象とする.以上のように,各ブロック内

およびブロック間の画像マッチング対象を決定することで,画像組合せ候補を絞込む.

Main block

Sub-block 1

Camera pose estimation

Dense point cloud

Sparse point cloud

Multi-view stereo

Sub-block 2

Features (outline)

Features 1

Features 2

Feature extraction Image matching

Page 16: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 3-2.画像組合せ候補の絞込み方法(入力画像数 16,主ブロック数 1,副ブロック数 2 の画像組

合せ例)

上記の手法を評価するため,3 種類の予備実験を実施した.1 つめの予備実験は,画像組合

せ候補数の削減と,主ブロックの大きさの関係性に関するものである.図 3-3 は,全体画像数と主

ブロックの画像数との比率による違い(ただし,副ブロック数が 10,3 サンプリングライン数 3 の場

合)を比較した結果であり,主ブロックが小さいほど,画像組合せ候補が非線形で削減できること

を示している.たとえば,主ブロックがマッチングマトリックスの 60%を占有している場合,画像組

合せ候補を約 1/2 に削減できる.

図 3-3.画像組合せ候補数の削減と,主ブロックの大きさの関係性

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

①Sampling line

Sparse block

② Specified combination

Main block

Subblock 1

Subblock 2

The

num

ber

of m

atch

ing

The number of input images1000900800700600500400300200100

×103

500

400

450

350

250

300

200

100

150

50

0.9

0.8

0.7

0.6

0.5

0.40.30.2

The number of sub-blocks = 10

The number of sampling lines = 3

The

size

of m

ain

bloc

k in

all

imag

es

When a main block occupies 60% of a matching matrix, the figure shows that the number of image combination candidates can be reduced to about one half.

Page 17: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

2 つめの予備実験は,画像組合せ候補数の削減と,副ブロック数の関係性に関するものである.

図 3-4 は,副ブロック数と画像組合せ候補数を比較した結果(ただし,主ブロックの占有率は 40%,

かつ,サンプリング数 1)であり,副ブロック数が増えるにしたがって,画像組合せ候補数が非線形

で減少することを示している.たとえば,2 つの副ブロックが存在する場合,画像組合せ候補数を

約 1/3 に削減できる.

図 3-4.画像組合せ候補数の削減と副ブロック数の関係性

3 つめの予備実験は, 各副ブロック内のサンプリングライン数と画像組合せ候補数の削減の関

係の関係性に関するものである.図 3-5 は,サンプリングライン数と画像組合せ候補数を比較した

結果(ただし,主ブロックの占有率は 40%,かつ,副ブロック数 10)であり,サンプリング数が減るに

したがって,画像組合せ候補数が減少することを示している.

図 3-5.サンプリングラインと副ブロック数の関係性

The number of input images1000900800700600500400300200100

The number of sub-blocks = 10

81716151413121111

91

The

num

ber

of s

ampl

ing

lines

The ratio between main block and all images = 40%

×103

500

400

450

350

250

300

200

100

150

50

The

num

ber

of m

atch

ing

The figure shows that fewer sampling lines reduces the number of image combination candidates.

The number of input images1000900800700600500400300200100

1

23456

0

The

num

ber

of s

ub-b

lock

s

The ratio between main block and all images = 40%

The number of sampling lines = 1

×103

500

400

450

350

250

300

200

100

150

50

The

num

ber

of m

atch

ing

When two subblocks exist, the figure shows that the number of image combination candidates can be reduced to about one-third of the initial candidate.

Page 18: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

芝浦工業大学・大宮キャンパスにある護岸や擁壁,コンクリートベンチ(図 3-6)を計測対象とし

て,提案手法の評価実験を行った.デジタルカメラ(DMC-LF1, Panasonic)を用いて手持ち撮影

した画像(1920×1080 ピクセル)を入力データとした.入力画像枚数,主ブロック数,および,副ブ

ロック数を表 3-1 にまとめる.特徴抽出および画像マッチングには Speeded Up Robust Features

(SURF)を MATLAB(Intel Core i7-6567U, 3.30GHz,シングルスレッド)上で適用した.また,SfM

および MVS には,Bundler および PMVS ライブラリを適用した.

図 3-6.計測対象(図左上:revetment,図右上:concrete bench,図左下:retaining wall (1),図右

下:retaining wall (2))

表 3-1.入力画像枚数,,主ブロック数,および,副ブロック数

データセット 1 を用いたマッチング結果を図 3-7 に示す.図左上は従来手法におけるマッチング

マトリックス,図右上は従来手法におけるマッチング結果,図左下は提案手法におけるマッチング

マトリックス,図右下は提案手法におけるマッチング結果を示している.左図のマッチングマトリック

ス内の白領域は,画像マッチングにおける画像組合せ候補を示す.また,黒領域は画像マッチン

グにおいて省略された画像組合せ候補を示す.図左下のマッチングマトリックスは,取得された画

像が主ブロックと副ブロックで構成されていることを赤い領域で示している.図右のマッチングマト

リックスは,各画像の画像マッチングにおける対応点数を対数(log2)で濃淡表示しているもので

ある.データセット 1,2,4 における主ブロック内のマッチング候補数は,主ブロックの画像群が往

復移動で撮影したため,副ブロックのそれらよりも疎であることがわかる.また,図右上の結果(従

来手法におけるマッチング結果)と,図右下の結果(提案手法におけるマッチング結果)を比較に

よって,提案手法が画像マッチング候補数を削減できていることを示している.

Dataset Measured object The number of input images The number of main block The number of sub-blocks1 Revetment 104 1 12 Concrete bench 78 1 23 Retaining wall (1) 126 1 34 Retaining wall (2) 268 1 10

Page 19: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 3-7.マッチングマトリックスとマッチング結果(dataset 1)

データセット 2,3 および 4 を用いた結果を図 3-8,3-9 および 3-10 に示す.これらの結果より,

提案手法が各マッチングマトリックス内の画像組合せ数を削減できることを確認できる.

図 3-8.マッチングマトリックスとマッチング結果(dataset 2)(左図:従来手法によるマッチング結果,

右図:提案手法によるマッチング結果)

図 3-9.マッチングマトリックスとマッチング結果(dataset 3)(左図:従来手法によるマッチング結果,

右図:提案手法によるマッチング結果)

10080604020

10080604020100

80

60

40

20

The number of reference images

The number of base images

The number of base images

The number of base images

The number of base images

1

0

2

3

4

5

67

8

9log2(Pm)Pm :The number of matching points

10

2

3

4

56

7

8

9log2(Pm)Pm :The number of matching points

10080604020100

80

60

40

20

The number of reference images

100

80

60

40

20

100

80

60

40

20

10080604020

10080604020The number of reference images

The number of reference images

Main block

Sub-block 1

10

23456789 log2(Pm)

Pm :The number of matching points

10

706050403020The number of reference images

10

10

70

60

50

40

30

20

The number of base images

10

23456789 log2(Pm)

Pm :The number of matching points

10

706050403020The number of reference images

10

10

70

60

50

40

30

20

The number of base images

10

23456789

12010080604020

120

100

80

60

40

20 log2(Pm)Pm :The number of matching points

The number of reference images

The number of base images

10

23456789

120

100

80

60

40

20 log2(Pm)Pm :The number of matching points

The number of base images

12010080604020The number of reference images

Page 20: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 3-10.マッチングマトリックスとマッチング結果(dataset 4)(左図:従来手法によるマッチング結果,

右図:提案手法によるマッチング結果)

カメラ位置姿勢推定および疎点群生成の結果を図 3-11 に示す.カメラ位置姿勢が実際の撮影

位置を再現できていることを確認した.

図 3-11.カメラ位置姿勢と疎点群の再構成結果(図左上: dataset 1 (revetment),図右上: dataset

2 (concrete bench),図左下:dataset 3 (retaining wall 1),図右下:dataset 4 (retaining wall 2))

1

0

2

3

4

5

6

7

8log2(Pm)Pm :The number of matching points

25015010050The number of reference images

200

100

50

150

200

250

The number of base images

1

0

2

3

4

5

6

7

8log2(Pm)Pm :The number of matching points

25015010050The number of reference images

200

100

50

150

200

250

The number of base images

Page 21: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

密点群生成結果を図 3-12 に示す.提案手法が SfM/MVS のための画像マッチング処理の一

部を省略したとしても,点群を十分に再構成できることを確認した.

図 3-12.密点群の再構成結果(図左上:データセット 1(revetment),図右上:データセット 2

(concrete bench),図右下:データセット3(retaining wall 1),図右下:データセット4(retaining wall

2))

定量評価結果を下記に示す.まず,画像マッチングと点群生成の処理結果を表 3-2 に示す.

各データセットを用いた実験結果において,提案手法により,従来手法と比較して,画像マッチン

グにおけるステレオペア数を削減できたことを確認できる.一方で,生成点群数を従来手法と提

案手法間で比較した場合,それほど違いがないことを確認した.これらの結果は,提案手法が画

像マッチング処理の効率を改善していることを示している.

表 3-2.画像マッチングと点群生成における処理結果

また,従来手法と同程度の安定性で密点群を再構成できたと同時に,表 3-3 に示すように,探

索画像候補数の削減,および,画像マッチング処理時間の削減が提案手法によってできることを

確認した.さらに,データセット内に占める副ブロックが多い場合,提案手法が十分に機能するこ

とを確認した.画像組合せ候補の削減率は,データセット 1 において 79%(4258 [pairs] / 5356

Dataset 1 2 3 4Candidates in image matching [pairs] 5356 3003 7875 35778Generated point cloud [pts] 82202 198581 280028 607522Candidates in image matching [pairs] 4258 1993 4663 11510Generated point cloud [pts] 82493 192975 314331 642779

ConventionalmethodologyProposedmethodology

Page 22: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

[pairs]),データセット 4 における画像組合せ候補の削減率は 32%(11510 [pairs] / 35778 [pairs])

であった.これらのデータセット間の主な違いは,副ブロック数である.そのため,予備実験で示し

た通り,副ブロック数が増えるにしたがって,提案手法の性能が向上することを示せている.

表 3-3.画像組合せ候補の削減率

従来手法と提案手法の処理時間を表 3-4 に示す.処理は,特徴点抽出,画像マッチング,SfM,

および,密点群生成(MVS)で構成される.特徴点抽出においては,提案手法と従来手法で同じ

画像および画像数を扱っているため,提案手法の処理時間は,従来手法の結果とほぼ同じであ

った.SfM と密点群生成においても,ほぼ同様の処理時間であることを確認できた.しかしながら,

画像マッチングにおいては,提案手法と従来手法間で違いがあり,データセット 1 においては処

理時間を 89% (387 [s]/433 [s]),データセット 2 においては処理時間を 73% (331 [s]/453 [s]),

データセット 3 においては処理時間を 79% (181 [s]/230 [s]),データセット 4 においては処理時

間を 54% (280 [s]/518 [s])短縮できたことを確認した.

表 3-4.処理時間

Dataset 1 2 3 4Feature Detection [s] 44 40 44 89Image matching [s] 433 453 230 518Structure-From-Motion [s] 65 51 77 190Dense reconstruction [s] 171 212 515 640Feature Detection [s] 44 40 44 89Image matching [s] 387 331 181 280Structure-From-Motion [s] 58 44 74 146Dense reconstruction [s] 214 217 283 686

Conventionalmethodology

Proposedmethodology

Dataset 1 2 3 4The number of sub-blocks 1 2 3 10

79% 66% 59% 32%(4258/5356) (1993/3003) (4663/7875) (11510/35778)

Reduction rate of imagepair candidates

Page 23: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 4 章 全天球カメラ利用による撮影時間短縮

小規模橋梁を対象として橋梁全体の抜けもれない撮影をする場合, 1000~3000 枚程度の大

量の撮影が必要であり,撮影時間コストがかかる点に課題がある.SfM/MVS 処理のための手持

ちデジカメによる撮影は,数名の撮影者による並行作業が可能である.しかしながら,撮影者数が

多すぎる場合は,他の撮影者が点群として生成されたり,他の撮影者が撮影の障害物となったり

するため,作業効率が悪化する.そこで,SfM/MVS のための撮影時間コスト改善を目的とし,1 回

の撮影で 360 度空間の全天球画像が取得可能な全天球カメラを用いることに着眼した.複数位

置で撮影した全天球画像から,多視点の中心投影画像を生成し,それらの画像群から点群を生

成すること(全天球画像 SfM)を試みた.

提案処理は,全天球画像撮影,撮影者除外処理,投影変換,SfM,および,3D モデリングで

構成される(図 4-1).撮影者除外処理では,異なる位置にいる撮影者が写った全天球画像を 2 枚

撮影し,差分処理によって,撮影者を除外した全天球画像 1 枚を生成する.また,一般的な SfM

ソフトウェアは,中心投影画像を入力データとしており,全天球カメラで撮影した正距円筒投影の

画像は対応していないため,投影変換において,正距円筒投影の画像を全天球カメラの主点を

原点とする中心投影に変換し,1 枚の全天球画像から多方向の中心投影画像を生成する(図

4-2).

図 4-1. 提案処理の流れ

図 4-2.投影変換

小規模橋梁,立体交差下,ボックスカルバート,および,屋内空間を実験対象とし(表 4-1),提

案手法の評価実験を行った.全天球カメラには,THETA S(RICOH)(図 4-3)を用いて,Wi-Fi 接

続によってモバイル端末から全天球画像を遠隔撮影した.

Mercator to Centric (18 directions)

Page 24: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

表 4-1. 実験対象一覧

図 4-3.全天球カメラ(THETA S,RICOH)

SfM/MVS および 3D モデリングの処理結果を図 4-に示す.また,入力画像と投影後の画像枚

数,投影変換処理時間(Intel Xeon 3.07GHz),SfM および MVS 処理時間(Intel Core i5-6200U

2.30GHz),点群取得の結果を表 4-2 に示す.

図 4-4.SfM/MVS および 3D モデリング結果(上図:疎点群,下図:テクスチャモデル)

Image size 14 M pixels (5376×2688)

Focus distance 10 cm - ∞

Sensor (s) 1/2.3 CMOS (×2)

Weight 125 g

実験対象 実験場所 撮影⽇ 天候1 荒川⼤暗渠砂防堰堤下 福島市荒井地蔵原 2017年8⽉25⽇ 晴れ2 K橋 F市 2017年9⽉27⽇ 曇り3 S橋 F市 2017年9⽉29⽇ 晴れ

4東武東上線ボックスカルバート内

朝霞市本町 2018年1⽉7⽇ 晴れ

5国道357号浦安IC⽴体交差下

浦安市海楽 2018年1⽉9⽇ 晴れ

6豊洲校舎研究棟9階東側EVホール

江東区豊洲 2018年1⽉14⽇ 屋内

Page 25: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

表 4-2. 各実験データの処理画像枚数,処理時間(投影変換,SfM/MVS),点群取得の成否

さらなる撮影時間の短縮が可能であるか,屋内空間において Theta S を 4 台同時に撮影し(図

4-5),点群生成をする追加実験を実施した(図 4-6).計測対象をまんべんなく撮影する点では,

短時間に多視点画像を大量に撮影できることを確認できたが,SfM/MVS 処理にかかる時間が膨

大となる課題が顕著となった.

図 4-5.Theta S を 4 台組み合わせたカメラ

図 4-6.屋内環境のマッピング例

実験対象正距円筒画像[枚]

投影画像[枚]

投影変換[分]

SfM/MVS[分]

点群取得成否

1 荒川⼤暗渠砂防堰堤下 49 1764 41.3 456.3 〇K橋(橋上) 54 1944 58.2 819.7 〇K橋(橋下) 32 1152 29.3 494.0 〇S橋(橋上) 52 1872 48.1 573.4 〇S橋(橋下) 60 2160 55.7 999.3 〇

4東武東上線ボックスカルバート内

182 6552 167.4 8189.3 〇

5国道357号浦安IC⽴体交差下

137 4932 125.9 2578.7 〇

6豊洲校舎研究棟9階東側EVホール

78 2808 71.2 462.9 〇

2

3

Page 26: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

UAV 測量では,GNSS 測位で取得した撮影位置データによって得られる,複数のカメラ位置を

再現する幾何ネットワークデータを利用することで,SfM/MVS 処理の効率化が可能である.しか

し,橋梁点検においては,GNSS 測位が不安定もしくは不可な橋下空間での撮影が含まれるため,

高精度な測位を期待できない.この課題に対して,全天球画像の対応点情報から,撮影位置の

相対位置関係を把握する手法の検討が有効であることに着目した.そこで,全天球画像間を相

対的に接続するネットワークデータを作成する手法を提案し,いくつかの実験を通して,その性能

検証を行った.

提案手法は,主として,画像補正,特徴点および対応点検出(SURF など),カメラ移動方向

推定,および,ネットワークデータ生成で構成される(図 4-7).カメラ位置姿勢推定には,Structure

from Motion(SfM)法を適用できる.さらに,全天球画像を入力画像とする場合でも,複数方向に

撮影した中心投影画像へ変換することで,SfM を適用できる.しかしながら,対応点検出処理に

おける画像の組合せ数は,入力画像枚数に対して,二次関数的に増加する問題があり,カメラ位

置姿勢推定におけるボトルネックとなる.ここで,全天球画像を直線状もしくは格子状に等間隔で

撮影することを制約条件とすることで,対応点検出処理における画像の組合せ数を減らす(n 枚の

画像を入力した場合,対応点検出処理における画像の組合せ数を n-1 通りに減らす).

図 4-7.処理の流れ

カメラ移動方向推定においては,まず,特徴マッチングで得た対応点間のオプティカルフロー

を画像組合せごとに推定する.次に,全天球画像を直線状もしくは格子状に等間隔で撮影すると

いう制約条件にもとづくとともに,全天球画像の 4 方位ごとにオプティカルフローの特徴的な方向

性が現れることを利用して,カメラの相対移動方向を推定する(図 4-8).

Image 1

Feature detection and corresponding

point detection

Camera translation estimation

Network data generation

Image rectification

Features 1

Image 2

Features 2

Image 3

Features 3

...

...

Image N

Features N

Optical flows 1

Optical flows 2

Optical flows N-1

ΔX1,ΔY1 ΔX2,ΔY2 ΔX(N-1),ΔY(N-1)

X1,Y1 X2,Y2 X3,Y3 ・・・ XN,YN

Network data

Page 27: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 4-8.カメラ移動方向推定

ネットワークデータ生成においては,1 枚目の全天球カメラ座標値を原点とし,なおかつ,カメラ

間の相対移動量を 1 とし,各天球カメラの相対位置および移動軌跡を推定する.全天球カメラの

移動軌跡が直線状であれば,各カメラ位置をノードとして,隣接するノード間にリンクを生成する.

全天球カメラの移動軌跡が格子状である場合は,4 方位(90 度間隔),もしくは,8 方位(45 度間

隔)にある再近隣のノードとのリンクを生成する.

全天球カメラ THETA S(RICOH)を三脚上に固定して,スマートフォンで遠隔撮影した.等間隔

での撮影と,撮影方位を一致させた撮影,床面からの撮影高を同一とした撮影を全天球画像の

撮影条件とした.実験対象を表 4-3 に示す.

表 4-3.実験対象

データセット 撮影間隔 画像枚数

Indoor (Corridor 1) 50 cm 15

Indoor (Corridor 2) 100 cm 31

Indoor (Room) 60 cm 9

Indoor (Elevator hall) 60 cm 27

Indoor (Stairs) 100 cm 37

Translation direction

360315225135450Horizontal angle [deg]

180

0

Vertical angle [deg]

90

Translation direction

360315225135450Horizontal angle [deg]

180

0

Vertical angle [deg]

90

Feature point in the previous image

Feature point in the current image

Page 28: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

カメラ移動方向推定結果の一部を図 4-9 に示す.複数のカメラ位置を再現する幾何ネットワーク

データ生成結果を図 4-10 に示す.また,画像読み込み,対応点検出(SURF),カメラ移動方向推

定に関する処理時間(処理環境:Intel Core i7-U 3.30 GHz,MATLAB(シングルスレッド))を表

4-4 に示す.

図 4-9.カメラ移動方向推定結果(図左:Elevator hall(実際の経路(左)と推定結果(右)),図右:

Room(実際の経路(左)と推定結果(右))

図 4-10.複数のカメラ位置を再現する幾何ネットワークデータ生成結果(Elevator hall)(図左:推

定経路,図中央:4 近傍ネットワーク,図右:8 近傍ネットワーク)

表 4-4.処理時間

Data set The number of acquired images Image loading [s] SURF [s] Translation estimation [s]

Corridor 1 15 8.8 32.4 4.4

Corridor 2 31 15.3 67.8 8.0

Room 9 4.6 18.0 2.4

Elevator hall 27 15.4 64.5 5.7

Stairs 37 17.5 75.7 9.1

Estimated path

XY

4-neighbor network

8-neighbor network

Actual path Estimated path

XY

XY

Actual path Estimated path

XY

XY

1 2 3 1 2 3

6 5 4 6 5 4

7 8 9 7 8 9

Page 29: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 5 章 TOF カメラを用いた実時間メッシュモデル作成

小規模橋梁を対象とした SfM/MVS 処理では大量の画像群を扱うため,SfM/MVS 処理の効率

化や,全天球カメラを利用した撮影効率の向上を検討したが,いずれの手法においてもスケール

ファクタ取得のための基準点(マーカー)設置が必要である点で,計測コストに課題がある.そこで,

デジカメ点群の生成における課題を抜本的に解決する方法の検討として,基準点が設置不要で

あるとともに,面的に測距できる Time-of-Flight(TOF)カメラ[11]の活用に着目した.さらに,コンク

リート桁橋および鋼桁橋の小規模橋梁点検を対象として,ヘッドマウント型 TOF カメラによって,メ

ッシュモデルの実時間生成を近接目視点検との同時作業で実現できるかを検証した.

点検者にヘッドマウント型 TOF カメラを装着することで,近接目視点検と同時に 3D 計測をする

ことを本研究の基本的な考え方とする.TOF カメラの計測可能範囲は一般的に 3~5m 程度であ

ることを考慮し,点検者が橋梁表面をまんべんなく近接目視をすることを制約条件とする.デジカ

メ点群生成のための画像撮影と同様に,まず,点検者の移動空間を橋上空間と橋下空間に分類

する.橋上空間においては,高欄により生じる隠ぺい領域を減らすため,左岸・右岸間を最低 3

往復し,計 6 測線の計測を基本とする.橋下空間では,橋上空間における計測方法に準じ,下部

工や床版,主桁などのメッシュモデルを取得する.

提案手法の検証実験として,小規模橋梁(コンクリート桁橋および鋼桁橋)を計測対象とした実

験を実施した.ヘッドマウント型 TOF カメラには,HoloLens(Microsoft)(図 5-1)を選定した.

HoloLens の諸機能のうち,赤外線による深度センサと SLAM 処理[12, 13]の組み合わせにより,

周辺環境の凹凸情報をメッシュモデルとして実時間生成する機能を利用し,近接目視点検作業

をしながら,オフライン処理でメッシュモデルを生成した(図 5-2).

図 5-1.HoloLens(Microsoft)

図 5-2.計測風景

重量 579g電源 2.5A/5.2V(内蔵バッテリーで2〜3時間連続稼働)CPU Intel 32 bit architectureGPU Custom built Microsoft Holographic Processing Unit

デプスセンサ 1個(120°×120° FOV)IMU 1個環境認識カメラ 4個(グレースケール)

基本性能

メッシュデータ取得に⽤いるセンサ

Page 30: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

HoloLens で得たコンクリート桁橋のメッシュモデルを図 5-3 に示す.橋上空間,橋下空間とも,

安定的にメッシュモデルを生成できることを確認した.

図 5-3.コンクリート桁橋(左:橋上,右:橋台周辺)

HoloLens で得た鋼桁橋のメッシュモデルを図 5-4 に示す.また,結果比較として,同対象を

UAV 測量で計測した結果を図 5-5 に示す.

図 5-4.鋼桁橋のメッシュモデル(左:橋上,右:橋台周辺)

Page 31: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 5-5.UAV 測量結果

コンクリート桁橋のメッシュモデリングの結果と同様に,鋼桁橋の橋上空間は安定的にメッシュ

モデルを生成できることを確認した.さらに,鋼桁橋のメッシュモデル上で橋長を簡易測定し,橋

長 42m に対して,42.14m(4 測線の平均値)を得られた.一方で,鋼桁橋の橋下空間のメッシュモ

デル生成には安定性に課題があることを確認した.コンクリート床版のように,厚みのある計測対

象は安定的に計測できたが,鋼桁橋の主桁や横構,対傾構など,厚さが 10mm 程度の計測対象

は,TOF カメラの計測精度の低さを要因として,メッシュモデルに欠損が生じることを確認した(図

5-6).

図 5-6.鋼桁橋のメッシュモデル内の欠損

⽋損箇所

Page 32: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 6 章 構造物情報管理のためのアブストラクションおよびモデリング

構造物上の変状の情報(属性情報)は,目視点検や非破壊検査(図 6-1)で得ることができる.

従来手法では,目視点検や非破壊検査で得た属性情報を,現況写真とともにスプレッドシート上

で整理することが一般的である.しかしながら,このようなデータ整理法では,属性情報を台帳や

帳簿上で活用できるものの,データとして活用することは困難である.属性情報を直接的にデー

タとして活用するためには,属性情報を BIM モデルへ埋め込むことが求められる.

図 6-1.非破壊検査(左から,赤外線検査,RC レーダ探査,反発度法,表面塩分濃度試験)

属性情報を BIM 上で管理するうえでは,目視点検や非破壊検査で得た属性情報に,高精度

な位置情報を付与することが求められる.位置情報は衛星測位で得ることが簡便であり,

RTK-GNSS 測位(1~3cm 精度)や,VRS/FKP-GNSS 測位(15cm 精度),GNSS 単独測位(1~

10m 精度)などを選択できる.しかしながら,橋下空間は測位環境が悪く,衛星測位を適用できな

いため,衛星測位にもとづく位置情報取得は橋上空間に限定されるという課題がある.さらに,変

状の位置情報管理を 1cm~サブメータ精度で実施する場合は,GNSS 単独測位は選択肢から外

れ,RTK-GNSS 測位や VRS/FKP-GNSS 測位などを適用することになるが,RTK-GNSS 測位や

VRS/FKP-GNSS 測位には高価な多周波 GNSS 受信機が必要であるため,運用コストの課題があ

る.そのため現時点では,高精度な測位を低コストで実施できる一周波 RTK-GNSS 測位(図 6-2)

や基本観測量に搬送波位相を利用する単独測位である精密単独測位 (PPP : Precise Point

Positioning)に着目ができる.

図 6-2.GNSS 測位にもとづく位置情報の取得

しかしながら,一周波 RTK-GNSS 測位や精密単独測位であっても,高精度測位の可否は

GNSS アンテナの品質に依存する可能性が高い.そこで,まず,GNSS アンテナの品質によって,

Page 33: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

測位精度がどの程度変化するか確認するために,廉価な GNSS アンテナと測量用 GNSS アンテ

ナの比較実験をオープンスカイ環境下で実施した.一周波 GNSS 受信機に EVK-7P(u-blox)を

使用し,300 エポックを定点観測で得た測位結果を図 6-3 に示す.

図 6-3.精密単独測位結果(左図:廉価版アンテナ使用,右図:測量用アンテナ使用)

測量用 GNSS アンテナを利用した場合は,半径 25cm 以内に収束することを確認した.一方で,

廉価な GNSS アンテナを利用した場合は,測位データの収束は半径 100cm 程度に悪化すること

を確認した.この結果は,低コストな一周波 GNSS 受信機を用いたとしても,高価な GNSS アンテ

ナを用いなければ,高精度測位は容易ではないことを示している.そのため,位置情報取得が橋

上空間に限定されるという課題とあわせて,属性情報に高精度な位置情報を低コストに付与する

手法として,衛星測位は現時点では不適当である.そこで,属性情報の位置情報を点群上で直

接取得し,点群上で属性情報を管理するアプローチに着目する(図 6-4).

図 6-4.点群上での属性情報管理

NT-0001-C (2017.09.27 16:46)

PointcloudGIS

Page 34: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

点群は,複数箇所から計測された点群の統合結果や間引き処理結果を利用することが多いた

め[14],点配置に規則性のないランダム点群として扱うことが一般的である.点群は,ポリラインや

ポリゴンと比較して,計測対象が複雑な形状であっても,その現況を冗長に再現できる.しかしな

がら,点群はそれ自体にエッジやトポロジーなどの幾何情報や,幾何ネットワーク情報,属性情報

を含まないため,土木構造物に関する情報を一元管理するための基図として利用するためには,

点群を 3D モデルへ変換することが必要であり,その自動化手法が求められている.本研究で定

義する 3D モデルとは,エッジやトポロジーなどの幾何情報を含む CAD モデルや,幾何ネットワー

ク情報と属性情報をも項目として含む Building Information Modeling (BIM)モデルを指す.

コンピュータビジョン分野では,3D モデルの表現性向上や 3D マッピング,3D プリントのための

データ変換を目的として,点群をボクセルモデルや Triangle Irregular Network (TIN)モデルへ

変換する手法が多く提案されている[15].また,幾何知識や CAD モデルを点群へ当てはめるモ

デルフィッティング処理によって点群を 3D モデルへ変換する手法 [16]は,規格が決まっている

部品を初期値として扱えるプラントの3Dモデリングへ適用しやすい.一方,土木構造物はプラント

と異なり,規格が決まっている部品の集合体とはいえないため,モデルフィッティング処理を適用

しにくい.土木構造物の 3D モデル化では,図 6-5 に示すような結果を得る,エッジや領域情報を

利用した点群のセグメンテーション[17, 18]に優位性がある.

図 6-5.点群のセグメンテーション処理例

そこで,点群から3Dモデルへ変換する際の中間処理をアブストラクション処理として提案すると

ともに,点群と 3D モデルの中間モデルとして,ネットワーク情報を持つセグメントモデルを提案す

る.提案手法は,ポイントベースドレンダリング[19]を主体とし,点群のレンダリング,クラスタリング,

ポリゴン抽出,および,幾何ネットワーク推定で構成される.点群から 3D モデルへ変換する際の

中間処理に関する既往手法には,点群のセグメンテーション[20]があるが,出力結果にセグメント

間の幾何ネットワーク情報を含まない点で提案手法と異なる.本研究では,地上設置型レーザー

スキャナで橋梁を計測した点群を用いて,点群と 3D モデルの中間モデルに提案手法がなり得る

かを検証する.

Page 35: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

一般的な利用における諸3Dデータ形式の特徴を表6-1に示す.法線ベクトルおよびエッジ(境

界線)の列には,各 3D データ形式が法線ベクトルおよびエッジ情報を保持するかをまとめている.

幾何検索および属性検索の列は,各 3D データ形式が幾何検索および属性検索に対応するかを

まとめている.

表 6-1.一般的な利用における各データ形式の特徴

幾何検索は,バッファリングやボロノイ分割を利用した検索処理であるが,本研究では幾何ネッ

トワーク情報に基づいたバッファリング探索処理や最短経路探索処理などを指す.また,属性検

索は属性データを用いた検索処理を指す.

CAD モデルは図面利用を目的とした,幾何ネットワーク情報や属性情報を持たないポリライン

およびポリゴン形式のモデルとする.角柱や円柱などのプリミティブの集合体も CAD モデルへ含

むものとする.また,BIM モデルはポリラインおよびポリゴン形式のモデルであり,シミュレーション

などの解析が可能なモデルとする.GIS データは BIM モデルへ含むものとする.

点群から 3D モデルへの変換処理の汎用性を向上するための中間処理をアブストラクション処

理として提案するにあたり,TIN モデルと,CAD/BIM モデルの中間層に位置づけられるモデル

として,幾何ネットワーク情報を持つセグメントモデルを提案する.アブストラクション処理とは,点

群を法線やエッジの情報にもとづいてセグメント化し,隣接するセグメント間をリンクで接続するこ

とで,点群への意味付けをする処理とする.ただし,提案データ形式は BIM モデルとは異なり,具

体的な属性情報を保持するものでない.

点群から,リンク接続されたセグメントを生成するための提案処理手法を図 6-6 に示す.提案手

法は,ポイントベースドレンダリングを主体とし,点群レンダリング,点群クラスタリング,ポリゴン抽

出,および,セグメントの幾何ネットワーク推定で構成される.

情報

形式 法線 エッジ 幾何検索 属性検索

点群 保持可能 不保持 対応なし 対応なし

ボクセル 保持可能 不保持 対応なし 対応なし

TIN 保持 不保持 対応なし 対応なし

提案形式 保持 保持 対応 対応可能

CAD 不保持 不保持 対応 対応可能

BIM 保持 保持 対応 対応

Page 36: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 6-6.アブストラクション処理

点群レンダリングとは,点群およびレンダリング位置情報を入力データとし,レイヤ構造を持つレ

ンジ画像(多層レンジ画像)上へ点群を投影する処理である(図 6-7).点群レンダリングによって,

法線ベクトル推定や深度推定に求められる 3D データ処理を 2D データ処理へ次元圧縮できるた

め,処理速度やメモリ消費効率の大幅な向上を実現できる.

図 6-7.点群レンダリング処理

Point cloud (X,Y,Z,R,G,B,intensity) Rendering parameters (Viewpoint, view-angles, angle resolution)Point cloud registration

Panoramic multilayered range image generation with point cloud rendering

Normal vector estimation in panoramic multilayered range image

Normal vector classification in projected image

Range image (X,Y,Z)

Range image (depth)

Range image (normal vector)

Range image (color)

Range image (intensity)

Range image (surface label)

Small region filtering (integration or exclusion)

Boundary point extraction Boundary points

PolygonsBoundary point tracing

Depth edge detection Range image (depth edge)

Geometry Network dataConnection of polygons

Abstraction model

xyProjection

Depth filtering

XDepth

Others (Normal vector, Depth edge, Surface label, etc.)

Multi-layered range image

X

ZY

Normal vector from each point is estimated in the range image

Normal vector

Measured point(X,Y,Z), (R,G,B), (Intensity)

Projection model

Spherical panorama

Direction

Cylindrical panorama Plane

- Row index- Column index

- R,G,B,Intensity

- Azimuth- Elevation

- Viewpoint

- X,Y,Z

- R,G,B,Intensity- Depth, Others

IntensityY Z R G B

Page 37: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

点群レンダリングでは,球体モデル,円筒モデル,および,平面モデルなどから,多層レンジ画

像の投影モデルを選択し,点群の位置情報(X,Y,Z)や色情報(R,G,B),反射強度値を多層レン

ジ画像上へ投影する.また,多層レンジ画像上で計算される法線ベクトル情報や深度情報も多層

レンジ画像上で保持される.球体モデルを選択する場合は,鉛直角を縦軸に,水平角を横軸にと

った多層レンジ画像が生成される.鉛直角および水平角は,レンダリング位置を原点とした点群

の相対位置から算出される.

点群のクラスタリングとは,点群を分類(グループ化)する処理であり,Mincut 法や Markov

Network を用いる方法,ファジークラスタリングにもとづく手法などがある.本研究では,多層レン

ジ画像上に投影された法線ベクトルを利用して点群をセグメントとして分類する.さらに,高速処

理性を優先し,マルチレベル・スライス分類法を基本処理として,法線ベクトルの閾値を決定する

(図 6-8).

図 6-8. 法線ベクトルを用いたクラスタリング

小規模橋梁などの構造物を計測対象とする場合は,上下 2 方向と水平 4 方向,上向き斜め 4

方向,下向き斜め 4 方向の計 14 方向で法線ベクトルを分類することで,床版や舗装面,橋台,橋

脚,地覆,高欄などを構成するセグメントとして点群を十分に分類できる.さらに,多層レンジ画像

上で隣接する平行面に関しては,深度情報を利用して分離する.これらの処理によって,任意方

向の法線ベクトルを持つ点群の集合体の境界線を多層レンジ画像上で決定する.

点群からポリゴンおよび面を抽出する場合,既往研究では,Random Sample Consensus

(RANSAC)を利用したロバストな面推定を適用することが多い.RANSAC の適用により,点群が

ノイズを含む場合であっても,最小二乗マッチング法よりも安定的に精密な面推定ができる.しか

し,乱数の利用により,処理ごとに結果が変化する課題があるとともに,繰り返し計算が必要であ

るため,処理時間に課題がある.そこで本研究では,点群追跡処理により,点群からポリゴンを抽

出する.点群追跡処理は,点群クラスタリングにおいて,多層レンジ画像上で決定した点群の集

合体の境界線をなぞる処理と定義する.

まず,ほぼ等間隔で連続的に配置された点列(トポロジーを持つ点群)を図 6-9 に示すように仮

1.0-1.0 Normal vector

Histgram of normal vector

The number of

point

[pix]

Range image (panoramic image)

Each point has a normal vector(norX, norY, norZ)

Azimuth→

Elev

atio

n

Azimuth →

Elev

atio

n

Clustering

Extracted surfaceSynchronization

(point clusters)

Multi-level slicing

Integration or eliminationSegmentation

X

Y

Z

Page 38: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

定する.この点列に対し,手前の点からの移動量と同じような移動量の位置に点があるという制約

条件を当てはめる.もし,この制約条件から外れる点があれば,これを外れ値とみなし,手前の点

からの移動量の位置へ補正する.さらに,次の点の位置を,同じ移動量をもって推定し,制約条

件の範囲内にあれば,点列の追跡処理を継続する.

図 6-9.点群追跡処理

セグメントの幾何ネットワーク化では,点群クラスタリングで決定されたセグメント間の隣接性を多

層レンジ画像上で探索し,隣接するセグメント間をリンクで接続する.幾何ネットワークとは,3D 位

置情報を保持するネットワーク情報である.

セグメントの幾何ネットワーク化は,点群が任意視点でレンダリングした場合,3D 空間上で隣接

するセグメントは,多層レンジ画像上でも隣接することを利用して,以下の手順で実行される.ま

ず,各セグメントの重心をノード位置とする.次に,多層レンジ画像上で隣接するセグメント間のノ

ードをリンクとして接続する(図 6-10).この処理により,任意のノードからの距離にある範囲検索や,

任意のノードからの階層数を指定したセグメント検索が可能となる(図 6-11).

図 6-10.多層レンジ画像上でのノードの接続

図 6-11.幾何ネットワーク化によるセグメント検索

Outlier

A position of the outlier is corrected to a suitable position using the vector from the previous pointCandidate area

for point tracing

Points with topology

X

ZY

Azimuth →

Elev

atio

n

Azimuth →

Elev

atio

n

Nodes Links

↓ ↓

Azimuth →

Elev

atio

n

X

0

1

1

2

33

Y

Z1) Tree-based retrieval 2) Range-based retrieval

Seed point Seed point

Page 39: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

実験対象として,コンクリート桁橋(1 径間,橋長 10m)を選定した.橋上および橋下の計 9 か所

に地上基準点を設置し,地上設置型レーザースキャナ(GLS-2000,TOPCON)を用いて,各地上

基準点上の約 1.5m 高の位置から,計 5000 万点の色付き点群を取得した.

図 6-12.計測対象

点群のレンダリング分解能を 0.20°,レンダリング位置を地上基準点位置+1.500m 高として処理

した結果(処理環境: CPU:Intel Core i7-6567U, 3.30GHz,および MATLAB(シングルスレッド))

を表 6-2 に示す.

表 6-2.処理結果

点群番号 点群数 セグメント数 処理時間(秒)

1 280 万点 168 27.68

2 354 万点 225 32.79

3 715 万点 1042 109.19

4 507 万点 773 82.20

5 513 万点 585 63.70

6 410 万点 498 55.08

7 699 万点 767 84.41

8 876 万点 909 99.31

9 606 万点 819 94.26

処理結果の一部を図 6-13 に示す.上段から,色情報レンダリング結果,反射強度値レンダリン

グ結果,法線ベクトル推定結果(X 方向:赤,Y 方向:緑,Z 方向:青で表現),点群クラスタリング

結果(各ラベルを色分け表示),セグメントの幾何ネットワーク推定結果,および,ポリゴン表示結

果を示している.

Page 40: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

図 6-13.アブストラクション処理結果(左図:点群番号 2,右図:点群番号 5)

図 6-13 において,提案手法によって,リンク接続されたセグメントを生成できたことを確認できる.

ただし,橋梁以外の地物(植物など)の混在や,高欄の一部欠損など,セグメンテーション処理に

は性能改善の余地があることも確認できる.アブストラクション処理で得たポリゴンデータを統合し

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

X [m]Y[m]

Z[m]

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

Azimuth [px]

Elevation [px]

50

300

250

200

150

100

100 200 300 400 500 600

X [m] Y[m]

Z[m]

Page 41: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

た結果を図 6-14 に示す.植物などの混在があるが,橋梁の概形を十分に表現できていることを確

認できる.

図 6-14.ポリゴンデータ統合結果

アブストラクション処理で得られるポリゴンの幾何精度は,取得点群の計測精度であるため,使

用する 3D スキャナによって決定される.また,セグメンテーション精度の評価は,構造物以外の地

物の混在度や構造物セグメントの欠損量などで定性評価が可能であるが,定量評価は評価手法

構築が必要である.本論文では,アブストラクション処理で得られる結果をどのように利用できるか

を以下にまとめる.

a) 基図への高密度点群の重畳と検索

局所的な画像計測により,図 6-15 に示す密点群の取得が可能である.空間分解能 0.1mm 程

度の点群は,ステレオ計測で取得可能 9)であるが,構造物全体を数百か所から計測することは非

効率であるとともに,その計測で生じる累積誤差の調整は容易ではない.一方,広域計測した疎

点群上に密点群をレジストレーションするとともに,幾何検索を可能にすることで,累積誤差調整

の問題を回避できるとともに,複数の密点群を基図上で管理できる.

図 6-15.画像計測で得た高密度点群(地覆)の例

Horizontal view

Vertical view

Page 42: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

b) 点群上での非破壊検査データの管理

非破壊検査で得られるデータは,構造物の属性情報として扱える.さらに,その位置情報は点

群上での取得が内業において可能である.さらに,変状のモデリング(図-13)と,幾何ネットワーク

情報を利用した幾何検索の組み合わせにより,非破壊検査データ間の関連性の可視化が可能と

なる.

図 6-16.変状のモデリング例

c) ウェアラブルデバイスを用いた橋梁点検への利用

橋梁点検における写真撮影や変状の記録および閲覧をハンズフリーで実現するうえで,ウェア

ラブルデバイスが有用(図 6-17)であるが,位置情報つきの点検履歴を記録および閲覧する際に,

空間参照が必須となる(図 6-18).橋上では,衛星測位による空間参照が可能である.一方で,橋

下では衛星測位が利用困難であるため,3D データとの連携が必要となる.しかしながら,ウェアラ

ブルデバイスのような非力な処理環境では,膨大な点群を処理することは容易ではない.そのた

め,セグメント化された点群(情報圧縮された点群)の利用により,3D データとの連携が可能とな

る.

図 6-17.ウェアラブルデバイスを用いた橋梁点検(ディスプレイ上への点検データの重畳)

図 6-18.ウェアラブルデバイスによる空間参照(左図:橋上空間における空間参照,右図:橋下空

間における空間参照)

Pavement

Abutment

Floor slab

Geometry Logical network

Gel

Cracks

Peeling FloatingScaling

Guardrail

on

on

10..* Free lime

Page 43: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

第 7 章 まとめ

本研究では,3D 計測の実施事例が乏しい小規模道路橋を対象とし,構造物全体のデジカメ点

群の取得とその利活用方法を検討した.

まず,レーザー計測と比較した画像計測の優位性,および,構造物計測における SfM/MVS 処

理の意義について述べたとともに,橋梁を対象とした SfM/MVS 処理における計測コストと処理コ

ストに課題があることを述べた(第 2 章).次に,構造物計測における SfM/MVS 処理の効率化を

目的とし,画像群のブロック化にもとづく画像組合せ候補の絞り込みに着目して,広域・低分解能

画像群と局所・高分解能画像群を入力データとした SfM/MVS 処理の効率化について述べた(第

3 章).また,構造物計測における SfM/MVS のための撮影時間コスト改善を目的とし,複数位置

で撮影した全天球画像から,多視点の中心投影画像を生成し,それらの画像群から点群を生成

する手法について述べた(第 4 章).さらに,コンクリート桁橋および鋼桁橋の小規模橋梁点検に

おけるデジカメ点群の生成における課題を抜本的に解決する方法の検討として,面的に測距で

きる TOF カメラの活用,および,ヘッドマウント型 TOF カメラによるメッシュモデルの実時間生成に

関する検証実験について述べた(第 5 章).最後に,構造物計測における衛星測位の課題に着

眼し,衛星測位に依存しない,変状の位置情報の管理手法として,属性情報の位置情報を点群

上で直接取得し,点群上で属性情報を管理するアプローチを述べた.さらに,点群から 3D モデ

ルへ変換する際の中間処理をアブストラクション処理として提案し,ネットワーク情報を持つセグメ

ントモデルの活用例を述べた(第 6 章).

SfM/MVS 処理の関連研究は JACIC の既往研究でも数件取り組まれており,適用可能な対象

が多いと報告されている.しかしながら,小規模構造物を対象とした撮影作業やデータ処理にお

ける課題は多い.本成果は,3D 計測の実施事例が乏しい小規模道路橋を対象とした,これらの

課題の解決事例の提示だけでなく,点群や変状の GIS・BIM ソフトウェア上での管理手法や,変

状特定の自動化,変状の変化・変化量検出,点群への意味づけの完全自動化に必要な要素技

術に関する提案をまとめたものである.本研究は,渡辺エンジニアリング株式会社(検証データ取

得,実験場関連の調整),株式会社すみれ測量設計事務所(検証データ取得,実験場関連の調

整),有限会社丸重屋(構造物属性データ取得)に協力いただき実施した.また,江東区,国土交

通省福島河川国道事務所,F 市には,実験場を提供していただいた.

当該研究期間を含め,芝浦工業大学,国土交通大学校,カトマンズ大学などにおいて,

SfM/MVS 処理を扱う測量系授業を実施している.画像撮影から点群生成までの一連の流れを通

して,より短時間に SfM/MVS 処理を理解できる教材の改善を進めており,本研究の技術的成果

とあわせて,土木技術者に展開予定である.

Page 44: (一財)日本建設情報総合センター研究助成事業 デジカメ点群 ... · 2019. 12. 11. · デジカメ点群を主とした小規模構造物の3D変状の取得と管理手法

参考文献

[1] Snavely, N., 2010, Bundler: Structure from motion (SFM) for unordered image collections. (from

http://www.cs.cornell.edu/~snavely/bundler/).

[2] Furukawa, Y., Ponce, J., 2010, Accurate, Dense, and Robust Multi-View Stereopsis, IEEE Transactions on Pattern Analysis

and Machine Intelligence, Vol. 32, Issue 8, pp.1362-1376.

[3] Masafumi Nakagawa, Futoshi Katuki, Yuichiro Isomatu, Tomohisa Kamada, Close-range stereo registration for concrete

crack monitoring, The 13th East Asia-Pacific Conference on Structural Engineering and Construction, 8 pages, 2013.

[4] Lowe, David G., 2004, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision,

Volume 60 Issue 2, pp.91-110.

[5] Bay, H., Ess, A., Tuytelaars, T., Van Gool, L., 2008, SURF:Speeded Up Robust Features, Computer Vision and Image

Understanding (CVIU), Vol. 110, No. 3, pp.346–359.

[6] Leutenegger, S., Chli, M., Siegwart, R., 2011, BRISK: Binary Robust Invariant Scalable Keypoints, Proceedings of the IEEE

International Conference, ICCV, pp.2548-2555.

[7] Calonder, M., Lepetit, V., Strecha, C., Fua, P., 2010, BRIEF: Binary Robust Independent Elementary Features. In

Proceedings of the 11th European conference on Computer vision: Part IV, pp.778-792.

[8] Alahi, A., Ortiz, R., Vandergheynst, P., 2012, FREAK: Fast Retina Keypoint, In IEEE Conference on Computer Vision and

Pattern Recognition (CVPR), pp.510-517.

[9] Rublee, E., Rabaud, V., Konolige, K., Bradski, G., 2011, ORB: an efficient alternative to SIFT or SURF, In 2011 IEEE

International Conference on Computer Vision, pp.2564-2571.

[10] Schnabel, R., Wahl, R., Klein, R. : Efficient RANSAC for Point-Cloud Shape Detection, Computer Graphics Forum, 26(2),

214-226, 2007.

[11] May, S., Droeschel, D., Fuchs, S., Holz, D., Nuchter, A., 2009, Robust 3D-Mapping with Time-of-Flight Cameras, Intelligent

Robots and Systems (IROS) 2009, IEEE/RSJ International Conference on, pp. 1673-1678.

[12] Durrant-Whyte, H., Bailey, T., 2006. Simultaneous localization and mapping (SLAM): part I, Robotics & Automation

Magazine, IEEE, Vol. 13, Issue: 2, pp. 99-110.

[13] Bailey, T., Durrant-Whyte, H., 2006. Simultaneous localization and mapping (SLAM): part II, Robotics & Automation

Magazine, IEEE, Vol. 13, Issue: 3, pp. 108-117.

[14] Bornaz, L., Rinaudo, F. : Terrestrial laser scanner data processing, In: The International Archives of the Photogrammetry,

Remote Sensing and Spatial Information Science Congress, 6.pp, 2004.

[15] Fabio, R. : From point cloud to surface : the modeling and visualization problem, International Archives of the

Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXIV-5/W10, 2003.

[16] Pu, S., Vosselman, G.. : Knowledge based reconstruction of building models from terrestrial laser scanning data, ISPRS

Journal of Photogrammetry and Remote Sensing, Volume 64, Issue 6, pp. 575–584, 2009.

[17] Jiang, X., Bunke, H. : Edge Detection in Range Images Based on Scan Line Approximation, Computer Vision and Image

Understanding, Vol.73, No.2, pp.183-199, 1999.

[18] Vosselman, G., G. H. Gorte, B., Sithole, G., Rabbani, T. : Recognising structure in laser scanning point clouds. In: ISPRS 2004:

proceedings of the ISPRS working group VIII/2 : laser scanning for forest and landscape assessment, pp. 33-38, 2004.

[19] Nakagawa, M. : Point Cloud Clustering for 3D Modeling Assistance Using a Panoramic Layered Range Image, Journal of

Remote Sensing Technology, Vol.1, Iss.3, 10.pp, 2013.

[20] Biosca, M., Luis Lerma, J. : Unsupervised robust planar segmentation of terrestrial laser scanner point clouds based on fuzzy

clustering methods, ISPRS Journal of Photogrammetry and Remote Sensing, Volume 63, Issue 1, pp.84–98, 2008.