2-1a-04 poster.ppt [互換モード]データ収集の効率化 データ処理の効率化...

1
データ収集の効率化 データ処理の効率化 可視化の効率化 ・モデルによる推定・補完 ・データの融合解析 10 2 1 180 3.3 0.1 70 58 260 63.3 1.1 0 60 120 180 240 300 処理時間() 交通状態推定 (プローブ+ツイッター) 降雪の交通影響 (降雪分布+プローブ) 多様なデータ融合による災害時のモビリティ支援に向けた災害時の リアルタイムシステムの開発 著者 川崎 洋輔* 1 桑原 雅夫* 1 木村 洋一* 2 戸高 弘統* 2 大坪 裕哉* 3 松沼 毅* 3 松永 義徳* 4 永井 慎一* 5 小宮 粋史* 6 堀口 良太* 6 所属 東北大学大学院情報科学研究科 *1 一般財団法人 日本気象協会 *2 ㈱オリエンタルコンサルタンツ *アジア航測株式会社 *4 本田技研工業株式会社 *5 ㈱アイ・トランスポート・ラボ *6 2-1A-04 カテゴリ 計測データ モデルによる推定・補完データ (1)交通 ・プローブデータ ・車両感知器 ・渋滞状況(RYG) ・予測旅行時間 (2)気象, 災害リスク ・震度 ・津波高 ・降雨量 ・降雪量 ・降雪分布 ・洪水リスク ・斜面崩壊リスク ・被災推定箇所 (3)SNS被災地画像 Twitter(テキスト, 画像) ・スマートフォン画像 ・航空写真 ・交通状態・要因( 降雪による 通行止,事故による渋滞 等) (4)GIS ・地形情報 ・道路,施設情報 1.リアルタイムシステムで扱うデータ 2 リアルタイムシステムイメージ プローブ 車両感知器 地震で建物が崩壊。 国道○号通⾏⽌だ。 データ収集 データ処理 可視化 サーバ 一次処理(データの加工・蓄積) データ提供元で計測データを加工, 圧縮し,サーバへデータ送信 気象 (降雨量) メッシュ単位の画像データを生成して送信 被災地 画像 定期的に画像集約サーバからデータ送信 集約 サーバ プローブ GPSデータを分割・圧縮し, 1 ファイルずつ送信 集約サーバ 圧縮ファイル (Zip) 航空写真 スマホ画像 GPS [全国] 降雨量[全国] ファイルシステムとデータベースを 組み合わせて一次処理を効率化一次DB データ ファイル インターネット経由で データ転送し,一次加工 ファイルシステム DBへ格納 ① インデックス (データ収集時間 と対象エリア) ② ファイルパス (1)背景;東日本大震災時の石巻市の被災と交通状況 渋滞内に津波が直撃し,多くの命が失われた(図1) 要因;発災直後に,住民は被災と交通状況が正しく 理解できていなかったため避難が遅延 (2)研究目的 モビリティの減災の視点で,災害時の被災と交通状況を リアルタイムモニタリングするシステムを開発 目標;発災後,30分以内の状況把握 多様なビッグデータ(表1)を活用し,二段階フェーズで システムを開発(図2) ◆リアルタイムシステムの開発フェーズ フェーズⅠ:計測データを一次処理し,そのまま 可視化 フェーズⅡ:融合解析技術(別途研究開発)を 取り込み,推定・予測を含む様々な 情報をリアルタイムに処理・可視化 リアルタイムにデータを処理するために,フェーズにおける一連の処理を効率化 1.データ融合解析による石巻市の津波被災の再現 [DOMINGOによる解析結果] 3. 処理時間[テストデータによる実験結果] テキスト 定期的に二次処理(一次処理データを 可視化用に加工し,二次DBに蓄積)し て可視化処理を効率化 INTERNET 渋滞(赤色リンク) に津波が直撃 5分(300秒)以下で処理 更新頻度(5分)を超えると 処理が遅延 (1)まとめ システムの全体構想とフェーズⅠ処理の効率化を検討 (2)今後の課題 ① 全データの一斉処理や連続処理を実施し,性能検証 ② 高速処理化の検討(並列処理 ) プローブ;更新 5 (300 ) 処理 260 余裕がない. ③ 今年度中にフェーズⅠのシステムを開発し,来年度以 降はフェーズⅡの開発を予定 送信 一次処理 二次処理 時間とエリアで 検索 リクエスト 被災地画像;一次DB直接参照(二次処理なし) 地図表示 範囲 可視化用データ [ 定期実行] データ抽出クエリ プローブ; JSON形式に加工して保存 気象;範囲,日時を基にした画像 探索用のディレクトリ構成で保存 プローブ 気象(降雨量) 画像 実験データ※1更新 あたりのデータを想定 43ファイル (400万レコード) 27ファイル 12件 更新頻度 5分 5分 15分 ファイル数/1送信 1ファイル 1ファイル 5ファイル 容量/1送信 約35MB 約1MB 約15MB 被災画像のAR表示, 被災推定箇所のマッピング 交通量ヒートマップの例, 気象や画像とのマッシュアップ可能 ヒート マップ 速度帯別に色分け したプローブ軌跡 広域 詳細 縮尺切替 二次DB (可視化用) Webサーバ 過去の実験の結果,DBに直接データを登録すると,5分間のデータ 処理に一時間以上を要することが判明したため,本処理を開発

Upload: others

Post on 29-Jun-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 2-1A-04 Poster.ppt [互換モード]データ収集の効率化 データ処理の効率化 可視化の効率化 ・モデルによる推定・補完 ・データの融合解析 10

データ収集の効率化 データ処理の効率化 可視化の効率化

・モデルによる推定・補完・データの融合解析

102

1180

3.3 0.1

70

58

260

63.31.1

0

60

120

180

240

300

処理

時間

(秒)

交通状態推定(プローブ+ツイッター)

降雪の交通影響(降雪分布+プローブ)

多様なデータ融合による災害時のモビリティ支援に向けた災害時のリアルタイムシステムの開発

著者 川崎 洋輔*1 桑原 雅夫*1 木村 洋一*2 戸高 弘統*2 大坪 裕哉*3 松沼 毅*3 松永 義徳*4 永井 慎一*5 小宮 粋史*6 堀口 良太*6

所属 東北大学大学院情報科学研究科*1 一般財団法人 日本気象協会*2 ㈱オリエンタルコンサルタンツ*3 アジア航測株式会社*4

本田技研工業株式会社*5 ㈱アイ・トランスポート・ラボ*6

2-1A-04

カテゴリ 計測データ モデルによる推定・補完データ(1)交通 ・プローブデータ

・車両感知器・渋滞状況(RYG)・予測旅行時間

(2)気象,災害リスク

・震度・津波高・降雨量・降雪量

・降雪分布・洪水リスク・斜面崩壊リスク・被災推定箇所

(3)SNS,被災地画像

・Twitter(テキスト, 画像)・スマートフォン画像・航空写真

・交通状態・要因(降雪による通行止,事故による渋滞 等)

(4)GIS ・地形情報・道路,施設情報

表1.リアルタイムシステムで扱うデータ

図2 リアルタイムシステムイメージ

プローブ

車両感知器

地震で建物が崩壊。国道○号通⾏⽌だ。

データ収集 データ処理 可視化

サーバ

一次処理(データの加工・蓄積)

データ提供元で計測データを加工,圧縮し,サーバへデータ送信気象(降雨量)

メッシュ単位の画像データを生成して送信

被災地画像

定期的に画像集約サーバからデータ送信

集約サーバ

プローブGPSデータを分割・圧縮し,1ファイルずつ送信

集約サーバ

圧縮ファイル(Zip)

航空写真

スマホ画像

GPS[全国]

降雨量[全国]

ファイルシステムとデータベースを組み合わせて一次処理を効率化※

一次DB

データファイル

インターネット経由でデータ転送し,一次加工

ファイルシステム

DBへ格納

① インデックス(データ収集時間と対象エリア)

② ファイルパス

(1)背景;東日本大震災時の石巻市の被災と交通状況 渋滞内に津波が直撃し,多くの命が失われた(図1) 要因;発災直後に,住民は被災と交通状況が正しく

理解できていなかったため避難が遅延

(2)研究目的 モビリティの減災の視点で,災害時の被災と交通状況を

リアルタイムモニタリングするシステムを開発

目標;発災後,30分以内の状況把握 多様なビッグデータ(表1)を活用し,二段階フェーズで

システムを開発(図2)

◆リアルタイムシステムの開発フェーズフェーズⅠ:計測データを一次処理し,そのまま

可視化フェーズⅡ:融合解析技術(別途研究開発)を

取り込み,推定・予測を含む様々な情報をリアルタイムに処理・可視化

リアルタイムにデータを処理するために,フェーズⅠにおける一連の処理を効率化

図1.データ融合解析による石巻市の津波被災の再現[DOMINGOによる解析結果]

図3. 処理時間[テストデータによる実験結果]

テキスト

定期的に二次処理(一次処理データを可視化用に加工し,二次DBに蓄積)して可視化処理を効率化 INTERNET

渋滞(赤色リンク)に津波が直撃

5分(300秒)以下で処理

※更新頻度(5分)を超えると処理が遅延

(1)まとめ システムの全体構想とフェーズⅠ処理の効率化を検討

(2)今後の課題① 全データの一斉処理や連続処理を実施し,性能検証② 高速処理化の検討(並列処理 等) プローブ;更新 5分(300秒)⇔処理260秒←余裕がない.

③ 今年度中にフェーズⅠのシステムを開発し,来年度以降はフェーズⅡの開発を予定

送信一次処理二次処理

時間とエリアで検索

リクエスト

被災地画像;一次DBを直接参照(二次処理なし) 地図表示

範囲

可視化用データ

[定期実行]データ抽出クエリ

プローブ;JSON形式に加工して保存気象;範囲,日時を基にした画像探索用のディレクトリ構成で保存

プローブ 気象(降雨量) 画像

実験データ※1更新あたりのデータを想定

43ファイル(400万レコード)

27ファイル 12件

更新頻度 5分 5分 15分ファイル数/1送信 1ファイル 1ファイル 5ファイル容量/1送信 約35MB 約1MB 約15MB

被災画像のAR表示,被災推定箇所のマッピング

交通量ヒートマップの例,気象や画像とのマッシュアップ可能

ヒートマップ

速度帯別に色分けしたプローブ軌跡

広域詳細

縮尺切替

二次DB(可視化用)

Webサーバ

※ 過去の実験の結果,DBに直接データを登録すると,5分間のデータ処理に一時間以上を要することが判明したため,本処理を開発