geo gridの過去・現在・未来 @foss4g 2011 tokyo
DESCRIPTION
TRANSCRIPT
1
1
山本 直孝 産業技術総合研究所 情報技術研究部門
地球観測グリッド研究グループ
FOSS4G 2011 Tokyo 2011.11.07
http://www.geogrid.org/
2 2 http://www.geogrid.org/
大量の地球観測データを保存,処理
各種観測データベース
GISデータとの融合
3 3 http://www.geogrid.org/
『グリッドによる高精度画像補正システム構築の研究』として2005年にスタート ASTER (100TB) をDISKベースストレージに格納して高速に提供する
遠隔にあるデータベースを統合して,複数センサのデータを一括で検索できる
シングルサインオンで,検索,処理,ダウンロードができる
GeoGRID = GRID for geo*
4 4 http://www.geogrid.org/
集中管理されていない分散した資源のコーディネート
オープンスタンダードなプロトコルやインターフェースの利用
単純には得られない質の高いサービスの提供
http://www.jpgrid.org/ より
ネットワーク上の計算機やデータベース、実験装置等の資源を仮想化して統合し、安全に、安定して、簡単に利用する技術」です。ネットワーク上にはコンピュータ、実験装置、センサ、データなどの資源が分散しています。これらの分散している資源を仮想化して提供することにより、ユーザが複雑な情報処理を行えるようにする技術
5 5 http://www.geogrid.org/
コンピューティンググリッド 複数のクラスタやスパコンを同時に利用することで超高性能計算サービスを実現する
(SETI@Homeとかは,PCグリッド) データグリッド
大規模データの保存,共有を複数組織,クラスタ等を超えて実現する
センサグリッド 遠隔地にある観測装置の制御やデータ共有を実現する
セキュリティ シングルサインオン,多組織連携
6 6 http://www.geogrid.org/
Database Server (Sybase)
FORMOSAT-2
Application Server OGSA-
DAI
Globus
SQL w/ JDBC
NSPO@TW
Database Server (PostgreSQL)
ASTER MODIS
OGSA- DAI
SQL w/ JDBC
OGSA- DAI
Globus
AIST@JP
AIST
OGSA-DAI Client
Integration Framework with OGSA-DAI
Java Program
SQL SQL SQL
SIMS portlet - query data - create web page which shows thumbnail images
SQL
SQL
7 7 http://www.geogrid.org/
MODIS FORMOSAT-2
ASTER
8 8 http://www.geogrid.org/
Database Server (PostgreSQL)
ASTER
SQL w/ JDBC
OGSA-DAI
Globus
AIST
OGSA-DAI Client
Integration Framework with OGSA-DAI
Java Program
1. query 2. return granuleID
Globus Pre-WS GRAM
3. request DEM w/ granuleID
ASTER DTMsoft
4. invoke 6. result
5. retrieve
SIMS portlet - query data - create web page which shows thumbnail images - process ASTER data
9 9 http://www.geogrid.org/
大量の地球観測データを保存,処理 グリッドなら当たり前
各種観測データベース 衛星データは出来た
GISデータとの融合 全然出来てない
10
10
Global Earth Observation Grid
あらゆる地球観測に関わるデータやアプリケーションを対象として,Grid技術を用いてシステムを構築する
11 11 http://www.geogrid.org/
Open Grid Forum (OGF) compliant infrastructure
Open Geospatial Consortium (OGC) compliant Web Service
CPU Server
CPU Server
Computing Grid
Sensor Grid
Application Model prediction, evaluation, Alarm official announcement, etc.
CS-W WPS WMS
WFS WCS SOS
In-situ data
GIS, Map data
Satellite data
ASTER
Storage Grid
Grid Security Infrastructure Virtual Organization
12 12 http://www.geogrid.org/
AP photo
Energy Cone Simulation
Mt. Melapi ASTER
入力パラメータをWMS上で指定 GetFeatureInfo
WPSで処理実行 入力データ(DEM)は,WCSで取得 GRASSでラスタ→ベクタ変換 結果をWMSで出力
KML, Shapefile
13 13 http://www.geogrid.org/ AIST Super Cloud
1G
geo&ff L3 etc L0/L1
Apache Mapserver
basemap
geo&ff L3 etc L0/L1
Apache Mapserver
basemap
geo&ff L3 etc L0/L1
Apache Mapserver
basemap
geo&ff L3 etc L0/L1
Apache Mapserver
basemap
ASTER Data Archive
Metadata
csw.geogrid.org
CS‐W
ows.geogrid.org
WMS WFS WCS
ascvsvc.geogrid.org
WPS
Sensor Node (e.g. Live E!, JapanFlux)
52NorthSOS
SOS
ストレージ
別のサイト
WMS
WFS WCS
CSW
14 14 http://www.geogrid.org/
ウェブサーバ Apache, Tomcat
WMS, WCSサーバ MapServer, PostGIS
WFS, WFS-T GeoServer
WPSサーバ PyWPS
WPSバックエンド GRASS GIS
SOSサーバ 52North SOS
CS-Wサーバ Lucene(全文検索エンジン)+独自実装
マッピングクライアント OpenLayers, GeoExt, MapFish
http://docs.geogrid.org/Applications
15 15 http://www.geogrid.org/
http://ows.geogrid.org/?service=XXX で公開中 衛星画像モザイク
Landsat, BlueMarble, GDEM(標高) 海岸線
GSHHS 土地被覆図 ASTERシーン (http://ows.geogrid.org/pubaster?) 地震動マップ (http://ows.geogrid.org/qqm?) 日本道路地図 (http://ows.geogrid.org/JapanBaseMap?)
CS-W http://csw.geogrid.org/viewer/ かたっぱしからWMS登録したら混沌が生まれた(整理中)
16
16
グリッドは古い? 今時はクラウド?
17 17 http://www.geogrid.org/
グリッド クラウド
生まれ 1996年? 2006年? 厳密な定義 ない ない
曖昧な定義 グリッドは広域ネットワーク上の計算、データ、実験装置、センサー、人間などの資源を仮想化・
統合し、必要に応じて仮想計算機や仮想組織を動的に形成するためのインフラ。 以下はIan foster氏によるチェックリスト。 ① 集中管理されていない分散した資源のコーディネート
② オープンスタンダードなプロトコルやインターフェースの利用
③ 単純には得られない質の高いサービスの提供
(グリッド協議会HPより)
以下の条件を満たす情報処理、ネットワーク、ストレージを提供するハードウェアベースのサービス。 ① 利用者にとって、ハードウエアの取り扱い(管理)が、高度に抽象化されている
② 利用者は、インフラのコストを経費として支払う
③ インフラに、非常に柔軟性がある(スケーラビリティーがある)
(McKinsey調査レポートより)
語源 電力網 雲
18 18 http://www.geogrid.org/
全てのサービスが停止 1時間位UPSで動いていた 電気,水道停止,建物も一部破損 当面出勤停止
Skypeで情報共有,システム稼動に向けた議論
様々な組織から支援の申し出
GEO Grid 災害対応タスクフォース http://disaster.geogrid.org/
19 19 http://www.geogrid.org/
グリッドプロトコルは隠蔽 OGCでつなぐべき
グリッドセキュリティは必要か? 第三者転送にはdelegationが必要。
とりあえず残すが、代替技術を検討中。 システムががっつり作ってあって、複雑だった。
データサーバと計算サーバが一体化 ファイルシステムをマウントしていた
保守が煩雑 拡張性がない
よそのリソースを簡単に使えない
20 20 http://www.geogrid.org/
http://docs.geogrid.org/Future_Architecture
http://www.kantei.go.jp/jp/singi/utyuu/