iugonet 20100916

太陽地球系物理学におけるメタデータ・データベースの構築

小山幸伸 *1 、河野貴久 *2 、阿部修司 *3 、新堀淳樹 *4 、堀智昭 *2 、林寛生 *4 、吉田大紀 *1 、田中良昌 *5 、鍵谷将人 *6 、上野悟 *7 、金田直樹 *7

*1 京大・理・地磁気センター、　　　　　　　 *2 名古屋大学太陽地球環境研究所、*3 九大・宙空環境研究センター、　　　　　 *4 京大・生存圏研究所 *5 極地研究所、　　　　　 *6 東北大・惑星プラズマ大気研究センター、 *7 京大・理・附属天文台

RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )

発表内容

1. 京都大学理学研究科附属地磁気世界資料解析センターの紹介

2. IUGONET プロジェクトの紹介• メタデータ・データベース　 (DSpace 利用）• 解析ソフトウェア• 外部提供インターフェイス　 (SRU/W, OpenSearch 利用）

3. まとめ


京都大学のおける地磁気センターの位置づけ

以下略


地磁気センターの位置

生協

5F地磁気センター

京都大学吉田キャンパス北部構内


地磁気センターの情報

• スタッフ（８名）– 教授– 准教授– 助教　　ｘ　２– 特定研究員– 教務補佐員– 技術補佐員– 事務補佐員

• 業務内容– Wold Data Center for

Geomagnetism, Kyoto の運営

– 各種研究解析（観測も含む）– 学部・大学院生の教育


地磁気センターの要望

• データベースを運用しなければならない。

• アナログデータ（マイクロフィッシュ、マイクロフィルム、テープ、紙、書籍）の管理


IUGONETプロジェクトの目的と参加メンバー

参加機関・組織

東北大学理学研究科附属惑星プラズマ・大気研究センター小野高幸、寺田直樹、加藤雄人、笠羽康正、岡野章一、熊本篤志、坂野井健、三澤浩昭、鍵谷将人

国立極地研究所佐藤夏雄、中村卓司、宮岡宏、岡田雅樹、冨川喜弘、田中良昌

名古屋大学太陽地球環境研究所藤井良一、荻野竜樹、三好由純、堀智昭、大塚雄一、河野貴久

九州大学宙空環境研究センター湯元清文、阿部修司

京都大学生存圏研究所津田敏隆、林寛生、新堀淳樹

京都大学理学研究科附属地磁気世界資料解析センター家森俊彦、能勢正仁、藤浩明、竹田雅彦、小山幸伸、吉田大紀

京都大学理学研究科附属天文台柴田一成、上野悟、金田直樹

分散して存在する観測データを横断検索するシステムを構築多様なデータの解析による超高層大気長期変動の研究の進展

IGY 以来継続されてきた国際共同観測事業で蓄積された超高層大気の地上観測データ ( アナログ・デジタル ) の流通を促進

7


プロジェクトの体制

京大生存研

京大理・附属天文

台

京大理・地磁気センター

バーチャル情報拠点による連携強化

観測 DB(+ 解析ソフ

ト )極地研

名大STE研

地磁気研究コミュニ

ティ


ティ赤道大気研究コミュニ

ティ

赤道大気研究コミュニ

ティ

国内他機関・大学海外研究者

他の地球科学分野へ展開

極域研究コミュニ

ティ

極域研究コミュニ

ティ

東北大PPARC

磁気圏研究コミュニ

ティ

磁気圏研究コミュニ

ティ

九大宙空研


ティ


ティ

XML

XML

XML

XML

XML

XML

XML

メタデータ DB

超高層大気科学バーチャル情報拠点

衛星、数値モデルデータへの拡張

太陽物理研究コミュニ

ティ

太陽物理研究コミュニ

ティ

電離圏・磁気圏研究

コミュニティ

電離圏・磁気圏研究

コミュニティ

8

RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 9

RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 10


プロジェクトの年次計画

項目 H21 H22 H23 H24 H25 H26 備考超高層大気科学バーチャル情報拠点の構築と運営

システム導入定常運用システム更新多点情報交換システムを各機関に導入し、緊密な連携体制を実現する

メタデータ・データベースの開発

プロトタイプの開発

公開バージョンの開発

一般に公開システム更新メタデータに関して、登録・検索・配信などを行うシステムを開発する

メタデータフォーマットの策定

Ver.1の策定アップデート / ドキュメント整備

初年度に ver.1を策定し、以後必要に応じてアップデートを重ねる

解析ソフトウェアの開発

開発環境整備仕様の策定

プログラム開発スタート

一般に公開各機関が現在実施している観測に適合した解析ソフトウェアの開発を進める

観測データのデータベース整備

観測 DB整備 / 非デジタルデータ調査

まだデータベース化されていない観測データのデータベース化を進める

メタデータの抽出メタデータ抽出スタート

策定されたフォーマットに基づき、メタ情報の抽出作業を開始する

メタデータのデータベース化

メタデータをデータベース化し、公開する

バーチャル情報拠点の拡大

成果を総括し、関連他分野への拡大・統合を検討する

後半は過去 20年以上にわたって蓄積された観測データを中心に扱う

後半は過去 20年以上にわたって蓄積された観測データを中心に扱う

11


外部提供インターフェイス①

• Web インターフェイス–ユーザー用

• 外部提供インターフェイス– 外部ソフトウェア用


外部提供インターフェイス③

• 外部提供インターフェイスの用途– IUGONET解析ソフトウェアとの連携

•他の可視化 /解析ソフトウェアとの連携↓

•（動的に観測データのロケーション情報を得られることが利点）

–他のデータベースとの連携


IUGONET 解析ソフトウェアとの連携クライアント側

(IDLVM+TDAS)

(4b) Wget(Internal call)

(1) Query

(2) Metadata

(5) Observational Data

(4a) Loadprocedure

(6) Plot

IUGONET metadata DB

(SRU/SRW, OpenSearch)

(3) DOMXML

IDLから DSpace にアクセスし、得られたメタデータを DOMで加工するテスト済み (ただし DC) 。→残りは API の定義。


スタックプロットの試作 (2003年1 年分 )

AE指数（京大 WDC ）

昭和 VLF[8kHz]（極地研）

女川 Pc3指数（東北大）

陸別地磁気 H成分（名大 STEL ）

CEB 地磁気 H成分（九大）

EAR南北風 [18km]（京大 RISH ）

ACE Vsw

ACE IMF-Bz

光球画像（京大天文台）

1/1 01:20 5/28 00:02 10/29 00:14 11/19 03:00

15


解析ソフトウェアの開発

解析ソフトウェアのイメージ

複数データのスタックプロット

GUI による操作

2次元画像データ表示

要求される最低限の仕様

時系列プロットのスタック表示 2次元画像の同時表示

IDL + TDAS(THEMIS science Data Analysis Software) をベースに開発する

(無償の )IDL VMで動作することを保証する

ローカルマシンでの解析とサーバ側での解析の両方を目指す

ERGサイエンスセンターとの協力のもと、開発を進める

開発方針

16


IUGONETのホームページ

http://www.iugonet.org/


他分野のデータへ辿り着く為の手がかりが無い！！！

観測データベースに関する現状の問題点

??

B 研究所 C 大学A 研究センター

極域オーロラデータベース

太陽活動データベース

地磁気指数データベース

地磁気観測専門家

・・・・・・

極域観測専門家

太陽観測専門家

18


B 研究所 C 大学A 研究センター

極域オーロラデータベース

太陽活動データベース

地磁気指数データベース

地磁気観測専門家

・・・・・・

極域観測専門家

太陽観測専門家

メタデータを検索し、色々な機関の多種多様な観測データの情報を取得！

メタデータを活用した観測データベース利用

・・・・・・

メタデータDB

メタ

デー

タ抽出

XML

メタデータ流通

観測時刻装置の種類データフォー

マットデータの所在地... etc.

19


メタデータフォーマットの策定IUGONET フォーマット ver.1 = SPASE(ver.2.1.0) + 一部改変

SPASE とは

太陽、惑星間空間、地球磁気圏の人工衛星観測に関連する研究リソースを包括的に表現するために作られたメタデータフォーマット•超高層大気研究と密接な関係にある分野のデータを記述するために開発 ( ベースとして利用しやすい )

•要素、単語の拡張が可能 (我々のデータにあったカスタマイズが可能 )

•周辺分野の VxO に採用されている ( 将来的なデータ交換を考慮 )

•メタデータは XML ファイルとして管理 (コンピュータ上で扱いやすい )

•フォーマットや関連ツールは全て公開 (自己開発する部分を減らせる )

•開発は続行中 ( フォーマット改変の提案ができる )

(http://www.spase-group.org)

非デジタル保存データに関する単語の追加太陽観測データに特有な座標系を表す単語の追加観測位置・範囲等を記述する新要素 (SpatialCoverage) の追加

IUGONET による改変

20


メタデータ・データベースの開発

既存の技術を利用してカスタマイズ

無償で利用実績の多いソフト

メタデータを登録・検索・収集・提供する機能

任意のメタデータを扱えること

DSpace をベースにしたシステムの開発

図書館や学術情報リポジトリ等で使われているリポジトリ・ソフトウェア

テキストキーワードによる検

索

時間範囲による検索

より詳細なメタデータへ


まとめ

超高層大気の地上観測データの流通、サイエンスへの有効利用に関する大学間 ( 極地研、東北大、名大、京大、九大 ) の連携プロジェクト【平成 21年〜 26年度】 SPASEをベースにしたメタデータフォーマットを策定。各機関でメタデータの抽出作業へ

DSpaseを利用したメタデータ・データベースシステムを開発中。

IDL + TDASをベースにした解析ソフトウェアを開発中。

22

CAWSES-II E-Science and informatics への貢献


IDL->SRU->MDB

pro iug_load_srw

file_name=‘srw.dat’

localdir=‘c:/test/’+file_name

url=‘http://iugonet1.stelab.nagoya-u.ac.jp:8080/SRW/search/jspui?query=mag’

file_http_copy,url,localdir,verbose=2

end


検索結果 (XML形式 )


検索結果の変換（ IDL+DOM ）

• 以下のコマンドで "sampleSRWresult.xml" の<recordData> タグの値を取得できる。

• oDoc = OBJ_NEW('IDLffXMLDOMDocument',filename="sampleSRWresult.xml") ;Load XML

• oNodeList = oDoc->GetElementsByTagname('recordData')

• oName = oNodeList->Item(0) • oNameText = oName->GetFirstChild() • print,oNameText->GetNodeValue() ;Get value • OBJ_DESTROY, oDoc




•他の可視化 /解析ソフトウェアとの連携




• 他のデータベースとの連携

MDB

科学データのポータル

MDB

VDC4EPS

横断検索！

衛星観測のMDB

数値モデル実験の MDB

超高層大気以外の地球環境情報の MDB


IUGONET の周辺

？

OAI-PMH

WMOは SRU を実装済み & 運用中

メタデータ・フォーマットが異なる点が課題。



衛星観測のMDB

ポータル

WMO

MDB

MDB

VDC4EPS


外部提供インターフェイス①

• Web インターフェイス–ユーザー用

• 外部提供インターフェイス– 外部ソフトウェア

用




• 他の可視化/解析ソフトウェアとの連携↓

• （動的に観測データのロケーション情報を得られることが利点）

– 他のデータベースとの連携例えば、 World Meteorological Organization図書館系等


IUGONET 解析ソフトウェアとの連携クライアント側

(IDLVM+TDAS)

(4b) Wget(Internal call)

(1) Query

(2) Metadata

(5) Observational Data

(4a) Loadprocedure

(6) Plot

IUGONET metadata DB

(SRU/SRW, OpenSearch)

(3) DOMXML

IDLから DSpace にアクセスし、得られたメタデータを DOMで加工するテスト済み (ただし DC) 。→残りは API の定義。


IDL->SRU->MDB

pro iug_load_srw

file_name=‘srw.dat’

localdir=‘c:/test/’+file_name

url=‘http://iugonet1.stelab.nagoya-u.ac.jp:8080/SRW/search/jspui?query=mag’

file_http_copy,url,localdir,verbose=2

end


検索結果 (XML形式 )

この様な XML ファイルから、 URL 情報を切り出す際に XML Parser を使用する。

(IDL の場合は DOM)

URL 情報を切り出す為のサンプル・プログラム（代表的なプログラム言語で記述）は、 IUGONET によって提供されるでしょう。


検索結果の変換（ IDL+DOM ）

• 以下のコマンドで "sampleSRWresult.xml" の<recordData> タグの値を取得できる。

• oDoc = OBJ_NEW('IDLffXMLDOMDocument',filename="sampleSRWresult.xml") ;Load XML

• oNodeList = oDoc->GetElementsByTagname('recordData')

• oName = oNodeList->Item(0) • oNameText = oName->GetFirstChild() • print,oNameText->GetNodeValue() ;Get value • OBJ_DESTROY, oDoc


考えられる運用

Primary MDB

SecondaryMDB

冗長構成IDL

load_blabla.pro(URL を保持 )

DB

①クエリー

②クエリー ×

×

③URL を閲覧 ④データ取

得


外部提供インターフェイスの利用者

• メタデータ・データベースを IDLから検索し、実データの URL を取得するプロシージャは UDASで提供される。

• IUGONET側から APIが公開されるまで待つ。– はっきりしたリリース日は言えない。– しかしながら、 IUGONET-MDB と IUGONET- 解析ソフトウェ

アの連携を SGEPSSでの話題にしたい。– WMO 、 ERG 、 Dagik などと協調する上でも、最重要課題と認識している。




•他の可視化 /解析ソフトウェアとの連携



図書館業界

NDL Search(PORTA を内

包 )

SRU/SRW

OpenSearch

OAI-PMH

１７０もの DB を横断検索！(DCだから、話は単純ではあるが。）


IUGONET の周辺

？

WMOは SRU を実装済み & 運用中

メタデータ・フォーマットが異なる点が課題。



衛星観測のMDB

ポータル

WMO

MDB

MDB

VDC4EPS


• DublinCoreだけでなく、多様なメタデータの取り扱いが必要


DSpace のブロック図

2.全文検索

メタデータ交換

WEB

アクセス権

1.Web UI 3. メタデータ交換

XML

メタデータ(ex. 観測機器 )

実データは管理しない

+

(案

) IU

GO

NE

Tby OAI-PMH

RDBMS


メタデータの流通案

京大・天文台

京大・地磁気セ

京大・生存研

東北大・惑星

九大・宙空研

名大・ STE研

極地研

メタデータ実データ（空）

メタデータを交換し共有化→他機関のメタデータを検索可能に！

OAI-PMH プロトコル※ 図書情報の流通等に利用されているプロトコル

•PORTA by 国立国会図書館

•Nature.com

•Elsevier.com


数学系との関わり

• システム・レベルの情報共有ができるかも知れない。– 学術情報リポジトリ– NII 学術情報リポジトリ支援事業– 国立国会図書館– 数学– IUGONET


KURENAIでの IUGONET の検索結果

IUGONET の発表を、積極的に KURENAI に登録。


JAIROでの IUIGONET の検索結果

QIRへ登録したデータも、ハーベスティングされている。


まとめ

iugonet 20100916

Technology