hack for japan 気象データ勉強会
DESCRIPTION
Hack For Japan 気象データ勉強会でお話するネタですTRANSCRIPT
2014/04/17
先端IT活用推進コンソーシアム
菅井康之
~HackForJapan 気象データ勉強会~
過去の気象庁XMLを 試験的に参照するAPIの
ご紹介
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2
Windows
コンソーシアム
日本経営協会
XMLフェスタ
Java
コンソーシアム
XML部会
2000/07 設立宣言 2001/06~2010/03実活動 2010/03~2010/09 2010/09/08設立
先端IT活用推進コンソーシアム
Advanced IT Consortium
to Evaluate, Apply and Drive
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3
AITCと気象庁XMLの関係①
http://xmlconsortium.org/seminar09/090512-13+19-20/data/090512/Web-Service/WS_2_1.pdf#page=3
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4
AITCと気象庁XMLの関係②
• 気象庁XML利活用セミナーの共催
– 第1回気象情報を知る・取る・使うための実践 (2013年3月12日開催) • 公開資料:http://xml.kishou.go.jp/seminar/seminarInfo.html
– 気象情報を知る・取る・使うための実践(大阪開催) (2013年7月11日開催)
– 第2回気象情報を知る・取る・使うための実践 (2014年3月20日開催) • 公開資料:http://xml.kishou.go.jp/seminar.html
• イベント協力
– YahooOpenHackDayJapan2 (2014年2月15日~16日開催)
• イベント用サイトの構築、APIの提供
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5
本日の主題
• 気象庁XMLはFeedの配信後、一定時間経過するとXML本体がサーバから削除される
• これから気象庁XMLを扱おうとした際に、過去のXMLをサンプルとして参照したい
– 季節の特色的な気象情報
– 記録的な○○のあった、○月○日の気象情報
過去の気象庁XMLを参照出来るAPIを公開
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 6
気象庁XML API
• 2013年1月1日以降のデータが参照可能
– 2013年は一年を通じたデータ
• URL: http://api.aitc.jp/
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 7
気象庁XML API
• APIは3種類 (作成当初は内部での技術検証として利用)
– REST API
• APIの中で一般的に使われているもの
• 様々な条件を指定して気象庁XMLを取得可能
– SPARQL
• 配信されるFeedをRDF化+気象台の緯度経度情報
• SPARQLのクエリによりフィルタリングや集計なども可能
– WebSocket
• WebSocket+Kafka
• リアルタイムに気象庁XMLを取得可能
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 8
蓄積状況 (2013年1月1日~2014年4月16日) ================================================= | "府県天気概況" | 102831 | | "府県天気予報" | 92288 | | "気象警報・注意報" | 59095 | | "府県週間天気予報" | 52590 | | "気象特別警報・警報・注意報" | 29105 | | "地方海上警報" | 15383 | | "地方海上予報" | 11345 | | "地方週間天気予報" | 10453 | | "府県気象情報" | 8850 | | "紫外線観測データ" | 7990 | | "震源・震度に関する情報" | 2910 | | "特殊気象報" | 2530 | | "噴火に関する火山観測報" | 2317 | | "地方気象情報" | 2268 | | "生物季節観測" | 2059 | | "全般海上警報(定時)" | 1895 | | "台風解析・予報情報(3日予報)" | 1862 | | "竜巻注意情報" | 1591 | | "府県高温注意情報" | 1412 | | "土砂災害警戒情報" | 1006 | | "指定河川洪水予報" | 846 | | "地方1か月予報" | 759 | | "全般台風情報(定型)" | 600 | | "全般週間天気予報" | 555 | | "府県海氷予報" | 510 | | "異常天候早期警戒情報" | 444 | | "震度速報" | 404 | | "台風解析・予報情報(5日予報)" | 337 | | "全般海上警報(臨時)" | 302 |
| "震源に関する情報" | 286 | | "地方高温注意情報" | 259 | | "火山の状況に関する解説情報" | 253 | | "府県潮位情報" | 236 | | "全般気象情報" | 235 | | "季節観測" | 211 | | "スモッグ気象情報" | 195 | | "府県天候情報" | 186 | | "地方3か月予報" | 154 | | "全般台風情報" | 122 | | "全般台風情報(詳細)" | 98 | | "記録的短時間大雨情報" | 77 | | "地方潮位情報" | 72 | | "地方天候情報" | 71 | | "全般1か月予報" | 69 | | "地方暖・寒候期予報" | 33 | | "全般潮位情報" | 32 | | "津波情報" | 28 | | "津波情報a" | 19 | | "地震の活動状況等に関する情報" | 16 | | "東海地震観測情報" | 15 | | "全般天候情報" | 14 | | "全般3か月予報" | 14 | | "津波警報・注意報・予報" | 11 | | "噴火警報・予報" | 9 | | "津波警報・注意報・予報a" | 9 | | "気象特別警報報知" | 7 | | "顕著な地震の震源要素更新のお知らせ" | 6 | | "全般スモッグ気象情報" | 5 | | "JMAXML publishing feed"@ja | 4 | | "全般暖・寒候期予報" | 3 | | "火山現象に関する海上警報・海上予報" | 3 |
---------------------------------------- SPARQLの画面から参照可能
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 9
配信されるデータ量
• 2013年1月1日~2013年12月31日 (1年間)
– feed
• 572,595回(平均1,568回/日)、重複含む
• 2,444MByte/年(平均6.69MByte/日)
– 気象庁防災情報XML
• 323,212件(平均885件/日)
• 6,399MByte/年(平均17.53MByte/日)
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 10
注意事項
• サイトは、AITCの会費で運用しています
– そのため、商用利用は遠慮してもらっています
– 2台のサーバで頑張ってます
• RESTとSPARQLのデータは、受信モレがあります
• 時々、高負荷になり、応答に時間がかかります
• 時々、止まるかも知れません
• 何かあれば、 [email protected] まで
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
終わり