オープンデータカフェ@盛岡 vol.1 「オープンデータとはなにか？」

[email protected]

小松一星

オープンデータとはなにか？

2013/8/27 1オープンデータ・カフェ@岩手 Vol.1 「オープンデータとはなにか？」

本資料の作成とオープンデータカフェは，岐阜県「オープンデータを活用した新サービス創出・研究事業委託業務」のもとで実施しています

自己紹介: 小松一星

• 所属– 株式会社CCL プランナー

• 研究調査，イベント運営

• 経歴– 1988年秋田県大仙市生まれ

– 2009年ソフトウェア共創研究基盤株式会社共同設立（常務取締役）

– 2010年岩手県立大学ソフトウェア情報学部卒業

– 2010年 Web会社に就職．地域系サービス運用，Web広告システム開発

– 2013年地域に根ざした仕事がしたく，退職．岩手へ

• その他– IPU TOKYO / 岩手県立大学同窓会関東支部 / アプリ開発

2013/8/27 オープンデータ・カフェ@岩手 Vol.1 「オープンデータとはなにか？」 2

http://facebook.com/isseium

アジェンダ

• オープンデータの定義

• オープンデータの歴史

• オープンデータの事例

• オープンデータを支える技術

• おわりに


オープンデータの定義


オープンデータの定義

オープンデータとは、自由に使えて再利用もでき、かつ誰でも再配布できるようなデータのことだ。従うべき決まりは、せいぜい「作者のクレジットを残す」あるいは「同じ条件で配布する」程度である。

Open Knowledge Foundation, オープンデータハンドブック（日本語訳）,

http://opendatahandbook.org/ja/what-is-open-data/index.html

クリエイティブ・コモンズだと….

である場合が多い


オープンガバメントの定義

オープンな政府を実現するための概念．オバマ大統領が示した．以下の3つの目的がある．1. 透明性

積極的情報公開データドリブン意思決定行政手続き・財政の透明化

2. 市民参加パブリックコメント市民参加型サービス

3. 官民協働「プラットフォームとしての政府」「新しい公共」・「大きな社会」

米国政府, Transparency and Open Government, (2009).

米国政府, Open Government 指令, (2009).


オープンデータの位置づけ†

† 林雅之，オープンデータ概論Ver 2，p.14, http://www.slideshare.net/mhayasi/20130805，(2013).

Public Sector Information

政府・自治体・大学などの公共機関が持つデータ

オープンデータ自由に使えて再配布できる

Public Big Data

公共性の高いビッグデータ

オープンガバメントデータ自由に使えて再配布できる公共機関データ

ビッグデータ‡

事業に役立つ知見を導出するためのデータ．サイズに定義はない．

‡ 総務省，平成24年度版情報通信白書，(2013).


http://www.slideshare.net/mhayasi/20130805



オープンデータの歴史


オープンガバメント論の形成†

• EU, PSI利活用に関するEU指令, (2003).– 民間による政府保有情報を利活用を促進した初めての指令– 各国の取り組みに大きな影響を与えた

• OECD, Modernizing Government, (2005).– 情報開示強化による政治の透明化，国民参加

• OECD閣僚級会合「ソウル宣言」, (2008).– 文化遺産，科学データを含む公的セクターの情報やコンテンツを，デジタル

形式で入手しやすくする

• ティム・オライリー, ガバメント 2.0，(2009).– ITを活用したプラットフォームとしての政府– Do It Ourselves

• ★オバマ米大統領, オープンガバメント，(2009).– 透明性，市民参加，官民協働– プラットフォームとしての政府

• 各国– キャメロン英首相，透明性方針表明，(2010).

– オーストラリア，オープンガバメント宣言，(2010).


ティム・オライリー「ガバメント 2.0」 (2009)


•ITを活用したプラットフォームとしての政府•Do It Ourselves

ティム・オライリー氏オライリーメディアの創設者“Web 2.0” の提唱者

フリーソフトウェアとオープンソース運動，クリエイティブコモンズなどを支援している

英キャメロン首相「大きな社会の構築」 (2010)


11

•より高レベルの個人，専門家，市民，企業の責任が伴う社会

•課題を解決し，自らの生活やコミュニティ改善のために協力しあう社会

•国家による統制ではなく，社会的責任が進歩を導く社会

•コミュニティに対するより権限付与

•コミュニティでの活動的な役割の奨励•政府からの地方自治体への権限委譲•社会的企業の支援•政府データの公表

† 中島, 英国新政権の市民社会政策,

http://www.nopodas.com/contents.asp?cod

e=10001005&idx=100655

オープンデータとオープンガバメント

Public Sector Information

政府・自治体・大学などの公共機関が持つデータ

オープンデータ自由に使えて再配布できる

Public Big Data

公共性の高いビッグデータ

オープンガバメントデータ自由に使えて再配布できる公共機関データ

ビッグデータ‡

事業に役立つ知見を導出するためのデータ．サイズに定義はない．


公共機関データであるオープンガバメントデータがはじめに提唱され，それを民間データまで拡大したものがオープンデータといえる

日本の取り組み

• 各省庁情報化統括責任者連絡会議, 行政情報の電子的提供に関する基本的考え方（指針)，(2004).

– 電子情報の提供を推進

• IT戦略本部（政府）, 新たな情報通信技術戦略, (2010).

– 三本柱の1つに「国民本位の電子政府の実現」

– 「個人情報の保護に配慮した上で、2次利用可能な形で行政情報を公開し、原則としてすべてインターネットで容易に入手することを可能にし、国民がオープンガバメントを実感できるようにする」

• IT戦略本部（政府）, 電子行政オープンデータ戦略, (2012).

– 1. 透明性・信頼性の向上

– 2. 国民参加・官民協働の推進

– 3. 経済の活性化・行政の効率化


オープンデータがもたらす経済効果†

13.8.2 OD調査 14

† 伊藤直之, オープンデータをマーケティングに活かす, www.slideshare.net/itonaoyuki/ss-24902730, (2013).

http://www.slideshare.net/itonaoyuki/ss-24902730



オープンデータの事例


海外におけるオープンデータData.gov

• http://www.data.gov

• 2009年5月開始

• データセット– 4409件（CSV, XML, KML†, SHP‡) + 44,136件（ジオデー

タ）

• 掲載アプリ

– 1201件（47カテゴリ）

• 利用規約

– サイトから得られるデータの二次データや分析結果について，サイトや連邦政府が責任を負わないことを明記すれば，基本的に制限なく自由に使える

† KML : 地理空間情報におけるデータ表現形式．XMLのサブセット. http://ja.wikipedia.org/wiki/KML

‡ SHP : シェープファイル．行政界などのエリア情報を扱う.

http://ja.wikipedia.org/wiki/%E3%82%B7%E3%82%A7%E3%83%BC%E3%83%97%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB

http://www.data.gov

海外におけるオープンデータ各国のdata.gov

名称国開始時期備考

data.gov アメリカ 2009/05

data.gov.uk イギリス 2009/12

data.gov.au オーストラリア 2011/03

data.gouv.fr フランス 2011/12

dados.gov ポルトガル 2012/11

dados.gov.br ブラジル 2012/05

data.gov.in インド 2012/09 アメリカが支援

世界のオープンデータ事例カテゴリ別の割合


政治、選挙、

税金19%

犯罪、交通、

事故18%

環境18%

位置情報15%

医療、福祉11%

市民参加型事

件報告6%

不動産6%

書籍4%

旅行3%

n = 430

[参考資料]

東富彦, オープンデータ活用事例，http://bit.ly/13Q9djy , (2013)

三浦彩（CCLインターン生）, オープンデータ利活用に関する海外事例, http://www.slideshare.net/AyaMiura/open-data-presentation-25493765, (2013).

http://www.slideshare.net/AyaMiura/open-data-presentation-25493765







世界のオープンデータ事例政治、選挙、税金

法案審議情報 28,116,130,170

They work for you 国会議員の活動の可視化80,116,149,157,223,253,332

国会の役割を学ぶe-learning 97

補助金・助成金のマッチング119

Open Election 選挙情報86,195,243,323

※ 数字は，東富彦, オープンデータ活用事例，http://bit.ly/13Q9djy , (2013) で紹介されている番号

世界のオープンデータ事例犯罪、交通、事故

Crime Finder(UK) 犯罪情報

Ventutec Ltd.という企業が1.49ポンドで販売。スマートフォンのGPS、カメラ、コンパスを利用し、実際の映像に犯罪情報を重ねて表示。

世界のオープンデータ事例環境

airTEXT(UK) 大気汚染状況

Cambridge Environmental Research Consultants

という企業が既存事業強化のために開発したサービス。

大気の品質に関する予測を事業としている企業。YourAirというもともとあったシステムをベースに開発。

世界のオープンデータ事例医学、福祉

23andMe(US) 遺伝子情報分析

世界の治験データ

を利用して，遺伝子情報から将来の健康リスクなどを予測する

OD単体で事業化

ができている数尐ない例

世界のオープンデータ事例市民参加型事件報告

Fix My Street(UK) 地域課題の報告と追跡

NPOと企業の協働Fix My Streetをパッケージ化してMy Society Ltdが販売。

国内のオープンデータ（官公庁）

• 航空写真画像情報所在検索・案内システム

– 国や自治体等が保有する航空写真を統合的に利用できるサービス（国土交通省）

– http://airphoto.gis.go.jp/

– 提供形式，利用規約がバラバラ

• 電子国土ポータル– 地理情報のオープン化（国土地理院）

– http://portal.cyberjapan.jp/

– 特記事項

• マッシュアップ可能

• GoogleMaps, Yahoo!地図など類似サービスと同等の機能がある

• ただし，地図タイルが見にくい（小松の主観）

• 総務省, 次世代統計利用システム, http://statdb.nstac.go.jp/, (2013).

– 国勢調査，労働力調査，消費者物価指数などの総務省所轄統計 3万テーブル

– 一般的なWebAPIで提供

13.8.2 OD調査 24

http://airphoto.gis.go.jp/

http://portal.cyberjapan.jp/

http://statdb.nstac.go.jp/

国内のオープンデータ活用事例

• 税金はどこへ行った？– 利用者の年収を設定すると，どのくらいの税金が何に使われたかを表示

– 自治体予算に関するオープンデータを利用している

– 岩手だと釜石市版がある

– http://spending.jp/, (2013).

• データシティ鯖江– 福井県鯖江市

– 市の情報を公開し，それを活用したアプリコンテストを実施した

– http://www.city.sabae.fukui.jp/pageview.html?id=11552 , (2013).

• ちばレポ（ちば市民協働レポート）– 千葉市

– 市域で発生したさまざまな課題について，写真や位置情報とともに投稿する

– 投稿された課題に対して，仮想業務処理をする

• （実証実験中は実際に処理をしない）

– http://www.city.chiba.jp/shimin/shimin/kocho/chibarepo.html ,(2013).2013/8/27 オープンデータ・カフェ@岩手 Vol.1 「オープンデータとはなにか？」 25

http://spending.jp/

http://www.city.sabae.fukui.jp/pageview.html?id=11552

http://www.city.chiba.jp/shimin/shimin/kocho/chibarepo.html

オープンデータを支える技術


前書き

• これまでの先行研究調査を鑑みると，技術者や情報工学の目線でオープンデータを取り扱っている文献は尐ない– 政策的な面でのオープンデータについて述べられた文献はたくさんある

• 今回，小松の情報工学の知識やエンジニアとしての経験も踏まえて，どのような技術が関わってくるのかまとめたので紹介する– 情報工学者，技術者向けにまとめたものとなっている

• なお，本まとめは著者の主観が多く含まれる独自研究であり，その信頼性については保証いたしません


セマンティックWeb

• Webページの意味（セマンティック）をコンピュータが理解し，より人間のコンテキストを考慮した知的な処理が実現できる次世代Web

– 1998年頃，インターネットの父ティム・バーナーズ・リーが提唱した


図. レイヤーケーキ（http://www.asahi-net.or.jp/~ax2s-kmtn/internet/search2.htmlより）

写真. ティム・バーナーズ・リー（Wikipediaより）

http://www.asahi-net.or.jp/~ax2s-kmtn/internet/search2.html





WebAPIとマッシュアップ（1/2)


WebAPIとは，インターネット（HTTP）を利用し

て，ネットワーク越しに処理を実行して，結果を受け取る仕組みのこと

API DB

利用者（人に限らない）

1. 処理要求(HTTP) 2. DBデータ要求

3. DBデータ返却

4. 処理要求時に渡されたデータやDBのデータを用いて処理

2. 結果返却(HTTP)

要求時にパラメタを渡すことも可能

JSON/XML形式で返

却されることが一般的

■ 現在，主流となっているサービスは必ずといっていいほどWebAPIを一般公開しており，個人の開発者でもサービスの一機能を利用できるようになっている

WebAPIとマッシュアップ（2/2)


マッシュアップとは，複数のWebAPIを組み合わせ，あたかも一つのWebサービスにすること

利用者

サービスA

利用者には，サービスAが提供している

サービスとしか見えない

天気予報API

検索API

地図API実際は，多くのWebAPIを活用してサービスを作っている

Linked Open Data (LOD)†

• Linked Open Data に関する4つの原則– あらゆるデータの識別子としてURIを利用すること

– 識別子には，HTTP URI を使用し，参照やアクセスを可能にする

– URIにアクセスされた際には，有用な情報を標準フォーマット（RDFなど）で提供する

– データには，他の情報源における関連情報へのリンクを含め，ウェブ上の情報発見を支援する


ウェブ上で，コンピュータに適したデータを公開・共有する仕組み．従来のWebは，人間のための情報空間であったが，LODでは，構造化されたデータ同士をリンクさせ，”データのWeb” の構築を目指している

† ティム・バーナーズ・リー, http://www.w3.org/DesignIssues/LinkedData.html, (初版2006,最新訂2009)

http://www.w3.org/DesignIssues/LinkedData.html

Linked Open Data 5 Star†

Star 説明

★ ウェブ上で利用可能フォーマットは問わないオープンライセンス

★★ ★を含む機械読取可能な構造データ（excelなど）

★★★ ★★を含む非独占なデータ形式（csvなど）

★★★★ ★★★を含むW3C による標準を利用する（URI, RDF, SPARQL）

★★★★★ ★★★★を含む

データのコンテキストを提供するために他のデータへリンクする

† ティム・バーナーズ・リー, Linked Open Data 5 Star 日本語訳, http://5stardata.info/ja/

• Linked Open Data におけるデータの対応度合

データベース技術 / 高速処理技術

• NoSQL

– RDBMS 以外のデータベースシステムの総称

– これまでのRDBMSに備わっていた集計の柔軟さや信頼性よりも，高速性や冗長性やスケーラビリティを重視しているデータベース

– RDBMS に変わるものではない（適材適所）

– 例）HBase, MongoDB, Cassandra, Redis, TokyoTyrant…

• 高速分散処理技術– 数百，数千のサーバを利用して大規模データを高速に処理する技術

– 代表的な実装であるHadoopはビッグデータ時代の立役者であり，オープンデータの世界でも重要な存在となると考えられる

• GPGPU

– グラフィック処理のために生まれたハードウェアである GPU を，汎用的な処理に使うことで高速なデータ演算を行うもの

– 例) OpenCL, CUDA


データサイエンティスト

• 「21世紀で最もセクシーな職業」†

– “企業は，いまだかつて遭遇したことのない多様で膨大な量の情報と格闘してい

る．データサイエンティストがビジネス界に突如として現れたのはこの反映である”

• データサイエンティストの役割‡

– データマイニング: 膨大なデータを分析し，そのパターンや相関関係を発見する

– アナリティクス・レポーティング: 結果をわかりやすいグラフなどに落とし込む

– コンサルティング・マーケティング: 結果を踏まえ，ビジネスの意思決定に役立つ提言を行う

• データサイエンティストに必要とされる知識¶

– IT系スキル

• RDBMS, SQL, Hadoop, Hive, Pig, R, Perl, Python, Linux, Mahout, Jubatus…

– 分析系スキル

• 統計解析, 機械学習, SAS, SPSS, KXEN, KNIME, AlpineMiner…

– ビジネス系スキル

• 業務知識，質問力，理解力，伝達力，説得力，プロジェクト推進能力…


† トーマス H. ダベンポート, Data Scentist: The Sexiest Job of the 21st Century, (2012).

‡ 尾崎隆, 21世紀で最もセクシーな職業！？「データサイエンティスト」の実像に迫る,

http://www.slideshare.net/takashijozaki1/21-21583073, (2013).

¶ 佐藤洋行, データサイエンティストに必要なスキル,データサイエンティスト養成読本, (2013).

オープンデータとの関わり

技術名オープンデータとの関わり方

セマンティックWeb コンピュータによる知的な処理には，人間や社会のデータであるオープンデータが必要不可欠．オープンデータの効果的な活用を実現した未来のひとつがセマンティックWebともいえる．

WebAPI WebAPIを利用したサービスが生活をとりまいている．多くのオープンデータも，WebAPIを通じて提供されるようになれば，利活用がしやすくなる

マッシュアップオープンデータ同士のマッシュアップで，これまで実現できなかったデータの見せ方や新しい発見をし，新しいデータを作る

Linked Open Data オープンデータは膨大な量であり，すべてを把握することは困難である．コンピュータがデータ同士を結びつけ，人間のデータ発見の補助をすることを期待する

データベース技術膨大なデータを保管・集計するには，高速なデータベースとデータベース運用の知識が必要である

データサイエンティスト

膨大なデータを活用して，データの規則性などを発見し，課題解決のための施策を提案できる人材が必要不可欠である


おわりに


オープンデータとはなにか？

• 国家が市民を統制するという考えが古くなり，小さな政府になる過程で公共データをオープンにしている活動（オープンガバメント）が，より範囲を拡大し，民間データのオープン化も含めた世界的なデータオープン化のムーブメント

• オープンデータを活用し，政府と協働して新しい社会を支える「未来をつくる人」が求められている


オープンデータとは、自由に使えて再利用もでき、かつ誰でも再配布できるようなデータのことだ。従うべき決まりは、せいぜい「作者のクレジットを残す」あるいは「同じ条件で配布する」程度である。

Open Knowledge Foundation, オープンデータハンドブック（日本語訳）,

http://opendatahandbook.org/ja/what-is-open-data/index.html

今後の展望

• オープンデータの調査・研究– 既存ビジネスモデルの調査・検討

• オープンデータを活用することによる具体的なビジネスやその体系について明らかになっていない

– オープンデータ利活用による地域活性化の調査・検討

• 地域課題の解決のために，データ活用可能性を検討する

• 地方の事業者や自治体を中心にヒアリングを実施

• オープンデータの普及啓蒙活動と関係者の交流促進– オープンデータ・カフェ

• 来年3月末までに岩手で8回．全国各地で合計50回程度の開催を予定

– オープンデータ・ハッカソン

• 来年3月末までに岩手で3回開催予定

• 秀でたサービスをオープンデータ利活用のロールモデルとして世界に発信


オープンデータカフェ@盛岡 vol.1 「オープンデータとはなにか？」

Technology