20140619 dbtechshowcase osaka_2014_couchbase_x_metawater

SCSK株式会社

事例紹介((((⽔処理業界))))M2MM2MM2MM2Mソリューションメタウォータ様センサーデータ解析用大規模データ基盤構築実証実験レポート

2014年 6月19日

ITエンジニアリング事業本部ミドルウェア部富杉正広

Copyright(c) SCSK Corporation - 1 -

自己紹介

SCSK株式会社富杉正広（とみすぎまさひろ）

Couchbase社の代理店として、Couchbase社製品の営業／マーケティング／チームマネージャを担当しています。

Couchbase Web Site

http://www.couchbase.com/jp

SCSK Couchbase Web page

https://www.scsk.jp/product/common/couchbase/


Agenda

１．１．１．１．Couchbase ServerCouchbase ServerCouchbase ServerCouchbase Serverとは？とは？とは？とは？

２．２．２．２．Couchbase ServerCouchbase ServerCouchbase ServerCouchbase Serverの適用業務の適用業務の適用業務の適用業務

３．メタウォーター株式会社様向け導入事例紹介３．メタウォーター株式会社様向け導入事例紹介３．メタウォーター株式会社様向け導入事例紹介３．メタウォーター株式会社様向け導入事例紹介

４．今後の展開４．今後の展開４．今後の展開４．今後の展開

５．セミナー／５．セミナー／５．セミナー／５．セミナー／Community Meet UpCommunity Meet UpCommunity Meet UpCommunity Meet Upのご紹介のご紹介のご紹介のご紹介


Couchbase Serverとは？


Couchbase Serverの成り⽴ちとコンセプト

++++Apache Apache Apache Apache CouchDBCouchDBCouchDBCouchDB

超高速超高速超高速超高速メモリキャッシュメモリキャッシュメモリキャッシュメモリキャッシュ

柔軟なデータモデルを柔軟なデータモデルを柔軟なデータモデルを柔軟なデータモデルを備えた備えた備えた備えたDBDBDBDB

高いスケーラビリティ高いスケーラビリティ高いスケーラビリティ高いスケーラビリティと安全性と安全性と安全性と安全性

JSON形式データ

スキーマレス

スケールアウト

オートシャーディング

データレプリケーション

自動フェールオーバー

ドキュメント型データベース

導入の容易さ／高性能・低レイテンシー／データ分散技術／多彩な運用管理機能導入の容易さ／高性能・低レイテンシー／データ分散技術／多彩な運用管理機能導入の容易さ／高性能・低レイテンシー／データ分散技術／多彩な運用管理機能導入の容易さ／高性能・低レイテンシー／データ分散技術／多彩な運用管理機能


memcachedmemcachedmemcachedmemcached


Couchbase Couchbase Couchbase Couchbase は様々な場面でデータ管理のは様々な場面でデータ管理のは様々な場面でデータ管理のは様々な場面でデータ管理の

ソリューションを提供します。ソリューションを提供します。ソリューションを提供します。ソリューションを提供します。

高可用性高可用性高可用性高可用性キャッシュキャッシュキャッシュキャッシュ

Key ValueKey ValueKey ValueKey Value ドキュメント指向ドキュメント指向ドキュメント指向ドキュメント指向モバイルモバイルモバイルモバイル

ソリューションソリューションソリューションソリューション




JSONJSON

JSON

JSONJSON

PERFORMANCE

スケーラビリティハイパフォーマンス

24時間 × 365日稼動柔軟なデータモデル

拡張性、柔軟性に優れた“超高速アクセス型“ NOSQLデータベース

Elastic

Fast

Simple


スケーラビリティ

XDCRXDCRXDCRXDCRSingle Node TypeSingle Node TypeSingle Node TypeSingle Node Type

自動シャーディング

ユーザ自身ではなくデータベースが自動でデータの分散を行います。

地理的に異なるクラスタ間のレプリケーション

DR対策／異なる場所にクラスタ構成を組むことができます。

クラスタ管理がシンプル

スケールが容易で、ノードを１から１０、１０から１００と自由に追加／また削除をすることができます。

Auto ShardingAuto ShardingAuto ShardingAuto Sharding



ハイパフォーマンス

Fine Grained Fine Grained Fine Grained Fine Grained LockingLockingLockingLockingHash PartitioningHash PartitioningHash PartitioningHash Partitioning

内蔵キャッシュメモリ

キャッシュ層を個別に持つ必要がありません。

ドキュメントレベルのロック機構

並列処理によるハイスループットが可能となります。

ハッシュパーティショニング

データを均一に分散配置することによりホットスポットを回避します。

BuiltBuiltBuiltBuilt----ininininCacheCacheCacheCache

PERFORMANCE



24時間 × 365日稼動

HA via Replication HA via Replication HA via Replication HA via Replication DR via XDCR DR via XDCR DR via XDCR DR via XDCR

Online administrative Online administrative Online administrative Online administrative operationsoperationsoperationsoperations

オンラインでDBのアップグレード／HWのメンテナンス

アプリケーションに影響を与えずに操作が可能です。

インメモリのレプリカで高可用性を実現

自動／手動でのフェイルオーバー

XDCRでディザスタリカバリ対策

全てのアドミン操作がオンライン

•コンパクション•インデクシング•リバランス•バックアップ & リストア


Online DB Online DB Online DB Online DB upgrades and upgrades and upgrades and upgrades and maintenancemaintenancemaintenancemaintenance


柔軟なデータモデル

Handles constantly Handles constantly Handles constantly Handles constantly changing datachanging datachanging datachanging data

Maintains Native Maintains Native Maintains Native Maintains Native object representationobject representationobject representationobject representation

スキーマレス

様々な構成のデータでもJSON ドキュメントであれば簡単に管理ができます。

データベースの変更に対応

データベースに変更やダウンタイムを生じさせずにデータの変更ができます。

ネイティブオブジェクト

データを行x列ではなくオブジェクトとして捉えます。

いかなるドキュメントの属性でもインデックスを作成します。


SchemaSchemaSchemaSchema----less for less for less for less for structured / structured / structured / structured /

un/semiun/semiun/semiun/semi---- structured structured structured structured datadatadatadata

JSONJSON

JSON

JSONJSON


Couchbase ServerCouchbase ServerCouchbase ServerCouchbase Server Enterprise EditionEnterprise EditionEnterprise EditionEnterprise Editionの年間サブスクリプションを購入いただくと、全てのソフトウェアアップデート、ホットフィックスの年間サブスクリプションを購入いただくと、全てのソフトウェアアップデート、ホットフィックスの年間サブスクリプションを購入いただくと、全てのソフトウェアアップデート、ホットフィックスの年間サブスクリプションを購入いただくと、全てのソフトウェアアップデート、ホットフィックス、メンテナンスリリースおよび製品サポートへのアクセスが可能です。、メンテナンスリリースおよび製品サポートへのアクセスが可能です。、メンテナンスリリースおよび製品サポートへのアクセスが可能です。、メンテナンスリリースおよび製品サポートへのアクセスが可能です。SCSKSCSKSCSKSCSKでは万全の技術では万全の技術では万全の技術では万全の技術QAQAQAQAサポートと適切な応答時間による障害発生時の技術サポートと適切な応答時間による障害発生時の技術サポートと適切な応答時間による障害発生時の技術サポートと適切な応答時間による障害発生時の技術QAQAQAQAサポートをご提供します。サポートをご提供します。サポートをご提供します。サポートをご提供します。

ProductionProductionProductionProduction----ready software, ready software, ready software, ready software, worldworldworldworld----classclassclassclass NoSQL support.NoSQL support.NoSQL support.NoSQL support.

普及し始めた普及し始めた普及し始めた普及し始めたNoSQLNoSQLNoSQLNoSQLを運用環境に。を運用環境に。を運用環境に。を運用環境に。本格的に導入するお客様に最適な本格的に導入するお客様に最適な本格的に導入するお客様に最適な本格的に導入するお客様に最適な技術サポート付き商用技術サポート付き商用技術サポート付き商用技術サポート付き商用NoSQLNoSQLNoSQLNoSQL製品。製品。製品。製品。

SCSKSCSKSCSKSCSKととととCouchbaseCouchbaseCouchbaseCouchbase社は社は社は社は2011201120112011年より協業を開始。年より協業を開始。年より協業を開始。年より協業を開始。SCSKSCSKSCSKSCSKは“国内唯一“の代理店として、メーカーとの強固なアライアンスをベーは“国内唯一“の代理店として、メーカーとの強固なアライアンスをベーは“国内唯一“の代理店として、メーカーとの強固なアライアンスをベーは“国内唯一“の代理店として、メーカーとの強固なアライアンスをベースにスにスにスにCouchbase ServerCouchbase ServerCouchbase ServerCouchbase Serverのサポートを日本のお客様にご提供中。のサポートを日本のお客様にご提供中。のサポートを日本のお客様にご提供中。のサポートを日本のお客様にご提供中。

Couchbase ／ SCSK


Couchbase Serverの適用業務


メタウォーター株式会社様ご紹介


2013年8月23日日本経済新聞

「メタウォーター、水道インフラをクラウドで管理自治体向け」

【要旨】メタウォーター様がクラウドサービスで利用できる水道インフラ管理用のシステムを実用化し、事業化を行う。

各自治体が個別にシステム構築するのに比しコスト削減が可能となる他、熟練の作業員がいなくても運用可能となる・・・


ウォータービジネスクラウド(WBC)


WBCにおける業務上の課題


一定間隔（多くは短時間）にデータを取得する

データは継続収集することに意義がある

収集時点で使われ方が決まっていない（決まっているとは限らない）

大量発生

長期保存

全部保存

センサーデータの特徴


• 分析対象として収集／蓄積するデータが多種多様≒データ形式もバラバラ– センサーデータ– センサーデータ以外の各種データ

• 保存データ量（数）が多い– ⼤量のセンサーの情報＆⻑期にわたる保存期間

• クラウドサービスと言う事業特性上、システム停止が許されない

• サイジングの難しさ– 利用ユーザの増加≒対象データの増加

→クラウドサービス提供の特性上、ユーザおよびデータの増加量を事前に予測し、サイジングを⾏うことはほぼ不可能

既存の既存の既存の既存のRDBMSRDBMSRDBMSRDBMSをベースとしたシステムでをベースとしたシステムでをベースとしたシステムでをベースとしたシステムで実現することが困難！！実現することが困難！！実現することが困難！！実現することが困難！！

課題


• 分析対象として収集／蓄積するデータが多種多様≒データ形式もバラバラ

• 保存データ量（数）が多い

• クラウドサービスと言う事業特性上、システム停止が許されない

• サイジングの難しさ

課題


JSONJSON

JSON

JSONJSON

PERFORMANCE

・データ量に合わせた柔軟なスケールアウト・ワンクリックでのノード追加・削除・自動リバランス・データ分散機能

スケーラビリティハイパフォーマンス

24時間 × 365日稼動柔軟なデータモデル

・スキーマレスによる柔軟なデータ構造・データ構造の追加・変更も自由自在・バイナリデータにも対応

・ミリ秒以下の低レンテンシ・高レスポンス・ノード拡張によるリニアな性能UP・ノード数に影響しない安定した

高速レスポンス

・ダウンタイムゼロでノードの追加・削除・自動フェールオーバ・データセンター間でのレプリケーション

機能

Elastic

Fast

Simple

多種多様なデータ形式に対応

短時間で発生する大量のデータを高速に処理可能

サービスを停止させることなく安定的な運用が可能

長期にわたるデータ保存及びユーザ≒データ量の増加に

柔軟に対応可能

Couchbase Serverの特徴


蓄積

ユーザ

分析集約／集計

データソースデータソースデータソースデータソース

収集

システムの必要要素


蓄積

ユーザ

目的::::顧客サービス向上データ基盤最適化

分析集約／集計

定型分析

データソースデータソースデータソースデータソース

収集

データ連携サーバ

センサーデータセンサーデータセンサーデータセンサーデータ

MapReduceMapReduceMapReduceMapReduceMapReduceMapReduceMapReduceMapReduce

MapReduceMapReduceMapReduceMapReduceMapReduceMapReduceMapReduceMapReduce

MySQLMySQLMySQLMySQL

リアルタイム分析


優れた管理コンソールによる運用管理の容易さ– クラスターのリソース使用状況が確認可能– 数クリックの操作で容易にノードの追加／削除が可能

さらなるメリット


クロスデータセンターレプリケーション(XDCR)

– 異なるデータセンターに設置されたCouchbaseクラスター間のデータレプリケーション→DR対策

今後の展開


JSON Anywhere

ServerSync Gateway

Lite

• JSON on Device–端末からNoSQL Databaseの

利用がますます容易に

• JSON on Wire–データ形式の変換が不要に

• JSON on Cloud–柔軟なデータモデル–ハイパフォーマンス–容易な拡張性

JS N

JS N

JS N

モバイルソリューション今後の展開


Couchbase Lite for iOS & Android

オンプレミスクラウド

アーキテクチャ

今後の展開


モバイルソリューションの活用案

Server

作業手順書

製品マニュアル

作業日報

①事業所にて、当日使用予定の「作業手順書」や「製品マニュアル」をモバイル端末にダウンロード

②作業現場にて、作業を実施し日報を作成（現地の写真や動画も使用可）

③事業所に帰任後、作業日報をサーバと自動同期

Lite

今後の展開


Ｃｏｕｃｈｂａｓｅハンズオントレーニング（導入編）

インストールやセットアップはもちろん、サーバノードの追加・削除、レプリケーション（XDCR）などの初期設定や管理画面の説明などハンズオン形式で分かりやすくご紹介します。サンプルデータを用いて演習を行い、導入と運営のしやすさをご実感して頂けます。

開催日開催日開催日開催日 2014201420142014年年年年6666月月月月27272727日日日日((((金金金金))))／／／／7777月月月月18181818日日日日((((金金金金))))／／／／8888月月月月25252525日日日日((((月月月月))))

開催時間開催時間開催時間開催時間 13:0013:0013:0013:00～～～～17:0017:0017:0017:00

会場会場会場会場 SCSKSCSKSCSKSCSK株式会社株式会社株式会社株式会社豊洲オフィス豊洲オフィス豊洲オフィス豊洲オフィス東京都江東区豊洲東京都江東区豊洲東京都江東区豊洲東京都江東区豊洲3333----2222----20202020 豊洲オフィス豊洲オフィス豊洲オフィス豊洲オフィス

参加費参加費参加費参加費無料無料無料無料

概要概要概要概要－－－－CouchbaseCouchbaseCouchbaseCouchbase ServerServerServerServerの導入（データベースの構築）の導入（データベースの構築）の導入（データベースの構築）の導入（データベースの構築）－設定、起動、管理機能の操作－設定、起動、管理機能の操作－設定、起動、管理機能の操作－設定、起動、管理機能の操作－動作確認（モニタリング・グラフ等）－動作確認（モニタリング・グラフ等）－動作確認（モニタリング・グラフ等）－動作確認（モニタリング・グラフ等）

お申込みお申込みお申込みお申込み http://www.scsk.jp/product/common/couchbase/

ハンズオントレーニングのご紹介


Couchbase MeetUP Tokyo - #9

開催日開催日開催日開催日 2014201420142014年年年年7777月月月月11111111日日日日((((金金金金))))

開催時間開催時間開催時間開催時間 19:0019:0019:0019:00

会場会場会場会場 KDDI KDDI KDDI KDDI ウェブコミュニケーションズ（ウェブコミュニケーションズ（ウェブコミュニケーションズ（ウェブコミュニケーションズ（CloudCoreCloudCoreCloudCoreCloudCore セミナールーム）セミナールーム）セミナールーム）セミナールーム）東京都千代田区麹町三丁目東京都千代田区麹町三丁目東京都千代田区麹町三丁目東京都千代田区麹町三丁目6666番地番地番地番地住友不動産麹町ビル住友不動産麹町ビル住友不動産麹町ビル住友不動産麹町ビル3333号館号館号館号館

参加費参加費参加費参加費無料無料無料無料

アジェンダアジェンダアジェンダアジェンダ－事例紹介（ソーシャルゲーム）：どう使う？－事例紹介（ソーシャルゲーム）：どう使う？－事例紹介（ソーシャルゲーム）：どう使う？－事例紹介（ソーシャルゲーム）：どう使う？CouchbaseCouchbaseCouchbaseCouchbase ServerServerServerServerの運用とパフォーマンスの運用とパフォーマンスの運用とパフォーマンスの運用とパフォーマンス

－その他セッション調整中－その他セッション調整中－その他セッション調整中－その他セッション調整中

お申込みお申込みお申込みお申込み http://couchbasejpcommunity.doorkeeper.jp/events/12610

Couchbase JP Community主催のMeet Upです。ピザとアルコールを手配しますので、お腹を空かせてご参加ください！

コミュニティ Meet Up


会社名： SCSK株式会社(日本国内でのCouchbase社の代理店)

所在地：東京都江東区豊洲3-2-20 豊洲フロント設⽴： 1969（昭和44）年10月25日資本⾦： 21,152百万円従業員： 11,995名（連結）

業容：

【お問合わせ】SCSK株式会社

ITエンジニアリング事業部ミドルウェア部担当：富杉正広

TEL：03-5166-1960

E-mail：[email protected]

【お問合わせ】SCSK株式会社

ITエンジニアリング事業部ミドルウェア部担当：富杉正広

TEL：03-5166-1960

E-mail：[email protected]

会社紹介

20140619 dbtechshowcase osaka_2014_couchbase_x_metawater

Technology