データ・サービス - ibm...22 redis cloud...

IBM Bluemixwww.bluemix.net

IBM Bluemix テクニカル・セミナー

データ・サービス

2016年7月26日

日本アイ・ビー・エム株式会社クラウド・ソフトウェア事業部Bluemix & SaaS テクニカル・セールス

鈴木一平

© 2016 IBM Corporation2


Disclaimer

ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、またそのような結果を生むものでもありません。

本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。

記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。

IBM、IBM ロゴ、ibm.com、Bluemix、IBM MobileFirst は、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。

Windowsは Microsoft Corporationの米国およびその他の国における商標です。JavaおよびすべてのJava関連の商標は Oracleやその関連会社の米国およびその他の国における商標または登録商標です。



アジェンダ概要

Bluemixで使用できるデータ & 分析サービス

サービス一覧

サービスの分類

Compose

SQL と NoSQL Database の特性

IBM DB2 on Cloud DB2 のラインナップ

IBM DB2 on Cloud とは

オンプレミスと Cloud の連携方法

価格プラン

Bluemix Console からのサービス作成

dashDB dashDB とは

Console のご紹介

Tables – Browse Data

Run SQL

RStudio

価格プラン


IBM DataWorks IBM DataWorks とは

IBM DataWorks Dashboard

IBM DataWorks Forge Top ページ

価格プラン

Cloudant NoSQL DB Cloudant NoSQL DB とは

Cloudant NoSQL DB へのアクセス

Cloudant Dashboard

価格プラン

デモデモアプリの説明

デモデータに使用したゴルフ場

シナリオ

使用した価格プラン

まとめ最適なサービス・プランを選択する

参考資料

付録 Cloudant Warehousing による dashDB 連携手順

dashDB Console におけるデータ確認手順

404 が出たら・・・



概要



Bluemixで使用できるデータ & 分析サービス (1)https://new-console.ng.bluemix.net/catalog/?category=data



Bluemixで使用できるデータ & 分析サービス (2)https://new-console.ng.bluemix.net/catalog/?category=data



# アイコンサービス紹介プロバイダー

1 Apache Spark

Apache Sparkは、新たに統合されたノートブック・インターフェースIBM解析を経由してアクセスすることができ、非常に高速で大規模なデータ処理に最適化されたオープンソースのクラスタコンピューティングフレームワークです。

IBM

2BigInsights for Apache Hadoop

プラットフォームを管理することなく、オープンソースのApache HadoopのとAPI™ BigInsightsを使用して分析アプリケーションを開発します。

IBM

3 Cloudant NoSQL DB Cloudant NoSQL DB は、常に稼働している完全管理 NoSQL JSON データ層へのアクセスを提供します。

IBM

4 dashDB データ・ウェアハウスおよび分析に最適化されたデータストア機能を提供するサービスです。

IBM

5 IBM DataWorks 標準のRESTモデルを実装する一連のAPIを活用しています。これらのAPIを使用すると、機能豊富な機能と相互運用できるようになります。

IBM

6 Elasticsearch by Compose

ElasticsearchはJSONのドキュメント・データベースの長所であるインデックス化とフルテキスト検索エンジンのパワーをつなげます。それは膨大で豊かなデータ分析のための強力なツールを作成する目的です。Elasticsearchで検索は正確にスコア化できます。

IBM

7 Geospatial Analytics デバイスからアップロードされた位置情報をもとに特定のエリアへの出入りをイベントとして処理します。

IBM

8 IBM DB2 on Cloud IBM DB2 on Cloudは、SoftLayer グローバルクラウド基盤上のデータベースを提供します。

IBM

サービス一覧 (1)




9IBM GraphBeta

IBM Graphは格納およびデータポイント、それらの接続、およびプロパティを照会するためのグラフデータベースサービスです。

IBM

10 Insights for Twitterこのサービスは、IBM ソーシャル・メディア分析の高度な自然言語処理アルゴリズムに基づいた、感情その他の拡張情報を複数の言語で提供します。

IBM

11 MongoDB by Compose強力なインデックスと照会があり、集積と広いドライバーサポートがあるMongoDBは多くの企業の立ち上げと企業のためのデータ・ストアになります。

IBM

12 PostgreSQL by Compose PostgreSQLは強力なオープンソースです。非常にカスタマイズしやすいオブジェクトリレーショナルデータベースです。

IBM

13 Predictive AnalyticsPredictive Analyticsは、開発者とデータ科学者が予知のケーパビリティーをアプリケーションと統合するための協働を簡単にできるフルサービスです。

IBM

14 Redis by Compose Redisは、アクセスが高速なキーバリューモデルを採用するNoSQLです。 IBM

15 SQL Database BluemixアプリからSQLアクセス可能なリレーショナル・データベース機能を提供するサービスです。

IBM

16 Streaming Analytics リアルタイムでデータソースから、データ取得、分析、モニタなど実行します。

IBM





17Weather Company Data for IBM Bluemix

The Weather Company が提供する気象データを IBM Bluemix アプリケーションに統合できます。

IBM

18 ClearDB MySQL Database MySQLをベースとしたSaaS型DBサービスです。 Third Party

19 Cupenya Insightsビジネス分析のサービスで、KPI やアクションを管理するためのダッシュボード、Bluemix アプリケーションのためのAPIが提供されます。

Third Party

20 ElephantSQL PostgreSQL をベースとした SaaS型DBサービスです。 Third Party

21 Namara.io Catalog

Namara.ioプラットホームは、利用可能なオープン・データを集めて、単一ポータルのユーザに提供します。このパブリックデータの組織化とカタログ掲載を行って、高いバリューがある情報へのAPIアクセスをユーザに提供します。

Third Party

22 Redis Cloud RedisをベースとしたSaaS型DBサービスです。 Third Party

23 TinyQueriesO/R マッピングのための API フレームワークです。Query を作成するIDE (ダッシュボード) と API が提供されます。

Third Party

24 IBM DataStage on Cloud SoftLayer グローバルクラウド基盤の InfoSphere DataStage を提供します。

IBM

25IBM Master Data Management on Cloud

SoftLayer グローバルクラウド基盤の Master Data Management を提供します。

IBM




NoSQL SQL Analytics

IB

MC

om

pose

Th

irdParty

サービスの分類

CloudantNoSQL DB

IBM Graph

DataWorks IBM DB2 on Cloud

SQL Database

MongoDBby Compose

Redisby Compose

Redis Cloud

PostgreSQLby Compose

ClearDB MySQLDatabase

dashDB

CupenyaInsights

Namara.ioCatalog

ビジネス

ElephantSQL TinyQueries

Apache Spark BigInsights forApache Hadoop

BigData並列分散

StreamingAnalytics

BigDataストリーム

Weather Company Datafor IBM Bluemix

Insightsfor Twitter

GeospatialAnalytics

情報

Elasticsearchby Compose

検索

PredictiveAnalytics

予測

IBM DataStageon Cloud

IBM Master DataManagement on Cloud

InfoSphere



Compose

Compose, Inc.

PostgreSQL、MongoDB、Redis、Elasticsearch などの DBaaS プロバイダー

IBM が2015年7月に買収

IBM 提供となっているが、サービスの使用には Compose のアカウントと別途料金が必要。

使用条件

• 料金

⁃ Start with 1GB for $17.50

⁃ additional gigabyte of data costs $12

• 非機能

⁃ Multi-node cluster for reliability and high availability

⁃ Automatic failover

⁃ Managed disaster recovery backups

⁃ 24/7 operations team

サービス URL

PostgreSQL by Compose https://www.compose.io/postgresql/

MongoDB by Compose https://www.compose.io/mongodb/

Redis by Compose https://www.compose.io/redis/

Elasticsearch by Compose https://www.compose.io/elasticsearch/



SQL と NoSQL Database の特性データ SQL NoSQL

モデル

リレーショナル・データベース次のモデルを実装した個別のソフトウェアがある。(関係表は持てない。)• キー・バリュー• カラム指向• グラフ• ドキュメント指向

データ一貫性ACIDトランザクションの仕組みがある。

BASE堅牢なトランザクションはサポートしていない。

データ操作SQL (関係表、副問合せなど複雑な条件でによる検索・集計が可能)

• 独自 API (CRUD)• MapReduce

処理速度速くない速い (データ一貫性を犠牲)

スケールアウト書込みの分散は不可能容易 (データ一貫性を犠牲)

向いている用途

同一のデーターを複数ユーザーが同時期に更新する。• 勘定系システム• 予約システム

同一のデーターは基本的に個人が更新する。• 個人の位置情報やアンケートなどの登録• 文書管理 (ワークフロー)



IBM DB2 on Cloud



DB2 のラインナップ

オンプレミス

Cloud

豊富な実績堅牢性

多様なデータ応答速度

カスタム環境

伸縮性柔軟性従量制

99.999%の可用性DB2 pureScale

スケーラブルに拡張DB2 DPF(MPP)

MPP applianceDB2 PDOA

Non- tuningColumnar DBDB2 BLU

+ 行/列ハイブリッド

DB2 on CloudDB2のCloud版

DataWorksGUIでの簡単な操作非同期コピー

dashDBDB2 BLUのCloud版

BLU + NetezzaGUIでの簡単な操作

Systems of Record（基幹システム）

Systems of Engagement（イノベーション）

Cloudant

No SQLからRDBへ

自動変換コピー

dashDBfor Transaction

OLTP向き

InfoSphere CDC /Q Replicationリアルタイムコピー



IBM DB2 on Cloud とは

購入してすぐにCloud上のDB2が利用可能！

１．すぐに使える

月単位の契約。必要なときに必要な分だけ！

２．使った分だけお支払い

これまでのノウハウをそのままクラウドで利用可能！

３．オンプレと同じノウハウ

ハードウエア

OS

データベースの構築

データベースの管理

アプリケーションの開発

DB2のクラウドへのホスティングサービス。OLTP , OLAP用途に。



オンプレミスと Cloud の連携方法

On-Premises Cloud

DataWorks

IBM DB2 on Cloud

１．ファイル転送による連携※Cloudのストレージへ一旦おくことも可

４．DataWorksによるコピーGUI操作で簡単に非同期コピー

３．ETLツールによる連携

これまでと同じノウハウ！

New！



２．リアルタイム連携InfoSphere CDC /Q Replication



価格プラン (1) 5 instance sizes: Small, medium, Large, X-Large, XX-Large

Versions of DB2: Workgroup Server (WSE), Advanced Enterprise Server (AESE)

Single part number of each size

￥142,800 ￥242,800 ￥428,400 ￥856,800

￥178,500 ￥314,200 ￥571,200 ￥1,143,000 ￥2,571,000



価格プラン (2)Common Components Advanced Components / Models



Bluemix Console からのサービス作成全プランとも Bluemix Console からサービス作成できない。

(専用インスタンスの予約が必要)



dashDB



dashDB とは

BLU Acceralation + In-DB Analytics

１．DB2とNetezzaのいいとこどり

バックアップ、統計情報の取得、

チューニングすべて不要

２．運用いらずの完全マネージドサービス

GUIベースで簡単に操作可能

３．マニュアルいらずの簡単な操作ハードウエア

OS

データベースの構築

データベースの管理

アプリケーションの開発

OLAP または OLTPに適したプランを有するSaaSサービス。



Console のご紹介

Connection Information から

User ID、Password、Port などを確認できる。

SSL接続

非SSL接続 (50000/tcp) も可能

DB2クライアントからインターネット経由で直接接続できるがセキュアではない。



Tables – Browse Data



Run SQL



RStudio Console サイドメニュー Analytics – R Script を選択、

RStudio をクリックして起動する。



価格プラン

プランフィーチャー料金

EntryNo charge for up to 1GB of data storage.20 GB maximum data storage.

￥5,250.00/Monthly

Enterprise 64.1Dedicated instance with 64GB RAM.1 Node(s), 64 GB RAM, 1 TB of Uncompressed Pre-load Data

￥167,100.00/Instance

Enterprise 256.4Dedicated instance with 256GB RAM.1 Node(s) 256 GB RAM 4 TB of Uncompressed Pre-load Data


Enterprise 256.12Dedicated instance with 256GB RAM designed for storage dense applications.1 Node(s), 256 GB RAM, 12 TB of Uncompressed Pre-load Data

￥1,052,000.00/Instance

Enterprise MPP.4Dedicated instance of multiple node cluster.1 Node(s), 256 GB RAM, 4 TB of Uncompressed Pre-load Data

￥772,300.00/Node

Enterprise MPP 32.244.1400 for AWS

Dedicated instance with 244GB RAM.1 Node(s), 244 GB RAM, 1.4 TB of Uncompressed Pre-load Data

￥1,321,000.00/Node

Enterprise Transactional 12.128.1400

Dedicated instance supporting Online Transaction Processing (OLTP) workloads with 128GB RAM. 1.4 TB SSD storage for data and logs.1 Node(s), 128 GB RAM, 1400 GB Storage


Enterprise Transactional 2.8.500

Dedicated instance supporting Online Transaction Processing (OLTP) workloads with 8GB RAM. 500 GB of space for data and logs.1 Node(s), 8 GB RAM, 500 GB Storage




Bluemix Console からのサービス作成Entry 以外のプランは、Bluemix Console からサービス作成できない。

(専用インスタンスの予約が必要)

「要求」ボタン



Bluemix Console からのサービス作成 (2)Entry 以外のプランは、Bluemix Console からサービス作成できない。

(前頁とは Console の画面遷移が異なる。)

他のサービスと異なり、オンライン操作だけでは使用できない。

「作成」ボタン



IBM DataWorks



IBM DataWorks とは

クラウド・ベースのETLツール

使用方法

IBM DataWorks Forge (GUI ツール)

IBM DataWorks REST API (プログラミング)

Data Load API: ソースからターゲットにデータをロード

Address Cleansing API: 米国住所データを標準化 (米国のBluemix 環境でのみサポート)

Data Profiling API: データを分類、分析、および検証する

オンプレミス、クラウドを問わず各種データソースをサポート

オンプレミスのデータに安全にアクセスするために、セキュア・ゲートウェイを構成することが可能 (推奨)

ソース / ターゲット、API など、詳しくは Bluemix Docs を参照

https://new-console.ng.bluemix.net/docs/services/dataworks1/index.html#dataworks



IBM DataWorks Dashboard

IBM DataWorks Forge 起動

Bluemix Docs 起動



IBM DataWorks Forge Top ページ



価格プラン


StarterPrice per activity run up to 10 GB per activity.FREE: Activity runs that move fewer than 1000 rows of data to the target.FREE until 12/31/2016: Activity runs that move up to 30 GB per month.

￥210.00 /ITEM

Personal100 activity runs per month per plan instance.1 TB of data moved to activity targets per month per plan instance.FREE: Activity runs that move fewer than 1000 rows of data to the target.

-

Professional500 activity runs per month per plan instance.5 TB of data moved to activity targets per month per plan instance.FREE: Activity runs that move fewer than 1000 rows of data to the target.

-

Enterprise5000 activity runs per month per plan instance.50 TB of data moved to activity targets per month per plan instance.FREE: Activity runs that move fewer than 1000 rows of data to the target.

-





Starter 以外のプランは Bluemix Console からサービス作成できない。

営業から購入することで使用可能になる。



Cloudant NoSQL DB



Cloudant NoSQL DB とは

CloudantCloudant はインターネットでデータベースをサービスとして提供する

Database-as-a-Service（DBaaS）プロバイダー

JSON（JavaScript Object Notation）形式で保存スキーマレス

ドキュメントの保存、更新、削除、検索といった操作に RESTful APIを利用

Bluemixサービスを作成すると Cloudantのアカウントが作成される

https://<accountID>.cloudant.com/<database>/<doc._id>の URL でドキュメントへのアクセスが出来る

PUT /<database>/<doc._id>

GET /<database>/<doc._id>



Cloudant NoSQL DB へのアクセス

クライアントから REST API でアクセス可能

Bluemix ランタイム、Cloudant Dashboard からアクセス可能

Bluemix 外の Cloudant とのレプリケーションが可能

REST

レプリケーション

ランタイム

CloudantNoSQL DBCloudant Dashboard

クライアント



Cloudant Dashboard

Databases データベースをリスト

データ参照 / 更新

Query Indexes 設定

Geospatial Index設定

Search Index設定

Warehousing dashDB / DB2 へのデータ保管 (同期)

Replication Replication 設定

Active Tasks Replication や Compactionなどバッ

ク・グランドで実行されているタスクを確認

Account Announcements、CORS (Cross-

Origin Resource Sharing)、Virtual Hosts



価格プラン


Shared(*1)

20 GB の無料データ・ストレージ毎月 500,000 の無料軽負荷 API 呼び出し毎月 100,000 の無料高負荷 API 呼び出し

￥105.00 /GB￥3.15 /1000 Light API Calls￥15.75 /1000 Heavy API Calls

Enterprise SMB

Dedicated hardwarePriced per nodeMinimum of 3 nodesSLA for service and support

8 vCPU, 800 GB SSD Storage

￥119,000.00 /Node

Enterprise Standard

Dedicated hardwarePriced per nodeMinimum of 3 nodesSLA for service and support

24 vCPU, 1.6 TB SSD Storage

￥328,500.00 /Node

*1 2016年8月に改定予定Lite, Standard プランに分類、軽負荷、高負荷 API 呼び出しによる課金廃止





Shared 以外のプランは Bluemix Console からサービス作成できない。

営業から購入することで使用可能になる。



デモ



デモアプリの説明

ゴルフのスコアカウント

ストローク、使用クラブ、結果、位置情報を登録

Google マップとの連携

集計

画面ショット

GitHub

https://github.com/ippei0605/score-counter



デモデータに使用したゴルフ場

この地域にはめずらしいほどのフラットなゴルフ場です。

コースは、南向きの穏やかな気候と自然に恵まれた美しい丘陵地です。乗用カートでめぐる快適なプレーを体感してください。

なんと周囲に白杭はありません。→ OB が無い！

ティーショットで山奥や谷底に打ち込んでも、特設ティーから前進3打でプレーできます。



シナリオ

アプリを作成

ランタイム (Node.js)

サービス (Cloudant NoSQL DB, dashDB)

プッシュ

ブラウザからアプリを操作

現在の位置情報を登録してアプリの動きを確認

デモデータを用いたアプリの説明

dashDBとの連携

Warehousing

SQL による集計

R Script による集計



使用した価格プラン

名称プラン単価 (円) 無料枠想定使用量月額小計 (円)

SDK for Node.js デフォルト 7.35 /GB 時間 375 GB 時間180GB(256MB×1ヵ月)

1,323

CloudantNoSQL DB

Shared105 /GB

3.15 /1,000 Light API Calls

15.75 /1,000 Heavy API Calls

データストレージ 20GB500,000 Light API Calls100,000 Heavy API Calls

データ容量 20GB未満読込 500,000回未満書込 100,000回未満

2,1001,5751,575

dashDB Entry 5,250 /20GB データストレージ 1GB データ容量 1GB未満 5,250

Bluemix Platform 小計(円~100円単位で切り上げ）：D16P3LL 11,900

サポート：D16QGLL 21,000

月額合計(円) 32,900

このアプリだけであれば

無料での使用が可能

0



まとめ



最適なサービス・プランを選択する

サービスの種類

データベース

RDB (SQL)

NoSQL DB

Analytics (非データベース)

ビッグデータ

並列分散

ストリーム (リアルタイム)

予測分析

情報

検索エンジン

ビジネス分析

InfoSphere

プロバイダー

IBM

Compose

Third Party

サービスインスタンス

共有

専有

価格帯

プラン単価: 無料〜￥5,551,000



参考資料

Cloudant Node.js client libraryhttps://github.com/cloudant/nodejs-cloudant

Cloudant NoSQL DB の概要 (Bluemix)https://new-console.ng.bluemix.net/docs/services/Cloudant/index.html#Cloudant

IBM Cloudant (こちらの FOR DEVELOPERS の FAQ や Sample Apps は Bluemix Docs より充実している。)https://cloudant.com/

Geolocation の利用https://developer.mozilla.org/ja/docs/WebAPI/Using_geolocation

Google Maps JavaScript APIhttps://developers.google.com/maps/documentation/javascript



付録



Cloudant Warehousing によるdashDB 連携手順



Bluemix で認証する

Bluemix の認証情報を入力して、

クリックする。



dashDB Warehouse を作成する

dashDB を新たに作成する場合

dashDB がある場合は以下も選択可能

データ同期するデータベースを入力すると、

以下に表示される。例では「score」



dashDB Console を開く



dashDB Console におけるデータ確認手順



テーブルメニューを選択する

Connection Information から

User ID、Password、Port などを確認できる



テーブルを選択する



データを参照する



SQL でテーショットの結果を確認する



SQL サンプル

SELECT RESULT, COUNT(RESULT) AS COUNT FROM SCORE WHERE COUNT = '1' GROUP BY RESULT;



R Studio でテーショットの結果を確認するConsole サイドメニュー Analytics – R Script を選択、

RStudio をクリックして起動する。

R Script 実行



R Script サンプル

library(ibmdbR)

mycon <- idaConnect("BLUDB", "", "")

idaInit(mycon)

f_score <- as.data.frame(ida.data.frame('SCORE')[,c('DATE', 'HOLE', 'COUNT', 'CLUB', 'RESULT')])

View(f_score)

teeshot <- f_score[f_score$COUNT == 1,]

View(teeshot)

as.data.frame(table(teeshot$RESULT))



404 が出たら・・・



404: リソースが見つかりません

極々、稀に、、、

こんなエラーがでませんか？

◆公開したアプリにアクセスできるか確認してみる。

◆詳細ステータスを確認してみる。• 【米国南部】 https://estado.ng.bluemix.net• 【英国】 https://estado.eu-gb.bluemix.net/• 【シドニー】 https://estado.au-syd.bluemix.net/

bluemix.net ドメインにアクセスできない場合は、コンソールへのログイン、公開したアプリへのアクセス、上記の詳細ステータスの確認ができない可能性がある。

◆ ステータスを確認してみる。• https://developer.ibm.com/bluemix/support/#status

◆ CF コマンドで確認してみる。• cf login

• cf apps

• cf services / cf service …

◆ サービスに直接アクセスしてみる。Cloudant など接続先が bluemix.net でない場合は、ローカルマシンから直接サービスにアクセスできる可能性がある。

詳細ステータスや Docs は

別ドメインの方が有難い。

データ・サービス - ibm...22 redis cloud...

Documents