iotデータの高速処理に最適なデータベース › pro › griddb › data ›...

1
© 2017 Toshiba Digital Solutions Corporation 膨大なIoTデータの高速処理に最適なデータベース オープンソースソフトウェア(OSS) として ソース公開 https://github.com/griddb/griddb_nosql/ デベロッパーズサイト https://griddb.net/ オープンソース・コミュニティ 導入事例 フランス リヨン 太陽光発電 監視・診断システム 発電量の遠隔監視、発電パネルの性能劣化を診断 クラウドBEMS ビルに設置された各種メータの情報の収集、蓄積、分析 石巻スマートコミュニティ プロジェクト 地域全体のエネルギーのメータ情報の収集、蓄積、分析 電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 神戸製鋼所 産業用コンプレッサ稼働監視システム グローバルに販売した産業用コンプレッサをクラウドを利用して稼働監視 高い信頼性・可用性が求められるシステムで使われている ノード数にほぼ比例して処理能力が向上 長時間運用においても安定したパフォーマンス 低レイテンシーで遅延せずに高速処理 スループットでCassandraを圧倒 YCSB パフォーマンス・ベンチマーク高い性能 出典:株式会社フィックスターズ GridDBCassandraのパフォーマンスとスケーラビリティ」 (2017823日) YCSBYahoo! Cloud Serving Benchmark 自律データ再配置技術ADDAによる、高い拡張性 APL APL APL APL APL APL APL APL APL DB更新ログ (短期同期) メモリブロック (長期同期) 現状 目標 長期同期 プランニング ①負荷インバランス検知 ②長期同期プランニング ③長期同期実行 ④アクセス切替 自律データ再配置技術 ADDAAutonomous Data Distribution Algorithm マスタがインバランス状態を検知。バランス状態のためのプランニング 2種類のデータを使ってバックグラウンド高速同期。完了後にアクセス切替 DB更新ログ、メモリブロック ノードダウン時やノード追加時に自動バランシング ハイブリッド型クラスタ技術による、高い信頼性 データ配置管理情報(キャッシュ) 管理マスタ Client オリジナル レプリカ オリジナル レプリカ オリジナル レプリカ オリジナル レプリカ オリジナル レプリカ Client Client データ配置管理情報 自律的クラスタ構成 フェイルオーバー ノード1 ノード2 ノード3 ノード4 ノード5 データレプリケーション 特別なスキルを必要とせずに、高信頼のクラスタ構成が可能 P2P方式とマスタ・スレーブ方式のハイブリッド型 ノード間で自律的、動的にマスタノードを決定。単一故障点(SPOF)を排除 マスタがデータ配置を決定。レプリケーション、フェールオーバーを管理 単純なキーバリュー型とは異なり、使い慣れたRDBに近いモデリングが可能 ACID : AtomicityConsistencyIsolationDurability IoTに適したキー・コンテナ型データモデル データ登録 機器2 機器3 時系列データ 機器1のデータ 機器1 対象ごとに時系列 データを格納 テーブル表現で管理 機器N キー コンテナ コンテナ:データをグループ化する入れ物 (テーブル) コレクションコンテナ:レコード管理用 (行と列から構成される) 時系列コンテナ:時系列データ管理用 (時刻で並べられる)、効率的な時系列データ処理 の提供(サンプリング、データ圧縮、期限開放 など) コンテナ単位でACID保証 RDB同様に、コンテナに対しSQLライクなクエリや索引設定が可能 ビッグデータ×IoTの特長 時系列データ データベース APL ログ WebSNS ログ センサー Web サイト RDBMS CRM/ERP カラム センサID String 日時 Date 測定値1 Double 測定値2 Double 異常検出 見える化 各種集計 ミリ秒オーダーで 高頻度に発生 高い処理能力 High Performance 大量データが 単調増加 柔軟な拡張性 High Scalability 24H365D 絶え間なく発生 高い信頼性 High Reliability データ一貫性 の保証 IoT指向モデル IoT Oriented 発生直後から リアルタイム参照 高い処理能力 High Performance 高い処理能力 High Performance リアルタイム性重視、遅延な く多様なデータな登録・更 新・検索 高い信頼性 High Reliability 障害が発生しても無停 止運用の実現 IoT指向モデル IoT Oriented IoT指向のデータモデルで IoTに必要な機能の実現 GridDBの4つの特長 柔軟な拡張性 High Scalability 容量や性能に応じて簡 単に拡張・縮退 データ集計やサンプリング、期限解放、データ圧縮など、 時系列データを効率よく処理・管理するための機能を用意 データモデルはユニークなキーコンテナ型。コンテナ内での データ一貫性を保証 メモリを主、ストレージを従としたハイブリッド型インメモリーDB メモリやディスクの排他処理や同期待ちを極力排除したオー バヘッドの少ないデータ処理により高性能を実現 データの少ない初期は少ないサーバで初期投資を抑え、 データが増えるにしたがってサーバを増やし性能・容量を 高めるスケールアウト型アーキテクチャ コンテナによりサーバ間通信を少なくし、高いスケーラビリ ティを実現 データ複製をサーバ間で自動的に実行し、サーバに障害が 発生しても、システムを止めることなく運用を継続することが 可能

Upload: others

Post on 29-May-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: IoTデータの高速処理に最適なデータベース › pro › griddb › data › WebDB-Forum2017_Post… · ビッグデータ×IoTの特長 時系列データ データベース

© 2017 Toshiba Digital Solutions Corporation

膨大なIoTデータの高速処理に最適なデータベース

オープンソースソフトウェア(OSS) としてソース公開https://github.com/griddb/griddb_nosql/

デベロッパーズサイト

https://griddb.net/

オープンソース・コミュニティ導入事例

フランス リヨン 太陽光発電監視・診断システム

発電量の遠隔監視、発電パネルの性能劣化を診断

クラウドBEMS

ビルに設置された各種メータの情報の収集、蓄積、分析

石巻スマートコミュニティ プロジェクト地域全体のエネルギーのメータ情報の収集、蓄積、分析

電力会社低圧託送業務システムスマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整

神戸製鋼所産業用コンプレッサ稼働監視システムグローバルに販売した産業用コンプレッサをクラウドを利用して稼働監視

高い信頼性・可用性が求められるシステムで使われている

ノード数にほぼ比例して処理能力が向上 長時間運用においても安定したパフォーマンス

低レイテンシーで遅延せずに高速処理スループットでCassandraを圧倒

YCSB パフォーマンス・ベンチマーク…高い性能

出典:株式会社フィックスターズ 「GridDBとCassandraのパフォーマンスとスケーラビリティ」 (2017年8月23日)

※YCSB:Yahoo! Cloud Serving Benchmark

自律データ再配置技術ADDAによる、高い拡張性

APL APL APL APL APL APL APL APL APL

DB更新ログ(短期同期)

メモリブロック(長期同期)

現状

目標

長期同期プランニング

①負荷インバランス検知 ②長期同期プランニング ③長期同期実行 ④アクセス切替

自律データ再配置技術 ADDA:Autonomous Data Distribution Algorithm

マスタがインバランス状態を検知。バランス状態のためのプランニング

2種類のデータを使ってバックグラウンド高速同期。完了後にアクセス切替

DB更新ログ、メモリブロック

ノードダウン時やノード追加時に自動バランシング

ハイブリッド型クラスタ技術による、高い信頼性

データ配置管理情報(キャッシュ)

管理マスタ

Client

オリジナル レプリカオリジナル レプリカ

オリジナル レプリカオリジナル レプリカ

オリジナルレプリカ

Client Client

データ配置管理情報自律的クラスタ構成

フェイルオーバー

ノード1 ノード2 ノード3 ノード4 ノード5

データレプリケーション

特別なスキルを必要とせずに、高信頼のクラスタ構成が可能

P2P方式とマスタ・スレーブ方式のハイブリッド型

ノード間で自律的、動的にマスタノードを決定。単一故障点(SPOF)を排除

マスタがデータ配置を決定。レプリケーション、フェールオーバーを管理

単純なキーバリュー型とは異なり、使い慣れたRDBに近いモデリングが可能

※ACID : Atomicity、Consistency、Isolation、Durability

IoTに適したキー・コンテナ型データモデル

データ登録

機器2

機器3・・・

時系列データ機器1のデータ

機器1

対象ごとに時系列データを格納

テーブル表現で管理

機器N

キー

コンテナ

コンテナ:データをグループ化する入れ物 (テーブル)

コレクションコンテナ:レコード管理用 (行と列から構成される)

時系列コンテナ:時系列データ管理用 (時刻で並べられる)、効率的な時系列データ処理

の提供(サンプリング、データ圧縮、期限開放 など)

コンテナ単位でACID保証

RDB同様に、コンテナに対しSQLライクなクエリや索引設定が可能

ビッグデータ×IoTの特長

時系列データ

データベース

APL ログ

Web・SNS ログ

センサー

Web サイト

RDBMS

CRM/ERP

カラム 型

センサID String

日時 Date

測定値1 Double

測定値2 Double異常検出

見える化

各種集計

ミリ秒オーダーで高頻度に発生

高い処理能力High Performance

大量データが単調増加

柔軟な拡張性High Scalability

24H365D

絶え間なく発生

高い信頼性High Reliability

データ一貫性の保証

IoT指向モデルIoT Oriented

発生直後からリアルタイム参照

高い処理能力High Performance

高い処理能力High Performance

リアルタイム性重視、遅延なく多様なデータな登録・更新・検索

高い信頼性High Reliability

障害が発生しても無停止運用の実現

IoT指向モデルIoT Oriented

IoT指向のデータモデルでIoTに必要な機能の実現

GridDBの4つの特長

柔軟な拡張性High Scalability

容量や性能に応じて簡単に拡張・縮退

データ集計やサンプリング、期限解放、データ圧縮など、時系列データを効率よく処理・管理するための機能を用意

データモデルはユニークなキーコンテナ型。コンテナ内でのデータ一貫性を保証

メモリを主、ストレージを従としたハイブリッド型インメモリーDB

メモリやディスクの排他処理や同期待ちを極力排除したオーバヘッドの少ないデータ処理により高性能を実現

データの少ない初期は少ないサーバで初期投資を抑え、データが増えるにしたがってサーバを増やし性能・容量を高めるスケールアウト型アーキテクチャ

コンテナによりサーバ間通信を少なくし、高いスケーラビリティを実現

データ複製をサーバ間で自動的に実行し、サーバに障害が発生しても、システムを止めることなく運用を継続することが可能