iotデータの高速処理に最適なデータベース › pro › griddb › data ›...
TRANSCRIPT
© 2017 Toshiba Digital Solutions Corporation
膨大なIoTデータの高速処理に最適なデータベース
オープンソースソフトウェア(OSS) としてソース公開https://github.com/griddb/griddb_nosql/
デベロッパーズサイト
https://griddb.net/
オープンソース・コミュニティ導入事例
フランス リヨン 太陽光発電監視・診断システム
発電量の遠隔監視、発電パネルの性能劣化を診断
クラウドBEMS
ビルに設置された各種メータの情報の収集、蓄積、分析
石巻スマートコミュニティ プロジェクト地域全体のエネルギーのメータ情報の収集、蓄積、分析
電力会社低圧託送業務システムスマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整
神戸製鋼所産業用コンプレッサ稼働監視システムグローバルに販売した産業用コンプレッサをクラウドを利用して稼働監視
高い信頼性・可用性が求められるシステムで使われている
ノード数にほぼ比例して処理能力が向上 長時間運用においても安定したパフォーマンス
低レイテンシーで遅延せずに高速処理スループットでCassandraを圧倒
YCSB パフォーマンス・ベンチマーク…高い性能
出典:株式会社フィックスターズ 「GridDBとCassandraのパフォーマンスとスケーラビリティ」 (2017年8月23日)
※YCSB:Yahoo! Cloud Serving Benchmark
自律データ再配置技術ADDAによる、高い拡張性
APL APL APL APL APL APL APL APL APL
DB更新ログ(短期同期)
メモリブロック(長期同期)
現状
目標
長期同期プランニング
①負荷インバランス検知 ②長期同期プランニング ③長期同期実行 ④アクセス切替
自律データ再配置技術 ADDA:Autonomous Data Distribution Algorithm
マスタがインバランス状態を検知。バランス状態のためのプランニング
2種類のデータを使ってバックグラウンド高速同期。完了後にアクセス切替
DB更新ログ、メモリブロック
ノードダウン時やノード追加時に自動バランシング
ハイブリッド型クラスタ技術による、高い信頼性
データ配置管理情報(キャッシュ)
管理マスタ
Client
オリジナル レプリカオリジナル レプリカ
オリジナル レプリカオリジナル レプリカ
オリジナルレプリカ
Client Client
データ配置管理情報自律的クラスタ構成
フェイルオーバー
ノード1 ノード2 ノード3 ノード4 ノード5
データレプリケーション
特別なスキルを必要とせずに、高信頼のクラスタ構成が可能
P2P方式とマスタ・スレーブ方式のハイブリッド型
ノード間で自律的、動的にマスタノードを決定。単一故障点(SPOF)を排除
マスタがデータ配置を決定。レプリケーション、フェールオーバーを管理
単純なキーバリュー型とは異なり、使い慣れたRDBに近いモデリングが可能
※ACID : Atomicity、Consistency、Isolation、Durability
IoTに適したキー・コンテナ型データモデル
データ登録
機器2
機器3・・・
時系列データ機器1のデータ
機器1
対象ごとに時系列データを格納
テーブル表現で管理
機器N
キー
コンテナ
コンテナ:データをグループ化する入れ物 (テーブル)
コレクションコンテナ:レコード管理用 (行と列から構成される)
時系列コンテナ:時系列データ管理用 (時刻で並べられる)、効率的な時系列データ処理
の提供(サンプリング、データ圧縮、期限開放 など)
コンテナ単位でACID保証
RDB同様に、コンテナに対しSQLライクなクエリや索引設定が可能
ビッグデータ×IoTの特長
時系列データ
データベース
APL ログ
Web・SNS ログ
センサー
Web サイト
RDBMS
CRM/ERP
カラム 型
センサID String
日時 Date
測定値1 Double
測定値2 Double異常検出
見える化
各種集計
ミリ秒オーダーで高頻度に発生
高い処理能力High Performance
大量データが単調増加
柔軟な拡張性High Scalability
24H365D
絶え間なく発生
高い信頼性High Reliability
データ一貫性の保証
IoT指向モデルIoT Oriented
発生直後からリアルタイム参照
高い処理能力High Performance
高い処理能力High Performance
リアルタイム性重視、遅延なく多様なデータな登録・更新・検索
高い信頼性High Reliability
障害が発生しても無停止運用の実現
IoT指向モデルIoT Oriented
IoT指向のデータモデルでIoTに必要な機能の実現
GridDBの4つの特長
柔軟な拡張性High Scalability
容量や性能に応じて簡単に拡張・縮退
データ集計やサンプリング、期限解放、データ圧縮など、時系列データを効率よく処理・管理するための機能を用意
データモデルはユニークなキーコンテナ型。コンテナ内でのデータ一貫性を保証
メモリを主、ストレージを従としたハイブリッド型インメモリーDB
メモリやディスクの排他処理や同期待ちを極力排除したオーバヘッドの少ないデータ処理により高性能を実現
データの少ない初期は少ないサーバで初期投資を抑え、データが増えるにしたがってサーバを増やし性能・容量を高めるスケールアウト型アーキテクチャ
コンテナによりサーバ間通信を少なくし、高いスケーラビリティを実現
データ複製をサーバ間で自動的に実行し、サーバに障害が発生しても、システムを止めることなく運用を継続することが可能