http://www.forschooner.net/

実録：Cassandra監視運用をアウトソースするコスト

2013.8.6

フォースクーナ株式会社小林敏男

SIerのためのCassandra実用セミナーNoSQLリアルビジネス II

NoSQLビジネス 新たな鼓動

2

本日のアジェンダ

-フォースクーナについて-Cassandra監視運用のポイント-Cassandra監視運用のコスト

3

プロフィール

・現職フォースクーナ株式会社 クラウドチーム リーダ小林 敏男

・経歴インフラエンジニアとして15年以上従事。フォースクーナ株式会社では主にオンプレミスからのクラウド移行支援やプライベートクラウドの導入支援、監視システムの構築、監視サービス導入支援などを担当。直近では、 Zabbixを利用した監視システムやZabbixによる監視運用サービスのサービス企画に注力。

4

まずは昨今の弊社について少しご紹介致します。

5

会社概要 会社沿革

会社名 フォースクーナ株式会社

英文社名 ForSchooner Inc.

設立 2003年6月

代表取締役 嶋田健作

所在地 東京都新宿区新宿6-27-30 新宿イーストサイドスクエア3階

URL http://www.forschooner.net/

資本金 1000万円

事業内容インターネットのシステム運用、コンサルティング、24時間365日のサイト稼動監視（有人）

社員数 25名

企業理念 「一歩先ゆくIT基盤への挑戦」

WEBビジネスにおけるシステムは正に“帆船”です。

システムは常に予測できない天候や荒波のようなトラブルと戦わなくてはなりません。

私どもは、ITシステム運用において数々のトラブルを乗り越え、

お客様のビジネスを目的地までいざなうサポートを行って参ります。

ForSchoonerの「Schooner」は帆船の意味。

すべてはお客様の為に…

フォースクーナとは

2003年 6月創業システムコンサル、運用設計サービス開始

2004年

4月 自社監視センター（MOC）を構築、稼働を開始

6月 Vigiaサービス提供開始

10月 レンタルサーバサービス提供開始

2008年 2月 フォースクーナ株式会社ISO27001規格認証を取得

2010年8月 IIJのクラウドサービスGIOソリューションパートナー契約締結

9月 クラウド・ビジネス・アライアンスへ参加

2011年6月 ニフティのクラウドサービス Nifty Cloud アライアンスパートナー締結

9月 パブリッククラウド向け運用・管理パッケージサービス E.C.O提供開始

2012年4月 E.C.Oにて障がい者支援プロジェクト『エコプラス』を開始

10月 Zabbix構築・運用サービスを開始

2013年 4月 株式会社データホテルにより子会社化（100%）

6

システム運用会社ではなく、運用＋インテグレータです。

ITインフラの構築から保守・運用までをトータルでサポートしています。

PDCAにより、課題解決、

システム安定化を実現

7

2年前からクラウド特化型サービスへ完全移行！

これまで培った運用経験とサービスノウハウをクラウドにより進化させて行きます。

8

志は高く！技術で社会に貢献する組織に！

・お客様事業の発展に貢献できる高い技術力を身につける。・お客様の一番大変な事を共感できる顧客と一緒に泣ける組織にする。・お客様から頂いたノウハウとスキルを還元し社会に貢献する事業をつくる。

技術で顧客の心をつかみ、圧倒的なサービス品質で感動を与える事業にしたい！

サポート品質の追求 インフラ技術の向上

社会に貢献する事業

お客様事業の成長に貢献 インフラ技術の発展に貢献

ノウハウ スキル

三方良しの精神

9

こうやって技術力を高めています！

高い柔軟性とクラウド時代に合わせたスピード対応を強みに経験とノウハウを蓄積する。

■ 戦略、企画、提供を三位一体により柔軟で早い対応スピードを実現。■ LAMP、OSSなど特定の領域に特化させる事でより専門性の高いパートナーとの協業を実現。

運用チーム

戦略 企画 提案

フォースクーナ

経験知識

FeedbackShare

ユーザー

【技術力の高いユーザー】・開発会社A（Cassandra）・開発会社B（Cassandra、MongoDB）・開発会社C（Ruby、MongoDB）・開発会社D（SEO、アプリ）・開発会社E（Apache Solr）

Service

Knowledge

・Business

・OSS

・DB

パートナー

Case Knowledge

・MySQL（HA）・Cloudstack

・vSphere

・Chef

・Zabbix

・Cassandra

Cloud

Solution

セミナー/Blog/勉強会

output

input・セミナー参加、開催・Blog執筆・勉強会参加、開催・共同検証

【フォースクーナ技術習得スキーム】

開発会社さんにウケがいい！

10

勢いのありそうなオリジナルカレンダーを作ってみたり

自社主催の勉強会を何回かやってみたり

ソフトウェアデザインに寄稿してみたり、、

オリジナルアイコンを作ってみたり、、クラウドExpoで登壇してみたり、、

小さいながらも色々チャレンジしています！

11

1. Cassandra 監視運用のポイント

12

Cloud

SPOF（単一障害点無し） 必要な時に必要な分だけ追加

自動レプリケート

利用料金のみの従量課金

マルチリージョン

バックアップレス（作りこみで）

スケールアウトで性能向上

HA構成（HW）

CassandraとCloudは相思相愛！

Cassandra 監視運用のポイント

13

耐障害性

全てのノードが均一なクラスター（マスターノードが無い）でSPOFがないCassandraの特徴をクラウド環境に置く事で発揮されるメリットとは？

仮想マシンを追加する事で速度向上が可能な上、必要な時に必要な分のマシンを追加でき、サーバ不具合でもすぐに新たなサーバを立ち上げる事が可能なクラウドによりパフォーマンスの面でもシステム稼働の両方でもボトルネックが解消される。

一般的には、Cassandraの書き込み速度はメモリに依存ではなく、CPUとDISK書き込みスピードに比例します。

クラウドを利用することで、簡単に仮想マシンを追加できることが最大のメリットです。

データの放り込み口を増やすことで並列度が上がり結果的に全体の書き込み速度を向上させることができます。

Cassandra 監視運用のポイント

14

0

200

400

600

800

1000

W I Y

Throughput(ops/sec)

仮想マシン Cassandra ベンチマークツール ワークロード ベンチマークパラメータ

1core/1GBメモリ（シングルノード）※一部の環境は２GB

Version 1.2.3

(heapサイズをXmx384Mとした）

YCSB-1.0.4

Write-heavy レコード数：１０００（１KB/レコード）

UPDATE：READ=50:50 オペレーション数：１

一貫性レベル：ONE スレッド数：１

参考：パブリッククラウドベンダー【標準デリバリーインスタンス】を利用したベンチマーク

★あくまで、参考値として捉えていただくことにご留意ください

★本運用では、サイジングやチューニングは必須となります

Cassandra 監視運用のポイント

15

拡張性

ノードの追加制限がなく、ノードを追加する事で性能が向上するCassandraの特徴をクラウド環境により最大限に発揮する方法は？

Cassandraノードを追加する事で自動でレプリケート。必要な時に必要な分だけすぐに増減可能なクラウドにより手間無くスピーディに拡張可能となります。

とあるお客様において、性能を4倍に増やしたい、という要望に簡単に短期間（数時間）で対応できた。

• ４０００ops/secという処理性能を１６０００ops/secへ増強させました

• ４０００ops/secという環境は4core/4GBの仮想マシン４台でこなしていました• 約1万件（1レコード/２００Kbyte）のデータを格納• 同環境(4000ops/sec)で件数が１０万件になってくると、処理性能が劣化した• １６０００ops/secの性能は、4core/16GBの仮想マシン８台でこなしています

Cassandra 監視運用のポイント

16

安全性（データ保全）

クラスタで同一データを保持するため同時のハード故障以外でデータ損失はないと言われているCassandraですがクラウドにより本当にデータは守られるのでしょうか？

データのバックアップは必要なくバックアップはsstableのみをバックアップすれば良い。また、クラウド事業者により提供されるHDDの系統分離や物理マシン(Hypervisor)の分離、マルチリージョンを利用する事で、より高い安全性を実現可能となります。

とあるお客様においては、バックアップにかかる運用コストをバッサリ捨てる運用を実現しています。

• Cassandraの機能では無いのですが、Triftクライアント側（WEBAPサーバ/PHPアプリ）のログをすべてとっています。

• システム設計上、上記のWEBAPサーバのログさえあれば、ノードの復旧が簡単にできる仕組みを実現させて運用しています。

Cassandra 監視運用のポイント

17

2. Cassandra監視運用のコスト

18

直接コストと間接コスト

ITコストには大別して二つのコストが存在します。

・直接コスト

ハードウェア機器やソフトウェア、ネットワーク利用料に加えて、開発業務や運用管理業務等を委託するために、支払っている費用です。

→監視運用管理をアウトソースする場合は直接コストとなります。

・間接コスト主に自社社員によるIT管理作業にかかる人件費です。

→現在業界の流れにおいて、再度自社で開発・運用する事例も多数存在します。

Cassandra監視運用のコスト

19

構成実例② 放送局向けポイントWEBシステム構成概念図

WEBサーバ/APサーバ(apache/php)

Cassandraクラスター(cassandra-1.1.10)

集計バッチサーバ(apache/php)

Cassandra監視運用のコスト

WEB

WEB

WEB

WEB

WEB

WEB

WEB

WEB

WEB

WEB

20

実例：運用監視にかかるコストの内訳

Cassandra監視運用のコスト

大項目 項目

初期費用 システム監視設計費 システム障害時運用設計費

監視システム初期構築費 運用ドキュメント製作費

月額費用 システム監視運用費 運用ドキュメント管理費

21

監視センター・監視・障害対応

SEチーム

・アラート確認

・状態確認・データ取得（レポート）

アラート受信（メールシステム）

一次切り分け／一次対応 H/Wベンダー

アプリベンダー

データセンター

ソフトウェアベンダー（OS/ミドル/DB）

保守対応

WEB/AP

お客様システム群

DB

LB/FW

ステージング

バックアップ

キャッシュ

・Zabbix構築・運用設計/要件定義・SEサポート

運用フロー/手順書/自動化

サードベンダー

・2次調査（分析）・インシデント確認

Cassandra監視運用のコスト：（弊社の運用体制）

二次対応

・エスカレーション（報告、対応依頼）

クラウドベンダー

Zabbixサポート

サポート

アラート発信

運用チーム

システムの監視・障害対応をトータルでサーポート

フォースクーナのSEチームと24時間対応での運用チームとの連携、およびZabbixサポートの連携によりサービス化を実現致します。

22

使用している監視ツール

弊社では、Cassandraの監視ツールとして、主にNagiosとZabbixを使用しています

併用ではなく、監視要件やシステム環境、ご予算に応じて、ツールを使い分けています

Cassandra監視運用のコスト：（監視実装例（Zabbix、Nagios））

23

監視方法（実装例）

弊社では、Cassandraの監視ツールとして、主にNagiosとZabbixを使用しています

監視ツール（サーバ）は監視対象（Cassandraノード）から、JMXを介して統計情報を取得しています

Nagios

JMX用監視プラグインを利用しています perlで記述されたアプリケーションになり、CassandraのJMXポートに対して

ポーリングを行います

Zabbix

Zabbix Version2.0から、JMXをサポートしておりこの機能を利用しています Javaで記述されたアプリケーションになり、CassandraのJMXポートに対して

ポーリングを行います

Cassandra監視運用のコスト：（監視実装例（JMX））

24

監視サーバー構成

弊社では、Cassandraの監視ツールとして、主にNagiosとZabbixを使用しています

クラウド上に配置する監視サーバも可用性を上げるために冗長構成をとる場合がありますが、以下は弊社で運用しているサーバ環境の構成例です。

論理ボリューム（LVM)

クラウドプロバイダ環境で、ごく一般的に提供されるブロックストレージオプションを複数リージョン跨ぎでLVMボリューム化し、データ領域としてマウントし利用しています

⇒データ領域をデータセンターレベルで冗長化（安価で性能的な劣化もほぼありません）

PVPV

Cassandra監視運用のコスト：（監視実装例（監視サーバー））

25

監視ポイント（注意すべき監視箇所）

Cassandraの監視ポイントとしては、いくつかございます。

最低限必要な監視ポイントを挙げてみます。

1. リソース監視1. CPU使用率監視 ⇒CPU使用率を監視します2. メモリ使用率監視 ⇒メモリ使用率を監視します3. DISK使用率監視 ⇒DISK使用率を監視します4. JVM javaヒープ監視 ⇒javaヒープを監視します5. トラフィック使用率監視 ⇒サーバのネットワークトラフィック量を監視します6. ファイルディスクリプタ監視 ⇒OSファイルディスクリプタ数を監視します

2. サービス稼働監視（Cassandra向け）1. PING監視 ⇒ノードの死活を監視します2. ログ監視 ⇒ログ出力を監視します3. ポート監視 ⇒サービスのListenポートを監視します

Cassandra監視運用のコスト：（監視実装例（監視ポイント：障害監視））

26

監視ポイント（注意すべき監視箇所）

Cassandraの監視ポイントとしては、いくつかございます。

最低限必要な監視ポイントを挙げてみます。

1. パフォーマンス監視（Cassandra向け）1. StorageProxy ⇒クラスターノードの内部処理を監視します2. Commitlog ⇒クラスターノードの書き込み状況を監視します3. Caches ⇒クラスターノードの読み込み状況を監視します

Cassandra監視運用のコスト：（監視実装例（監視ポイント：パフォーマンス監視）

27

失敗から学ぶCassandra運用

ファイルディスクリプター上限を監視 Cassandraの意図しない停止（IOException、FileNotFoundException等エラーが発生）を

防ぐために適切にセットします

GCに気を付けてね GCが頻発するとシステム負荷が上昇してしまい、最悪システムが停止してしまいます。簡

単にスケールアップできるクラウド環境を有効に利用しましょう

クラウドプロバイダ提供のAPIの落とし穴 運用で欠かせないクラウドプロバイダ提供のAPIですが、クラウド事業者の障害やメンテナ

ンスの影響に引きずられ利用不可能な状況も考慮して運用設計を行いましょう

Cassandraのクラウド的な監視運用のポイントをいくつか挙げてみます。

Cassandra監視運用のコスト：（運用実例（監視ポイント：パフォーマンス監視）

28

実例：運用監視にかかるコストの内訳（参考システムでの実例）

Cassandra監視運用のコスト

大項目 作業項目（内容） 価格（税別）

監視オプション

監視アラート受信およびエスカレーション□月間50通□超過分は別途課金（従量：10通ごと ¥6.5k）

¥ 150k ＋ 従量課金

障害一次対応(手順書に準じた作業)□月間6回まで□超過分は別途課金（従量：1回ごと ¥10k）

¥ 50k

運用オプション

システムエンジニアサポート□月間3h程度のSE稼働□定常運用作業□チケット管理システム管理

¥ 100k

監視システム管理

監視システム管理□監視追加、削除□ドキュメント管理□監視サーバ保守運用□ZABBIXオフィシャルサポートへの問い合わせ対応

¥ 150k

作業項目 作業範囲 コスト

ZABBIX監視システム構築

□現状監視システム（Nagios）からの監視移行□監視サーバ設計□監視ドキュメント修正□運用テスト

¥ 150k

Zabbixラインセンス □OSSソフトウェアを利用 ¥ 0

情報共有ツール□チケット管理システム(redmineのご提供)

・月額［運用オプション］をお申込みの場合にご提供¥ 0

初

月

29

実例：運用監視にかかる数字では見えないコスト

Cassandra監視運用のコスト

Cassandra監視導入はスピーディに実現できますCassandra向けの弊社製監視テンプレートを利用して、NagiosやZabbixでの監視サービスをサポートします⇒すでにあるナレッジを有効に活用し、無駄な工数をかけません

スケールアウトの監視運用コストは無視できません

監視サービスの課金体系は、ノード数や監視項目数が一般的ですが、思いのほか監視費用が高くなる場合があります。

そういった場合は台数（項目数）課金よりインシデント課金（アラート発砲の数）の方が利にかなっているハズです。そういった監視運用サービスプロバイダーの選択も考慮してください⇒積み上げだけの監視課金はナンセンスです

よい開発会社を選びましょうやはり障害は起こってしまうものですから、Cassandraに強いベンダーを選ぶことは重要です。弊社監視運用サービスでもパートナーベンダをご紹介しています。⇒失敗の数は安くは無いですが何よりも一番重要な肥やしです

30

弊社Cassandra監視サービス採用事例

Cassandraベースの新クラウドソリューションBlueRabit

Blue Rabbitは、多数の企業が持ち寄った業務に必要な各種サービスを連携させ、便利なエコシステムとしてクラウド上で提供しています。ネットショップと倉庫や店頭POSとの在庫連携、配送管理、電話やFAXの活用、地図、高速検索、データ解析、M2M基盤、保守/監視など日々の運用に欠かせない数々のサービスをクラウド上でエコシステムとして相互に結び、基盤ソリューションとして提供しています。多様なサービスからニーズに応じて選んで頂けるため、効率的なシステム構築とコスト削減が期待できます。

31

自社製ライセンスフリーのアイコン集

システム構成図などを作成する際に使用するオリジナルアイコンの無償提供を実施しています。

http://www.forschooner.net/news/entry/000087.html

32

ありがとうございました。

33

システム運用に必要なコンポーネントをOSSで提供。構築から運用までトータルで提供致します。

OSS Management Serviceは、エンタープライズシステムの運用に求められる各管理機能を、オープンソースを活用する事で、より安価に柔軟に導入する為のソリューションを提供致します。弊社の監視センターと連携する事で業務運用まで提供を可能とする次世代のアウトソーシングサービスです。

インテグレーション/運用

プロビジョニングオーケストレーション

プロジェクト管理

サービスデスクインシデント管理

ポータル/CRM

ジョブ管理

デプロイ実行Puppet/Fabric等

バッチ処理ASAKUSA Framework等

統合監視 第一弾サービス

IaaS

お客様システム

クラウドや分散DCに対応したエンタープライズソリューション

・システム設計/構築・運用設計/システム改善

・有人監視/エスカレーション・障害対応

現在企画進行中のサービス！