couchbase serverのサーバ移管と2.1から3.0.1へのバージョンアップ

50
Copyright 2015 CYBIRD Co., Ltd. All Rights Reserved. Couchbase Serverのサーバ移管と 2.1から3.0.1へのバージョンアップ 株式会社サイバード ビジネス戦略統括本部 小池 大地 (Daichi KOIKE) 2015年7月22日 1 Couchbase MeetUP Tokyo - #14

Upload: daichi-koike

Post on 17-Aug-2015

85 views

Category:

Technology


2 download

TRANSCRIPT

Page 1: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

Couchbase Serverのサーバ移管と21から301へのバージョンアップ

株式会社サイバード ビジネス戦略統括本部 小池 大地 (Daichi KOIKE)

2015年7月22日

1

Couchbase MeetUP Tokyo - 14

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

自己紹介

小池 大地 (Daichi KOIKE)

bull 2013年4月新卒入社

bull iOS共通システム開発

bull ときどきサーバ

bull daichikoikegmailcom

2

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本日伝えたいこと

bull AWSにサーバ移管しました

bull 平行して21から301にバージョンアップしました

bull XDCRを使わずバックアップampリストアの方法でデータを移行しました

3

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

4

システムの概要

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題1

従来のWebアプリからネイティブアプリへの移行が進みサーバ内に自動的に残るログが減少しているため意図的にデータを収集する必要がある

5

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 2: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

自己紹介

小池 大地 (Daichi KOIKE)

bull 2013年4月新卒入社

bull iOS共通システム開発

bull ときどきサーバ

bull daichikoikegmailcom

2

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本日伝えたいこと

bull AWSにサーバ移管しました

bull 平行して21から301にバージョンアップしました

bull XDCRを使わずバックアップampリストアの方法でデータを移行しました

3

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

4

システムの概要

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題1

従来のWebアプリからネイティブアプリへの移行が進みサーバ内に自動的に残るログが減少しているため意図的にデータを収集する必要がある

5

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 3: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本日伝えたいこと

bull AWSにサーバ移管しました

bull 平行して21から301にバージョンアップしました

bull XDCRを使わずバックアップampリストアの方法でデータを移行しました

3

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

4

システムの概要

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題1

従来のWebアプリからネイティブアプリへの移行が進みサーバ内に自動的に残るログが減少しているため意図的にデータを収集する必要がある

5

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 4: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

4

システムの概要

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題1

従来のWebアプリからネイティブアプリへの移行が進みサーバ内に自動的に残るログが減少しているため意図的にデータを収集する必要がある

5

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 5: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題1

従来のWebアプリからネイティブアプリへの移行が進みサーバ内に自動的に残るログが減少しているため意図的にデータを収集する必要がある

5

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 6: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ビジネス上の課題2

Google Analyticsなどの外部解析ツールはユーザに着目した分析が困難なので社内に複数アプリにまたがってユーザを分析する環境が欲しい

6

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 7: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

本システムの目的

アプリ横断的な集計分析が可能な基盤を作ること (2013年11月)

7

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 8: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題1 - 可用性

複数アプリから常にアクセスされるためシステムダウンは許されない障害時においてもシステムを完全に停止させるのではなく縮退運転をさせる必要がある

8

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 9: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題2 - 拡張性

トラフィックが急激に増加するゲームアプリのイベントにも耐えられなければならない即座にスケールアウトできることが重要

9

イベント発生

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 10: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバの課題3 - データ構造

アプリごとに取得データが異なるため柔軟なデータ構造が求められる

10

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 11: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成11

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 12: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

サーバ構成12

Webサーバ

MariaDB データ集計

Couchbase Server データ蓄積

バッチ処理 データ可視化サーバ

表側

裏側

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 13: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

13

移管について

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 14: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

14

1月にAWSに移管しました

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 15: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管の要件

bull 常時アクセスされる共通システムのためオンラインで移管しなければならない

bull リアルタイム処理は行っていないためバッチ処理が走る深夜時間までに移管が完了していればよい

15

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 16: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

メモリ内のメタデータ占有率が50超えのアラートがよく発生していた

16

IPアドレス

IPアドレス

IPアドレス

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 17: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

ついでに

3系からドキュメント削除時にメモリ内のKeyとメタデータも完全に削除するオプションが追加されているので2系から3系にバージョンアップしたい(2系ではValueが削除されるのみ)

17

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 18: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1

自社環境クラスタとAWSクラスタでXDCRによるクラスタ間の双方向レプリケーションを使う

18

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 19: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案119

自社クラスタ

事前にレプリケーションを設定

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 20: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案120

DNS切り替え

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 21: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案121

DNS切り替え

こちらにアクセスが来ても XDCRで同期される

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 22: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

22

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 23: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の良い点

bull レプリケートができていれば当日はDNS切り替えだけでむので圧倒的に楽

bull 移管に失敗した際に元の環境に切り戻すのも楽

23

当日作業が楽

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 24: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クcが一致していないといけない

24

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 25: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

25

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 26: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

26

不採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 27: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案1の悪い点

bull XDCRではデータは平文で転送されるのでVPN接続をするなどの対応が必要(3系では暗号化可能)

bull クラスタ間でCouchbase Serverのバージョンが一致していないといけない

クラスタ内でバージョンの違うノードが混在できるので バージョンがばらばらでも可能だと思っていたhellip

27

不採用

追記 クラスタ間のCouchbase Serverのバージョンが

バラバラでもXDCRは使えるとのことです

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 28: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2

自社環境クラスタのフルバックアップを取得しAWSクラスタでリストアするというXDCRを使わない手法

28

AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 29: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案229

事前にクラスタの フルバックアップをリストア

自社クラスタ AWSクラスタ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 30: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案230

自社クラスタ AWSクラスタ

DNS切り替え

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 31: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案231

自社クラスタ AWSクラスタ

DNS切り替え

自前でAWS側に送る

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 32: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の良い点

bull 2系のバックアップを3系にリストアできるためバージョンアップも同時にできる

bull 事前準備が楽

32

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 33: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

33

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 34: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

移管案2の悪い点

bull 移管に失敗した際に元の環境に切り戻すのに手間がかかる

bull DNS切り替え後に自社環境にアクセスされたデータを自前でAWS側に送る仕組みが必要

34

ちょっとしんどい

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 35: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

35

バージョンアップもしたいので 移管案2を採用

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 36: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

21rarr301へ

当初30にしようとしたがノードの追加削除時のリバランスが止まるなど不安定だったため301に変更した301では問題なく動作することを確認

クライアントは2013年10月リリースのPHP SDK 12だが問題なく動作したのでアプリケーション側は変更なし

40 Beta 1でも使えた

36

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 37: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

前日作業

1 フルバックアップの取得処理大体時間ほどで完了

$ cbbackup http[HOST]8091 mypathcouchbase_backup -u [USERNAME] -p [PASSWORD] -b [BUCKET]

2 リストア処理大体時間ほどで完了

$ cbrestore mypathcouchbase_backup http[HOST]8091 -u [USERNAME] -p [PASSWORD] -b [BUCKET]

37

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 38: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

当日作業

3 リストア処理の確認

4 前日のバックアップ取得以降のデータをAWS側に書き込み

5 最終動作確認

6 DNS切り替え

38

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 39: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ39

前日データ 当日データ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 40: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ40

前日データ 当日データ

フルバックアップ darr

リストア

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 41: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ41

前日データ 当日データ

フルバックアップ darr

リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 42: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

作業の流れ42

前日データ 当日データ

これ以降バッチフルバックアップ

darr リストア

手動で 書き込み

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 43: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

bull Viewがかなり高速になった複雑なクエリを投げても 1秒かからない

bull リバランスが速くなった検証では従来の2倍ほどの速度に

43

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 44: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

メモリ内もすっきりした(ゴミが消えたのもあるでしょうが)

44

314GB

19GB

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 45: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

301にした結果

クラスタに名前が付けられるようになった

45

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 46: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

46

トラブルもなく移管完了

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 47: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

随所に染み渡る思想

「開発者がリラックスしてカウチソファに座っているようにデータベースの設計構築運用ができるように」

47

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 48: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

831(月)のCouchbase Live Tokyoで 「N1QLのDeveloper Preview 4を社内ツールに入れてみたよ」という話をします

48

IPアドレス

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 49: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

告知

Couchbase Mobile ワークショップ

日程 91(火) 1000 ~ 1700場所 Theatre CYBIRD ご飯も出るらしいですよ

49

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50

Page 50: Couchbase Serverのサーバ移管と2.1から3.0.1へのバージョンアップ

Copyright 2015 CYBIRD Co Ltd All Rights Reserved

最後に

エンジニア募集中です

50