デブサミ2013【14-d-6】yahoo! japanの新しいクラウドストレージサービス～yahoo!...

Yahoo! JAPANYahoo! JAPANYahoo! JAPANYahoo! JAPANのののの新新新新しいクラウドストレージサービスしいクラウドストレージサービスしいクラウドストレージサービスしいクラウドストレージサービスYahoo! JAPANYahoo! JAPANYahoo! JAPANYahoo! JAPANのののの新新新新しいクラウドストレージサービスしいクラウドストレージサービスしいクラウドストレージサービスしいクラウドストレージサービス

～～～～Yahoo! JAPANYahoo! JAPANYahoo! JAPANYahoo! JAPANががががRiakRiakRiakRiakをををを選選選選んだんだんだんだ理由理由理由理由とはとはとはとは？～？～？～？～

ヤフー株式会社

マーケティングソリューションカンパニー新規事業本部

阪田浩隆

2013年2月14日（木）

自己紹介

1 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

氏名：阪田浩隆（さかたひろたか）

入社年：2004年10月

担当業務実績：

- 社内認証システム開発

- ビジネス系認証システム開発

- 社内ツール系開発- 社内ツール系開発

- 分散KVS 開発・保守・運用

- オブジェクトストレージ開発

現在：Riak開発部隊（Yahoo! JAPAN内）


• アジェンダ

• Yahoo! JAPANを支える技術

• KVS

• データレプリケーション

• オブジェクトストレージ

• Riak概要

• Product一覧•

• アーキテクチャ概要

• インストールから起動まで

• Riak EDS

• Riak CS

• 簡易デモ

• Yahoo! JAPANの新しいクラウドストレージ

• なぜRiakを選んだのか


実はYahoo! JAPANには

17年のKVSの歴史がある17年のKVSの歴史がある


創業当時（1996年）から、

データを扱うプラットフォームとして

分散KVSを使用している

※当時はまだクライアントサーバーシステムが主流であり、現在のＷｅｂが主流

のスタイルではなかった

• 独自開発• 独自開発

• 大規模データ

• 例）ユーザーデータ

• 分散処理

• スケールアウト

• 複数DCでのデータレプリケーション


Yahoo! JAPANの技術

• 独自の技術で基盤を構築している

• Yahoo! Inc.とYahoo! JAPANで開発したコアテクノロジー

を元に、強靭な基盤を築いている

• このテクノロジーを利用して、

Yahoo! JAPANのサービスは成り立っている



7

画面はサンプルです。実際の表示は異なることがあります。Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止


8

Yahoo! JAPANコアテクノロジー



9


KVS



認証システム課金システム

10


KVS


広告技術 CDN




11


KVS


広告技術 CDN

ストレージ RDBMS




12


KVS


広告技術 CDN

ストレージ RDBMS

強靭なコアテクノロジー


Yahoo! JAPANの

データレプリケーションシステム


Yahoo! JAPANには

データレプリケーションシステムが存在しま

す

• 独自開発

•• スケールアウト


例えば

15 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止KVS

発生する問題

・フロントサーバーがＤＣをまたがる構成になった場合

16 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止KVS

・フロントサーバーがＤＣをまたがる構成になった場合

→レイテンシが問題になる

・どこかのサービスが負荷をかけると全体に影響する

→負荷分散が必要

データレプリケーション

KVS

KVS

DC 1DC 2


KVS

KVS

KVS

DC 3

レプリケーションにより

1．レイテンシ問題の解決

2．負荷分散

Yahoo! JAPANにおける

オブジェクトストレージ


実はYahoo! JAPANには・・・

オブジェクトストレージが存在します

• 独自開発

• スケールアウト

• データレプリケーション


• 開発コンセプト（2009年7月開発スタート）

• 容量無制限

• 無限にスケールアウトする

• 安価

• とにかく利用価格を安くする

• データの集中管理

• 集中管理する事で無駄をなくし、コスト削減を徹底する• 集中管理する事で無駄をなくし、コスト削減を徹底する

• 使いやすいI/F

• REST形式のAPIを提供

• 高パフォーマンス

• 可用性


Yahoo! JAPAN内での利用実績(一部ご紹介)

• Yahoo!ボックス

• Yahoo!天気・災害

• Yahoo!ブックストア

• Yahoo!ロコプレイス

21


実際のトラフィック

• Yahoo!ボックスサービス開始から

数TB/day のアップロードを受けている

• サーバー台数が数千台に達している

• 数PBのデータが格納されている


アーキテクチャ

API

CDN（大容量配信）※Yahoo!ボックスでは未使用アプリケーション

KVS

KVS

KVS

独自KVS

23

メタ

データ

Farm

・・・・

Farm

・・・・

Farm

・・・・

ストレージエンジン

・・・・

Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Yahoo!クラウドストレージとして提供

• Yahoo!クラウドストレージとして、2012年9月初旬よ

り提供開始しましたが、より良いアーキテクチャへ変

更予定です

• 変更する理由は後ほど


Riak概要


Product一覧


• Riak

• OSS版のKVSエンジン

• 単一クラスタの構築が可能

• Riak EDS

• エンタープライズ版のRiak• エンタープライズ版のRiak

• 複数クラスタの構築が可能

• クラスタ間レプリケーションが可能


• Riak CS

• オブジェクトストレージ

• Object(ファイル)はRiak / Riak EDSに保

存される

• Riak / Riak EDSが無いと動作しない

• 機能としてはAPIの役割を果たす

• 認証

• 大容量ファイルの分割配置など


• コンポーネント一覧

コンポーネントコンポーネントコンポーネントコンポーネント名名名名役割役割役割役割 OSSOSSOSSOSS 有償有償有償有償

Riak 分散型KVSエンジン ○

Riak EDS 分散型KVSエンジン

クラスタ間レプリケーションが可能

○

Riak CS オブジェクトストレージAPI ○


Riak CS オブジェクトストレージAPI ○

Stanchion リクエストシリアライズ管理API ○

Riakアーキテクチャ概要


Riak

基本構成


Riak ClusterRiak ClusterRiak ClusterRiak Cluster

Riakコンシステントハッシュでデータを格納

＆

データを冗長化して保持



Riak各ノードが全てＡＰＩ

※ダウンしても他のノードが

サービス継続

Ｃｌｉｅｎｔ



Riak EDS（有償版）

RiakRiakRiakRiak

ClusterClusterClusterCluster AAAA

replication

Riak Riak Riak Riak

ClusterClusterClusterCluster BBBB

クラスタ間のレプリケーションが可能


ClusterClusterClusterCluster AAAA ClusterClusterClusterCluster BBBB

Riak EDS

通常の使用方法

Proxy

Proxy

35 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止RiakRiakRiakRiak


replication

Riak Riak Riak Riak


Riak CS

基本構成

・・・・・・・・・・・・

Riak CS ClusterRiak CS ClusterRiak CS ClusterRiak CS Cluster


Riak Riak Riak Riak

ClusterClusterClusterCluster

StanchionStanchionStanchionStanchion

Riak CS

通常の使用方法

ProxyProxy

・・・・・・・・

Ｓｔａｎｃｈｉｏｎ

37 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止RiakRiakRiakRiak


replication

Riak Riak Riak Riak


Riak CS Riak CS

インストール方法


Riak / Riak EDS

インストールから起動まで

• 1nodeの構築


• 1nodeの構築

• クラスタの構築

• レプリケーションの設定

• 作業の流れ

• パッケージダウンロード

• インストール

• 設定ファイルの編集

• 起動• 起動


• 1nodeの構築

•パッケージダウンロード

• 以下のサイトからダウンロード

• http://basho.com/resources/downloads/

• お使いの環境に合わせてダウンロードしてください


• 1nodeの構築

•インストール

CentOS 6の環境でインストールする場合

$ sudo yum install riak-1.2.1-1.el6.x86_64.rpm


• 1nodeの構築

•設定ファイル編集その１

$ sudo vi /etc/riak/app.config

ローカルに環境がある場合は、

設定ファイルの編集は、特には不要。


ネットワーク環境にある場合で、

IPアドレスが指定されている場合は、以下を編集

{http, [ {"127.0.0.1", 8098 } ]},

↓

{http, [ {“独自環境のIPアドレス", 8098 } ]},

• 1nodeの構築

•設定ファイル編集その２

$ sudo vi /etc/riak/vm.args






-name [email protected]

↓

-name riak@独自環境のIPアドレス

• 1nodeの構築

•起動

•確認その１

$ riak start

特に、何もレスポンスはありません

•確認その１


$ riak ping

pong ← この表示が出ることを確認

$

• 1nodeの構築

•確認その２

•確認その１

$ sudo riak-admin member_status

=================================

Membership

=================================

Status Ring Pending Node•確認その１


Status Ring Pending Node

---------------------------------

valid 100.0% -- ‘[email protected]'

---------------------------------

Valid:1 / Leaving:0 / Exiting:0 / Joining:0 / Down:0

↑

この表示が出ることを確認

• 1nodeの構築

•確認その３

•確認その１

$ sudo riak-admin ring_status

============= Claimant =============

Claimant: ‘[email protected]'

Status: up

Ring Ready: true•確認その１


Ring Ready: true

========= Ownership Handoff ==========

No pending changes.

========= Ownership Handoff ==========

All nodes are up and reachable

↑

この表示が出ることを確認

• クラスタの構築

• 設定（コマンド）

• 確認

$ riak-admin cluster join riak@[IPアドレス]




↑

このコマンドで、表示確認

• レプリケーションの設定（有償版のみ）

• 設定ファイル編集

$ sudo vi /etc/riak/app.config

レプリケーション設定（以下サンプル）を追加反映

{riak_repl, [


{riak_repl, [

{fullsync_on_connect, true},

{fullsync_interval, 360},

{data_root, “/var/lib/riak/riak_repl"},

{queue_size, 104857600},

{server_max_pending, 5},

{client_ack_frequency, 5}

]},


• レプリケーション設定

$ riak-repl add-listener ‘riak@自分自身のIP’

‘自分自身のIP’ 9010

コマンド実行後は、特に何も出力しません


$ riak-repl add-site ‘同期先のIP’ 9010 クラスタ名



• 確認

$ riak-repl status

↑

このコマンドで、表示確認



• 同期開始

$ riak-repl start-fullsync



どの場面で利用するのが良いのか


• 高速にデータアクセスさせたい場合

• 集合から単一データを高速に取得したい場合

• 将来的にデータ件数/容量が増える事

が確実である場合

• スケールアウトが必須の場合• スケールアウトが必須の場合

• 運用コストを軽減したい場合

• システムが巨大化してしまい、運用コスト軽減を検討

したい

• サーバー、人件費の両方


Riak CS

インストールから起動まで

• 1nodeの構築


• 1nodeの構築

• Stanchionの構築

• Riakとの接続設定

• 作業の流れ

• Riak CS/Stanchion


•インストール

•設定ファイルの編集•設定ファイルの編集

•起動


• パッケージの種類

• 有償版のみ


• Riak CSの構築

• 1nodeの構築


• 開発トライアル登録後、ダウンロードURLが案内される

••インストール



$ sudo yum install riak-cs_1.2.0.el6.x86_64.rpm

•設定ファイル編集

$ sudo vi /etc/riak-cs/app.config







{cs_ip, "127.0.0.1"},

↓

{cs_ip, "独自環境のIPアドレス"},

{riak_ip, "127.0.0.1"},

↓

{riak_ip, "独自環境のIPアドレス"},

{stanchion_ip, “127.0.0.1"},

↓

{stanchion_ip, “独自環境のIPアドレス"},



$ sudo vi /etc/riak-cs/vm.args







↓

-name riak@独自環境のIPアドレス

•起動

•確認

$ sudo riak-cs start

ok

$ sudo riak-cs ping

pong


pong

• Stanchionの構築

• 1nodeの構築


• Riak-CSと同じです

•インストール•インストール



$ sudo yum install stanchion-1.0.1-1.el6.x86_64.rpm


$ sudo vi /etc/stanchion/app.config







{stanchion_ip, "127.0.0.1"},

↓

{stanchion_ip, "独自環境のIPアドレス"},

{riak_ip, "10.1.1.192"},

↓

{riak_ip, "独自環境のIPアドレス"},

{anonymous_user_creation, false},

↓

{anonymous_user_creation, true},



$ sudo vi /etc/stanchion/vm.args







↓

-name stanchion@独自環境のIPアドレス

•起動

•確認

$ sudo stanchion start

ok

$ sudo stanchion ping

pong


pong

• コマンドラインからの確認

• 管理ユーザの作成

• テストファイルの配置


Riak CSを使った

デモ


実際の導入事例


導入事例1

• LOHACO(アスクル様)


Riak CSで

画像配信

データ

• 登録件数

• 約20万件弱（データ移行は3時間程度）

• ファイルの種類/サイズ

• 画像データ

• 5k～500k

• リクエスト数• リクエスト数

• 450req/sec

• CDNキャッシュヒット率

• 97%

• レスポンス

• 10ms～80ms （CDNにキャッシュされている状態だと10ms程度）


�構築～リリースまでの期間

• 構成検討、各種調整（NW、サーバー調達）

• 1週間

• 構築＆テスト・リリース

• 構築：1日

• テスト&リリース：1週間

�問題になったところ�問題になったところ

• データをフラットに配置したところ、

一覧取得できなくなった

• 解決策：ディレクトリを分けてもらった


Yahoo! JAPANの

新しいクラウドストレージ


Riak CSを利用しての

Yahoo! JAPANの新しいクラウドストレージ


• スケジュール

• 2012年10月トライアルリリース

• 2013年1月先行リリース

• 2013年4月本番サービス開始（予定）


なぜRiakを選んだのか


� 求められる機能の違い

• 独自のオブジェクトストレージでは全てに対応できな

かった

• C向け、B向けで求められる機能が違うため、全てを1ソー

スで管理していくのは困難だった


� S3互換のオブジェクトストレージが必要だった

• ユーザーニーズに早急に応える必要があった

• S3のユーティリティをそのまま流用したい旨のニーズが多

かった

• 独自のオブジェクトストレージを改修する事も可能

だったが、時間を節約したかった


� KVSがストレージエンジンになる

• KVS単体でもストレージエンジンになりえるように

なっている

• ただしサーバー台数が増えた時にどうするのか検討が必

要


� 運用コスト削減

• 運用コストがかからないような構成になっている

• コンポーネント数が少ない

• 設定が項目が少ない

• サーバー追加が容易


� Yahoo! JAPANで培ったKVSのノウハウを、ダイ

レクトに活かせそうなアーキテクチャだった

• ＋一緒に開発できそうな人たちだった


�Action!カード

今回のDevelopers Summitのテーマは「Action!」

• 共感から行動へ、「デベロッパーは未来を作っている。世の中をエコでスマート

な社会にするために、デベロッパーは誇りを持って、行動しよう！」

• セッション後のAction!をレコメンド！

• メッセージ

• 「世界に５つのコンピュータ」


インフラを意識させないインフラを作ろう

• おすすめのコミュニティ

• Riak Meetup

• おすすめの本

• プログラミングErlang

世界に

コンピューター

インフラを

意識させない

インフラを

�アンケートと引き換えに、ノベルティプレゼント！


に５つの

コンピューター

インフラを

させない

インフラを作ろう

ご清聴ありがとうございました


デブサミ2013【14-d-6】yahoo! japanの新しいクラウドストレージサービス～yahoo!...

Technology

riak cs api

repl add

rights reserved

admin memberstatus

ring ready

riak eds

clusterclusterclustercluster

clusterclusterclustercluster