autoscale×ゲーム ~運用効率化への取り組み~

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ゲーム事業本部恋愛ゲームチーム　藤原涼!ゲームインフラチーム　本田恭!

2014年07月18日

AutoScale × ゲーム～運用効率化への取り組み～


運用効率化に向けたAWS導入背景から運用のお話

AWSをさらに活用するための技術的なお話

～後半～

～前半～

Agenda


１：サービスの特徴とシステム

２：AWSの導入に向けて

３：AWSを利用して発生した問題

Agenda

～前半～


自己紹介

藤原涼 (ふじわらりょう)- 2012年新卒入社 (3年目)

- Twitter @megadreams14

AWSを使い始めた日- ２０１３年６月１７日（月）


女性向け「恋愛ソーシャルゲーム」における導入事例


恋愛ソーシャルゲームとは



華やかで甘いストーリーが楽しめる

http://ikemen.cybird.ne.jp/of/play.html



アバターなどを着せ替えて可愛くコーディネイトできる






http://ikemen.cybird.ne.jp/of/message.html

私達が皆様にお約束すること

http://ikemen.cybird.ne.jp/of/message.html


リリース一覧


現在提供している恋愛ソーシャルゲーム

イケメン大奥恋の園

イケメン恋戦平清盛

100日間のプリンセスもうひとつのイケメン王宮

イケメン王宮真夜中のシンデレラ

新章イケメン大奥禁じられた恋

イケメン幕末運命の恋

ラブセン～Ｖ６とヒミツの恋～

美男宮殿月下灰姑娘

美男大奧江戶奇緣

イケメン夜曲ロミオと秘密のジュリエット

한밤중의 신데렐라



GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

AppStore GooglePlayAmeba

AppStore GooglePlayAppStore GooglePlay AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

dゲーム



GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay



GREE Mobage Ameba

AppStore GooglePlay

dゲーム

全４０サイト


特徴


朝と夜にアクセス上昇

月１回の大きなイベント

弊社恋愛ソーシャルゲームの特徴




通勤通学時間帯・日付変更時に集中

http://gamebiz.jp/?p=127080

1日のアクセス数の変化

朝夜

http://gamebiz.jp/?p=127080




通常の約５倍のアクセスイベント開始時のアクセス数の変化




アバターの付与

華やかにドレスアップ♪

「100日間のプリンセス◆もうひとつのイケメン王宮」より




アバターの付与

華やかにドレスアップ♪

「100日間のプリンセス◆もうひとつのイケメン王宮」より

アバター合成でサーバ負荷


システム要件


弊社恋愛ソーシャルゲームのシステム要件

Web LoadBarancer

Webサーバアバター合成サーバ

Server Server Server

Image LoadBarancer

Server Server Server



～前半～

２：AWSの導入に向けて


Agenda


AWSを使うまでの苦労


イベント前のサーバ追加

手動でサーバ追加

サーバの追加に時間がかかる



コンテンツ数が多い

イベント前のサーバ追加

LB LBLB LBLB LBLB LBLB LBLB LBLB LB



事前追加や障害対応

アラートメール

状況確認

サーバ追加

手動でサーバ追加



３０分～２時間程度

サーバの追加に時間がかかる

サーバ追加ステータスが変わらない



機会損失運用コスト

運用上の課題



AutoScale

URL


AutoScaleとは

サーバの負荷に合わせて

自動でサーバを追加/削除する機能

サーバ負荷スケジュール


AutoScaleを利用するには


サーバ構築の自動化

スケールイン時のデータの扱い



増えるだけでなく減ることも考慮

ログファイル

セッションデータ

画像ファイル




スケールイン時のデータの扱い



AMI

画像ファイル Apacheの設定

ミドルウェアのインストール

AMIで実現可能・・・だが




GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay



GREE Mobage Ameba

AppStore GooglePlay

dゲーム

設定が異なる複数のAMIが必要


http://www.techtonet.com/jenkins-continuous-integration/


サーバ構築の自動化を目指して

手動によるミスを無くすことが出来る

サーバごとに設定値を変更出来る

繰り返し作業を自動化出来る

Chef導入理由


NTPのインストールユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 yumのキャッシュをクリア swap領域の設定 SELinuxの設定ユーザの作成 sudo権限の設定ファイアウォールの設定【AWS】CLIのインストール【AWS】S3コマンドのインストールコンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール

PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定起動スクリプトの配置起動スクリプトのデーモン化ホストの設定【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

全３４項目

サーバ構築の自動化を目指して　～Chefで設定したこと～



全３４項目

サーバ構築の自動化を目指して　～Chefで設定したこと～PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定起動スクリプトの配置起動スクリプトのデーモン化ホストの設定【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

約２０分


NTPユーザディレクトリの設定yum: yum: remiyum: tdyumswapSELinuxユーザの作成sudoファイアウォールの設定【【コンパイル系パッケージインストールmail,sargit社内SWFEditorImagick

全３４項目

サーバ構築の自動化を目指して　～Chefで設定したこと～PHPPHPMySQLFluentdApache:ZABBIX: agentChef:knife起動スクリプトの配置起動スクリプトのデーモン化ホストの設定【Apache : Apache ZABBIX: agentFluentd : td-agent

サーバ構築をスピードよく

約２０分




共通の部分はAMIの中で定義


イケメン夜曲用AMI イケメン幕末用AMI


設定の違いのみをChefで実行




GREE

イケメン夜曲用AMI

GooglePlay

イケメン幕末用AMI

AppStoreMobage GooglePlayAppStoreAmeba





共通２８項目

全３４項目




全３４項目


設定６項目

約５分

+　デプロイ


Chef　×　AWS

サーバ構築の自動化を目指して　～Chefの実行～


AutoScale構成図


AutoScaleを利用した構成図

ゾーンA ゾーンB

各ゾーンに均等にインスタンスを配置

オンデマンド EC2


Elastic Load Balancing




オンデマンドインスタンス Auto Scaling Groupオンデマンド

EC2オンデマンド

EC2












CloudWatchでサーバ監視CloudWatch










アラートを検知Alarm










Alarm

AMIから起動

AMI










Alarm

Chefの実行

AMI










Alarm

2台ずつ追加

AMI

EC2 Instance

EC2 Instance


AutoScaleによる運用が順調にスタートAutoScaleを利用した構成図

CPUロードアベレージ



～前半～

２：AWSを導入に向けて


Agenda


AWSを使ってみて

利便性

オンデマンドの価格

機能とサポート


価格・・・高い問題≈ç


価格・・・やはり高い問題

リザーブドインスタンス検討


リザーブドインスタンスとは

予約金を一括で支払うことで、期間内の時間あたりの料金が安くなる

インスタンス性能の変更に制約がある

年単位での支払い

～特徴～


リザーブドインスタンスとは

予約金を一括で支払うことで、期間内の時間あたりの料金が安くなる

インスタンス性能の変更に制約がある

年単位での支払い

～特徴～性能決めつけはリスク


価格・・・やはり高い問題

スポットインスタンス検討


スポットインスタンスとは

需要と共有のバランスによって

サーバの価格が決まる入札制度

必要なときに短時間だけ利用

約５分の１の価格～特徴～


Instance Type

Availability zone

それぞれ価格が違う

スポットインスタンスとは


スポットインスタンスの特徴

２：サーバ価格より入札額が低いと

１：価格が変動

・サーバが落ちる

・サーバが起動しない



需要と供給のバランスで価格が変動


２：サーバ価格より入札額が低いと落ちる

入札額現在のサーバ価格＜＝

サーバが落ちる

※自動でサーバが落ちた場合、1時間未満の使用料については課金されない

既にサーバを利用中の場合


２：サーバ価格より入札額が低いと起動しない

入札額現在のサーバ価格＜＝

これからサーバを利用する場合

サーバが起動しない


スポットインスタンスの特徴

２：サーバ価格より入札額が低いと


・サーバが落ちる

・

本番での運用はリスク


スポットインスタンスの問題点

価格高くなる

サーバ落ちるサーバ起動しない

本番運用での課題


価格情報を監視

CYBIRDが考えたスポットの解決策１

≈ç


解決策１：価格情報を監視

価格変動の状況を把握する

入札価格の決定



http://www.zabbix.com/jp/img/logo/zabbix_logo_500x131.png

http://www.zabbix.com/jp/img/logo/zabbix_logo_500x131.png


価格情報を監視・記録



スポットとAutoScale

CYBIRDが考えたスポットの解決策２

≈ç


入札価格の変更はConfigの変更だけで可能

解決策２：AutoScaleの利用

AutoScaleの利点

設定されたインスタンス起動数を担保する仕組み



AutoScalingGroup・インスタンス起動数・LaunchConfigの指定

LaunchConfig・インスタンスタイプ・スポットインスタンス入札額



解決策２：インスタンス起動数を担保する仕組み

AutoScaleの利点




オンデマンドインスタンスすぐにサーバ起動

スポットインスタンス入札価格足りている入札後サーバ起動

スポットインスタンス入札価格足りていない入札待ちが続く

設定したサーバの起動数に足りていない時



AutoScaleの利点




AutoScalingGroupの設定


LaunchConfigA

$2.0入札m3.2xlarge

AutoScalingGroup

2台起動

LaunchConfigA




LaunchConfigAの入札額では入札価格が足りない

ずっと入札を待ち続ける

AutoScalingGroup

2台起動

LaunchConfigA

入札待ちConfigA

LaunchConfigA

$2.0入札m3.2xlarge

m3.2xlargeの価格 = $3.0




LaunchConfigA

$2.0入札m3.2xlargeLaunchConfigB

$3.0入札c3.2xlarge

AutoScalingGroup

2台起動

LaunchConfigB

サーバが起動できるLaunchConfigBに切り替える

新規で入札が入る入札中止ConfigA

新規入札ConfigB

c3.2xlargeの価格 = $0.8




LaunchConfigA

$2.0入札m3.2xlargeLaunchConfigB

$3.0入札c3.2xlarge

AutoScalingGroup

2台起動

LaunchConfigB

サーバが起動できるLaunchConfigBに切り替える

新規で入札が入る入札中止ConfigA

新規入札ConfigB

c3.2xlargeの価格 = $0.8無事にサーバ起動


構成図

CYBIRDが考えたスポットインスタンス運用

≈ç









スポットインスタンス AutoScalingGroup

スポット EC2

スポット EC2


オンデマンドインスタンススポットインスタンス

価格・・・高い問題

オンデマンドとスポットの利用比率

1ヶ月の使用時間の比率


オンデマンドインスタンススポットインスタンス

オンデマンドとスポットの利用比率

1ヶ月の使用時間の比率

３～４割のコスト削減

価格・・・高い問題


スポットの利用者が増えた≈ç


2013年8月からスポットを利用

スポットの利用者が増えた問題


価格変動はほとんど無かった



価格変動が激しい



利用者が増えたことで起きた問題





再掲



通常時のサーバの例

オンデマンド

WebServer


スポット


イベントに備えサーバ追加

オンデマンドオンデマンド

WebServer

スポットスポット

オンデマンドオンデマンド

スポットスポット



スポットインスタンスの価格上昇




スポットインスタンスの価格上昇

自分たちで価格吊り上げる


現在取り組んでいること



スポットインスタンスConfig切り替え自動化


今出来ていること


スポットの!価格状況が把握

AutoScaleの!容易な設定変更


やりたいこと

AutoScaleの!容易な設定変更


スポットの!価格状況が把握

自動化



１：価格変動のアラートの閾値を設定

２：最適なインスタンス・入札額の選定

３：AutoScalingGroupに適用



１：価格変動のアラートの閾値を設定

安定稼働とコスト最適化を目指す

３：


AWSのAutoScale

運用コスト削減

様々なツールと組み合わせることで!ニーズに合ったソリューションを構築

AutoScale スポットインスタンス


ここからは!より技術的なお話

autoscale×ゲーム ~運用効率化への取り組み~

Documents