cloudpackが提供する ビッグデータ活用基盤構築・支援サービスとは

アイレット株式会社

2015.9.28

ビッグデータ & IoT “まるごと” お任せセミナー

後藤 和貴@kaz_goto

執行役員 / エバンジェリスト

後藤 和貴@kaz_goto

執行役員 / エバンジェリスト

☁ cloudpack事業 執行役員 • エバンジェリスト • マーケティング担当（PR、ウェブ…）

☁ バックグラウンド • Oracle カスタマーサポート→開発 • ビジネス・アーキテクツ • テクニカルディレクター（フリーランス）

アイレット株式会社

設立

資本金

代表者

従業員数

事業内容 システム開発・保守 マネジドホスティング

2003年10月15日

7,000万円

齋藤 将平

100名（2015年9月現在）

AWSを活用しながらビジネスに集中できるコンシェルジュサービス

cloudpackビジネス

設計支援 コンサル

MSP 運用保守

システム 開発

24時間365日

定額課金/ 請求書払い

Pマーク、ISMS、PCI DSS取得済みの運用体制

監視運用保守

企業 AWS

プレミアコンサルティングパートナー

アジア地域4社最上位パートナー 3年連続は2社のみ

Premier > Advanced > Standard > Registered

全世界2222社中

4 社 社超

プロジェクト超

500800

5年間

5年間AWSのみで運用保守

ワンストップでシステム開発から運用保守まで

企業規模別 cloudpack利用比率

36% 27 37% %

中小企業 中堅企業 大企業

Web系 91％

うち33%が ソーシャルゲームや

メディアサイト

cloudpackの主な利用状況

100 (※)

クラウド 導入事例

※ 2015年6月時点

cloudpack事例

confidential

クライアント 株式会社ユニクロ

制作 株式会社マウント

confidential

お題「絶対に落とさないこと」

confidential

confidential

担当者「え？CM打ったらどれだけアクセスくるか…」

confidential

キャンペーン期間外 キャンペーン期間中

結果発表のため静的なコンテンツのみ

サーバー性能強化 台数も増加

アクセス状態を見て 途中でスペックダウン

confidential

キャンペーン開始時に絶対に落ちない構成 • 一時的に最強スペックにすることも可能

• 冗長構成が取られていればサイトを停止せずに増強も

キャンペーンが終われば最小構成に変更可能

• 不要なサーバーは状態をそのまま保存して、次回面倒な構築無しにそのまま利用可能

ポイント

confidential

クライアント サントリー

制作 TYO/ID

confidential

お題「1日だけネット上でフェスするけど」

confidential

confidential

担当者「え？1日のためにサーバー購入するの？」

confidential

平常時

ウェブサーバー

データベース データベース冗長構成

（片方落ちても大丈夫）

フェス開催中

フェス当日だけ 1台→30台 構成

フェス開始

フェス終了

サーバー台数 増やすのは

1台数分レベル

サーバー台数 減らすのは一瞬

費用は1日分=8万円だけ通常約240万円/月のところ

confidential

ライブのようなアクセスにも耐えうる構成も実現可能 • 事前にサーバー調達が不要、時期が来たら増やすだけ

• わずか数日分のコストだけ追加になる

• 事前テストも容易にできる

サーバーをコピーし利用する • フェス時に各サーバーを1から構築するのは不要となるため、

構築作業を大幅に減らせる

ポイント

confidential

confidential

クライアント 日本テレビ

制作 フォアキャスト/バスキュール

confidential

confidential

お題 「最大10万端末同時アクセスのTV連動SNS連動」

confidential

担当者「TV放送なのに処理待ち（事故）とかにならない？」

confidential

状況に応じて台数を 変更していく

Facebook/Twitter 連動も処理待ち数に

応じて台数変更

confidential

日テレBascule

cloudpackフォアキャスト

confidential

最大同時3万アクセスイベント参加者数

約30万人

confidential

クライアントトヨタ自動車

トヨタメディアサービス

トヨタ公式ウェブサイト

☁月間1億PV 45億ヒット、

新車発表時3倍のアクセス

☁すべてのサイトで複数サーバー 開発環境なども含め、

計100台以上

☁東京リージョン障害時にシンガポールで復旧可能

toyota.jp

etoyota.net

lexus.jp www.toyota.co.jp

m.toyota.jp www.toyota-global.com

s-api.etoyota.net

別ロケーションでの復旧

☁ 災害時シンガポールにほぼ自動的に環境構築 ☁ テンプレート（レシピ）から一発で構築可能

Tokyo Region Singapore Region

CloudForma*on,

Template, Stack,

ハイレベルなセキュリティ基準☁ AWSで国内初のPCI-DSS Level1環境の構築の実績

• PCI-DSSとは • PCI DSS (Payment Card Industry Data Security Standard) は国際カードブランド5

社(Visa、MasterCard、JCB、American Express、Discover) が共同で設立したPCI SSC(Payment Card Industry Security Standard Council)によって策定されたグローバルセキュリティ基準。

• プレスリリース（http://www.cloudpack.jp/press/20130308.html）

世界のクレジットカード会社が求める セキュリティ実装のスタンダード

confidential

Coiney

既存サイトをPCI DSS Level1に準拠させる為、 cloudpackはインフラ構築・セキュリティ面でのコンサルティングを担当

実践的セキュリティ対策

アプリケーション

データ

ランタイム

ミドルウェア

OS

仮想化

サーバー

ストレージ

ネットワーク

☁ ユーザー責任範囲 • 権限設定、ネットワーク設定

• ソフトウェアのアップデート

• セキュリティログの収集・管理

• データの暗号化

• ウイルス対策　etc…

☁ AWS責任範囲

confidential

クライアント 朝日放送株式会社

企画・制作 リムレット

朝日放送 「バーチャル高校野球」

confidential

3週間で1000万UU超え

用途がある程度決まれば AWS上での

ビッグデータ環境構築は 比較的難易度低。

では周辺の課題は…

✓なぜAWSがビッグデータ分析環境に最適なのか

✓さまざまなソリューションがある中、実際に求めれるモノとは

✓ビッグデータの取り扱いではまるところ

お伝えしたいこと

ビッグデータ × ツール

収集・処理・分析 保管

データ転送 • Tsunami、Skeed、Aspera

データ統合・ダッシュボード • Tableau、Talentd、Domo

ログ収集・可視化 • fluentd、ElasticSearch、Kibana、Graphana

その他 • 専用線接続

• ダイレクトインポート

データ転送

confidential

3ヶ月かけて東海岸につくった インフラを9時間で西海岸に構築

confidential

476.18 Mbps → 60MB/s =USB2.0最大転送速度

データ統合・ダッシュボード

ログ収集・可視化

ビッグデータ × 事例

大陸間データ伝送

システム構成

�

1 BE A1 BE A

3)

3)

11

�������������

B Am

B Am

B Am

If

1

B B A

v

B Am

3) 3) If yem G C B

yO

AD A  AD A  

AD A  

1

B AmIf

m y

lha hnw NP Su I ot LWOH

I ot u I otB Am O H

If

(

)

F >(

F >(

3-‐‑‒ B E F

>

bIlIrd

GbI hv 3) I

ot

2B A

,

If t Ik

システム構成

�

1 BE A1 BE A

3)

3)

11

�������������

B Am

B Am

B Am

If

1

B B A

v

B Am

3) 3) If yem G C B

yO

AD A  AD A  

AD A  

1

B AmIf

m y

lha hnw NP Su I ot LWOH

I ot u I otB Am O H

If

(

)

F >(

F >(

3-‐‑‒ B E F

>

bIlIrd

GbI hv 3) I

ot

2B A

,

If t Ik

現地に近いリージョンで 毎回環境起動

転送状態の管理

システム構成

�

1 BE A1 BE A

3)

3)

11

�������������

B Am

B Am

B Am

If

1

B B A

v

B Am

3) 3) If yem G C B

yO

AD A  AD A  

AD A  

1

B AmIf

m y

lha hnw NP Su I ot LWOH

I ot u I otB Am O H

If

(

)

F >(

F >(

3-‐‑‒ B E F

>

bIlIrd

GbI hv 3) I

ot

2B A

,

If t Ik

ファイル分割制御・リトライ 優先度制御

システム構成

�

1 BE A1 BE A

3)

3)

11

�������������

B Am

B Am

B Am

If

1

B B A

v

B Am

3) 3) If yem G C B

yO

AD A  AD A  

AD A  

1

B AmIf

m y

lha hnw NP Su I ot LWOH

I ot u I otB Am O H

If

(

)

F >(

F >(

3-‐‑‒ B E F

>

bIlIrd

GbI hv 3) I

ot

2B A

,

If t Ik

高速ファイルファイル転送

通信の最適化 • 都度リージョン選択

• 伝送優先度調整

高速伝送 • ツールとしてHULFT + Skeed利用

• ファイル分割、リトライ

ポイント

ゲーム会社 KPI分析基盤

システム構成1 ゲームサーバーにfluentd導入

DWH$(Redshift)

� 4.!4*��API������!4*��JSON+�4-&)����'3,01+��2!4*5S36�(4$�

���*&%!4*

���*&%!4*���������(4$�DWH�

Web/APL!4*

#4"/2 4.A #4"/2 4.B #4"/2 4.C

��!4*

7�����autoscalling

�/�*-�/)A �/�*-�/)B �/�*-�/)C

DWH'(Redshift)

��/)�/%�fluentd���JSON&�/(!$����".'+,&��-�/%0S31�#/���

� %! �/%

� %! �/%����������#/��DWH��

Web/APL�/%

システム構成２ 変換サーバー導入

,7 Fluentd 3>�'�

F5 �'"�'���&��'$J;E�<� �'!��F5�;EK

�'"�'� �3>�'��41��API�6D

HA %��0���fluentd �'!��*= 3>@API*=

8G�'� %� ��$LDB�'�(9 ��$-.�;E

%� ��$�DB

�'�=: 2?B�%��41���'�����+@��

�'�=:��#"�'�3>�/C

��� ) I

システム構成比較

WADANCE

膨大なデータを集計、分析、俯瞰。 WADANCE（ワダンス）は、

日々の指標を誰もが読み解くことができる ビジネスツールです。

https://youtu.be/CARaLuQs4m8

NTTドコモ 統合分析基盤

confidential

© 2014 NTT DOCOMO, INC. All Rights Reserved.

構築の背景

o ドコモにおけるビックデータ活用

22

業務システムのデータ

様々なログファイル CRMシステム

の顧客データ

Webサイト，ブログ

ソーシャルメディア

静止画，動画 センサデータ

ペタバイト級のデータ＋機械学習＋並列分散計算モデル

マーケティング リコメンデーション オペレーション最適化 セキュリティ メディア理解 社会インフラ最適化

ビッグデータからの行動パターン分析によるサービス利用促進／ユーザビリティ向上

多種多様なログに基づくクロスリコメンド／チューニングによる精度向上／対象ユーザ・コンテンツのカバレッジ向上

ビッグデータを用いたネットワークルーティングの最適化

ビッグデータを用いたハザードマップ／犯罪発生マップの高精度化・カバレッジ向上

ビッグデータを用いた辞書構築による文字認識・画像認識精度の向上／ソーシャルメディア情報活用によるユーザ動向把握

交通機関・公共施設の運行最適化による待ち時間の最小化

Business Intelligence Data-Driven Innovation

confidential

毎日10TBの

ユーザー行動データ

100億超の

行動記録処理

※安全性を保つため 個人情報は予めフィルタ済み

クラウドの拡張性の高さ • 毎日数TB、PB級のデータ量に対応

• MFAやCloudTrailによる証跡など継続的な機能アップ

独自セキュリティ基準確立と実装 • ドコモ・クラウドパッケージ

• ポリシー準拠した環境の事前準備

• すべてのロールごとに権限はわける

ポイント

セキュリティ

認証・セキュリティの取り組み

＋セキュリティルーム

ICMS-PCI0162/PCI DSS

ICMS-PCI0162/PCI DSS

PCI DSSICMS-PCIxxxx

PCI DSS監査証明マーク PCI DSSロゴマーク

PCI DSSICMS-PCIxxxx

※写真はイメージです

• 米国公認会計士協会（AICPA）が定める、財務報告目的以外の受託サービスに関する内部統制の保証報告書

• 監査法人や公認会計士が独立した第三者の立場から、客観的に検証した結果を記載したもの

• AWS上でのSOC2受領は日本初！

SOC2レポート受領

• 国際・国内セキュリティ基準への取り組み

• ソフトウェア脆弱性情報に関する取り組み

• 業務ネットワークのセキュリティ

• 運用上のセキュリティ保持体制

セキュリティ ホワイトペーパー

• NTTドコモ社のクラウド導入・構築・運用管理ノウハウやツールをパッケージ化

• セキュリティデザインパータンやテンプレートを提供

• 準拠したSIをcloudpackで実施可能

ドコモ・クラウド パッケージ

✓PB級のデータも初期コスト無しでスタート、カイゼンや機能追加が日々行われていくので 成長していくAWSはビッグデータ分析環境に最適

✓現実世界では、さまざまなデータソースから データ変換・統合していく必要がある

✓データが膨大である以上、データ収集の戦略も重要に

まとめ

AWS re:Invent 2015 10月6日〜9日 @ ラスベガス

参加者1万人規模 日本からも数百名参加

Q&A