gtmf 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス |...

Copyright ©2015 Treasure Data. All Rights Reserved.

Treasure Data Kengo Horiuchi 2015/7/7

会社概要

History 2011/12 Mountain Viewにて創業2013/2 東京オフィス開設 2015/1 韓国オフィス開設

Service クラウド型のデータマネージメントサービス

Jerry Yang Yahoo! Inc. founder

Hiro Yoshikawa CEO

Open source business veteran

Founder

Kaz Ohta CTO

Founder of world’s largest Hadoop Group

Sada Furuhashi Chief Software Architect MessagePack, Fluentd

Investor

Bill Tai Charles River Ventures, Twitter

Matsumoto Yukihiro Ruby

Sierra Ventures – (Tim Guleri) Database

Scale Ventures Cloud Service

Morio Kurosaki IT-Farm

2


Treasure Data Serviceとは

15/07/07

3

ビッグデータの収集・保存・分析をワンストップで提供する、業界初のクラウド型のデータマネジメントサービス（DMS）

“データ解析の世界をシンプルにしたい”

Recognized as Gartner “Cool Vendor in Big Data”

“トレジャーデータは、データの取得、保存、分析に対応するクラウド型ビッグデータソリューションをエンドツーエンドのマネージドサービスとして提供しています。トレジャーデータのユニークな特徴の一つはデータ収集ソリューションです。” “Who should care: 大量のデータを管理するリソースやスキルが十分”

Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

4

数字でみるトレジャーデータ

20兆保存されているデータ件数

4,000 一社が所有する最大

サーバー数

500,000 1秒間に保存されるデータ件数


なぜ、ログを見る？

15/07/07

例えば、アプリのログ

15/07/07 7


アプリ×データを活用するゲーム、Webサービス、広告ユーザー行動を可視化キャンペーンの最適化小売（オムニチャネル / O2O）実店舗とネットストアの顧客行動を横断的に分析マーケティング施策の最適化

15/07/078


アプリ×データ活用の共通点「生データ」を溜める分析項目は変化する自由に分析可能「分析」は定期的なレポートから詳細な原因分析はレポートの次ほぼ「リアルタイム」に集計・分析する 1時間前の課金状況を全員で共有定型化するまえの探索

Treasure Data Serviceのメリット

ビッグデータの収集・保存・分析をワンストップで提供する、業界初のデータマネジメントサービス（DMS）

導入期間半年から数年初期費用数千万から数億円保守ベンダーロックイン運用特殊なスキル会計資産計上

これまでのデータウェアハウス

導入期間数日初期費用ゼロ保守不要運用通常のDBスキル会計月額課金のため費用化

トレジャーデータサービス

収集保管分析



他製品連携

SQL

Server

CRM

RDBMS

Appログ

センサー

Webログ

ERP

バッチ型分析

アドホック型分析

API

ODBCJDBC

PUSH

Treasure Agent

分析ツール連携

データ可視化・共有

Treasure Data Collectors

組込み

Embulk

モバイルSDK

JS SDK

4. 簡単に拡張

5. 簡単に選べる

7. 簡単な連携

6. 簡単にパワーアップ

1. 簡単に収集 2. 簡単に保存 3. 簡単に分析


オンラインゲームソリューションとは

12

ログインログ

Treasure Data Service

データ統合

課金ログ

招待ログ

KPI: PV

KPI: ARPU

KPI: リテンション

提供するログテンプレートを活用する事で容易に多種多様なKPI群のモニタリングが可能に


スマホアプリにおける課題...

アプリだけではログが収集できない？ログ収集のためだけにサーバーが必要？ダウンロード前の行動がわからない経路別ダウンロード後の利用率がわからない

15/07/07

iOS/Android SDKによるログ収集

14

イベント発生後すぐに送信

イベント発生後すぐに送信

バッファリング

バッファリング

スケーラブルなトレジャーSDK受信サーバー


端末アプリから直接トレジャーデータサービスに蓄積され、かつストリーミングによってログを直ちに確認できる

ネイティブアプリ/ブラウザアプリ両方に対応

ログインログ

課金ログ

招待ログ

ブラウザゲームはサーバーサイドに Fluentd ベースの TD-Agent を仕込んでストリーミング収集

iOS、AndroidのSDK または Unity向けのライブラリを通じてログを収集


導入企業様

15/07/07

16

活用価値

お客様トレジャーデータ

グローバルインターネットジャイアンツ＞ ×

18 （C） IDC Frontier Inc. All Rights Reserved.

YBIとは

*1：オープンソースに関する操作・設定などのお問い合わせは含まれていません。ご希望の方には別途有償サービスをご案内させていただきます。 *2：プライベート回線は、別途当社のプライベートコネクトサービスのご契約が必要となります。

データ分析に必要な基盤がトータルで揃う


今後の技術戦略

Treasure Dataによる

オープンソースソフトウェアを通じた

技術的イノベーション


“Fluentd”: Pluggable Data Collector

21

2000+ companies are collecting data reliably in machine & human readable format.


Fluent-Bit: IoT Data Collector

22


“Embulk”: Pluggable Bulk Loader

23

Bulk Loading version of Fluentd.

データ分析基盤を”作って保守する ”時代は終わった

26

•  データ基盤の構築自体はビジネスに直接貢献しない

•  ビッグデータ関連エンジニアを雇う／養成するのは難しい上、データの寿命は長いためチームを維持し続ける必要がある

•  直接のROIを問われた時に大規模な初期投資を正当化できない、まず試してみる必要がある

2015年

データ分析においてはクラウドサービスを使おう

明示的な要件が無い限り

作らない 27

15/07/07


15/07/07


ゲーム分析

28

一般的なデータ分析プロセス

29

目的明確化

1

目標設定

2

データ収集

3

データ分析

4

考察・仮説

5

Plan

6

Do

7

Data Check

8

Action

9

目的・目標が未設定，さらにデータの内容がわからない故に次の 4～9. のデータ分析サイクルを回せない

仮説指向の限界

30

目的明確化

1

目標設定

2

データ収集

3

そもそも何を目的とすえるのかもわからない（だから分析に助けを求めるので…）

「売上を上げる」といった緩い目標しか立たないのでデータ収集へ進めない…

どのようなデータが活用できそうかわからない（自分のサービスであっても）データの内容を知らない

データドリブンアプローチ

31

ルール（モデル）

テンプレートクエリー

データ

仮説

トレジャーデータ流、データ分析プロセス

32

データ収集

1

Data Watch

2

目標設定

3

データ分析

4

考察・仮説

5

Plan

6

Do

7

Data Check

8

Action

9

まずはとにかく１．データ収集、そして２．データを　「見る」　ことに専念しましょう


1.  とにかく集められるログを探してくる•  サーバーに垂れ流しにされているアクセスログ，システムログ•  MySQLに格納されている購買ログ•  アプリケーション何に仕込まれたデバッグログ•  etc…

2.  ログがどこにも無ければ簡単なログ収集から始める•  Webアプリケーションなら「Login（Access）」ログを収集する•  参考リンク：Login ログからわかる12の指標 http://treasure-data.hateblo.jp/

entry/2014/05/09/112107

データ収集

1


a.  データの「項目」を見る•  データにどのような項目があるか？•  各項目にはどのような値が入っているか？•  各項目を「ディメンジョン」「メジャー」に分類

b.  データの「内訳」を見る•  どの値がどれくらいの割合で登場しているか？•  テンプレートに従ったデータ集計

c.  データの「分布」を見る•  どのような値にデータが密集しているか？•  テンプレートに従った分布計算

Data Watch

2 定型化された3つの「見る」プロセス

データの横串分析

35

5 テレマティクス分析の

要所

35

KPI A

KPI B

KPI C

異なるデータ間の連携と強力な並列分散処理技術で、大量なテレマティクスログから様々なKPIを算出。

Game1 Game2 Game3

KPI A

KPI B

KPI C

横断分析

縦断分析

全体を一覧できるツール

36

3 ゲーム分析の

要所

KPI: PV

KPI: ARPU

KPI: レベル分布

ケーススタディ

37

38

4000台 Game SolutionKPI Monitoring Toolとセット

20台

収集の仕組み分析knowhowと基盤をSupplierに提供

4000万ユーザー

Treasure Agent

Treasure Agent

Game Supplier

A

Game Supplier

B

Game Supplier

C

1タイトルごと20タイトル

AWS（Redshift）

スマホ

Web

分析に基づいたメール配信など

Netteza

Site Catalyst

翌朝、その日のwebsiteへの来客を促す

Tableau

他の解析ツール

各種サービス

ブログウォッチャー社プロファイルパスポートAD

Tableau「受験サプリ」「勉強サプリ」「料理サプリ」

分析に基づいたメール配信やプッシュ通知など

MI

Treasure Agent

Mobile SDK

• Beacon端末を使った来店分析サービス

AWS（Redshift）

プロファイルパスポート


良品計画様MUJI passportの事例

15/07/07

閲覧ログ

閲覧ログ

加工済閲覧ログ（Cookie ID→顧客ID）

販売データその他データソース

AWS（Redshift）

BIツール（tableau）

ID

大量の生閲覧ログ

スマホアプリ

ネットストア

リアル店舗

スマホアプリ

ネットストア

メール

42


マーケティングクラウド連携事例

15/07/07

分析データキャンペーン運用PDCA

BIツール（tableau）

会員情報分析DB

行動履歴

その他情報

ETL（抽出・変換)

43


ウェアラブルのマーケティング

ログデータ集計

•  性能情報から製品改善・サポート •  アプリ利用ログから新たなマーケティング

44

パイオニア社

テレマティクス 15/07/07

走行車両情報運転状況・燃費・エンジン回転数・バッテリー電圧など

様々な車載用機器・スマートフォン

地図エンジン

情報の収集・蓄積

運転状況把握エンジン

クラウドナビエンジン

情報検知に基づくデータ分析車両状態、位置情報、交通状況、運転傾向など

ビックデータの可視化状況に合わせたオートマティッ

クな情報提供

自動車関連事業者

風力発電タービンの予防保全

46

全データ

MRO モニタリング

アラート

全データ傾向


アットマークテクノとの協業 Fluentdを組み込んだIoT用ゲートウェイとの連携により、センサーデータを簡単にトレジャーデータサービスに集める事ができる

3Dプリンターの予防保守

48

メンテナンス

訪問前準備

全センサーデータ

ログ収集 BOX

3Dプリンター Armadillo

SMAC(監視サービス)

予兆分析

15/07/07


15/07/07


まとめ

データ分析においてはクラウドサービスを使う。

明示的な技術的要件が無い限り作らない。

49

15/07/07


15/07/07


50

ゲームにはビッグデータ活用が欠かせない

gtmf 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス |...

Technology