ビックデータ×マーケティング 進化するデジタルマーケティングを支える

ビックデータ活用基盤

株式会社ゴルフダイジェスト・オンライン お客様体験デザイン本部 情報活用推進部 BI・DWHチーム マネージャ 嘉松 孝友

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

1.GDOのビックデータ活用の軌跡と活用事例

2.ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

PC 携帯電話 スマートフォン タブレット 雑誌 店舗 ソーシャル

GDOとは？

取扱商品点数 新品約10万点 中古約2万点

ゴルフ場予約 月間送客数 41万人※1

スコア管理登録者数 44.3万人

月間注文件数 71,700件※1

GDOクラブ会員数 229万人

月間PV 1.5億PV※1

アクティブ ブラウザ数

376万ブラウザ※2

提携ゴルフ場数 1,916コース

ユニークユーザー数 260万人※3

来訪アクティブ会員数

43.2万人※4

※1：過去最高値を公表数値としています。

※2 アクティブブラウザ数： 当月中にGDOに来訪したブラウザ数 ※3 ユニークユーザー数 ： 当月中に当社サービスにアクセスしたユーザー数 ※4 来訪アクティブ会員数： 会員の当月のユニーク来訪者数

<2013年9月末時点>

総ビジター数 1,242万V※1

公式フェイスブック 85,188いいね！

GDOの規模感

自己紹介

嘉松孝友 Takatomo Kamatsu

1972/05/10 7年

O型

174.5cm

70.0kg

ベストスコア 75 （前回 102）

神奈川県

ゴルフのきっかけ ゴルフ好きの上司に誘われて

好きなゴルファー 中部銀次郎

よかったこと 中部銀次郎 異業種、世代を超えた交友関係が広まった

（1997年～）印刷会社の受注システム開発(VMS)

（1998年～）製薬会社の営業支援システム開発

（2002年～）ビールメーカの物流システム開発、商社のPMO

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 ★DWH/BIリリース ★大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

11/14 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWH/BI、G10プロジェクトで大幅なリニューアルを実施し、現在では当初の目的である社内データの「見える化」に加えて、日常業務での「分析・意思決定支援」での活用、そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」と、その活用範囲を拡大してきている。

デジタルマーケティング （売上向上）

分析・意思決定支援 （業務効率化・高度化）

集計、見える化

DWH/BI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注・発注分析

在庫・欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成（2013年11月13日時点）

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteです。Sybase IQのデータ圧縮機能により、約20%に圧縮され保存されています。

連携システム数

21システム

DWHは社内・社外の21のシステムとデータ連携を行っています。連携しているデータの種類(I/F数)は300にものぼります。

テーブル数

1,200 テーブル

DWHが各種システムから取得したデータは、ETL処理により取込、用途ごとに集計され、1,200のテーブルに格納されています。

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中、50人が日々BIツールを業務で活用、200人がODBC接続でExcelやAccessを活用しています。

ジョブ数

950ジョブ

DWHでは日々950のバッチ処理が行われています。全てのジョブがジョブ管理ツールにより制御され、エラー発生時には即座にメールが送信されます。

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間です。バックアップにかかる時間はその中で1時間半を占めます。

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD:48, Size:28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:32.0GB, HDD:136GB OS: Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:18.0GB, HDD:416GB OS: Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU: Intel® Xeon® Processor E5540 CPU:2, Core:8 MEM:62.0GB, HDD:136GB OS: Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 # of CPU:1, # of cores:2 MEM:32.0GB, HDD:694GB OS: Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWH/BIを支えるインフラ

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

Seve（メルマガターゲティングツール）

会員情報 × 購買履歴＆予約履歴 会員情報（性別、年代、・・・）と過去の購買履歴からターゲティング

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

Seve（メルマガターゲティングツール）

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

Phil（サイト来訪者分析ツール）

会員情報 × アクセスログ アクセスログ（サイト閲覧履歴）から会員情報（性別、年代、・・・）を分析

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

Phil（サイト来訪者分析ツール）

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信。

CTR（来訪率） 約25％～30% ※レギュラーメール 2%～2.5%

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OS,ミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

自由研究（20%ルール）①

EC 商品ジャンル別のクラスタリング分析 (R)

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

自由研究（20%ルール）②

Mahoutを利用したレコメンドエンジンの開発

ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注・発注分析

在庫・欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティング・オートメーション（2013年11月14日時点）

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント .

スレーブノード (m1.large) ×３（Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1.large) ×3台（Client,Active,Standby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB

CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか？ ① 夜間バッチが夜間に終わらなくなった。。。

② タダ（無料）だから。

③ 使ってみたかった

Hadoopを利用してみて分かったこと。

意外と安定している。

HiveQLには制限は少ない（SELECT）

開発生産性は高い

クラウドなのでスケールアウトは、とっても簡単。いろんな意味で。

更新、削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

現行SW構成を維持し、ETLのみを増強 【リソース増強】ETL：2コア⇒４コア（64bit） 【HW】ETLサーバーのみをHW新設。

プラン① 【 ETL増強案】

オンプレミス環境にて、高速分析用に製品化されたDWHアプライアンスへ移行 【リソース増強】ETL：2コア⇒４コア 【HW】DWHアプライアンス製品 「IBM PureData System for Analytics（旧Netezza）」

プラン③ 【アプライアンス案】

オンプレミス環境にて、 DWH専用DBである「Vectorwise」に最適チューニングされたDB専用マシンへ移行 【リソース増強】ETL：2コア⇒４コア、 DB：2コア⇒４コア 【DB】DWH専用DB 「Vectorwise」 【HW】データベース専用マシン「Insight Qube」

プラン④ 【Vectorwise案】

現行SW構成を維持し、ETL、DBのHWを増強 【リソース増強】ETL：2コア⇒４コア（64bit）、DB：４コア 【HW】ETL新設、DB専用マシン「Insight Qube」

プラン② 【 ETL/DB増強案】

次世代DWHインフラ（オンプレ案）

現行SW構成を維持し、オンプレミス環境からクラウド（AWS）環境へ移行 【リソース増強】ETL：2コア⇒４コア、 DB：2コア⇒４コア

DBをSybaseIQから「Redshift」とし、環境もクラウド（AWS）環境へ移行 【リソース増強】ETL：2コア⇒４コア、 DB：2コア⇒４コア

現行SW構成を維持し、オンプレミス環境からクラウド（Azure）環境へ移行 【リソース増強】ETL：2コア⇒４コア、 DB：2コア⇒４コア

DBをSybaseIQから「SQL Server」とし、環境もクラウド（Azure）環境へ移行 【リソース増強】ETL：2コア⇒４コア、 DB：2コア⇒４コア

プラン⑤ 【 AWS案】

プラン⑦ 【Azure案】

プラン⑧ 【SQLServer案】

プラン⑥ 【 Redshift】

次世代DWHインフラ（クラウド案）

製品選定

GDOの製品選定の特徴 ① 検証にお金を掛ける

② 移行性を重視する

③ 当然ですが、最初の費用で、最大の効果を！！

ご清聴ありがとうございました。