[c11] ビックデータ×マーケティング...
Post on 28-Nov-2014
529 Views
Preview:
DESCRIPTION
TRANSCRIPT
ビックデータtimesマーケティング 進化するデジタルマーケティングを支える ビックデータ活用基盤 2014 大阪
株式会社ゴルフダイジェストオンライン お客様体験デザイン本部 情報活用推進部 DB開発行動分析チーム マネージャ 嘉松 孝友
PC 携帯電話 スマートフォン タブレット 雑誌 店舗 ソーシャル
GDOとは
取扱商品点数 新品約10万点 中古約2万点
ゴルフ場予約 月間送客数 41万人1
スコア管理登録者数 443万人
月間注文件数 71700件1
GDOクラブ会員数 229万人
月間PV 15億PV1
アクティブ ブラウザ数
376万ブラウザ2
提携ゴルフ場数 1916コース
ユニークユーザー数 260万人3
来訪アクティブ会員数
432万人4
1過去最高値を公表数値としています
2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数
lt2013年9月末時点gt
総ビジター数 1242万V1
公式フェイスブック 85188いいね
GDOの規模感
自己紹介
嘉松孝友 Takatomo Kamatsu
19720510 7年
O型
1745cm
654kg
ベストスコア 75 (前回 88)
神奈川県
ゴルフのきっかけ ゴルフ好きの上司に誘われて
好きなゴルファー 中部銀次郎
よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった
(1997年~)印刷会社の受注システム開発(VMS)
(1998年~)製薬会社の営業支援システム開発
(2002年~)ビールメーカの物流システム開発商社のPMO
1ビックデータがマーケティングで利用される背景
2GDOのビックデータ活用の軌跡と活用事例
3ビックデータ活用を支える基盤と今後の展開
今日のセッションで紹介すること
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
PC 携帯電話 スマートフォン タブレット 雑誌 店舗 ソーシャル
GDOとは
取扱商品点数 新品約10万点 中古約2万点
ゴルフ場予約 月間送客数 41万人1
スコア管理登録者数 443万人
月間注文件数 71700件1
GDOクラブ会員数 229万人
月間PV 15億PV1
アクティブ ブラウザ数
376万ブラウザ2
提携ゴルフ場数 1916コース
ユニークユーザー数 260万人3
来訪アクティブ会員数
432万人4
1過去最高値を公表数値としています
2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数
lt2013年9月末時点gt
総ビジター数 1242万V1
公式フェイスブック 85188いいね
GDOの規模感
自己紹介
嘉松孝友 Takatomo Kamatsu
19720510 7年
O型
1745cm
654kg
ベストスコア 75 (前回 88)
神奈川県
ゴルフのきっかけ ゴルフ好きの上司に誘われて
好きなゴルファー 中部銀次郎
よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった
(1997年~)印刷会社の受注システム開発(VMS)
(1998年~)製薬会社の営業支援システム開発
(2002年~)ビールメーカの物流システム開発商社のPMO
1ビックデータがマーケティングで利用される背景
2GDOのビックデータ活用の軌跡と活用事例
3ビックデータ活用を支える基盤と今後の展開
今日のセッションで紹介すること
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
取扱商品点数 新品約10万点 中古約2万点
ゴルフ場予約 月間送客数 41万人1
スコア管理登録者数 443万人
月間注文件数 71700件1
GDOクラブ会員数 229万人
月間PV 15億PV1
アクティブ ブラウザ数
376万ブラウザ2
提携ゴルフ場数 1916コース
ユニークユーザー数 260万人3
来訪アクティブ会員数
432万人4
1過去最高値を公表数値としています
2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数
lt2013年9月末時点gt
総ビジター数 1242万V1
公式フェイスブック 85188いいね
GDOの規模感
自己紹介
嘉松孝友 Takatomo Kamatsu
19720510 7年
O型
1745cm
654kg
ベストスコア 75 (前回 88)
神奈川県
ゴルフのきっかけ ゴルフ好きの上司に誘われて
好きなゴルファー 中部銀次郎
よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった
(1997年~)印刷会社の受注システム開発(VMS)
(1998年~)製薬会社の営業支援システム開発
(2002年~)ビールメーカの物流システム開発商社のPMO
1ビックデータがマーケティングで利用される背景
2GDOのビックデータ活用の軌跡と活用事例
3ビックデータ活用を支える基盤と今後の展開
今日のセッションで紹介すること
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
自己紹介
嘉松孝友 Takatomo Kamatsu
19720510 7年
O型
1745cm
654kg
ベストスコア 75 (前回 88)
神奈川県
ゴルフのきっかけ ゴルフ好きの上司に誘われて
好きなゴルファー 中部銀次郎
よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった
(1997年~)印刷会社の受注システム開発(VMS)
(1998年~)製薬会社の営業支援システム開発
(2002年~)ビールメーカの物流システム開発商社のPMO
1ビックデータがマーケティングで利用される背景
2GDOのビックデータ活用の軌跡と活用事例
3ビックデータ活用を支える基盤と今後の展開
今日のセッションで紹介すること
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
1ビックデータがマーケティングで利用される背景
2GDOのビックデータ活用の軌跡と活用事例
3ビックデータ活用を支える基盤と今後の展開
今日のセッションで紹介すること
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータがマーケティングで利用される背景
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
2011年
2014年
2012年
2013年
ビックデータを取り巻く変化
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代
キーワード 大量生産大量消費 主導権は提供者
主導権は消費者 (メーカーrArr小売り)
顧客視点 ユーザニーズの把握 消費者の価値観が多様化
ビックデータ 顧客のインサイトを知る rArr 分析
マーケティング オートメーション
マーケティング対象 大衆(マス) セグメント別 個客 個客
マーケティング手法 マスマーケティング ブランディング
セグメントマーケティング One to Oneマーケティング One to One マーケティング
+ オートメーション
DB 集計見える化 データベースマーケティング (会員情報times購買履歴)
データベースマーケティング (会員情報times購買履歴times行動履歴)
テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)
アクセス解析 データサイエンティスト HadoopNoSQL クラウド
キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP
その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙
カスタマージャーニー O2O ショールーミング スマートフォン
オムニチャネル
ビックデータがマーケティングで利用される背景
ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速
米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言
経営不振からの脱却
お客様体験デザイン
全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み
オムニチャネル戦略
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる
既存顧客 (見える姿)
既存顧客 (見えない姿)
来店したが購入しなかった人
潜在顧客
購入してくれそうな人
購買履歴
会員情報
サイトアクセスログ メール配信ログ CS問合ログ
従来見えなかった顧客の姿や潜在顧客の発掘
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる
会員情報購買履歴
最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性
行動履歴
1ヶ月以内にサイトアクセス
RFM分析などでは同じセグメント
1週間以内に3回サイトアクセスカートに商品を入れている
1ヶ月以上サイトアクセスなし
ホントに同じセグメントでいいの
A B C A B C
例行動履歴を利用した顧客セグメント
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること
タイミングの最適化
セグメントの最適化
コンテンツの最適化
チャネルの最適化
顧客接点最適化の4要素
いつ接点を持つのか
誰に対して接点を持つのか
何を提供するのか
どの経路で 接点を持つのか
bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経
験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員
bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供
bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告
bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション
顧客接点最適化の4要素
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
仮説 セグメンテーショ
ン 実行 効果検証
3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか
自動化 モニタリング 廃止
+ Seve
顧客をセグメントし対象者を抽出
Responsys R2AD Rtoaster iOneでテストマーケティングを実行
効果検証を実施
全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要
人(知恵) データ
体系化=システム化 暗黙知 rArr 形式知
継続的な効果検証チューニング
データ
知恵
テクノロジ
お客様体験デザインプロセス
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
予約版 Seve
ショップ版 Seve
会員版 Seve
予約 履歴
会員 マスタ
購買 履歴
会員 マスタ
会員 マスタ
予約 サマリ
購買 サマリ
統合版 Seve
会員 マスタ
購買 明細
予約 明細
アクセス
ログ
メール配信ログ
レコメンドデータ
広告配信 ログ
CS問合 ログ
あらゆるチャネルのデータを統合した顧客の360degView
Seve(会員分析抽出ツール)
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
初回来訪(リスティング経由)
会員登録
商品詳細ページ閲覧(メルマガ経由)
CS問合せ
商品レビュー投稿
再来訪(リターゲティング経由)
メルマガ配信開封
口コミ(商品レビュー)閲覧
初回購入(ドライバー)
会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる
Seve(会員分析抽出ツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
GDOのビックデータ活用の軌跡と活用事例
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)
KPIレポート
ゴルフ場営業支援レポート
新ゴルフ場営業支援レポート
MD分析プラットフォーム
Phil(閲覧ページ会員属性分析ツール)
Rtoaster連携
人気ゴルフ場ランキング
ショップレビューランキング
Seve(メルマガ対象者抽出ツール)
R2AD連携
Responsys連携
1114 GoogleShopping連携
全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている
デジタルマーケティング (売上向上)
分析意思決定支援 (業務効率化高度化)
集計見える化
DWHBI活用の軌跡
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
E-Commerce
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
KPIマネジメント
予実管理
BI Platform
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Digital Marketing Platform
アウトバウンドマーケティング
顧客抽出ツール(Seve)
ゴルフ場向 営業支援帳票
インバウンドマーケティング
統合レコメンドエンジン
GDOサイト
EC事業
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
会員分析
統計解析
IBM SPSS R
社外データ
システム構成(2013年11月13日時点)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
数字で見るDWH
J
データ量
6TBytes
DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています
連携システム数
22システム
DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります
テーブル数
1400 テーブル
DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています
利用者数
BI 50ユーザ
ODBC 200ユーザ
全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています
ジョブ数
1200ジョブ
DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます
バッチ処理時間
10時間
日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
バッチ処理(JP1)
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB
DWH Server(SybaseIQ)
HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)
ETL Server(DataStage)
HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)
BI Server(MicroStrategy)
本番環境
HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
開発環境
Strage
DWHBIを支えるインフラ
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Seve(メルマガターゲティングツール)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
Phil(サイト来訪者分析ツール)
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信
CTR(来訪率) 約25~30 レギュラーメール 2~25
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
サイト利用
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
マーケティングシステム連携
広告配信システム(DSP) (リターゲティング広告)
レコメンドエンジン (自社サイトパーソナライズ)
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
データ活用を進めるための3つのポイント
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
進化のための安定
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
進化のための安定
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
進化のための安定
DWH起因 他システム起因 サービス停止
2012年1月 5 5 0
2012年2月 2 5 3
2012年3月 4 1 2
2012年4月 1 1 0
2012年5月 4 1 0
2012年6月 3 4 0
2012年7月 1 6 1
2012年8月 1 3 1
2012年9月 1 2 0
2012年10月 3 0 1
2012年11月 1 1 1
2012年12月 3 3 1
2013年1月 2 1 0
2013年2月 1 1 0
2013年3月 1 2 1
2013年4月 1 1 1
2013年5月 0 2 2
2013年6月 2 2 1
合計 36 41 15
DWH起因の障害原因 バグ
人的ミス
OSミドルウェア障害
他システム起因の障害原因
データ連携遅延
他システム連携エラー(API)
データ不備
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
東京都
千葉県 (33633) 神奈川県
(7422)
茨城県 (15654)
栃木県 (12026)
群馬県 (7124)
埼玉県 (15028)
静岡県
15800
16955
2990 19498
34817
8739
2058
38330
21772
21067
16634
自由研究(20ルール)①
会員居住地と予約されたゴルフ場の場所(関東地方編)
予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
自由研究(20ルール)②
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
自由研究(20ルール)③
マイクロストラテジー ビジュアルインサイト
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
自由研究(20ルール)④
Mahoutを利用したレコメンドエンジンの開発
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
データ活用推進を阻む大きな壁データ活用の需要と供給
供給 需要 < 供給 需要 >
システム データ活用リテラシー < システム データ活用リテラシー >
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ
ビックデータ活用を支える基盤と今後の展開
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
E-Commerce
EC事業
ゴルフ場予約事業
OLAP分析
GBDP
ゴルフ場営業 サポート
会員分析
KPIマネジメント
予実管理
ゴルフ場向 営業支援帳票
BI Platform
MD分析 プラットフォーム
受注発注分析
在庫欠品分析
社外データ
ゴルフ場予約
連携システム
会員管理
ERP
スコア管理
ワークフロー
広告営業管理
GDOサイト
統合レコメンドエンジン
Digital Marketing Platform
統計解析
IBM SPSS R
DWH
DWH Platform
ETL
Data Stage
ログ解析システム
アクセス ログデータ
Hadoop Platform
HDFS
Hive
インバウンドマーケティング
アウトバウンドマーケティング
顧客抽出ツール(Seve)
キャンペーンマネージメントシステム
会員属性と連携した広告配信システム
広告配信システム
ECショッピングモール (Google Shopping)
マーケティングオートメーション(2013年11月14日時点)
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
Amazon Web Service Amazon VPC(Virtual Private Cloud)
プライベートサブネット
GDO社内
キャンペーン マネージメント
スレーブノード (m1large) times3(Datanode)
Amazon EC2
アクセス ログデータ
ログ解析 システム
マスターノード(m1large) times3台(ClientActiveStandby)
Standby (EC2)
NameNode JournalNode
HDFS (EBS) 500GB
HDFS (EBS) 500GB
DataNode TasKTracker
DataNode TaskTracker
(EC2)
HDFS (EBS) 500GB
DataNode TaskTracker
Active (EC2)
Client (EC2)
(EC2) (EC2)
Client JournalNode Hive
NameNode JournalNode
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB
Hadoop システム構成
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
Hadoop + Hive
なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった
② タダ(無料)だから
③ 使ってみたかった
Hadoopを利用してみて分かったこと
意外と安定している
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトはとっても簡単いろんな意味で
更新削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
R2AD Responsys Ignision One
DWH Seve
基幹システム
WEB ログシステム
Rtoaster
リスティングディスプレイリマーケティング メール レコメンド
LPO
顧客抽出
ログレスポンスデータ
トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある
DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)
お客様の行動に合わせた高度なマーケティングを実行するためには
Ad CRM
DWH
RI Rtoas
ter
R2AD iOne
基幹 システム
WEB ログシステム
データの集中と相互利用
今後のデジタルマーケティング時代に求められるDWH
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
製品選定
GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける
② 移行性を重視する
③ 当然ですが最小の費用で最大の効果を
ご清聴ありがとうございました
ご清聴ありがとうございました
top related