ベイジアンネットワークでデータサイエンティスト達はこういうマーケティング分析をしている！

今日の話は・・・• 「データサイエンティスト」が「ビッグデータ分析」をする時に、ベイジアンネットワークという技術が多く用いられる• 本を読んでみたらかなりすごそうだったので共有します• 数式が多く、なんとなく聞いて理解できる話ではありません！集中して聞いてください• 「線形回帰モデル」程度の数学的バックグラウンドが必要です。線形回帰について検索して理解できない人は聞かないほうがいいです！

ベイジアンネットワーク• 実は２種類あって、ほとんど別物！– ベイジアンネットワーク（簡単なほう）

• 属性間のネットワーク構造推定• レコメンデーション

– ベイジアンネットワーク（難しいほう）• 「階層ベイズ」ともいう• ビッグデータ分析• MCMC 法（マルコフ連鎖モンテカルロ法）• 巷のデータサイエンティスト達が使いこなしている模様

• 後者のベイジアンネットワークがかなりやばい！– これを知らないで「データ分析できます」というのもやばい！

ベイジアンネットワーク（簡単なほう）※ほんのちょっとだけ説明NTT データ数理システムの BAYONET という解析ソフトの入門セミナーで聞いた話より

ベイジアンネット（簡単）人 ID 大気汚染地

域に居住喫煙者である

肺がんにかかっている

レントゲン検査

呼吸困難である

1 はい いいえ はい 陽性 いいえ2 いいえ いいえ いいえ 陰性 はい3 いいえ はい はい 陽性 はい

… … … … … …元データの属性間の依存関係を、人間の知識から有向グラフでモデリングデータを流し込むと各ノードの条件付き確率が求まる

「大気汚染地域に住んでいる ＆ レントゲン検査陽性」の人の肺がん確率、などを導出できる

ネットワーク構造推定• データから自動的にネットワーク構造を推定することができる– 因果関係などはめちゃめちゃになるが、予測に使うぶんにはそれなりの性能になる

レコメンド

レコメンド

ベイジアンネットによるレコメンド• ユーザ属性、商品属性、場合によっては商品自体を使ったネットワークを手動 / 自動で構築し、データにより条件付き確率を計算

– ユーザ属性 : “ 男” , “ 女” , “ 東京在住” , “20 代” , “ 月に 5 回ほど利用” , …– 商品属性 : “ ブランド A を購入” , “ 靴を閲覧” , “ 家具を頻繁に閲覧” , …– 商品 : “ 商品 a を購入” , “ 商品 b を閲覧” , …

• ユーザ属性やそのユーザの購入商品情報を与えると、他の商品の購入確率などが計算できる• という理屈なのだが、実際に 100 万アイテムレベルの EC でどうやるのかは、僕はよくわかりません。

BAYONET の講師もイケてなくて答えがもらえなかった

ベイジアンネットワーク（簡単）まとめ• データの各要素の依存関係を有向グラフでモデル化• 各要素の取りうる値は離散化する• ネットワーク自動推定が行える• レコメンドに使えるらしいが、山本はふんわりしか知らないです• 山本的には、あまり面白い話とは思えなかった• この話はどうでもよくて、次からが本題です！

ベイジアンネットワーク（難しいほう）※今日の本題

ベイジアンネットワーク（難しいほう）• POS データ、購買ログデータからどのように知見を得るかについての本

例 1: 週次 POS データ分析

あるインスタントコーヒーの、週次購買指数、売価、山積み陳列有無約４年分のデータ

例 1: 下調べ①・売価が下がると PI が上がる・山積み陳列すると PI が上がる・山積み陳列時に売価が下がる

例 1: 下調べ②前半と後半で、消費者の購買決定に関する潜在的なパラメタが変わった

例 1: 関連するマーケティング理論• 消費者行動理論における「参照価格」–消費者が商品の価格を評価するための基準価格– 価格 >参照価格 → 買わないでおこう– 価格 <参照価格 → 買おうかな– ( 価格 - 参照価格 ) の正負で非対称な振る舞いも

• この商品の参照価格が時間とともに変わったというふうにモデル化できないか

例 1: 下調べ③線形回帰 :

log( yt ) = β0 + β1log( Pricet ) + β2Et + εt

yt : 購買指数 , Pricet : 売価 , Et : 陳列 t(0: あり /1: なし )※数量を分析する時は対数にすることが多い

β0

β1

β2

例 1: モデル化の仮定1. 価格に関する変数と山積み陳列実施には交互作用がある（データから）2. 消費者の値頃感を示す参照価格が販売指数に影響する（データと理論から）3. 販売指数に対しては、売価と参照価格の差が影響し、さらにその差が正の場合と負の場合で影響度が異なる（理論から）4. 販売指数に対して説明変数が与える影響度は時間の進展に伴いなめらかに変動する（データから）

例 1: モデル化log( yt ) = tt + pt + (α1,t+β1,tEt)Z1

t + (α2,t+β2,tEt)Z2t + εt

yt : 購買指数 , Et : 陳列 t(0: あり /1: なし )

tt: トレンド成分pt: 周期性成分α1,t , β1,t , α2,t , β2,t: 説明変数の影響度

Z1t = Pricet - RPt (Pricet > RPtの時。その他の時は 0) ★ロス変数

Z2t = RPt - Pricet (RPt > Pricetの時。その他の時は 0) ★ゲイン変数

Pricet : 売価RPt : 参照価格

tt – tt-1 ~ N(0, τ1) [ 平滑性 ]pt - a1pt-1 - a2pt-2 ~ N(0, τ2) [ 周期性 ]

α1,t - α1,t-1 ~ N(0, τ3) [ 平滑性 ]τi ~ 一様分布 [ 無仮定 ]

RPt = a RPt-1 + (1-a) Pricet-1

a ~ 一様分布 [ 無仮定 ]

t: 週

例 1: モデル化log( yt ) = tt + pt + (α1,t+β1,tEt)Z1

t + (α2,t+β2,tEt)Z2t + εt

yt : 購買指数 , Et : 陳列 t(0: あり /1: なし )

tt: トレンド成分pt: 周期性成分α1,t , β1,t , α2,t , β2,t: 説明変数の影響度

Z1t = Pricet - RPt (Pricet > RPtの時。その他の時は 0) ★ロス変数

Z2t = RPt - Pricet (RPt > Pricetの時。その他の時は 0) ★ゲイン変数

Pricet : 売価RPt : 参照価格

tt – tt-1 ~ N(0, τ1) [ 平滑性 ]pt - a1pt-1 - a2pt-2 ~ N(0, τ2) [ 周期性 ]

α1,t - α1,t-1 ~ N(0, τ3) [ 平滑性 ]τi ~ 一様分布 [ 無仮定 ]

RPt = a RPt-1 + (1-a) Pricet-1

a ~ 一様分布 [ 無仮定 ]

観測データ数 : 3t 個　／　仮定した潜在変数 : 7t 個ベイジアンモデリングでは、観測データよりもかなり多い数の潜在変数を導入する！当然そのままだと解けないが（連立方程式の数より変数の数が多いので）潜在変数が従う確率分布（平滑性など）を仮定することで、潜在変数の確率分布を得ることができる！

t: 週

ベイジアンモデリングのキモ• 観測データの背後に、大量の潜在変数を仮定する• 潜在変数の数は、観測データよりも多くていい• ただし潜在変数には確率分布（事前分布）により、平滑性・周期性・微小性などを仮定する• モデル化さえしてしまえば、マルコフ連鎖モンテカルロ法 (MCMC法 ) などの数値計算法により、潜在変数の確率分布を得ることができる

マルコフ連鎖モンテカルロ法1. 各潜在変数の値を、ランダムに初期化する2. 各潜在変数について、その値になりうる確率（事前確率） と、その値だった時に観測が得られる確率（尤度）の積の事後確率を計算する（簡単に言うと、潜在変数がその値である確率を計算する）3. 以下を繰り返す1. 各潜在変数をランダムウォークさせる（違う値に移動）2. その値での事後確率 P’ を計算する3. ランダムウォーク前の事後確率 P よりも高ければそこに遷移ランダムウォーク前の事後確率 P よりも低ければ、確率 P’ / P でそこに遷移する4. 十分に遷移を繰り返した後で、遷移履歴のヒストグラムをとると、各潜在変数の確率分布になっている（！！！）

マルコフ連鎖モンテカルロ法

マルコフ連鎖モンテカルロ法• https://www.youtube.com/watch?v=

MYGW0ny8uJ8

MCMC ライブラリの１つ、 Stan のモデル定義サンプルモデル化する数式と、各潜在変数が従う確率分布をそのまま書き下すだけでよいStan 、 BUGS 、 JAGS がよく使われるらしい

ベイジアンモデリングのキモ（再掲）• 観測データの背後に、大量の潜在変数を仮定する• 潜在変数の数は、観測データよりも多くていい• ただし潜在変数には確率分布（事前分布）により、平滑性・周期性・微小性などを仮定する• モデル化さえしてしまえば、マルコフ連鎖モンテカルロ法 (MCMC法 ) などの数値計算法により、潜在変数の確率分布を得ることができる

例 1: モデル化（再掲）log( yt ) = tt + pt + (α1,t+β1,tEt)Z1

t + (α2,t+β2,tEt)Z2t + εt

yt : 購買指数 , Et : 陳列 t(0: あり /1: なし )

tt: トレンド成分pt: 周期性成分α1,t , β1,t , α2,t , β2,t: 説明変数の影響度

Z1t = Pricet - RPt (Pricet > RPtの時。その他の時は 0)

Z2t = RPt - Pricet (RPt > Pricetの時。その他の時は 0)

Pricet : 売価RPt : 参照価格

tt – tt-1 ~ N(0, τ1) [ 平滑性 ]pt - a1pt-1 - a2pt-2 ~ N(0, τ2) [ 周期性 ]

α1,t - α1,t-1 ~ N(0, τ3) [ 平滑性 ]τi ~ 一様分布 [ 無仮定 ]

RPt = a RPt-1 + (1-a) Pricet-1

a ~ 一様分布 [ 無仮定 ]

例 1: 結果①参照価格は期間後半で下落傾向

消費者の商品価格に対する評価が厳しくなってきているので、通常、商品価格戦略を見直す必要がある

例 1: 結果②• トレンド成分

– 売上のトレンド成分がゆるやかに下落– プロモーションによらないベース商品力が低下傾向

• ロス成分– 参照価格よりも高い値段で売った時の消費者のレスポンスの大きさを示す– 期間中大きな変化はない

• ゲイン成分– 参照価格よりも安い値段で売った時の消費者のレスポンスの大きさを示す– 山積み陳列あり・なしの両方で、期間後半で大きくなっている– 消費者が以前よりも、安い時に顕著に買うようになってきたことを示す

• 総合考察– 通常の売り場で値引きしていない時は売れず、そのトレードオフで割引きを実施した時に需要が集中している傾向を示す。– 参照価格の低下（前ページ）を含めて考えると、マーケティング的観点からは、価格戦略を含むマーケティング戦略全体を再検討する必要があるといえる

例 2: 個人単位の来店 / 購入モデリングある商品についての各消費者の来店 / 購買ログ

→来店 / 購買を予測したい

例 2: 元データ

例 2: 来店についての下調べ①

来店比率も牛乳購入比率も、人によってバラバラ

例 2:来店についての下調べ②来店する曜日も人によってバラバラただ決まった日しか来ないわけではない

例 2:来店についての下調べ③チラシへの感度も人によって違う

例 2: 関連するマーケティング理論①意思決定の階層構造

例 2: 関連するマーケティング理論②効用• 「買い物に行く効用」が「行かない効用」より大きければ消費者は小売店へ行き、逆の場合は行かないと考える• 来店する / しない、購買する / しない の離散的なラベルの背後に、効用という連続値が隠れていると考える• 効用は、行動に影響する様々な要因の線形結合として表現することが多い• 階層の下から上への影響があり、「牛乳を買う効用」が、「来店する効用」にさかのぼって影響を与えるというモデル化をすることが多い（ログサム変数）

例 2: 来店モデル化の仮定1. 消費者の来店生起行動は、個人ごとに「完全に」異質である（消費者間の共通性は仮定しない）　（問題設定から）2. 消費者の来店意思決定は、連続的に変動する潜在効用を導入し表現する　（理論から）3. 潜在効用には以下の要素が影響する（データから）1. 消費者の時系列的行動要素トレンド、週周期、前回来店からの日数、前日来店の有無2. 店舗側の要素チラシ掲載商品平均値引率、チラシ掲載商品数4. 来店の有無（にかかわる潜在効用）に対して説明変数が与える影響は、時間の進展に伴いなめらかに変動する（データから）5. 来店効用は、牛乳カテゴリ購買の有無から影響を受ける（理論から）

例 2: 来店モデル化ust,i = tt,i + wt,i + β1

t,i Z1t,i + β2

t,i Z2t,i + β3

t,i Z3t,i + β4

t,i Z4t,i + β5

t,i (1+exp(umt,i)) + εt,i

ust,i : 来店効用umt,i : 牛乳購買効用tt,i : トレンド成分wt,i : 週周期成分Z1

t,i : 前回来店からの日数の対数Z2

t,i : チラシ掲載商品の平均値引率の対数Z3

t,i : チラシ掲載商品数の対数Z4

t,i : 前日の来店の有無β1

t,i , β2t,i , β3

t,i , β4t,i , β5

t,i : 各説明変数の影響度

tt – tt-1 ~ N(0, τ1) [ 平滑性 ]Σk=0 〜 6 wt,i ~ N(0, τ2) [ 周期性 ]

（元データ）（元データ）（元データ）（元データ）

β*t,i ~ N(0, τ*) [ 平滑性 ]

t: 日i: 顧客

例 2: 牛乳購買についての下調べ①人によって違う上に、常に右肩下がりでもない日数に比例する成分と周期性成分によりモデル化

例 2: 牛乳購買についての下調べ②チラシへの感度も人によってバラバラ

家庭内在庫量・消費量• 経験に基づくモデル–一日ごとの牛乳消費量は家庭ごとに違う– 家庭内の在庫がなくなりそうになると牛乳を買う

例 2: 牛乳購買モデル化の仮定1. 消費者の牛乳購買行動は、個人ごとに完全に異質である（消費者間の共通性は仮定しない）　（問題設定から）2. 消費者の牛乳購買意思決定は、連続的に変動する潜在効用を導入し表現する　（理論から）3. 潜在効用には以下の要素が影響する（データから）1. 消費者の時系列的行動要素前回購買からの日数、短期の周期性成分2. 店舗側の要素

20%以上値引き実施商品数、牛乳平均割引率4. 潜在効用には、潜在変数である家庭内在庫量と消費量が影響する（データから）

例 2: 牛乳購買モデル化umt,i = γ1

t,i Z5t,i + γ2

t,i Z6t,i + γ3

t,i Z7t,i + γ4

t,i Z8t,i + γ5

t,i Z9t,i + sart,i + εt,i

umt,i : 牛乳購買効用Z5

t,i : 平均消費量 (ml)Z6

t,i : 家庭内在庫量 (ml)Z7

t,i : 前回購買からの日数の対数Z8

t,i : 20% 以上値引き商品数の対数Z9

t,i : 牛乳平均割引率の対数γ1

t,i , γ2t,i , γ3

t,i , γ4t,i , γ5

t,i : 各説明変数の影響度sart,i : 周期性成分

（後述）（後述）

（元データ）（元データ）（元データ）

γ*t,i ~ N(0, τ*) [ 平滑性 ]

sart,i – c1 sart-1,i – c2 sart-2,i ~ N(0,τ) [ 周期性 ]

効用と確率• 効用をシグモイド関数に入れると来店確率になるとする• 来店効用 : ust,i来店確率 : pst,i = exp(ust,i) / (1+exp(ust,i))

• 牛乳購買効用 : umt,i牛乳購買確率 : pmt,i = exp(umt,i) / (1+exp(umt,i))

例 2: 家庭内在庫量のモデル化• 在庫量

Stockt,i = Stockt-1,i + Purchaset-1,i + Consumet-1,i

– Purchaset,i は元データに含まれる購買量– Consumet,i は潜在変数の消費量

• 消費量– 各顧客の平均消費量 Ci を潜在変数として仮定

在庫量が多いほど多く、少なくなると節約するモデル数学的には在庫量が負になるのを防ぐ意味

例 2: 来店モデル化（再掲）ust,i = tt,i + wt,i + β1

t,i Z1t,i + β2

t,i Z2t,i + β3

t,i Z3t,i + β4

t,i Z4t,i + β5

t,i (1+exp(umt,i)) + εt,i

ust,i : 来店効用umt,i : 牛乳購買効用tt,i : トレンド成分wt,i : 週周期成分Z1

t,i : 前回来店からの日数の対数Z2

t,i : チラシ掲載商品の平均値引率の対数Z3

t,i : チラシ掲載商品数の対数Z4

t,i : 前日の来店の有無β1

t,i , β2t,i , β3

t,i , β4t,i , β5

t,i : 各説明変数の影響度

tt – tt-1 ~ N(0, τ1) [ 平滑性 ]Σk=0 〜 6 wt,i ~ N(0, τ2) [ 周期性 ]

（元データ）（元データ）（元データ）（元データ）

β*t,i ~ N(0, τ*) [ 平滑性 ]

t: 日i: 顧客

例 2: 牛乳購買モデル化（再掲）umt,i = γ1

t,i Z5t,i + γ2

t,i Z6t,i + γ3

t,i Z7t,i + γ4

t,i Z8t,i + γ5

t,i Z9t,i + sart,i + εt,i

umt,i : 牛乳購買効用Z5

t,i : 平均消費量 (ml)Z6

t,i : 家庭内在庫量 (ml)Z7

t,i : 前回購買からの日数の対数Z8

t,i : 20% 以上値引き商品数の対数Z9

t,i : 牛乳平均割引率の対数γ1

t,i , γ2t,i , γ3

t,i , γ4t,i , γ5

t,i : 各説明変数の影響度sart,i : 周期性成分

（後述）（後述）

（元データ）（元データ）（元データ）

γ*t,i ~ N(0, τ*) [ 平滑性 ]

sart,i – c1 sart-1,i – c2 sart-2,i ~ N(0,τ) [ 周期性 ]

例 2: 家庭内在庫量のモデル化（再掲）• 在庫量

Stockt,i = Stockt-1,i + Purchaset-1,i + Consumet-1,i

– Purchaset,i は元データに含まれる購買量– Consumet,i は潜在変数の消費量

• 消費量– 各顧客の平均消費量 Ci を潜在変数として仮定

在庫量が多いほど多く、少なくなると節約するモデル数学的には在庫量が負になるのを防ぐ意味

例 2: 結果①来店と牛乳購買の推定来店確率 0.5以上を来店と推定すると誤推定率 3.5%（全消費者対象）同じく購買について誤推定率 6.9%

高い精度で推定できている※ただし closed評価

例 2: 結果②個人ごとの、来店効用トレンド成分顧客ロイヤリティの変動がわかる

例 2: 結果③個人ごとの、来店効用の週周期成分顧客が来る曜日と、その変化がわかる

例 2: 結果④チラシ感度• 平均値引率– 顧客 1,2 は感度なし– 3 は感度が低下– 4 は値引率に敏感

• 掲載商品数– 顧客 2 は掲載商品数に敏感– 1,3,4 は後半は特に感度なし

例 2: 結果⑤家庭内在庫量と消費量の推定顧客 2 は常に買い足して消費している

1,4 は消費していない期間が多い（飲まなくても平気）3 はその中間

例 2: 結果⑥牛乳購買効用への、家庭内在庫の感度感度が負 (2,3)

= 在庫が減ると購買効用が増える= 牛乳を切らしてはいけない家

拡張 : 消費者間共通性のモデル化• この例では各消費者の平均消費量 Ci を消費者ごとに独立に定義した• これを消費者の属性の線形結合でモデル化すると消費者間の共通性をモデルに組み込める

Ci = α1s1i + α2s2

i + α3s3i + … + εi

– s1i : 消費者 i が一人暮らし

– s2i : 消費者 i が二人暮らし

– …– 他にも、年齢、未成年人数、就業形態（主婦 /パート等）など– εi : 個人性をあらわす誤差項

• 似た属性の消費者は消費傾向に共通性があると考えられるので、モデルが頑健になる期待がある

その他• トピックモデル（文章のジャンルを推定する手法）も同じ枠組みで記述される手法で、 MCMC法で計算する

まとめ• 巷のデータサイエンティストさんたちはこんなことをやっていたらしいです＞＜！

– 今後「全く知らない」では許されないと思ったので共有しました• ベイジアンネットワークによるデータモデリングではデータの背後に大量の潜在変数を導入し、それらの事前確率（平滑性、周期性など）を与え、

MCMC法で潜在変数の確率分布を推定できる• 式さえ立てれば、計算させるのはそんなに難しくなさそう

– MCMC シミュレーターにぶっ込めばいい（はず）– 式をどう立てればいいかは、色々ノウハウが必要そう

• 色々な消費者理論を参照している：参照価格、効用、階層的意思決定