web-scale bayesian click-through rate prediction for...

Web-Scale Bayesian Click-Through Rate Prediction

for Sponsored Search Advertising

in Microsoft’s Bing Search Engine

Thore Graepel et al., ICML, 2010

Presented by Boyoung Kim

April 25, 2018

Boyoung Kim (SNU) adPredictor April 25, 2018 1 / 12

adPredictor

Sponsored Search

• Bing에서의 ’컴퓨터’ 검색 결과


adPredictor

Sponsored Search

• Sponsored Search란

• 광고주가 키워드 제공하면• 검색엔진은 광고(웹페이지)를 사용자(탐색자)에게 제공,

• 사용자의 클릭수에 따라 광고주에 광고비 청구하는 과정 또는 구조.

• 정확한 클릭률(CTR) 추정의 중요성

• 더 좋은 정보제공을 통해 사용자 만족도를 높임• 광고주에게 더 나은 거래 제시• 사용자에게 높은 클릭률의 광고를 보여줌으로써 수익을 올림


adPredictor

Notation

• 입력 변수• 이산형 변수 N개가 있고, i ∈ {1, . . . ,N}번째 변수는 Mi개 값을 갖는다

하자.

• 입력변수는 Sparse binary feature vector로 다음과 같이 나타냄.

x := (xT1 , . . . , xTN )T

이때, 모든 i ∈ {1, . . . ,N} 에 대해

xi = (xi,1, . . . , xi,Mi )T , xi,j ∈ {0, 1},

Mi∑j=1

xi,j = 1.

ex) 광고주, 광고 카테고리, Search 키워드, display 위치, 사용자 정보 등.

• 라벨y ∈ {−1, 1}, 여기서 -1은 non-click, 1은 click을 나타냄.


adPredictor

Bayesian Linear Probit Regression

• GLM with probit link function

p(y |x,w) := Φ

(y ·wTx

β

)(1)

여기서 Φ (t) :=∫ t

−∞N (s; 0, 1)ds, β 는 Hyper parameter.


adPredictor

Bayesian Linear Probit Regression

• Prior : factorizing Gaussian prior distribution 가정

p(w) =N∏i=1

Mi∏j=1

N (wi,j ;µi,j , σ2i,j) (2)

⇒ Posterior

p(w|x, y) ∝ p(y |x,w)p(w) (3)

사후분포의 계산이 어려워서 approximate message passing algorithm으로 추정


adPredictor

Update Equations for Online learning

• 업데이트 (µ,σ2, x, y)→ (µ̃, σ̃2)

µ̃i,j = µi,j + yxi,j ·σ2i,j

Σ· v(y · xTµ

Σ

)(4)

σ̃2i,j = σ2

i,j ·

[1− xi,j ·

σ2i,j

Σ· w(y · xTµ

Σ

)](5)

여기서 Σ2 := β2 + xTσ2 (전체변동), µ := (µ1,1, . . . , µN,MN)T , σ2 := (σ2

1,1, . . . , σ2N,MN

)T ,

v(t) :=N (t; 0, 1)

Φ(t; 0, 1),

w(t) := v(t) · [v(t) + t]


adPredictor

Predictive Distribution

• 예측

p(y |x) =

∫ ∞−∞· · ·∫ ∞−∞

p(y |x,w) · p(w)dw (6)

= Φ

(y · xTµ

Σ

)(7)


adPredictor

Some Issues

• 입력변수 dimension에 따른 메모리 문제

• 특정 weight에 대해 pruning(prior값으로 하는 것) 시킴.

• prior분포와 posterior분포의 차이가 작으면 그 weight를 prunning함.


adPredictor

Some Issues

• Exploration & Exploitation

• Exploration : 새로운 광고에 대해 사용자의 반응 필요

• Exploitation : 이미 알려진 높은 CTR의 광고 보여주길 원함.

⇒ weight의 평균만 사용할 것이 아니라, uncertainty를 부여하여 CTR을

다양하게 추정하여 노출시킨다.


adPredictor

Experiments

• Display 위치에 따른 weight 의 사후평균, 분산

광고가 Mainline에 보여질수록, 위쪽에 보여질수록 평균 크고 분산 작다.


adPredictor

Experiments

• 사용자 ID에 따른 weight 의 사후평균, 분산

- 위쪽에 있는 점은 weight의 prior에 가까운 점들이고, 더 아래쪽에 있는 것은 자주 관찰되서

prior로부터 멀어짐.

- 오른쪽 극단값들은 bot임!


Personalized Click Model

through Collaborative Filtering

Si Shen et al., WSDM, 2013

Presented by Boyoung Kim

April 25, 2018

Boyoung Kim (SNU) PCM April 25, 2018 1 / 9

PCM

Introduction

• 목적

• 쿼리가 주어졌을때 문서(검색 결과) 클릭률 예측

• 개인화

• 자연 검색 결과 (광고를 제외한 결과) 만을 고려


PCM

Notation

• 각각의 관측값은 다음과 같은 구성요소를 갖음

• C : 클릭여부. C = 1은 클릭을 나타냄

• u : 사용자, 총 Mu명

• q : 쿼리, 총 Mq개

• d : 문서(검색 결과), 총 Md개

• i : 문서 위치(검색결과가 나타난 위치)


PCM

Position model (기존 모형)

• 가정

• 사용자의 문서에 대한 클릭여부는 문서의 제목, 내용 일부를 검토한 후

이뤄진다.

• 사용자가 문서를 검토할 지 여부는 문서의 위치에 의존한다.

• Ei = 1 이 사용자가 i번째 문서를 검토한다는 것을 나타낼 때 모형은

P(Ci = 1|q, d) =∑Ei

P(Ci = 1|Ei , q, d)P(Ei ) (1)

= P(Ci = 1|Ei = 1, q, d)P(Ei = 1) (2)

:= αqdβi (3)

여기서 αqd := P(Ci = 1|Ei = 1, q, d) (문서 관련성),

βi := P(Ei = 1) (위치 편의)라 한다.


PCM

Matrix Factorization Click Model (MFCM)

• 식(3)의 문서 관련성 모수 (αqd)에 쿼리, 문서 각각의 특성 벡터 고려.

P(αqdi |Qq,Ddi , σ) ∼ N ((Qq ◦ Ddi ), σ2)

P(Qq|σQ) ∼ N (0, σ2Q I )

P(Ddi |σD) ∼ N (0, σ2D I )

여기서 di 는 i번째 문서 인덱스, Q ⊂ RF×Mq , D ⊂ RF×Md ,

F는 잠재요인의 수 이다. Qq는 Q의 q번째 열벡터, Dd는 D의 d번째

열벡터를 나타낸다.

• 쿼리, 문서의 잠재 벡터로부터 insight 얻을 수 있음

• 새로운 쿼리, 문서 조합에 대해서도 예측 가능


PCM

Tensor Factorization Click Model (PCM)

• 개인화

• Ni 를 사용자의 i 번째 문서에 대한 흥미여부 라 하자.

P(Ci = 1|q, d , u) = P(Ei = 1,Ni = 1|q, d , u)

= P(Ni = 1|Ei = 1, q, d , u)P(Ei = 1)

• αuqdi := P(Ni = 1|Ei = 1, q, d , u) 라 하면

P(αuqdi |Uu,Qq,Ddi , σ) ∼ N ((Uu ◦ Qq ◦ Ddi ), σ2) (4)

P(Uu|σU) ∼ N (0, σ2U I ) (5)

P(Qq|σQ) ∼ N (0, σ2Q I ) (6)

P(Ddi |σD) ∼ N (0, σ2D I ) (7)

여기서 U ⊂ RF×Mu 이고, Uu ◦ Qq ◦ Ddi =∑F

f=1 Ufu · Qfq · Dfdi .


PCM

Tensor Factorization Click Model (PCM)

• PCM 의 Graphic representation


PCM

Hybrid Personalized Model (HPCM)

• 식(4)에서 쿼리와 문서 사이의 상호작용을 강조하고, 개인화 실현을 위해

residual 부분만 사용자의 latent factor 고려

P(αuqdi |Q̃q, D̃diUu,Qq,Ddi , σ) ∼ N (Q̃q ◦ D̃di + Uu ◦ Qq ◦ Ddi , σ2)

사전분포는 다음과 같다.

P(Q̃q|σQ̃) ∼ N (0, σ2Q̃I )

P(D̃di |σD̃) ∼ N (0, σ2D̃I )

P(Uu|σU) ∼ N (0, σ2U I )

P(Qq|σQ) ∼ N (0, σ2Q I )

P(Ddi |σD) ∼ N (0, σ2D I )


PCM

Hybrid Personalized Model (HPCM)

• HPCM 의 Graphic representation


web-scale bayesian click-through rate prediction for...

Documents