2018.11

美团外卖广告模型演进t路

外卖广告

CPM

品牌广告 推荐广告 搜索广告 营销广告

CPC CPC CPS

外卖广告风险由商户向平台转移

技术挑战增加

4P=g展示计费

4P4g点击计费

4PCg成单计费

CTR

CVR

平台收益0LSN

平台收益04DB * LSN

平台收益04DB * 4FB * LSN

外卖广告

用户

平台 商家

用户体验

千次展现收益d4P=e 投入产出比dBO:e

广告生态

CPM广告 CPC广告 CPS广告

ROI = GMVCPM =

!"# ∗ !%# ∗ '!()'*

!%# ∗ '!()'*

'!()'*

ctr cvr ror

CPM =bidctr ∗ bidctr ∗ cvr ∗ bid

m界模型发展历程

线性模型g LBdL378CfOGLA>e OWUSWO-LBdC85f7DBLe 7=

77=

树模型g
835D H83XXst LSQRt83=

神经网络模型

5>> GSNO 5OOY 7>> 5OOY7= 54> c

• 优点g简单高效 • 缺点g线性f表达能力弱

• 优点g非线性f可解释性 • 缺点gk能XWUSWOf高维离散特征

• 优点g精度高f表达能力强 • 缺点g性能f可解释性

外卖广告模型演进

XGBoostFTRL

FMDNN

LightGBM

MTL

DeepFMWide&Deep

DQN

闭环场景

多目标学w

提高迭代效率和精度

刻画能力 泛化能力

线性模型l神经网络的组合

优化长期目标

树模型

bH83XXst bLSQRt83=

神经网络

b5>> b=DL

强化学w

b5A>

树模型

bH83XXst bLSQRt83=

神经网络

b5>> b=DL

强化学w

b5A>

GBDT & XGBoost

H83XXst是835D的一种实现

01 835D/ 8raNSOWt 3XXstSWQ 5OMSsSXW DrOO

02 H83XXst/ OHtrOVO 8raNSOWt 3XXstSWQ Does the person like computer games

XGBoost

&fy阶泰勒展开g损失函数更精准f收敛速度更快

2f引入正则项g防止过拟合

(f缺失值处理g自动学w特征缺失值的分裂方向

)f直方图算法g如右图

●H83XXst的实现方式

LightGBM

●LSQRt83=改进精度提升 • LOaP-wSsO分裂

•

•

易用性

性能优化

• 样本采样d8OCCe

• 特征合并d673e

• 分布式通信优化

• 支持类别特征 • 支持忽略特征

LightGBM—

保留梯度大的样本f采样梯度小的样本f并提高

其权重

●8OCCd8raNSOWt-LasON OWO-CSNO CaVYUSWQe

●优点既减少x数据量f又能有效保持精度

LightGBM—●673d6xMUusS^O 7OaturO 3uWNUSWQe建立直方图的时间复杂度可以由O(#Nata * #POaturO) 减小到 O(#Nata * #LuWNUO)

LightGBM—●LSQRt83=o的并行

2f计算直方图 (f计算最优分裂 )f分裂节点&f计算特征分桶

LightGBM—建立特征直方图

建立本地直方图

2#合并全局直方图

• 2UUBONuMOg对所有计算节点i

的数值进行归约操作

• BONuMOCMattOrg只保留归约后

的部分结果

02

LightGBM—

H83XXst-12UUBONuMO

LSQRt83=-1BOMursS^O 9aU^SWQ

●BONuMOCMattOr

优点g大大减少通信数据量 缺陷g只适用于2JT wXrTOr情况

—Yarn-LightGBM●支持aarW环境

●支持957C文件

架构图

—Yarn-LightGBM●优化非2TnwXrTOr时的通信时间

执行步骤 H83XXst +)wXrTOrs

LSQRt83= +)wXrTOrs

LSQRt83= +*wXrTOrs

IarW-LSQRt83= +*wXrTOrs

建立本地直方图 2#0(227+s &()2.(s .+2*)+s -&2.-&s对所有直方图加和 &(#+-&0)-s 2#0.7.(+s 2-#+&*--&s (#&.()&s同步分裂属性 &.#0&7&-7s 0#.07*).s (#0*&+22s -*&-&)s分裂叶子 0#2*.*2+s 0#0-)*2*s 0#&77.7(s 0#0.&(.sDraSWON a trOO (*#272(22s )#)(+)+(s ()#0-+-2+s +#.).*.*s

优化g FSrtuaU BaWT + BOMursS^O 9aU^SWQ

CtOY & CtOY 2

• 训练速度比H83XXst提升2倍

• 线i效果正向

• 目前在集团内部多n团队应用f性能提升&-(倍

✓ 以i特性已经被合并到QStRuL开源版本o➢效果g

➢总结g

LightGBM

1. MPI/Socket

2.

3.

4.

Yarn-LightGBM

1. yarn Spark

2. dmlc-core HDFS

(# 分布式通信算法改进

4.

5.

—Yarn-LightGBM

树模型

bH83XXst bLSQRt83=

神经网络

b5>> b=DL

强化学w

b5A>

V1 V2

V3

5>> LB+5>>

7=+5>>

V4

4>>+5>>

预估目标8=F

4DB 4FB PB:46

MTL-

/ /

4HB/

整体预估gk够灵活

拆分预估g误差大f样本稀疏

=uUtS-DasT LOarWSWQ ✓ 同时学w和预测多n目标d5>>多输出e

✓ 解决4FBfPB:46样本稀疏问题

解决方案

✓ 输入几u相同 ✓ 任务高度相关

问题特点

m内解决方案

✓ 4DB、4FB UXss线性加权 ✓ JXSWt/2UtOrWatO traSWSWQ ✓ 共享隐层

✓ 4DBf4HB UXss加权 ✓ 4FB作为o间结果 ✓ 共享6VLONNSWQ特征表达

经典=DL方案

阿里6C==

✓ UXss线性加权 ✓ JXSWt traSWSWQ ✓ 共享隐层

共性

MTL-

✓ 样本更加稀疏 ✓ UaLOU的sMaUO

特性

同时学w4DB和4FB PB:46怎r办h

外卖广告解决方案

初步探索

&

方法 ● =DL同时学w4DB、4HB

效果 ● Mtr和Mxr相对NWW正向

i线落地

2

方法 ● =DL同时学w4DB、4FB

效果 ● 离线2E4有所提升 ● 线i表现正向

终极方案

(

方法 ● =DL同时学w4DB、4FB、PB:46

效果 ● 4DBf4FB 2E4持平 ● =26正向

问题 ● PrSMO如何解决

✓样本 ✓曝光

✓LaLOU✓点击、成单

单n3atMR的样本分布片段

✓ 4DB和4HB均比单目标5>>有所提升

效果d对比5>>e

MTL-

单n3atMR的样本分布片段

CXR=CTR*CVR

加入4FB LaaOr

样本k均 物理含s

LXss加权 LXss约束

挑战

应对

改进

MTL-

✓ 4DB和4FB均比单目标5>>有所提升

✓ 线im务指标正向

效果d对比5>>e

单n3atMR的样本分布片段

加入PrSMO LaaOr

样本k均 LXss冲突

LXss加权

挑战

应对

• 无法同时收敛

改进

MTL-

样本k均 LXss冲突挑战

网络拆分 共享6VLONNSWQ应对

✓ 同时收敛 ✓ 4DBf4FB 2E4持平 ✓ PB:46 =26正向

效果

MTL-

树模型

bH83XXst bLSQRt83=

神经网络

b5>> b=DL

强化学w

b5A>

用户体验dE6Ae✓为何要关注用户体验h

✓用户体验如何定sh

• 影响对资源位入口的认知

• 影响用户留存f平台的长期发展

• 平台复购率

• 用户活跃度

• 推荐多样性

用户

平台 商家

• 短期用户体验gMtrfM^r • 长期用户体验gh

广告生态

• 4P= • BO:

m务场景

用户

点击

下单

点击

曝光 曝光 曝光

✓为什r用强化学wh

• 长期指标f全局最优

• 多目标d复购+活跃度e

• 探索产生多样性

产生间接影响

系统框架

强化学w的*大要素g

• OW^SrXWVOWtg用户集和广告集

• statOg用户的特征表达

• aQOWtg推荐系统

• aMtSXWg推荐的广告商家

• rOwarNg复购率+活跃度

要点详解➢ statOg用户的特征表达 ➢ aQOWtg5A>-15XuLUO 5A>-15uOUSWQ 5A>

➢ aMtSXWg推荐的广告商家

➢ rOwarNg复购率+活跃度

• 用户历史浏览/点击序列

• 用户画像特征g性别f年龄f历史单均价等

• 地理位置f时间

• 广告历史统计特征

• 广告:5类特征

其oD为距i一次下单的天数f间隔越小rOwarN越大

在平台下单 未下单

6xYUXrOd多样性e

➢O-QrOONa

➢E43(EYYOr 4XWPSNOWMO 3XuWN)

一定概率随机推荐f获取充分p富的样本。

在目前输出A ^aUuO的基础ifv以一n系数g

其oW为广告历史展现的次数f倾向于曝光少的广告

代价大f效果有损

效果优于 O-QrOONaf但仍然k够准确

6xYUXrOd多样性e

➢5385(Dueling Bandit Gradient Descent )&f对模型参数随机扰动f倾向选择当前策略推荐的StOV附近的候选集f效果损失最小 2f可以对模型进行实时更新

A 2