top100summit 互联网发布与实验体系建设
TRANSCRIPT
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
大型互联网产品发布体系与实验体系建设 朱 磊
NSQA技术委员会主席
百度高级架构师
2
自我介绍
朱磊
百度高级架构师
NSQA技术委员会主席
2007年，毕业于上海交通大学，同年加入百度
近2年从事百度基础架构的工程化改造
http://weibo.com/nb77777
3
快速开发和推出产品，淘汰没有市场前景的产品
背景说明 1
2 技术服务应用简介
3 收益分析与总结
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
4
价值定位
快速开发和推出产品，
淘汰没有市场前景的产品
5
快速开发和推出产品，淘汰没有市场前景的产品
互联网产品背景：
互联网产品形式变化很快，新产品层出不穷
产品方向趋于成熟时，产品深度迭代需要精细化
产品“微方向”的优化把握越来越难
大公司特点：
市场响应速度变慢
流程制度化的“双刃剑”效果，影响快速决策
目标与期望：
快速响应市场变化，快速推出产品
快速淘汰没有市场前景的产品
快速开发多个产品与功能原型
基于技术驱动而不是流程驱动原则
6
产品全环节的精确控制
避
免
存
在
薄
弱
环
节
需求
评估决策
发布
测试
开发
精确控制特定用户访问特定功能、风险可控更快
反馈环
产品交付
交付线 全流量 小流量 核心用户 对内
1、效果反馈
2、质量反馈
3、用户反馈
8
快速开发和推出产品，淘汰没有市场前景的产品
背景说明
2 技术服务应用简介
3 收益分析与总结
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
1
9
精确控制特定用户访问特定功能、风险可控更快
快速开发产品上线 快速获得用户反馈 快速实验评估
I : 2%用户 II : 20%用户 n : 100%用户
风险可控的更快(质量数据反馈、效果数据反馈、用户反馈)
测试监控
用户反馈
数据分析
开发完不用测试直接上线 支持A\Btesting 支持无代价实时获得用户反馈建议
用户流量
按IP选定
按ID选定
产品逻辑功能块
产品逻辑功能块
产品逻辑功能块
IP
cookie 用户按条件切分
query
UID
………..
精确控制特定用户、访问特定功能
分级发布服务 流量实验与效果评估服务 用户测试与反馈服务
价值目标
基础服务
基础场景
核心技术
精确流量控制体系——同构（版本一致，开关控制）
10
II II II II
III III III III
I I I I
I I I I
……
……
……
线上全流量
流量控制基础库
流量控制基础库
流量控制基础库
每一层为独立的逻辑处理单元
流量控制基础库
接口数据与内部数据的流量标识
支持基本的流量路由机制
支持流量转发机制
支持独立处理单元的流量标识
同层之间流量整体复用
版本、功能、逻辑区分由独立处理单元控制
同构流控场景特点：
精确流量控制体系——异构（版本不一致）
11
流量控制基础库
接口数据与内部数据的流量标识
支持基本的流量路由机制
支持流量转发机制
支持独立物理单元的流量标识
流量精确划分
版本、功能、逻辑区分由独立物理单元控制
异构流控场景特点：
II II
III III
I I I
II
III
I
I I I I
……
……
……
线上全流量
流量控制基础库
流量控制基础库
流量控制基础库
每一层为独立的物理处理单元
II
III
12
快速开发和推出产品，淘汰没有市场前景的产品
背景说明
2 技术服务应用简介
3 收益分析与总结
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
1
快速开发产品上线——分级发布服务
13
webServer
线上全流量
核心用户
流量抽样
I
data Data
Web Server
异构UI
流量抽样
ICC Data
Web Server
异构UI
核心用户群发布 小流量发布 全流量发布
依赖用户反馈为主 自动化
监控
自动化
监控
14
构建在线通用方案
1
2 5 3 4
6
业务逻辑分析
业务代码跟踪
业务层面 性能评估
异常触发
子系统层面
代码动态分析
代码覆盖率分析
代码层面 效果评估
产品层面
功能代码覆盖分析
功能热点图分析
逻辑层面 线上debug 系统层面
在线通用 方案
15
快速开发产品上线——监控测试服务
线上自动化 手工测试集
业务监控 资源监控
功能监控 关联监控 Api监控 机器资源 网络资源
报警管理 数据管理 实时浏览 策略管理
内存态监控
反馈体系
用户质量
线上测试 用户质量
Log数据 页面数据
性能测试 异常测试
稳定性测试 容量测试
16
快速开发和推出产品，淘汰没有市场前景的产品
背景说明
2 技术服务应用简介
3 收益分析与总结
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
1
快速实验评估——产品多原型架构
17
webServer
UI UI UI UI
I I I I
流量标识库 流量标识库 流量标识库 流量标识库
线上全流量
webServer
UI UI UI UI
I I I I
流量标识库 流量标识库 流量标识库 流量标识库
II II II II
内部用户（强制命中）
18
流量实验与效果评估服务——快速实验评估
方案B
方案A
产品微实验室
方案A
方案B
支持多层实验模型 支持异构实验 支持流量复用 支持效果分析
技术层面
KEY 1 KEY 2 KEY 3 KEY 4
19
流量实验与效果评估服务——快速实验评估
A1 A2 A3 A4
……
B1 B2 B3 B4
……
C1 C2 C3 C4
D1 D2 D3 D4
……
……
Aα
Aα
Cα
Dα
Aβ
Aβ
Cβ
Dβ
……
A1 A2 A3 A4 ……
B1 B2 B3 B4 ……
C1 C2 C3 C4
D1 D2 D3 D β
……
……
A1 A2 A3 A4 ……
B1 B2 B3 B4 ……
C1 C2 C3 C4
D1 D2 D3 D4
……
……
www.baidu.com
百度微型实验室
产品A线上集群 产品B线上集群 产品C线上集群
国家/地域
搜索决策
用户路径
产品PV
用户行为序列
系统环境
产品自适应成长体系
评估与决策模型
竞品数据 竞品数据覆盖度分析
竞品数据相关性分析
产品数据 单数据指标
统计指标
用户数据
常规性评估
用户行为数据
Measure.
例行评估
Review risks
分析决策
desicion
用户满意度标准
产品满意度
21
快速实验评估——产品自适应成长体系
22
快速开发和推出产品，淘汰没有市场前景的产品
背景说明
2 技术服务应用简介
3 收益分析与总结
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
1
23
TIP用户反馈方向——基于用户测试实现
I
国家/地域
搜索决策
用户路径
产品PV
用户行为序列
系统环境
24
用户反馈服务——快速获得用户反馈
线上集群服务系统
决策呈现
Log数据 页面数据
用户反馈操作
数据 样式 基础数据
截图
位置信息
用户
浏览器
分辨率
操作系
统
效果
元素
自动分类
数据挖掘与分析
25
快速开发和推出产品，淘汰没有市场前景的产品
背景说明
2 技术服务应用简介
3 分析、思考
整体应用服务简介（技术基础简介）
分级发布服务简介
流量实验服务简介
效果评估服务简介
用户反馈服务简介
1
26
分析
决策质量提升100倍+，决策周期缩短为原来的1/1000
产品demo原型从原来的10+支持到1000+
迭代效率提升5倍+左右，人力投入降为原来的1/50
风险完全控制，零风险
从战略角度确认方向，从战术角度解决问题
战略比战术更重要
民主协商、集权决策
一定要有core
组织角度的core 产品角度的core 技术角度的core 服务角度的core
从core出发，丰富周边服务，打造产业链
结束
Thank you!
朱 磊
百度高级架构师
http://weibo.com/nb77777