百度媒体云技术及架构

陈 彬

媒体云概要

图片处理及识别

人脸服务

视频服务

Q&A

Agenda

媒体云

开发者及合作方

百度基础架构 ( 云存储、云数据库、云消息等 )

充分利用百度闲散资源，

业界最低成本

实时+分布式多媒体处理架构，

满足大并发实时请求

高性能计算实现业界领先的

处理算法（视频压缩、人脸

及语音识别等）

云存储+CDN实现媒体文件

高效分发

百度媒体云 –概要

为媒体应用或服务开发者提供的媒体PaaS平台，基于

该平台可以轻松快速搭建各类媒体应用或服务

百度媒体云 –做什么？

媒体云（Media PaaS）

Web

Ap

p

Native

AP

P

网站

开发者

传媒 教育 政企

媒体SaaS提供商

合作伙伴

……

百度视频 百度云 百度 文库视频课程 三星S-Cloud百度浏览器 儿童音像馆 贝瓦儿歌 英雄联盟视频

Web Server

通用多媒体前端

DB

Cache

抓取器

图片Worker

直连 分布式消息队列

图片Worker

人脸Worker

视频Worker

通用多媒体处理架构

图像处理及识别

•格式互转(JPG,PNG,GIF,BMP)、图像压缩

•色度/亮度/对比度/锐化模糊/饱和度 调节图片转码

•二维码

•人脸检测、识别、认证图像识别

•二维码

•验证码

•叠加水印

图像生成

• Exif、IPTC、颜色空间、分辨率、颜色数等元信

息

•图片质量图片解析

人脸识别及认证 智能裁剪

图像处理及识别

图像处理及识别

• 同步图片处理

– 标准HTTP接入

– 同步返回图片结果数据

• 异步图片处理

– 标准HTTP接入

– 结果图存储到指定空间

– 结果回调通知

图像处理及识别

总控服务

cache服务

图片抓取服务

图片内核服务

消息队列

Web server接入

图片处理

•第三方库的功能bug和性能问题

•脏数据导致的宕机

访问提速

•原图抓取提速

•分布式的图片cache集群

•图片处理内核的速度优化

高吞吐大并发

•大规模的处理集群

•完备的机房预案

•高效异步消息队列进行数据解耦

图像处理优化

• 抓取提速– DNS解析加速(基于百度强大的DNS缓存服务)。

– 分机房抓取,尽量避免跨运营商抓取。

分布式的cache服务，避免相同请求重复处理。

• 图片算法优化。– libjpe-turbo 提升jpeg图片处理速度。

– DCT ，实现大图局部解码。

– IPP，使用intel的ipp函数库替换编解码函数。

• 分布式的cache服务

• 图片CDN服务

访问提速

• 以RESTful API形式封装人脸图像智能分析接口• 便捷、高效地将人脸分析能力分发给应用方• 高可靠、高并发、高实时性

人脸检测

属性分析

人脸识别人脸聚类

人脸认证

人脸服务

系统功能

视频

百度 开发者或合作方

开发者及合作方

合作方

CD

N百度

CD

N

集成T5播放内核

百度云基础架构 ( 云存储、云数据库、云消息等 )

第三方媒体组件

开发视频应用的难题

技术门槛高

运转成本大

推广、变现难

碎片化终端全兼容困难PC/手机/Pad/电视

跨平台支持困难IOS/Android/Flash/HTML5/WP

多种需求：实时、高清、流畅、省流量、省电

存储成本高、同一个视频针对不同终端有不同版本

带宽成本巨大

计算、带宽资源空置率高

推广渠道少

变现手段缺乏，特别是移劢端

核心优势

极速播放内核

最佳压缩算法

高效云转码

智能移动视频广

告

利用百度闲散资源进行计算，业界最低成本

实时+分布式转码架构，满足大并发实时转码需求

输入全格式支持，输出支持M3U8、

Flash/HTML5等视频格式

完美支持M3U8，性能及稳定性业界

第一

支持主流文件及流媒体格式

Android/IOS/Flash/HTML5/WP平

台SDK

多屏互劢（手机、Pad、PC、电视）

跨终端统一接入的视

频广告平台

VAST标准支持

智能广告匹配

- 低技术门槛

- 低运营成本

- 轻松变现

业界领先的视频压缩算法

基于内容的智能压缩，相同主观质量下，

存储与带宽占用最小

• 强大的T5 播放内核对开发者开放– 成功应用众多的百度及开发者产品，更好的性能和响应速度、

上亿用户量的稳定性

– 全平台覆盖：Android，IOS，WP，Flash/HTML5

– 多屏互动（手机、Pad、PC、TV）

– 端 + 云：支持实时转码，HTTP Live Streaming (M3U8格式)

百度视频 百度云 百度 百度浏览器 儿童音像馆 贝瓦儿歌 明星汇百度贴吧

核心优势

Http Live Streaming

HLS

云转码

Android

IOSFlash

WP

全平台只需一种格式：Android，IOS，WP，Flash

点播、直播：HLS标准完全兼容

动态码率切换：根据带宽的变化劢态切换码流

媒体云视频转码API

任务创建

任务查询

任务批量查询 任务重试

任务删除

通过这些API的组合使用，开发者可以实现基本的视频文件转码操作及视频内容管理功能。

视频转码API

1 3 52 4 6 87 90~5' 5~10' 10~12'

1 325' 54 65' 83'

1 320 54 6 7 80~12'

(2)分段转码

(3)视频合并

(1)嗅探sample.avi

transcoded.mp4

seg0.mp4 seg1.mp4 seg2.mp4

Sample.avi 10s 10s....

Client Player

视频实时转码

视频分布式转码

（1）嗅探 （2）分片转码 （3）分片播放

实时与分布式转码

Transcoding

Engine IOS

Internet

(Content Distribution Network)

Baidu Cloud

Client

Android

Stream

Segment (Data

& Index)

Cache

Video Crawler

VideoSrc Info.

Video Data

HTML5 Video(HLS, mp4/3gp)

Video Page

Analyzer

Real-time transcoding

- Input: video of any format

- Output: format supported by iOS, Android or HTML5 video tag

Real-time streaming

- HTTP Live Streaming (m3u8/ts)

HTML5

视频实时转码

视频分布式转码

Client

云存储抓取器

任务管理器

Pipelined Workers

request callback

分布式消息队列

实时+分布式转码

通用多媒体前端

云消息队列

实时+大并发请求

支持图片、视频、人脸等

实时转码worker

分布式转码Worker

支持消息读写、查询、重试

云消息队列

云存储

云数据库

分布式Cache

DATAOUT

架构

• 增加cache，减少云存储写操作

• 实时分布式转码结合, 单机QPS 5倍提升

算法

• 编码优化 -> 码率 25% down

• 汇编优化 -> 速度增益 51%

后处理

• 主观质量大幅提升

• MOS 打分 3.7分 -> 4分

系统优化

谢谢！

@Bill_Chenbin