融合媒体的技术实践之路csmpte.com/download/chal1396264998772200/20161216/... ·...
TRANSCRIPT
![Page 1: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/1.jpg)
Confidential
融合媒体的技术实践之路
成都索贝数码科技股份有限公司 陈侨
![Page 2: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/2.jpg)
Confidential
新媒体 全媒体 融合媒体
发展
![Page 3: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/3.jpg)
Confidential
发展
中央厨房
流程从”通稿“到
中央厨房
工具从电视生产到互联网
节目生产
内容
依然为王,更“多”的内容
平台如何建?
深圳融合新闻
![Page 4: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/4.jpg)
Confidential
发展
中央厨房
HIVE
面向数据的分布式平台
互联网技术的开放平台
ITDT更多的数据
更复杂的数据
智慧的数据 数据的生产和消费
![Page 5: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/5.jpg)
Confidential
从SOA到MSASOA(面向服务的体系架构)
ESB+EMB
制作网#1
制作网#2
新闻网
媒资
播出
2006年,基于SOA的ESB+EMB解决全台系统互联互通问题
MSA(微服务架构)
SOA思想从系统走向内部的组件,以更小的颗粒度进行弹性伸缩
打破“烟囱式”系统建设,避免系统间大量数据迁移,系统的扩展性和弹性,面向互联网应用的融合媒体系统
基础资源
XX服务
XX服务
XX服务
XX服务
编辑文稿审片
编辑包装审片
编目管理审片
互联网开放技术、数据技术
2014年, Martin Fowler
![Page 6: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/6.jpg)
Confidential
LogStash
基于HIVE架构的融合生产系统平台 ( 典型Docker配置数 HOST配置数)
Zookeeper(分
布式
服务
框架
)
Docker-Sw
arm(容器服务编排框架)
HAProxy+Keepalived(负载均衡+高可用)
X
MySQL MongoDB Codis Kafka Eagles3
3
3
3 3
99 33
CayMan FTEngine HiveCore
X
3 33
InfoApp NTag CM Ingest3 333
MOSGW JOVE OMNIApp HQApp3 333
OMPortal MMEdit WeChatEdit H5Edit
3 333
Num
pN
ebulaInstaller
3
3
3
![Page 7: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/7.jpg)
Confidential
充分利用互联网开放技术,参与开源项目
• 提交开源项目3个
– 动态SOAP调用
– 基于swift的zookeeper
驱动
– 支持事务模式的
mongodb驱动
• 改进已有开源项目11个,其
中
– 新增功能11个
– 修改bug 9个
开源项目名称
项目说明 改进说明
BoBoBrowser 一个基于lucene的搜索结果分组统计开源插件,可以完成对搜索结果的分组面统计;
修改bug/新增功能
IKAnalysis 基于java语言开发的轻量级的中文分词工具包 新增功能
CacheCloud Redis原生集群管理模块 修改bugFastJSON JSON序列化处理器 修改bugDubbo 分布式服务构建和管理框架 修改bugOceanBase 一个支持海量数据的高性能分布式数据库系统 修改bugCodis 基于Redis的分布式内存数据库集群 修改bug/
新增功能
AKKA 一款基于actor模型实现的 并发处理框架.用于spark
修改bug
![Page 8: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/8.jpg)
Confidential
发展
中央厨房
HIVE
用分布式技术实现媒体处理高可用并行计算框架
功能 结论 说明
查询功能-检索类 Pyramid性能高于NewStar 在500个对象以内,Hive平台上查询效率略低于NewStar平台(用户无感知);1000个对象以上Hive平台上软件查询性能远高于NewStar平台(主客观评估)(100w数据 600ms vs. <100ms)
查询功能-管理类 Pyramid性能高于NewStar 所有测试功能都高于或持平于NewStar
流程功能 Pyramid性能略低于NewStar 7个测试项,3项低于NewStar,4项持平
非编编辑功能 Pyramid性能与NewStar持平 7个测试项均与NewStar持平
媒体处理能力-合成 Pyramid性能与NewStar持平
媒体处理能力-转码 Pyramid性能高于NewStar 目标格式均为H264 ¼幅面,400K码率。Pyramid标清单线程转码效率为6倍以上,高清为2.2倍以上;NewStar6.8标清单线程转码效率为4.5倍以上,高清为1.9倍以上;
性能提升,特别是系统长期使用积累了大量历史数据及高并发访问时
又是媒资又能生产;全文/分类/关联/智能/…检索;空间权限生命周期版本管理
定义/扩展
维护部署
我们一直做不好的功能,我们特别想整合在一起的功能
好处!
![Page 9: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/9.jpg)
Confidential
发展
中央厨房
HIVE
高可用、弹性、性能增强、功能增强之外…
发现内容的价值!
![Page 10: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/10.jpg)
Confidential
发展
中央厨房
HIVE
云
媒体PaaS(资源共享、用户管理、媒体处理、内容处理、内容传输)
基础资源 基础资源 基础资源
新闻
制作
媒资
…播出
外延生产
外场生产
专业服务
PGC
UGC
互联网发布
内容运营
CDN
用户交互
打破烟囱系统
生产资源弹性
媒体总线升级
基于互联网的生产
从自建系统到服务化
融合媒体/业务闭环
toC业务与运营
私有云 专属云 公有云
基于云的电视台架构
![Page 11: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/11.jpg)
Confidential
索贝典型融媒体云平台项目分布吉林天池云
青岛台二期济南台融媒体
CCTV新闻云、体育云BTV 智慧媒体
经济日报社农业影视频道
青海融合平台
云南七彩云
重庆两江云
贵州
浙江国际影视中心宁波融媒体云
江苏荔枝云
河南大象融媒
长江云
广东新闻生产云
合肥台融媒体
川台融媒体中心报道指挥
海南台融媒体报道指挥
湖南台新闻云
![Page 12: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/12.jpg)
Confidential
发展
中央厨房
HIVE
云
电视台融合媒体平台建设技术白皮书(2015)
荔枝云 萧山云
![Page 13: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/13.jpg)
Confidential
接口不仅仅是规范、标准(eg.Restful/S3),
更重要的是站在使用方(应用)角度,提供
哪些能力,如何易于使用(依赖者倒置)
发展
中央厨房
HIVE
云
开放平台、共建生态
业务支撑能力
音视频资源的时间线描述能力
资源的关联关系描述能力
资源权限管理能力
生命周期管理能力
资源空间管理能力
业务扩展能力
资源可定义能力
属性描述定义能力
数据可挖掘能力
工具接入能力
只有理解业务有实践经验才能制订好的规范
只有站在应用角度,才能制订出实用的规范
从规范中,可以看出平台的能力和设计思想
规范分层、接口分类,一切从实践出发考虑
![Page 14: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/14.jpg)
Confidential
发展
中央厨房
HIVE
云
集成桌面/统一门户/指挥协同
资源共享
生产协同
服务管理
用户管理
媒体处理
新闻网Nstar
Sonaps
外场/办公网/互联网Nfield/EM
(外延生产)
内容汇聚
融合生产与发
布
分布式媒体数据应用平台
内容整理标注
(MAM)
AK/源站/GW……
多核数据同步
同步/直接使用(平台+工具)
直接使用(平台+工具)
公有云Aliyun/AWS
/Azure
私有云/第三方存储及
服务器HCI
混合云管/工具商城与运营
(CMOP)
异构混合部署,异址多活除了平台+工具,
还要打通现有系统,还要支持混合云
![Page 15: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/15.jpg)
Confidential
发展
中央厨房
HIVE
云
打通现有系统
混合云 多核系统 异址多活
用户位置透明
数据一致性
业务处理“单元化”
分台/外场/云联盟
数据举例 数据分布 一致性方案举例
基础数据 全同步 最终一致性
基本元数据及首帧
全同步(WMS)
最终一致性
扩展元数据及代理码率
不强制同步
使用后近数据中心缓冲
高码率 不同步 按需剪切传输
节目工程文件/文稿
全同步 冲突提示,多版本记录 基本元数据及首帧高码率 代理码率
元数据/文稿
一致的资源视
图
台内用户
单兵记者
分台用户
北京一类IDC
二类IDC
边缘节点
同步 同步
同步
台内制播网
高码数据不全部上云,按需迁移
分台上云内容,收录高码可考虑同步上云(8~10M)
从数据出发设计一致性方案 全球新闻融合内容平台案例
![Page 16: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/16.jpg)
Confidential
发展
中央厨房
HIVE
云
公有媒体云资源+高速光缆直连
内网专有链接
同址数据中心
通用云计算平台 媒体计算资源
华栖云公有媒体混合云平台
( CM OP)华通高速光缆
杭州
长
沙
X城市
最后1公里
![Page 17: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/17.jpg)
Confidential
• “云专家”告诉我们“租户”的理念:
– 安全、隔离、弹性、运营
• “租户”与“租户”之间的媒体数据交换怎么办?
发展
中央厨房
HIVE
云
媒体存储结合内容管理平台构建既安全隔离又“免迁移”系统
兼容对象存储Bucket和文件存储Hardlink
在物理存储和业务之间,建立“Pool”的逻辑概念,实现隔离、空间及权限管理
Pool间的“秒迁”由系统“高可信内核级
资源”负责
应用直接高效使用存储(过滤层驱动/S3管控)
“Pool”媒体存储租户技术
![Page 18: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/18.jpg)
Confidential
发展
中央厨房
HIVE
云
私有云平台公有云资源
公有云资源公有云资源 私有云资源
台本部核心节点
欧洲分台二级节点亚太区三级节点
公有云资源 私有云资源
北美分台二级节点
A B
媒体云基础服务
媒体云业务应用
云系统支撑服务
内容管理 传输与同步
云编辑
素材上下传
文稿 串联单
选题 节目协同
全媒体生产
融合CMS
APP支撑
UGC汇聚
新址新闻系统 海外分台 记者( 站)
权限管理用户管理 媒体处理
CCTV新闻云平台
![Page 19: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/19.jpg)
Confidential
发展
中央厨房
HIVE
云
融合媒体
中央厨房
互动演播
两微一端
PGC/直播
![Page 20: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/20.jpg)
Confidential
发展
中央厨房
HIVE
云
融合媒体
CCTV混合岛系统
后台服务
客户端
HIVE
融合媒体生产工具 发布
• 在混合岛系统基础上用HIVE技术
改造,构建“中央厨房”
• 生产发布一体化,“所见即所得”
资源提供弹性扩展
互联网应用优化
互联网应用运维
![Page 21: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/21.jpg)
Confidential
发展
中央厨房
HIVE
云
融合媒体
运营 内容增值 渠道变现 用户运营
渠道/端 用户
内容消费闭环
软件产品
支撑平台
CCTV5节目内容
可控渠道APP
微信微博(低成本)
单向广播
推广渠道
核心用户
一般互动用户
普通内容消费者
待转换用户(潜在用户)
转换
营销、吸引注册
建立连接
中央厨房(内容生产)
渠道融合(如互动演播)
用户管理体系
内容大数据(线索、节目策划)
云平台支撑
传播影响力分析
用户画像
内容
![Page 22: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/22.jpg)
Confidential
发展
中央厨房
HIVE
云
融合媒体
电视 互联网
用户信息用户行为
用户标签
内容标签
用户群画像(分类、聚类)
全网大数据用户群画像
(特征信息增强)
商品、活动(标签)
运营决策
全网大数据商品、活动(标签)
精准内部数据以内容为基线爬取外部数据
整合分析兴趣画像
用户数据挖掘
![Page 23: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体](https://reader036.vdocuments.pub/reader036/viewer/2022071113/5fea52aa529eb056ad6f8104/html5/thumbnails/23.jpg)
Confidential
发展
中央厨房
HIVE
云
融合媒体
内容 用户