基于回归分析的 VoD视频流行度预测的研究

刘源 专业：计算机应用技术 导师：王宗敏 指导老师：李润知

背景介绍回归分析方法流行度预测方法实验数据采集数据处理与分析缓存替换算法总结与下一步工作

主要内容

2

现状当前网络视频流量约占互联网总流量的八成网络视频占用存储空间大，支持视频 VOD 对带宽、延迟

要求高当视频服务遇见云服务

可灵活调整的存储空间可灵活调度的视频数据

背景介绍

3

问题：在分布式云存储中，各站点为它所处在域的用户提供服务，而站点的储存空间和带宽资源有限需要预取可能会流行的视频需要对视频流行度的研究需要缓存替换算法，替换掉“过时的”视频

背景介绍（ 2）

4

衰减函数法 [5]:回归分析法

统计学上分析数据的方法，主要是希望探讨数据之间是否有一种特定关系 , 目的在于找出一条最能够代表所有观测资料的函数

回归模型：将因变量和一个关于自变量和未知参数的函数关联起来。

参数估计 : 最小化残差平方和

回归分析方法 (1)

5

几种常见的回归模型线性：指数型：幂型：相加型：

指数和指数相加型： 指数和幂相加型：

回归分析方法 (2)

6

预测视频流行度的几种策略固定的回归模型 (FRS) ：可以更新的回归模型 (CRU) ：参考历史数据的固定回归模型 (HU[3]) ：

其中参考历史数据的可以更新的回归模型 (CRHU[3]) ：

流行度预测

7

土豆网的视频开放平台可以通过 URL 命令来获取返回结果

通过查询，获得视频的 Codes 集 获取视频信息

http://api.tudou.com/v3/gw?method=item.info.get&appKey=myKey&format=xml&itemCodes=oR16C1xZDRM&ceiling=10

通过 Tiny XML 解析器的接口提取播放次数按时间与播放次数对应的格式存入文本文件

获取了土豆网 20 个分类 2000 多个视频两个月的播放次数（每天两次）

数据采集

8

Getplaytime (for VideoObject V i)While(not finished){//从文本文档中读取需要获取的土豆网的视频 code列表，生成请求命令sreq=ReadCodeSet（ V i）；//建立 socket，与土豆网 API服务器建立链接，发送请求命令，获得返回的 xml结果resultdata=Send(sreq);if(resultdata不为空 ){//在返回的 xml结果中查找视频的播放次数playtime=Findplaytime(resultdata);//在文本文档中存储当前时间和视频的播放次数 StoreCodeSet(playtime);}}

数据采集 (2)

9

用 MATLAB 对数据文本文件进行处理、分析获取新增请求次数：总播放次数相减

数据处理 (1)

10

数据去周期化：

数据处理 (2)

11

由数据计算出几种不同类型的回归模型函数计算出标准化残差平方和选出回归模型

数据分析

12

线性

指数型 幂型 指指加型

指幂加型

最优模型

剧情 1 0.3898 2.7700

0.0580

0.0472

指幂加型

喜剧 1 0.7002 0.5302

2.8056

2.8064

幂型

动作 1 0.6815 0.3524

1.9134

1.9134

幂型

卡通 1 0.6178 3.1320

0.1545

0.1980

指指加型

爱情 1 0.4158 8.1511

1.0083

1.0561

指数型

恐怖 1 0.6169 2.7038

1.9438

0.8400

指数型

数据分析 (2)

13

基于流行度增益的缓存替换算法考虑当前流行度 考虑流行度变化趋势总缓存增益

替换算法流程计算给定媒体对象的缓存增益能容纳下要缓存的文件时，删除缓存中增益最小的文件将要缓存的文件存入缓存

缓存替换算法

14

几种回归模型对流行度预测的几种策略获取视频网站上视频播放次数信息的一种方法对播放次数数据进行处理、分析一种基于流行度预测的缓存替换算法

总结

15

改进缓存替换算法计算其复杂度与其他算法进行对比优劣进行模拟验证

验证缓存替换算法是否能在线动态预测

下一步工作

16

[1]B.Hayes,Cloud computing[J].Communications of the ACM,2008,51(7):9-17[2]郭红方 , 视频点播内容分发关键技术研究 [D],郑州大学 ,2012:83-85[3] http://zh.wikipedia.org/wiki/ 回归分析[4]Ng, D.M.P.; Wong, E.W.M.; Ko, K.T.; Tang, K.S.,"Trend analysis and prediction in multimedia-on-demand systems,"Communications, 2001. ICC 2001. IEEE International Conference on, vol.4, no., pp.1292-1298 vol.4, 2001 [5]“tudou”,http://www.tudou.com[6]Jin S, Bestavros A. Popularity-aware Greedy Dual-size Web ProxyCaching Algorithms[C]//Proceedings of ICDCS. 2000-06.

参考文献

17

请各位老师、同学提问！感谢您提出的宝贵意见！

Q&A

18