p2p 流媒体系统的若干关键属性的优化 方案

32
李李李 李李李李 李李李 李李 李李李李李李李李李李李李李

Upload: alden-hinton

Post on 04-Jan-2016

71 views

Category:

Documents


9 download

DESCRIPTION

P2P 流媒体系统的若干关键属性的优化 方案. 李振华 指导教师:陈贵海 教授 南京大学计算机科学与技术系. 提纲. P2P 流媒体系统. P2P 研究的重要子领域 典型系统 Skype UUCall PPLive PPStream 新浪 UUSee …… 激烈竞争. 研究意义. 2008 年 1 月 17 日中国互联网发展状况统计报告 中国内地网民观看网络视频的几种主要方式中,通过 P2P 流媒体下载软件的比率达到 29.91% ,接近三分之一! 学术界 SIGCOMM’07 :微软研究院(华人 1 、 2 作) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: P2P 流媒体系统的若干关键属性的优化 方案

李振华

指导教师:陈贵海 教授

南京大学计算机科学与技术系

Page 2: P2P 流媒体系统的若干关键属性的优化 方案

提纲

Page 3: P2P 流媒体系统的若干关键属性的优化 方案

P2P 流媒体系统• P2P 研究的重要子领域• 典型系统 Skype

UUCallPPLivePPStream新浪 UUSee……

• 激烈竞争

Page 4: P2P 流媒体系统的若干关键属性的优化 方案

研究意义• 2008年 1月 17 日中国互联网发展状况统计报告 中国内地网民观看网络视频的几种主要方式中,通过

P2P 流媒体下载软件的比率达到 29.91% ,接近三分之一!

• 学术界 SIGCOMM’07 :微软研究院(华人 1、 2 作)

SIGCOMM’08: PPLive 公司 + 香港中文大学(华人 all )Rank1: INFOCOM、 ICNP、 ICDCS、……Rank2: IPDPS、 ICPP、 NOSSDAV、……

Page 5: P2P 流媒体系统的若干关键属性的优化 方案

概念• 功能分类:

实时播放( Live Streaming )点播( VoD, Video on Demand )

• 工作方式分类:

树状多播 网状多播(基于 Gossip协议)

Source

XSource

X

Page 6: P2P 流媒体系统的若干关键属性的优化 方案

比较• 网状多播已成为 P2P 流媒体的主流

基于树状多播的 P2P流媒体系统 基于 Gossip协议的 P2P流媒体系统

拓扑结构 树状 网状,无固定形状邻居数目 子结点数,或子结点数 +1 不确定,通常有一上限传播方式 父节点传播给其子结点 邻居间按需传播容错性 单点失效,容错性低 灵活健壮,容错性高多余数据 无 有带宽利用 利用率低 利用率高适用环境 静态或低动态网络 高动态网络系统规模 中、小规模 大规模发展情况 逐渐被淘汰 领域主流

Page 7: P2P 流媒体系统的若干关键属性的优化 方案

P2P 流媒体系统的属性

Page 8: P2P 流媒体系统的若干关键属性的优化 方案

关键属性• 选取依据

1 、直接影响用户体验, 2 、或对系统性能至关重要,3 、可优化空间大, 4 、优化涉及到的人为因素少

• 关键属性播放连续度、启动时延、源切换时延、系统容错性、可扩展性。

Page 9: P2P 流媒体系统的若干关键属性的优化 方案

本文的工作

Page 10: P2P 流媒体系统的若干关键属性的优化 方案
Page 11: P2P 流媒体系统的若干关键属性的优化 方案

背景与动机• Gossip 多播的固有缺陷:随机性、不确定性• 前人工作多从优化数据调度算法着手• 光优化数据调度算法是不够的!

I want data d urgently!

We do not have data d L

I want data d urgently!

I used to have d but ...L

I want data d urgently!

I have d but no enough bandwidth ... L

Page 12: P2P 流媒体系统的若干关键属性的优化 方案

我们的工作

Page 13: P2P 流媒体系统的若干关键属性的优化 方案

ContinuStreaming 系统架构

P2P Overlay Manager

Data Scheduler

Rate ControllerBuffer

VoD Data Backup

Display

Page 14: P2P 流媒体系统的若干关键属性的优化 方案

数据预取:紧迫界限机制• 动态预测• 自适应调整

Urgent Line

Buffer

Missed data segments

Page 15: P2P 流媒体系统的若干关键属性的优化 方案

性能评价• 播放连续度从 80% 左右提升到 95% 左右

(左图),额外开销低于 4% (右图)。

100 500 1000 2000 4000 80000.5

0.6

0.7

0.8

0.9

1

Total number of overlay nodes

Pla

yba

ck C

on

tinu

ity

CoolStreaming

ContinuStreaming

100 500 1000 2000 4000 80000

0.005

0.01

0.015

0.02

0.025

0.03

0.035

0.04

Total number of overlay nodes

Pre

-fe

tch

ove

rhe

ad

Static environment

Dynamic environment

Page 16: P2P 流媒体系统的若干关键属性的优化 方案
Page 17: P2P 流媒体系统的若干关键属性的优化 方案

背景• 多个媒体发布源,串行工作

S1

S2

S1

S2

S1

S2

(a) S1 streaming (b) The switch phase from S1 to S2

(c) S2 streaming

-- Data segments from the old source: S1

-- Data segments from the new source: S2

Page 18: P2P 流媒体系统的若干关键属性的优化 方案

动机• 同样的带宽,不同的源切换算法,源切换

时间不同1 2 3 4 5

6 7 8 9 10

1 2 3 4 5 6 7

1 6 7 2 8 9 3

Available data segments of S1

Available data segments of S2

Fast switch algorithm

Normal switch algorithm

Page 19: P2P 流媒体系统的若干关键属性的优化 方案

我们的工作

Page 20: P2P 流媒体系统的若干关键属性的优化 方案

过程建模Q1

Q2

Qs

S1

S2

T2

T1 T1'

the end of S1

playQ

finish the playback of S1

start the playback of S2

play

play

'

'

12

2

22

11

1

11

21

TT

I

QT

p

QTT

I

QT

III

优化目标:最小化 T2

Page 21: P2P 流媒体系统的若干关键属性的优化 方案

快速源切换算法N1

o1

N2

o2

N3

o3

N4

o4

I

I1 I2

O=O1+O2

'

'

,

12

2

22

11

1

11

2211

21

TT

I

QT

p

QTT

I

QT

OIOI

III

优化目标:最小化 T2

Page 22: P2P 流媒体系统的若干关键属性的优化 方案

快速源切换算法• 相比传统源切换算法,源切换时间减少 20-30% ,

额外开销没有增加

100 500 1000 2000 4000 80000

10

20

30

Ave

rag

e s

witc

h ti

me

Normal switch algorithm

Fast switch algorithm

100 500 1000 2000 4000 80000

0.1

0.2

0.3

0.4

Total number of overlay nodes

Re

du

ctio

n r

atio

Page 23: P2P 流媒体系统的若干关键属性的优化 方案
Page 24: P2P 流媒体系统的若干关键属性的优化 方案

背景与动机• 底层覆盖网对 P2P 流媒体系统的至关重要性:只

要覆盖网分割,流媒体系统就陷于中断• 底层覆盖网拓扑关键点的存在:割点 分点

C

7

6

5

C

1

2

3

4

D

>TTL>TTL

C

C

1

2

3

4

5

6

7

Page 25: P2P 流媒体系统的若干关键属性的优化 方案

我们的工作

Page 26: P2P 流媒体系统的若干关键属性的优化 方案

分点定义• 定位可达分点

≤TTL

3

2

14

≤TTL ≤TTL

>TTL

3

2

1

4

C

7

6

5

C

2

3

4

1

Page 27: P2P 流媒体系统的若干关键属性的优化 方案

分点检测

6

7

C

C

15

2

3

4Msg_ResponseMsg_Init

6

7

C

C

15

2

3

4Msg_Probe

7

5

3

1

6

7

C

C

15

2

3

4

1

7

5

3

1Msg_Probe

6

7

C

C

15

2

3

4 Msg_Arrival

5,71,36

7

C

C

15

2

3

4

Yes!

7

C

C

1

5

3

( 0)网络初始状态 ( 1)启动检测 ( 2a)探测可达性 I

( 2b)探测可达性 II ( 3)收集可达关系 ( 4)划分子集、判定分点

Page 28: P2P 流媒体系统的若干关键属性的优化 方案

性能评价

0 T=5 T=10 T=20 T=500

100

200

300

400

500

600

700

800

900

1000

覆盖网被分割时失效的结点数

不 采取任何措施(TTL=4)做分点避免(TTL=3)做分点避免

0 100 200 300 400 500 600 700 800 900 10000

0.05

0.1

0.15

0.2

0.25

失效结点数

查询成功率

TTL=3 T=10系统容错性提升( , )

不采取任何措施做分点避免

Page 29: P2P 流媒体系统的若干关键属性的优化 方案

总结 (1)• Book: Guihai Chen and Zhenhua Li. Peer-to-Peer Network: Structure, Application and

Design (《对等网络:结构、应用与设计》 ). Tsinghua University Press, Sep. 2007. About 400K characters in Chinese.

• Journal Paper: • Huan Chen, Guihai Chen, Zhenhua Li and Xiaomei Cao. A Market Model based Reputation

management Mechanism for Peer-to-Peer Networks. Accepted by Journal of Chinese Computer Systems (《小型微型计算机系统》 ) 2008, in Chinese with English abstract.

• Ruifeng Yuan, Zhenhua Li and Guihai Chen. Enhancing Overlay's Performance with Virtual Node Switch Mechanism. Accepted by Computer Science (《计算机科学》 ) 2008, in Chinese with English abstract.

• Zhenhua Li, Guihai Chen and Tongqing Qiu. Partition Node: the Topologically Critical Nodes of Unstructured P2P Network. Accepted by Chinese Journal of Software (《软件学报》 ) 2007, in Chinese with English abstract.

Page 30: P2P 流媒体系统的若干关键属性的优化 方案

总结 (2)• Conference Paper:    • Zhenhua Li, Jiannong Cao, Guihai Chen and Yan Liu. Fast Source Switching for Gossip-based Peer-to-

Peer Streaming. The 37th International Conference on Parallel Processing (ICPP 2008), September 8-12, 2008 in Portland Oregon, USA.

• Zhenhua Li, Jiannong Cao and Guihai Chen. ContinuStreaming: Achieving High Playback Continuity of Gossip-based Peer-to-Peer Streaming. The 22nd IEEE International Parallel and Distributed Processing Symposium (IPDPS 2008), April 14-18, 2008 in Miami Florida, USA.

• Zhenhua Li and Guihai Chen. Detecting and Reducing Partition Nodes in Limited-routing-hop Overlay Networks. The 6th International Conference on Grid and Cooperative Computing (GCC 2007), pages 19-25, August 16-18, 2007 in Urumchi, Xinjiang, China.

• Junfeng Xie, Zhenhua Li and Guihai Chen. A Semantic Overlay Network for Unstructured Peer-to-Peer Protocols. The 13th International Conference on Parallel and Distributed Systems (ICPADS 2007), pages 1-8, December 5-7, 2007 in Hsinchu, Taiwan.

• Zhiyu Liu, Ruifeng Yuan, Zhenhua Li, Hongxing Li and Guihai Chen. Survive under High Churn in Structured P2P Systems: Evaluation and Strategy. Lecture Notes in Computer Science (Proceedings of ICCS 2006), Volume 3994, pages 404-411, May 28-31, 2006 in Reading, UK.

Page 31: P2P 流媒体系统的若干关键属性的优化 方案

展望• 展望

1 、实时系统的研究趋于成熟, P2P 点播系统的研究非常有价值: SIGCOMM’07/08 的两篇论文都是关于 P2P 点播系统2、 P2P 流媒体系统的多个属性间关系的研究3、 P2P 流媒体领域的研究空间仍然很大,并非某些学者认为的“大势已去”、“穷途末路”。

Page 32: P2P 流媒体系统的若干关键属性的优化 方案

谢谢!

感谢各位参与答辩的老师和同学!