多媒体技术 -...
TRANSCRIPT
多媒体技术
第一章 多媒体计算机系统
课件地址：http://staff.ustc.edu.cn/~network/
上节回顾1：什么是多媒体
三个重要特性
Multimedia 多种媒体、集成性
人-机交互性
数字化
依托技术
音像技术
计算机技术
通信网络技术
2
多媒体技术处理的对象是文本、图形、图象、声音、动画和视频等多种媒体
思考：未来的媒体类型？
文本
音频
图像
视频
3
ShakeShake(音乐摇一摇) 2.0
好无聊摇一摇 2.0.0
会吹蜡烛的iPhone软件
思考：未来的处理对象
视觉：文字/图像/动画
听觉：声音
触觉： 盲文/键盘/鼠标/游戏手柄
触屏/触摸鼠标板
味觉：？？？
嗅觉：？？？
electronic skin (e-skin)
December 13, 2011
Optical image of flexible and stretchable thin film transistor array covering a baseball shows the mechanical robustness of this backplane material for future plastic electronic devices.
http://nano.eecs.berkeley.edu/research/
(Left) Optical image of e-skin with an L-shaped object placed on top. (Right) Two-dimensional pressure mapping obtained from the L-shaped object
味觉和嗅觉
电子鼻（Artificial Olfactory System, AOS）
各类气体传感器
人工味觉系统（Artificial Taste System, ATS）
PH计：酸度检测
导电计：咸度的检测
比重计或屈光度计：甜度的检测
大部分研究由生物医学工程专业人员做
法国Parrot公司Flower Power
7
Dedicated App for Bluetooth® Smart
Ready Smartphones and tablets
http://www.parrot.com/flower-power/
Coming in 2013. Release
date not announced yet.
measures sunlight,
soil moisture, temperature
and fertilizer
法国企业开发的“Netatmo”
8
The Netatmo Station measures
indoor temperature, CO2
concentration, noise pollution
and humidity in the home.
http://www.netatmo.com/en-US/weather-station
小结：多媒体技术
三个重要特性
Multimedia 多种媒体、集成性
人-机交互性
数字化
处理对象
文本、图形、图象、声音、动画和视频等
各类传感器采集来的数据
思考：大数据的年代？
10
Source: IBM白皮书分析报告：大数据在现实世界中的使用电子书：理解大数据 – 企业级 Hadoop 和流数据分析
数量(volume)多样性(variety)速度(velocity)精确性(veracity)
上节回顾2：多媒体技术的发展
视听技术、电子技术、通信技术和计算机技术是在相互交替中得到发展的，其中一个技术的进步往往建立在其它技术的进步上。
而由这些技术的综合集成，产生的多媒体系统，其功能和应用前景都是其它任何一种技术无法比拟的。
再说集成的重要性
12
西摩·克雷(Seymour Cray)：超级计算机之父1958年设计建造了世界上第一台基于晶体管的超级计算机1925年-1996年，车祸身亡
不同依托技术的里程碑
计算机的四个时代 电子管：1946年，30吨，计算速度每秒5000次
晶体管： 1954年，计算速度每秒几十万次
集成电路：1964年，计算速度每秒上千万次，价格下降
大规模集成电路：1971年，4004，集成了2300个晶体管
计算机网络的三个阶段 1969 ：ARPAnet
1985：学术性网络，NSFNet，TCP/IP
1995：商业化网络
计算机对媒体信息的处理 60年代文字进入计算机
70年代图像、声音进入计算机1978年CD-DA
80年代电视、视频进入计算机
90年代个人计算机已能实时处理数据量很大的音视频
13集成电路的发展是基石
小结：多媒体技术的发展
依托技术
音像技术、计算机技术、通信网络技术
集成电路
不同技术的综合集成
14
上节回顾3：MMT的研究内容
传统多媒体技术
音像技术：声音和图像的数字化处理是最根本的基础
计算机技术：还包括手机、洗衣机等设备中微处理器技术的不断发展
网络普及后的多媒体技术
通信网络技术：因特网、电信网、广电网三大网络的跨越式发展
多媒体信息的管理和检索
上节内容中值得思考的几个问题
集成 Anyone can build a fast CPU. The trick is to
build a fast system.
数字化 Digitization of all media
Digitization of money
Digitization of the home
Digitalization of the car
UI(User Interface)交互 沟通的成本
16
多媒体技术
第一章 多媒体计算机系统
授课内容
第一部分 多媒体的计算 第一章 多媒体计算机系统 第二章 媒体处理技术 第三章 多媒体数据压缩
第二部分 多媒体的存储 第四章 多媒体数据的数字存储
第三部分 多媒体信息的分析与处理
第五章 多媒体信息分析与处理
第四部分 多媒体网络应用 第六章 实时多媒体通信
18
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
19
计算机信息系统
计算机信息系统，是指由计算机及其相关的和配套的设备、设施（含网络）构成的，按照一定的应用目标和规则对信息进行采集、加工、存储、传输、检索等处理的人机系统。【Source：百度百科】 单机系统多机系统
现代信息系统是从计算机的应用而开始的。 办公：微软的office软件、各种数据库应用系统
娱乐：音乐播放，VCD、DVD播放，游戏
传统的信息系统大多数是作为计算机应用的一部分出现的，因此，其功能是有限的。信息系统的多媒体化是一直以来信息技术发展的一个重要方向。
20
数据展现方式的多媒体化演讲、报告、会议
21
数据展现方式的多媒体化示例：路桥、建筑、装潢设计
金寨路高架效果图
鸟巢效果图
数据展现方式的多媒体化示例：Map信息
23
数据展现方式的多媒体化示例：GIS系统
24Geographic Information System
数据展现方式的多媒体化示例：网络拓扑
25
AS level IPv6 backbone network topology
Visualization is any technique for creating images,
diagrams, or animations to communicate a message.
Tag Cloud： domain name of country
数据交互方式的多媒体化示例：数字化士兵
26
装备数字化装备的士官
数据交互方式的多媒体化示例：远程遥控手术
27
2003年：医生雅克·马雷斯科在纽约，68岁的女病人躺在法国斯
特拉斯堡的病床上，雅克则在大洋之隔的美国看着电视屏幕操纵机械手，远程遥控法国手术室中的“宙斯”机器人完成了跨洋手术
数据交互方式的多媒体化示例：虚拟现实
28
多媒体信息系统
“多媒体系统”（Multimedia System）：是指多媒
体终端设备、多媒体网络设备、多媒体服务系统、多媒体软件及有关的媒体数据组成的有机整体。
单机系统：当多媒体系统只是单机系统时，可以只包含多媒体终端系统和相应的软件及数据。
多机系统：在大多数情况下，多媒体系统是以网络形式出现的，至少在概念上应是与网络互连的，通过网络获取服务、与外界进行联系。事实上，这就是信息系统的一种新形式：多媒体信息系统。
29
多媒体云计算
30
Multimedia Cloud computing，IEEE Signal Processing， May 2011Wenwu Zhu, Chong Luo, Jianfeng Wang, and Shipeng Li
FIG. Fundamental concept of multimedia cloud computing
• “媒体云”：探讨云怎样执行分布式多媒体处理和存储。• “云媒体”：探讨多媒体服务和应用（例如数据存储和共
享、媒体创作和融合、自适应资源分配和传输，以及渲染和检索）怎样才能最大限度地利用云计算资源。
小结
计算机信息系统多媒体计算机系统
数据展现方式的多媒体化
数据交互方式的多媒体化
单机系统多机系统
多机系统是目前多媒体系统的主要形式
多机系统多媒体云计算
存储、CPU和GPU的集群
An emerging technology for providing
multimedia services and applications
31本章后续内容关注的还是单机系统
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成
MPC基本组成部分
多媒体功能与PC的集成
计算机与多媒体设备的接口
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
32
多媒体计算机系统的基本构成
多媒体计算机系统不是单一的技术，而是把多种技术综合应用到一个计算机系统中，实现信息输入、信息处理、信息输出等多种功能。
一个完整的多媒体计算机系统由多媒体计算机硬件和多媒体计算机软件两部分组成。
33
简单的多媒体计算机硬件构成
处理器CPU
内存、硬盘（存储介质）
显示器、键盘（基本外设）
麦克风、音箱（声音输入/输出）
扫描仪、打印机（图像输入/输出）
摄像头、投影仪（视频输入/输出）
34
多媒体计算机系统的组成框图
35
多媒体计算机系统组成
36
历史上的MPC
多媒体个人计算机MPC ( Multimedia
Personal Computer )是以Microsoft 公司为主的MPC市场联盟 (Multimedia PC
Marketing Council ) 制定的MPC的基本硬件规格为基准，主要包括PC机、光驱和声卡。
37
1990年MPC level 1 发布
媒体数据处理对PC的要求
数字媒体涉及的数据具有大信息量，多种信息类型的特点，而信息表现的生动性和实时性又要求计算机能迅速，甚至是实时地处理这些庞大的媒体数据。
数字媒体传播对PC的要求体现在高档次的CPU，足够的内存，快速的大容量存储设备，高质量高速度的显示设备等。
39
常用衡量指标
CPU：主频，每秒百万条指令（MIPS）
内存：容量、读取时间
系统总线结构：总线的时钟、带宽及相应的总线数据传输率来衡量的
硬盘系统：容量、寻址时间和接口
显示系统：像素、显示分辨率与点距、色彩数与显示深度、刷新速率
40
MPC的性能规格标准
MPC Level 1 Level 2 Level 3
制定年月 1990.11 1993.5 1995.6
PC机
内存 2MB 4MB 8MB
CPU 386SX 16MHz486SX25MHz
Pentium 75MHz
硬盘 30MB 160MB 640MB
显示器 640×480，16色 640×480，65K色
光驱
数据传输率
150KBps（单速） 300KBps 600KBps
查询时间 < 1 sec < 0.4 sec
CD 规格 CD－ROM XA兼容
声卡
量化位 8 16
采样率 11.02, 22.05 11.025, 22.05, 44.1
MIDI 合成器，MIDI再现41
小结：MPC的发展
PC的发展体现了多媒体处理技术的发展：
声卡的发展
声卡上芯片的发展
视频卡的发展
视频卡上芯片的发展
CPU的发展
CPU的多媒体能力的发展
42
MPC是历史（1990-2000）上曾经频繁使用的术语。目前所有的PC都具备多媒体处理的能力，MPC这个名词也已淡出历史舞台。
MPC vs. 图形工作站
图形工作站的用途
CAD（计算机辅助设计）、CAE（计算机辅助工程）、DCC（数字内容创建）、NLE（非线性视频编缉）、EDA（电子设计自动化）等专业图形业务的应用
特点
CPU、主板、内存、显卡、存储
大数据量、快、长时稳定
43
随着PC硬件的飞速发展，桌面PC的性能越来越强。使用高端PC代替专业图形工作站来进行设计的情况并不少见。
三维建模常采用图形工作站
44三维血管建模（血管瘤）
物理现象仿真
电影制作多采用图形工作站
45
SGI：《玩具总动员》、《侏罗纪公园》、《泰坦尼克号》IBM ：《怪物公司》、《哈里·波特》HP：《星球大战》系列AMD64位计算平台：《星战前传Ⅲ》
工作站 vs. 超级计算机
工作站是一种高档的微型计算机，通常配有高分辨率的大屏幕显示器及容量很大的内存储器和外部存储器，并且具有较强的信息处理功能和高性能的图形、图像处理功能以及联网功能。
超级计算机通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC
机和服务器不能完成的大型复杂课题的计算机。
46
3D电影逐步采用超级计算机
AVATAR的动画效果由 Weta Digital 公司制作（2008），计算集群采用了 HP
Cluster Platform 3000BL 集群平台，操作系统是Linux，4096 个 Core（Intel Xeon
E-5 2600 family）。
47
TOP 10 Sites for June 2013
48
TOP 500 for June 2013
统计信息
49
小结：不同应用的多媒体计算机
MPC
播放声音、视频；简单的制作
图像工作站
专业图形图像处理，专门的软件
计算机集群
大型复杂计算，并行计算的软件
50
本质上都是计算机。但是在硬件上存在巨大差异。性能和稳定性方面的设计目标也不同。
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成 MPC基本组成部分
多媒体功能与PC的集成 多媒体外设的集成
CPU内多媒体功能的集成
总线的发展
计算机与多媒体设备的接口
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
51
多媒体功能与PC的集成
多媒体功能和主板的结合
集成声卡、集成显卡、集成网卡
多媒体功能和CPU的结合
MMX/SSE/SSE2/SSE3/3DNow!
Multi-Core(HT)
总线的发展
PCI Express
52
在主板上集成声卡
集成AC97标准的软声卡
缺点是CPU占用率比较高。集成到主板上的软声卡（CODEC芯片）只负责D/A和A/D转换，而处理的大部分工作都要交给CPU。
音质会受到一些主板周围电子元件的杂波干扰。
集成有音效芯片的硬声卡
主要有创新的CT5880、C-Media的CMI8738以及ForteMedia的FM801等几种，偶尔也能见到YAMAHA的YMF740和Aureal的AU8820。
53现在，各类PC几乎全部都是集成声卡了
独立显卡和集成显卡
独立显卡的显示芯片和显存焊接在独立的扩展卡上，在电路和芯片的设计和制造上受到的制约较少；集成显卡直接焊接在主板上，芯片的设计受制于主板的规格和一些技术标准。因此从原理上讲，独立显卡比集成显卡更容易达到比较高的显示性能。但是，随着技术手段的不断发展，高质量的集成显卡与普通的独立显卡在显示性能方面的差距已经越来越小，而前者的价格却便宜得多。
54
现在，如果没有专业级需求，集成显卡性能足以应付各类多媒体娱乐需求。当然，多媒体内容制作对显卡要求甚高。
多媒体外设带来的问题
种类繁多、性能愈发出色的多媒体外设给CPU的处理能力提出了挑战
因而随着音视频处理需求的提高，CPU也不断采用新技术来提升处理能力
55
CPU集成FPU
1989年，Intel发布了486处理器。486最大
的意义在于它整合了协处理器，协处理器的概念从此消失而变为CPU内部的FPU
（浮点处理器）
56
FPU: floating point unit
CPU集成内存控制器
传统的计算机系统其内存控制器位于主板芯片组的北桥芯片内，因此数据经由多级传输，数据延迟显然比较大从而影响计算机系统的整体性能。
AMD在2003年9月23日发布的Athlon 64芯片中，把以往北桥芯片中的主要部分——内存控制器内建在CPU中。
Athlon 64发布5年后，Intel在2008年的酷睿i5、i7 系列CPU中，也引入了整合内存控制器的方案。
57
CPU的多媒体指令扩展
MMX（Multi Media eXtension） Intel于1996年推出，包括有57条多媒体指令，通过这些指令可以一次处理多个数据。但在制作3D上没有提高。其本质是一种SIMD数据处理方式(单指令流，多数据流)。
SSE（Streaming SIMD Extensions） 1999，Intel在Pentium III处理器中推出。SSE指令集包括了70条指令，其中包含提高3D图形运算效率的50条SIMD（单指令多数据技术）浮点运算指令、12条MMX 整数运算增强指令、8条优化内存中连续数据块传输指令。
58
CPU的多媒体指令扩展
SSE2 2001，Intel为了应对AMD的3Dnow!+指令集，又在
SSE上增加了一些指令。到P4设计结束为止，Intel增加了一套包括144条新建指令的SSE2指令集。
SSE3指令集 2004，SSE3在SSE2的基础上又增加了13个额外的SIMD指令进线程同步和特定应用程序领域，如媒体和游戏。
3DNow! AMD公司提出的3DNow!指令集应出现在SSE指令集之前，被应用于其K6-2 、K6-3以及Athlon（K7）处理器上。3DNow!指令集的21条机器码的扩展指令主要针对三维建模、坐标变换 和效果渲染等三维应用场合。后来开发了Enhanced 3DNow!。
59
CPU的多媒体指令扩展
SSE4指令集 2006，Intel SSE4 consists of 54 instructions. A subset consisting of 47 instructions, referred to as
SSE4.1 is available in Penryn. Additionally, SSE4.2, a second subset consisting of
the 7 remaining instructions, is first available in Nehalem-based Core i7 [2010].
SSE4a instruction group was introduced in AMD's Barcelona microarchitecture. With the exception of POPCNT, these instructions are not available in Intel processors.
AVX (Advanced Vector Extensions) an advanced version of SSE announced by Intel
featuring a widened data path from 128 bits to 256 bits and 3-operand instructions[2011]
60
SISD SIMD MISD MIMD L1 L2
61
L2 Cache
L1InstrCache
L1DataCache
AMD 64-bit
ProcessorCore
DDR MemoryController
HyperTransport™
Frequency
MoreExecution
units
Memorybandwidth
I/Obandwidth
CacheSize and
Hierarchies
Pipeline Length
SSE（Streaming SIMD Extensions）并行处理思想是SSE的核心
CPU集成GPU
2005年，在AMD收购ATI后发表代号为Fusion的研发计划，预计将AMD的CPU与ATI的GPU整合在一起，同时也将北桥芯片也一并纳入。
但是历史又一次向我们展示了它不可预测的一面，首先将GPU整合在CPU中的厂商，竟然是这个领域长期沉默的Intel。在2010年初，Intel带来了两款整合GPU的CPU系列产品——i3 500和 i5 600系列。
62
多核
Multi-Core Is the Future of Computing
A New Era in Computer Architecture
63
CPU的未来？
多核已成为CPU未来一段时间内的必然趋势
随着CPU处理能力的提升，新的问题产生了：如何将数据高速地送入CPU
64
Intel® Core™ i7-3960X Processor
32nm / transistor count of 2.27 Billion / 20.8
* 20.9 mm
Launch Date Q4'11
# of Cores 6
# of Threads 12
Clock Speed 3.3 GHz
Max Turbo Frequency 3.9 GHz
计算机中的常见总线
ISA(Industry Standard Architecture)
PCI(Peripheral Component Interconnect)
AGP(Accelerated Graphics Port)
USB(Universal Serial Bus)
ATA(Advanced Technology Attachment)
IDE(Integrated Drive Electronic)，集成驱动器电路，是指把控制器与设备集成在一起的驱动器电路。IDE是从功能上进行描述的该接口名称，而ATA接口则是IDE接口的标准名称。
SATA(Serial ATA)
SCSI(Small Computer System Interface)
65
多媒体处理要求计算机各部分之间交换大量数据总线
IDE
类型 特性 带宽MB/sec
PIO Mode0 ATA-1 3.3
PIO Mode1 ATA-1 5.2
PIO Mode2 ATA-1 8.3
PIO Mode3 ATA-2 11.1
PIO Mode4 ATA-2 16.6
PIO Mode4 ATA-3 16.6
Ultra DMA33 ATA33 33
Ultra DMA66 ATA66 66
Ultra DMA100 ATA100 100
Ultra DMA133 ATA133 133 66 2005
1994
SATASerial ATA (Advance Technology Attachment)
SATA
SATA revision 1.0 - 1.5 Gbit/s [2003]
SATA revision 2.0 - 3 Gbit/s
SATA revision 3.0 - 6 Gbit/s [2009]
67
SATA has replaced parallel ATA in consumer desktop
and laptop computers, and has largely replaced PATA in
new embedded applications. SATA's market share in
the desktop PC market was 99% in 2008.
SCSI一览表
69
SCSI—Small Computer System Interface小型机系统接口（读音：skuzzy）
服务器上一般用SCSI接口的硬盘
不同I/O方式机械特性对比
70Ultra/160 SCSI线, 串行ATA/150线, 标准ATA/133 Cable, 圆住形ATA/133
总线技术发展ISA PCI AGP
(1X-8X)
PCI-X 1.0
PCI-X 2.0(DDR/QDR)
PCI-E
1(X1-X32)
PCI-E
2(X1-X32)
PCI-E
3(X1-X32)
位宽 8/16 32/64 32 32/64 64
总线
时钟
8 33/66 66 66/100/133
133
最高
带宽
533MB
266-2132MB
1066MB
2132/
4264MB
per-lane 2.5GT/s
per-lane 5GT/s
per-lane 8GT/s
商用
时间
Early 80’s
Early 90’s
Mid/late 90’s
1999 2004 2007 2009
72
On November 29, 2011, PCI-SIG announced PCI Express 4.0 featuring 16
GT/s. So, a 16-lane slot (each direction): 256 GT/s。Final specifications are expected to be released in 2014–15.
GT/s (gigatransfers per second)
Parallel Bus Basics
7474
Computer Buses, both internal (e.g. PCI) and external (e.g. SCSI) have to deal with a particular problem.
They have to keep the data bits across the connectors in line so that they all arrive together, within a very tight time period
The further the information moves down a parallel bus the more the minute differences between individual connections come into play and the original data
starts to scatter (skew) becoming corrupt and unusable.
This skew effect limits the distance over which high speed, parallel bus connections can be used
小结
MPC就是通过添加一个又一个的模块来不断扩充PC机的功能 PC机制造商则千方百计将多媒体的功能集成到PC的基本部件中
Intel和AMD则不断将多媒体功能直接集成到CPU中
坚持不懈地提高IO带宽才能满足媒体处理的要求
游戏规则：大家遵守相同的规范
75
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成
MPC基本组成部分
多媒体功能与PC的集成
计算机与多媒体设备的接口
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
76
计算机与多媒体设备的接口
串口、并口
通过主板上的扩展槽
USB接口
1394接口
网络接口
无线接口
77
FireWire 400 (1995)FireWire 800 (2002)FireWire S1600 and S3200 (2008)
常见设备及其接口
插在扩展槽中的声卡、视频捕捉卡
扫描仪（并口，USB接口）
数码照相机（USB接口）
数码摄像机（USB接口、1394接口）
USB接口的摄像头
DVD光驱/刻录机（IDE、USB）
蓝牙耳机（Bluetooth）
78
史上最成功的数据总线：USB
USB是“通用串行总线”（Universal Serial
Bus）的英文缩写。USB是由Compaq、IBM、Intel、微软等公司于1994年共同提出的。USB接口具有连接单一化、软件自动“侦测”、能直接配PC机、能实现热插拔的优点。
USB1.0的传输速率为12M bps
USB2.0的传输速率最高可达480M bps
USB3.0的传输速率最高可达5G bps(2008.11)
USB 3.1 (SuperSpeed 10 Gbps)(2013.08)
DIX 以太网
802.3
802.3U
802.3Z/AB
802.3AE/AK
1980 1983 1995 1998 1999 2002.6
10M
10M（802.3）
100base-T（802.3u）
1G（802.3z）
1Gbase-T（802.3ab）
10G（802.3ae）
2006.9
10Gbase-T（802.3an）
1973
3M以太网
2010
802.3ba40G/100G（802.3ba）2009.10 Draft 2.3
以太网
WPAN
IEEE 802.15-1 – Bluetooth Version 1.2： 1 Mbit/s
Version 2.0 + EDR: 3 Mbit/s
Version 3.0 + HS: Up to 24 Mbit/s, 2009
Version 4.0: Bluetooth low energy (BLE), 2010
IEEE 802.15-4(Zigbee) Data rates: 2-250 kbps
IEEE 802.15-3: High-Rate (UWB = Ultra Wide-Band) Data rates: 11, 22, 33, 44, 55 MBit/s, 未来500 MBit/s
数字家庭的Z-Wave 9600bps或40kbps
82
Gbit WLAN
协议 发布日期 频带 数据速率Legacy 1997 2.4GHz 2 Mbit/s802.11a 1999 5GHz 54 Mbit/s802.11b 1999 2.4GHz 11 Mbit/s802.11g 2003 2.4GHz 54 Mbit/s802.11n 2009.09 2.4GHz 600 Mbit/s802.11p 2009.07
Draft 9.0
5.86-5.925 GHz 27 Mbit/s
802.11ac ? 2.4hz 1Gbit/s802.11ad 2012.12 60GHz 3Gbit/s
Interface To The Digital Future!
84
个人观点陈述
IT业大者恒大的普遍现象：计算机制造商拼命地将各种多媒体设备集成到主机中；微软拼命地将多媒体处理软件集成到操作系统中
两极分化的必然趋势：普通民用和专业级使用多媒体设备界限的明显化分
计算机接口技术的发展推动多媒体技术发展
最有前途的三种接口：USB、网络接口、无线接口
85
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
86
按照功能区分多媒体计算机各部分
硬件
基本计算机硬件
多媒体计算机所配置的硬件
多媒体I/O控制及接口
软件
操作系统的支持
创作系统
应用系统
87
常见的多媒体处理软件
操作系统支持部分：画笔、媒体播放器
专业看图软件：acdsee
专业图像处理软件： adobe photoshop
专业音乐播放软件：winamp,realplayer
专业视频处理软件：ulead
VideoStudio,adobe premiere
88
多媒体创作系统
创作环境
创作软件
集成工具
89
创作环境
这里主要是硬件支持系统。
文字（输入、OCR）
音频（录音机）
图像（扫描、数码相机）
视频（摄像头+视频卡、数码摄像机）
90
硬件设备的购买、安装、使用
个人观点：现在的智能手机也可算是一个轻量级的多媒体创作环境
创作软件
文本：系统记事本以及各种编辑器
音频：CoolEdit、CakeWalk
图像：PhotoShop、CorelDraw
视频：会声会影、Premier
91
软件的安装、使用
个人观点：智能手机上也有类似的创作软件
集成工具
用于安排多媒体对象、处理其时空关系使之集成为一个应用软件的工具。
1. 最简单的集成：用PhotoShop制作产品说明书、用Office系列软件集成文字、声音、图片和视频
2. 在程序中融合声音、图片和视频
3. 专用软件：Director、AuthorWare、方正奥思
92
个人观点：严格意义上来说，智能手机虽然具备很多多媒体交互能力，但是不能算是完整的多媒体创作环境
第一章 多媒体计算机系统
§1.1 有关概念
§1.2 多媒体计算机系统的硬件构成
§1.3 多媒体计算机系统的软件构成
§1.4 多媒体信息的处理方式
93
提高多媒体处理能力的尝试
最早的解决方案：采用专用芯片设计各种接口卡
MPC标准-〉DVI系统
把多媒体能力扩展到主板上
集成声卡、显卡、网卡……
将多媒体和通信功能融合到CPU芯片中
指令扩展、集成GPU……
94
多媒体信息的处理方式
基于PC
核心：利用通用CPU的能力进行处理
Such as
用mp3播放器播放音乐
用媒体播放器播放网络视频
基于专用芯片
ASIC(Application Specific Integrated Circuit)
将音频、视频处理功能集中到特定的芯片中，然后与扩展卡或主板结合在一起
基于媒体处理器
95
几个常见处理器名词
CPU(Centeral Process Unit) 一般就是指Intel的X86兼容芯片，冯.诺依曼结构，过去的CPU是CISC(Complex Instruction Set Computer) ，从Pentium问世以来(92年末)也融合了RISC技术。
MPU(Micro Process Unit) 与CPU差不多，多半是CISC的，也有部分是RISC的。
MCU(Micro-Controller Unit) MCU集成了片上外围器件，而MPU不带外围器件（例如存储器阵列），是高度集成的通用结构的处理器。是去除了集成外设的MCU。
DSP(Digital Signal Processor) 都是RISC(Reduced Instruction Set Computer) ，
Harvard结构，保证数据的顺利通行，结构尽量简单。
96
什么是媒体处理器？
ChromaticResearch公司（加州Sunnyvale市）将媒体处理器（例如该公司的Mpact
芯片）定义为：“一种软件可编程的处理器，专门用於同时地加速好几种多媒体数据类型。”Philips公司的TriMediaGroup（加州Sunnyvale市）说多媒体处理器（例如该公司的TriMedia系列），“在单个芯片上能够应付多种媒体流型处理和开销，控制及通讯功能。”
97
Wikipedia: media processor
A media processor is a microprocessor-based system-on-a-chip which is designed to deal with digital streaming data in real-time (e.g. display refresh) rates. These devices can also be considered a class of digital signal processors (DSPs).
Unlike graphics processing units (GPUs), which are used for computer displays, media processors are targeted at digital televisions and set-top boxes.
Newer generations of such devices now use various forms of multiprocessing—multiple CPUs or DSPs, in order to deal with the vastly increased computational needs when dealing with high definition television signals.
99
媒体处理器举例
Trimedia是Philips公司开发的多媒体处理芯片。Trimedia处理器从功能上来看完全可以取代PC机上的影卡和声卡。该芯片如应用在PC机上可以作为一个通用的微处理器，大大地增强PC的多媒体功能。
Trimedia的主要功能包括视频输入／输出、音频输入／输出，其核心包括有一个MPEG解码器，支持MPEG－1和MPEG－2解码；一个图像协处理器；一个通信单元；一个超长指令字处理器（VLIW）。VLIW单元包含有48KB的高速缓存，其中32KB用于指令、16KB用于数据。
101
历史上的媒体处理器
2004
Intel与Xerox联合推出两款专为文件影像市场设计的可程式化的数字媒体处理器XP5800与MXP5400。
NVIDIA发布全球首款3D无线媒体处理器GoForce 3D 4800，具有3D图形、百万像素图像及高质量视频捕捉和回放能力
2005
Philips Nexperia媒体处理器家族新成员PNX1700搭载了500MHz+Super-pipelined TriMedia中央处理器核心，可支持Windows Media Video、DivX、MPEG-4和MPEG-2等格式
LG选用ATI的IMAGEON®2300媒体处理器，开发业界首款透过硬件绘图核心执行3D游戏手机SV360
Freescale 532 MHz的i.MX31处理器能够充分利用平行处理技术，运作起来的效率就如同频率3 GHz的处理器
2006
Philips 汽车媒体处理器系列的首个产品PNX9106
102
针对手机的多媒体处理器
德州仪器、飞利浦、英特尔、Nvidia展开新一轮角逐
飞利浦推出新型Nexperia移动多媒体处理器PNX4103，使手机能够具备高质量的电视视频分辨率、数码摄像机功能以及数码相机的质量。
TI新推出的应用处理器OMAP 3将用于新一代移动电话，以提升其娱乐性和工作效率，可处理所有标准的移动电视，并集成拍摄、游戏、便携式视频和音乐播放、便携式电脑和PDA等各项功能。
虽然进入这一市场较晚，野心勃勃的英特尔称，希望通过减少老牌竞争对手的市场份额来扩张自己的份额。
Nvidia则在3GSM大会上大力宣传新图形处理器GoFoce 5500，它定位较昂贵的高端手机，消费者可用这种手机观看电影、数字电视，玩视频游戏。
103Source：2006年3GSM大会
处理器概念拓展
DSP(Digital Signal Processor)
DSP也是一种CPU，经特别设计适合数字信号处理算法，多媒体处理正属于这种算法。
DMP(Digital Media Processor)
DMP是尝试支持更多外围（如网络、视频出入）的DSP，简化了DSP的应用
NP(Network Processor)
是否可以理解为支持网络数据包处理、协议分析、路由查找、防火墙、QoS等功能的DSP简化应用？
104
三种媒体处理方式的比较
基于PC 基于芯片 基于媒体处理器
成本 很高 低 很低
功耗 极大 较小 较小
实时性能 不好 很好 很好
外围软件 丰富 较少 较少
升级能力 容易 不容易 很容易
处理能力 弱 强 强大
扩展能力 通过插卡 不容易 通过升级软件
灵活性 一般 低 高
105
如今大多数“媒体处理器”实际上是DSP
三种处理方式的融合？智能手机开创了多媒体系统新时代
106
高通芯片主宰移动设备市场：或成下一个英特尔
你的智能手机很可能使用的是高通芯片。
即使不是很快也就是了。
英特尔自1980年代便主导了PC行业的芯片供应，与之类似，
高通也将在新兴的移动计算和通讯领域掌控局势。智能手机和平板电脑正在成长为新一代PC，而高通似乎就是新一代的英特尔。
虽然高通不是一个家喻户晓的名字，但使用其芯片或技术的企业却都声名显赫，首当其冲的就是苹果。尽管高通和以保密著称的苹果都没有证实新一代 iPhone和iPad采用了高通的
技术，但拆解分析显示，这两款产品的确内置了高通的芯片组。美国投资公司Charter Equity Research电信分析师艾德·
斯内德(Ed Snyder)表示，苹果2011年发布的iPhone 4S选择高通为通讯芯片供应商，放弃了英特尔旗下的英飞凌部门。
107
http://www.eefocus.com/gadget/blog/12-03/245521_6931e.html2012-03-20 10:26
小结：多媒体信息的处理方式
单机系统的处理方式
基于通用CPU
基于ASIC
基于媒体处理器
多机系统/云计算系统的处理方式
分布式存储
分布式计算（例如处理、适配、渲染等）
108
本章小结：回顾历史，展望未来
MPC
Multi-Core/MMX/DDR
CPU/MPU/MCU /DSP/DMP/NP
多媒体功能与PC的集成
多媒体外设的集成
CPU内多媒体功能的集成
总线的发展
媒体处理方式
基于PC/基于芯片/基于媒体处理器
109
谢谢大家
110