第一部分：概率 基础

1

第一部分：概率基础第一部分：概率基础 对应教材对应教材 Chp1-5Chp1-5 可能需要复习本科概率论的相应内容可能需要复习本科概率论的相应内容 课堂上讲述会较快，将知识点串起来，建议大家通课堂上讲述会较快，将知识点串起来，建议大家通

读教材读教材 时间：“十一”长假之前时间：“十一”长假之前

主要内容：主要内容： 概率、随机变量及其分布、常用分布、多元随机向量概率、随机变量及其分布、常用分布、多元随机向量 随机变量的变换及其分布随机变量的变换及其分布 独立、条件独立、贝叶斯公式独立、条件独立、贝叶斯公式 期望、方差期望、方差 概率不等式及收敛性概率不等式及收敛性

2

第一章：概率第一章：概率 概率：定量描述不确定性的数学语言概率：定量描述不确定性的数学语言

例：例： (( 牙痛是由虫牙引起牙痛是由虫牙引起 ) = 0.8) = 0.8 20%– 20%– 所有其他可能所有其他可能

实际数值可能来源于统计数据、模型、启发规则或猜测实际数值可能来源于统计数据、模型、启发规则或猜测

更精确的概率定义： 代数、可测量、测度（参考更精确的概率定义： 代数、可测量、测度（参考 [CB] [CB] Chp1Chp1 ））

s

3

概率、样本空间和事件概率、样本空间和事件

考虑一个事先不知道输入的试验：考虑一个事先不知道输入的试验： 试验的试验的样本空间样本空间 是所有可能输出的集合是所有可能输出的集合 事件事件 AA 是样本空间的子集是样本空间的子集 对每个事件对每个事件 AA ，我们定义一个数字，我们定义一个数字 ((AA)) ，称为，称为 AA 的的概概

率率。概率根据下述公理定义：。概率根据下述公理定义：

W

4

概率公理概率公理 事件事件 AA 的概率是一个非负实数的概率是一个非负实数

((AA) ≥ 0) ≥ 0

合法命题的概率为合法命题的概率为 11 ( ) = 1( ) = 1

两两不相交（互斥）事件两两不相交（互斥）事件 AA11, , AA22, …, …

从上述三个公理，可推导出概率的所有的其他性质。

W

11

( ) ( )i ii

i

A A¥¥

==

È =åP P

5

公理的推论公理的推论 不可满足命题的概率为不可满足命题的概率为 00

((∅∅) = 0) = 0 ((AA ∩ ∩ AAcc) = 0) = 0

对任意两个事件对任意两个事件 AA 、 、 BB ((AA ∪ ∪ BB) = ) = PP ( (AA) + ) + PP((BB) – ) – PP((AA ∩ ∩ BB ) )

对事件对事件 AA 的补事件的补事件 AAcc

((AAcc) = 1 – ) = 1 – ((AA))

对任意事件对任意事件 AA 00 ≤ ≤ ((AA)) ≤ ≤ 11

6

概率的解释概率的解释 概率的 “真正意义” 仍是一个非常有争议的论题概率的 “真正意义” 仍是一个非常有争议的论题

没有一种解释被一致接受没有一种解释被一致接受

概率两种主要的解释：概率两种主要的解释： 频率解释频率解释

概率概率 = = 一个事件的相对频率一个事件的相对频率 （大量试验情况下）（大量试验情况下） 对应频率推断（点估计、置信区间）对应频率推断（点估计、置信区间）

可信度解释可信度解释 概率概率 = = 观测者对可能性的判断观测者对可能性的判断 “ “ 贝叶斯概率”贝叶斯概率” 对应贝叶斯推断对应贝叶斯推断

7

概率的频率解释概率的频率解释 在相似试验条件下，进行多次重复试验，得到某个特定输在相似试验条件下，进行多次重复试验，得到某个特定输

入的入的相对频率相对频率 （如掷骰子或抛硬币）（如掷骰子或抛硬币） 满足概率公理满足概率公理 只有试验才能确定概率只有试验才能确定概率

但是但是 试验次数多少次才足够多试验次数多少次才足够多 ?? 相似条件相似条件 ? (? ( 条件完全相同条件完全相同 ?)?) (( 正面朝上正面朝上 )?)? (( 你本门课程得你本门课程得 9090 分以上分以上 )?)? (( 明天会下雨明天会下雨 )?)?

8

概率的可信度解释概率的可信度解释 亦称亦称““贝叶斯概率”贝叶斯概率” 概率表示观测者对可能性的判断概率表示观测者对可能性的判断

定量表示某人的信念强度定量表示某人的信念强度 是基于个人的信念和信息是基于个人的信念和信息

““ 主观概率主观概率” ” 而不是而不是 “ “真正的概率真正的概率”” 并没有对世界客观的表述并没有对世界客观的表述 主观判断完全一致没有矛盾主观判断完全一致没有矛盾 ?? 不同人之间没有统一的客观基准不同人之间没有统一的客观基准

满足概率公理满足概率公理 (( 在保持一致性的情况下在保持一致性的情况下 ))

9

独立事件独立事件 当当 ((ABAB)) = = ((AA)) ((BB)) 时，称两个事件时，称两个事件 AA 与与 BB 独立，记为独立，记为 可推广到有限个事件系列可推广到有限个事件系列

可通过两种方式确定事件之间的独立性可通过两种方式确定事件之间的独立性 显式假设：如抛硬币试验中，假设每次抛掷都是独立的显式假设：如抛硬币试验中，假设每次抛掷都是独立的 数值推导：满足数值推导：满足 ((ABAB)) == ((AA)) ((BB))

如在一个公正的掷骰子的试验中，如在一个公正的掷骰子的试验中， 则则

不相交 独立¹

A B

2,4,6 , 1, 2,3, 4A B 2,4A B

2 6 1 2 2 3AB A B P P P

10

独立总结独立总结

独立总结

1. 若 ((ABAB) = ) = ((AA) ) ((BB)) ，则 A 和 B 独立。2. 独立某些时候是假设的，某些时候推导得到的。3. 有正概率的不相交事件不一定独立。

11

条件概率条件概率 当当 ((BB))>0 时，给定时，给定 BB 时时 AA 的条件概率为的条件概率为

给定任意给定任意 B ，若，若 ((BB))>0 ，则 也是一个概率，，则 也是一个概率，即满足概率的三个概率公理即满足概率的三个概率公理 当 不相交时，当 不相交时，

|AB

A BB

。P

PP

| BP

| 0A B P

| 1B P

1 2, ,...A A 1 1

| |i ii iA B A B

P P

12

条件概率条件概率 下列等式下列等式不不一定成立一定成立

| |A B B AP P

| | |A B C A B A C P P P

13

条件概率条件概率 例例 1.131.13 ： 对疾病： 对疾病 DD 的医学测试结果输出为的医学测试结果输出为 ++ 和和 -- ，其概率分别为：，其概率分别为：

假设某个测试的结果为假设某个测试的结果为 ++ ，则得病的概率为多少？，则得病的概率为多少？

D cD

.009| .9

.009 .001

D DD

D D D

P P

PP P P

.891| .9

.099 .891

c c

c

c c c

D DD

D D D

P PP

P P P

检验相当正确检验相当正确

.009| .08

.009 .099c

D DD

D D

P PP

P P P 不要相信直觉！不要相信直觉！得病概率很小得病概率很小

++ .009.009 .099.099 .108.108

-- .001.001 .891.891 .892.892

.010.010 .990.990 1.01.0

|AB

A BB

P

PP

14

条件概率条件概率 例例 1.131.13 （续）：（续）：

假设某个测试的结果为假设某个测试的结果为 -- ，则得病的概率为多少？，则得病的概率为多少？

++ .009.009 .099.099 .108.108

-- .001.001 .891.891 .892.892

.010.010 .990.990 1.01.0

D cD

- - .001

- | .1 - | + + | =1.009 .001

D DD D D

D D D

P PP P P

P P P

+ + .099

+ | .1 - | + + | =1.099 .891

c c

c c c

c c c

D DD D D

D D D

P PP P P

P P P

- - .001| - .001

- .001 .891- - c

D DD

D D

P PP

P P P得病概率几乎为得病概率几乎为00

15

独立与条件概率独立与条件概率 若若 AA 与与 BB 独立事件，则独立事件，则

知道知道 BB 不会改变不会改变 AA 的概率的概率

当当 AA 与与 BB 不独立时不独立时

Vs. Vs. AA 与与 BB 独立时：独立时：

|

AB A BA B A

B B

P P PP P

P P

|

|

AB A B B

B A A

P P P

P P

AB A BP P P

16

例：条件独立例：条件独立 赌徒的谬误：戴伦伯特系统赌徒的谬误：戴伦伯特系统

参与者赌红色或黑色，每赌失败一次就加大赌数，每赌赢一次就参与者赌红色或黑色，每赌失败一次就加大赌数，每赌赢一次就减少赌数。减少赌数。

如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，不太可能让他在下一次再赢；如果小球使他输了，它将感到抱歉，不太可能让他在下一次再赢；如果小球使他输了，它将感到抱歉，很可能帮助他在下一次赢。 很可能帮助他在下一次赢。

事实上：事实上：每一次旋转，轮盘都与以前旋转的结果无关每一次旋转，轮盘都与以前旋转的结果无关。。

摘自《数学悖论奇景》

17

条件概率总结条件概率总结

1. 1. 如果如果 ((BB)>0)>0 ，则，则

2. 2. 对给定的对给定的 BB ，， (.|(.|BB) ) 满足概率公理。通常，对给定的满足概率公理。通常，对给定的AA ，， ((AA|.) |.) 不满足概率公理。不满足概率公理。

3. 3. 通常，通常， ((AA||BB)≠)≠((BB||AA)) 。。

4. 4. 当且仅当当且仅当 ((AA||BB)=)=((AA)) 时， 时， AA 与与 BB 独立独立。。

|AB

A BB

。P

PP

18

贝叶斯公式贝叶斯公式

全概率公式全概率公式：令：令 AA11, …,, …, AAkk 为 的一个划分，则对任意事件为 的一个划分，则对任意事件BB ，有 。，有 。

贝叶斯公式贝叶斯公式：令：令 AA11, …,, …, AAkk 为 的一个划分且对每个为 的一个划分且对每个 ii ，， ii =1,2,=1,2, …,k…,k 。若 ，则对每个 有 。若 ，则对每个 有

( | ) ( )|

( | ) ( )i i

ij jj

B A AA B

B A A

P PP

P P

W

W 0iA P 0B P

( | ) ( )j jjB B A AP P P

后验概率

先验概率

19

例：邮件分类例：邮件分类 例例 1.191.19 ：： emailemail 可分为三类：可分为三类： AA11 =“ =“ 垃圾垃圾 ,” ,” AA22 =“ =“ 低优先级” 低优先级”

和和 AA33 =“ =“ 高优先级高优先级””。根据先前的经验，我们发现。根据先前的经验，我们发现

则：则： 0.7+0.2+0.1 = 10.7+0.2+0.1 = 1 。。 令令 BB 表示表示 emailemail 中包含单词中包含单词 “ “ free”free” 。根据先前的经验，。根据先前的经验，

则如果收到一封带有单词则如果收到一封带有单词““ free”free” 的邮件，该邮件为垃圾邮件的邮件，该邮件为垃圾邮件的概率是多少？的概率是多少？

根据贝叶斯公式：根据贝叶斯公式： 1

0.9 0.7| 0.995

(0.9 0.7) (0.01 .02) (0.01 0.1)A B

。P

1 2 3( )=0.7 ( )=0.2 ( )=0.1A A A， ， ，P P P

1 2 3( | )=0.9 ( | )=0.01 ( | )=0.01

0.9+0.01+0.01 1

B A B A B A

注意：

， ，P P P

20

作业作业 11

Chp1Chp1 ：第：第 1010 、、 1919 、、 2121 、、 2323 题题

请于请于 99 月月 2424日前上课前交作业日前上课前交作业 非编程题可以用纸版非编程题可以用纸版 编程题请用编程题请用 emailemail 发至：发至：

标题请注明学号、姓名和作业的序号（第几次作业）标题请注明学号、姓名和作业的序号（第几次作业） 姓名姓名 __学号学号 __作业序号作业序号 .zip/rar.zip/rar

如确有困难者，请务必找助教说明，可适当延迟第一次编程题的时如确有困难者，请务必找助教说明，可适当延迟第一次编程题的时间间

请按时交作业请按时交作业

21

编程环境编程环境 MatlabMatlab

提供很多基本基础函数和工具，对理解算法的基本思想很有帮助，提供很多基本基础函数和工具，对理解算法的基本思想很有帮助，编程快捷编程快捷

VCVC 实际系统中的算法一般采用实际系统中的算法一般采用 C/C++C/C++ 实现实现

你喜欢的任何编程语言你喜欢的任何编程语言

22

下节课内容下节课内容 随机变量及其分布随机变量及其分布 期望、方差期望、方差 常用分布常用分布 多元随机向量及其分布（部分）多元随机向量及其分布（部分）