1

工程数学第 22 讲

本文件可从网址http://math.vip.sina.com上下载( 单击 ppt 讲义后选择 ' 工程数学 ' 子目录 )

2

§3 一元线性回归

3

在客观世界中普遍存在着变量之间的关系 . 变量之间的关系一般来说可分为确定性的与非确定性的两种 . 确定性关系是指变量之间的关系可以用函数关系来表达的 . 另一种非确定性的关系即所谓相关关系 . 例如人的身高与体重之间存在着关系 , 一般来说 , 人高一些 , 体重要重一些 , 但同样高度的人 , 体重往往不相同 . 人的血压与年龄之间也存在着关系 , 但同年龄的人的血压往往不同 . 这些变量关系都是非确定性的 . 回归分析是研究相关关系的一种数学工具 . 能够帮助我们从一个变量取得的值估计另一变量所取的值 .

4

( 一 ) 一元线性回归 设随机变量 Y与 x之间存在着某种相关关系 . 这里 , x是可以控制或可以精确观察的变量 , 如年龄 , 试验时的温度 , 施加的压力 , 电压与时间等等 . 即可以随意指定 n个值 x1,x2,...,xn. 因此干脆不把 x看成随机变量 , 而将它当作普通的变量 .若 Y的数学期望 E(Y) 存在 , 其值随 x的取值而定 , 是 x的函数 , 将此函数记为 Y|x 或 (x), 称为 Y关于 x的回归函数 , 讨论E(Y)=(x) 与 x的函数关系 .

5

对 x取定一组不完全相同的值 x1,x2,...,xn, 设Y1,Y2,...,Yn 分别是在 x1,x2,...,xn 处对 Y的独立观察的结果 , 称

(x1,Y1),(x2,Y2),...,(xn,Yn) (3.1)是一个样本 , 对应的样本值记为

(x1,y1),(x2,y2),...,(xn,Yn).现希望知道 (x) 的形式 , 在一些问题中 , 可由专业知识知道 , 否则 , 可将每对观察值(xi,yi) 在直角坐标系中描出它的相应的点 , 这种图称为散点图 .

6

例 1 为研究某一化学反应过程中 , 温度x(°C) 对产品得率 Y(%) 的影响 , 测得数据如下 .温度x(°C) 100 110 120 130 140 150 160 170 180 190

得率Y(%) 45 51 54 61 66 70 74 78 85 89

40

60

80

100

100 120 140 160 180 200

7

这里自变量 x是普通变量 , Y是随机变量 . 由散点图大致看出 (x) 具有线性函数 a+bx的形式 .设 Y关于 x的回归函数为 (x). 利用样本来估计 (x) 的问题称为求 Y关于 x的回归问题 . 特别 , 若 (x) 为线性函数 : (x)=a+bx, 此时估计 (x) 的问题称为求一元线性回归问题 .

8

假设对于 x( 在某个区间内 ) 的每个值有Y~N(a+bx, 2),

其中 a,b及 2 都是不依赖于 x的未知参数 . 记 e=Y(a+bx), 对 Y作这样的正态假设 , 相当于假设

Y=a+bx+, ~N(0,2), (3.2)其中未知参数 a,b及 2 都不依赖于 x. (3.2) 称为一元线性回归模型 , 其中 b称为回归系数 .则 Y由两部分组成 , 一部分是 x的线性函数a+bx, 另一部分 ~N(0,2) 是随机误差 , 是人们不可控制的 .

9

( 二 )a,b的估计 取 x的 n个不全相同的值x1,x2,...,xn 作独立试验 , 得到样本 (x1,Y1),(x2,Y2),...,(xn,Yn). 由 (3.2) 式 Yi=a+bxi+i, i~N(0,2), 各 i 相互独立 , (3,3)于是 Yi~N(a+bxi,2), i=1,2,...,n. 由 Y1,Y2,...,Yn的独立性知 Y1,Y2,...,Yn 的联合密度为

)4.3(.)(2

1exp

2

1

)(2

1exp

2

1

1

22

1

22

n

iii

n

n

iii

bxay

bxyL

10

现用最大似然估计法来估计未知参数 a,b. 对于任意一组观察值 y1,y2,...,yn, (3.4) 式就是样本的似然函数 . 显然 , 要 L取最大值 , 只要(3.4) 右端方括弧中的平方和部分为最小 , 即只需 )5.3()(),(

1

2

n

iii bxaybaQ

)6.3(.0)(2

,0)(2

1

1

n

iiii

n

iii

xbxayb

Q

bxaya

Q

取最小值 . 令 Q关于 a,b的偏导数等于零 :

11

得方程组

)7.3(

.11

2

1

11

n

iii

n

ii

n

ii

n

ii

n

ii

yxbxax

ybxna

(3.7) 式称为正规方程组 .

12

由于 xi 不全相同 , 正规方程组的系数行列式

.0)(1

2

11

2

1

2

1

1

n

ii

n

ii

n

iin

ii

n

ii

n

ii

xxn

xxnxx

xn

故 (3.7) 有唯一的一组解 .

13

解得 b,a的最大似然估计值为

.1

,1

)8.3(

,ˆˆ1

ˆ

,)(

)()(ˆ

11

11

1

2

12

11

2

111

n

ii

n

ii

n

ii

n

ii

n

ii

i

n

ii

n

ii

n

ii

n

ii

n

ii

n

iii

yn

yxn

x

xbyxn

by

na

xx

yyxx

xxn

yxyxn

b

其中

14

称为 Y关于 x的经验回归方程 , 简称回归方程 , 其图形称为回归直线 .

)9.3(ˆˆˆ

:,ˆˆˆ.

),(ˆˆ)(ˆ

,)(ˆˆ

,,ˆ,ˆ,

xbay

yxba

xYxbax

bxaxxba

xbaba

方程记数

的经验回归函关于称为

即的估计作为回归函数

就取对于给定的后的估计在得到

15

今后将视方便而使用 (3.9)或 (3.10).

).,(

),,(

,),,(),,(,)10.3(

)10.3()(ˆˆ

,)9.3(ˆ)8.3(

2211

yx

yx

yxyx

xxbyy

a

nn 几何中心回归直线通过散点图的

对于样本值表明

程可写成则回归方式的表达式代入中将

16

为了计算上的方便 , 引入下述记号 :

)11.3(

.1

))((

,1

)(

,1

)(

1111

2

11

2

1

2

2

11

2

1

2

n

ii

n

ii

n

iii

n

iiixy

n

ii

n

ii

n

iiyy

n

ii

n

ii

n

iixx

yxn

yxyyxxS

yn

yyyS

xn

xxxS

17

这样 a,b的估计值可写成

)12.3(.ˆ11

ˆ

,ˆ

11

bxn

yn

a

S

Sb

n

ii

n

ii

xx

xy

18

例 2(续例1) 设在例 1 中的随机变量 Y符合(3.2)所述的条件 , 求 Y关于 x的线性回归方程 .解 现在 n=10, 所需计算列表如下 ( 表 9.17):x y x2 y2 xy

100 45 10000 2025 4500

110 51 12100 2601 5610

120 54 14400 2916 6480

130 61 16900 3721 7930

140 66 19600 4356 9240

150 70 22500 4900 10500

160 74 25600 5476 11840

170 78 28900 6084 13260

180 85 32400 7225 15300

190 89 36100 7921 16910

1450 673 218500 47225 101570

19

于是得到回归直线方程

,73935.248303.0145010

1673

10

1ˆ

,48303.0ˆ

,3985673145010

1101570

,8250145010

1218500 2

a

SSb

S

S

xxxy

xy

xx

故得

).145(48303.03.67ˆ

.48303.073935.2ˆ

xy

xy

或

20

(三 )2 的估计由 (3.2),E{[Y(a+bx)]2}=E(2)=D()+[E()]2=2

这表示 2愈小 , 以回归函数 (x)=a+bx作为Y的近似导致的均方误差就愈小 . 这样 , 利用回归函数 (x)=a+bx去研究随机变量 Y与x的关系就愈有效 . 然而 2 是未知的 , 因而需要利用样本去估计 2.

21

为 了 估 计 2 , 先 引 入 下 述 残 差 平 方 和 .

记 ixxi xbayyi

ˆˆˆˆ | , 称 ii yy ˆ 为 x i 处 的 残 差 .

平 方 和

n

iii

n

iiie xbayyyQ

1

2

1

2 )ˆˆ()ˆ( ( 3 . 1 3 )

称 为 残 差 平 方 和 . 它 是 经 验 回 归 函 数 在 x i 处 的 函

数 值 ii xbax ˆˆ)(ˆ 与 x i 处 的 观 察 值 y i 的 偏 差 平方 和 .

22

为了计算 Qe, 将 Qe 作如下分解 :

)14.3(.ˆ

)ˆ(ˆ2)()ˆ(

))((ˆ2)(

)](ˆ[)ˆ(

2

1

22

11

2

1

2

1

2

xyyye

xxxyyy

n

ii

n

iii

n

ii

n

iii

n

iiie

SbSQ

SbSbSxxb

yyxxbyy

xxbyyyyQ

最后得

23

可以证明 , 作为统计量的残差平方和 Qe服从分布

,2

)17.3(),2(~

2

22

nQ

E

nQe

于是

)18.3(].ˆ[2

1

2ˆ 2

xyyye SbS

nn

Q

即知 E(Qe/(n2))=2. 这样就得到了 2 的无偏估计量 :

24

例 3(续例2) 求例 2 中 2 的无偏估计 .

解 由表 9.17, 得

.90.08/23.7)2(ˆ

,23.7ˆ

,48303.0ˆ,3985

.0.1932

67310

147225

1

2

3

2

11

2

nQ

SbSQ

bS

yn

yS

e

xyyye

xy

n

ii

n

iiyy

即得又已知

25

(四 ) 线性假设的显著性检验 在以上的讨论中 , 我们假定了关于 x的回归 (x) 具有形式a+bx, 在处理实际问题时 , (x) 是否为 x的线性函数 , 首先要根据有关专业知识和实践来判断 , 其次要根据实际观察得到的数据运用假设检验的方法来判断 . 这就是说 , 求得的线性回归方程是否具有实用价值 , 一般来说 , 需要经过假设检验才能确定 . 若线性假设(3.2)符合实际 , 则 b不应为零 , 因为若 b=0, 则 E(Y)=(x) 就不依赖于 x了 .

26

因此需要检验假设H0: b=0,H1: b0. (3.19)

使用 t检验法来进行检验 . 可以证明 :)20.3().,(~ˆ 2

xxSbNb

.ˆ

)21.3(),2(~ˆ)2( 2

22

2

独立与且 e

e

Qb

nQn

又由 (3.17),(3.18) 知

27

故有

.ˆˆ

)22.3().2(~ˆ

ˆ

),2()2(ˆ)2(ˆ

2

2

2

2

这里

即 ntSbb

ntnn

S

bb

xx

xx

28

当 H0 为真时 b=0, 此时

)24.3(),2(ˆ

|ˆ|||

,0)ˆ(

)23.3().2(~ˆ

ˆ

2/

0

ntSb

t

HbbE

ntSb

t

xx

xx

的拒绝域为即得且

此处为显著性水平 .

29

当假设 H0:b=0被拒绝时 , 认为回归效果是显著的 , 反之 , 就认为回归效果不显著 . 回归效果不显著的原因可能有如下几种 :1, 影响 Y取值的 ,除 x及随机误差外还要其它不可忽略的因素 .2,E(Y) 与 x的关系不是线性的 , 而存在着其它的关系 .3,Y与 x不存在关系 .因此需要进一步分析原因 , 分别处理 .

30

例 4(续例2) 检验例 2 中的回归效果是否显著 , 取 =0.05.解 由例 2, 例 3已知Sxx=8250, 查表得 t0.05/2(n2)=t0.025(8)=2.3060.由 (3.24), 假设 H0:b=0 的拒绝域为

,9.0ˆ,48303.0ˆ 2 b

.3060.225.46825090.0

48303.0||

.3060.2ˆ|ˆ|||

t

Sbt xx

现在

故拒绝 H0:b=0, 认为回归效果是显著的 .

31

(五 ) 系数 b的置信区间 当回归效果显著时 , 常需要对系数 b作区间估计 . 可由 (3.22) 式得到 b的置信水平为 1的置信区间为

)25.3(.ˆ

)2(ˆ2/

xxSntb

).50712.0,45894.0(8250

90.03060.248303.0

例如 , 例 1 中 b的置信水平为 0.95 的置信区间为

32

(六 ) 回归函数 (x)=a+bx函数值的点估计和置信区间 设 x0 是自变量 x的某一指定值 , 由 (3.9) 000

ˆˆˆˆˆ)(ˆˆ xbayxxbaxy 的函数值在可用

无偏的因此这一估计量是可以证明

考虑相应的估计量

,)ˆ(

)27.3(,ˆˆˆ

:

)26.3(.ˆˆ)(ˆˆ

00

00

000

bxaYE

xbaY

xbaxy

作为 (x0)=a+bx0 的点估计 , 即

33

下面求 (x0)=a+bx0 的置信区间 . 由本章附录3 知

).1,0(~)(1

)(ˆ

20

00 N

S

xx

n

bxaY

xx

)28.3(),2(~ˆ)2( 2

22

2

nQn e

又由 (3.17)(3.18) 知

34

且由本章附录 6 知

).2(~)(1

ˆ

)(ˆ

),2(~)2(ˆ)2(

)(1

)(ˆ

,ˆ,

20

00

2

2

20

00

0

nt

S

xx

n

bxaY

ntnn

S

xx

n

bxaY

YQ

xx

xx

e

即

于是相互独立

35

于是得到 (x0)=a+bx0 的置信水平为 1的置信区间为

.,

||,

)'29.3(.)(1

ˆ)2(ˆˆ

)29.3(,)(1

ˆ)2(ˆ

0

00

20

2/0

20

2/0

时为最短当的增加而增加它随的函数这一置信区间的长度是

或

xx

xxx

S

xx

nntxba

S

xx

nntY

xx

xx

36

(七 )Y的观察值的点预测和预测区间若对指定点 x=x0 处因变量 Y的观察值 Y0感兴趣 , 然而我们在 x=x0 处并未进行观察或者暂时无法观察 . 经验回归函数的一个重要应用是 , 可利用它对因变量 Y的新观察值 Y0进行点预测或区间预测 .

37

若 Y0 是 x=x0 处对 Y的观测结果 , 由 (3.2) 知它满足

Y0=a+bx0+0, 0~N(0,2). (3.30)随机误差 0 可正也可负 , 其值无法预料 , 就用 x0 处的经验回归函数值

000ˆˆ)(ˆˆ xbaxY

作为 Y0=a+bx0+0 的点预测 . 下面求 Y0 的预测区间 .

38

因 Y0 是将要做的一次独立试验的结果 , 因此它与已经得到的试验的结果 Y1,Y2,...,Yn相互独立 .

)31.3().1,0(~)(1

1

ˆ

,])(1

1[,0~ˆ

.ˆ.,,

)(ˆˆ,,,,ˆ

20

00

22

000

0021

021

N

Sxx

n

YY

S

xx

nNYY

YYYYY

xxbYYYYYb

xx

xx

n

n

即

可证相互独立与故的线性组合是

故的线性组合是因

39

再由 (3.28),(3.31) 及 的相互独立性知eQYY ,ˆ, 00

),2(~)2(ˆ)2(

)(11

ˆ

2

22

0

00

ntn

n

Sxx

n

YY

xx

即

).2(~)(1

1ˆ

ˆ

20

00

nt

S

xx

n

YY

xx

40

于是对于给定的置信水平 1有

,1)2()(11ˆ

|ˆ|

2/2

0

00

nt

S

xx

n

YY

P

xx

.1)(1

1ˆ)2(ˆ

)(11ˆ)2(ˆ

20

2/0

0

20

2/0

xx

xx

S

xx

nntY

YS

xx

nntYP

或

41

称为 Y0 的置信水平为 1的预测区间 .

)'32.3(

)(11ˆ)2(ˆˆ

)32.3(,)(1

1ˆ)2(ˆ

20

2/0

20

2/0

xxn

xxn

S

xx

nntxba

S

xx

nntY

即

区间

42

这一预测区间的长度是 x0 的函数 , 它随 |x0 x| 的增加而增加 . 当 x0 =x时为最短 . 将(3.32) 与 (3.29)比较 , 知道在相同的置信水平下 , 回归函数值 (x0) 的置信区间要比 Y0 的预测区间要短 . 这是因为 Y0=a+bx+0比 (x0)=a+bx0多了一项的缘故 .

43

例 5(续例2) (1) 求回归函数 (x) 在 x=125 处的值 (125) 的置信水平为 0.95 的置信区间 , 求在 x=125 处 Y的新观察值 Y0 的置信水平为0.95 的预测区间 ; (2) 求在 x=x0 处 Y的新观察值 Y0 的置信水平为 0.95预测区间 .解 (1) 由例 2, 例3已知

,64.57]48303.073935.2[ˆˆ

,3060.2)8(

,145,9.0ˆ,8250,73935.2ˆ

,48393.0ˆ

1251250

2/05.0

2

|

xx

xx

xYY

t

xSa

b

即得查表得

44

得 (125) 的 0.95置信区间为 (57.640.84)得 x0=125 处 Y0 的 0.95预测区间为 (57.642.34)

,34.2)(1

1ˆ)2(

84.08250

)145125(

10

19.03060.2

)(1ˆ)2(

20

2/

2

20

2/

xx

xx

S

xx

nnt

S

xx

nnt

45

(2) 在 x=x0 处 Y的新观察值 Y0 的置信水平为0.95 的预测区间为

.8250

)145(

10

11ˆ)8(|ˆ

20

025.00

x

tY xx

)29.230.67(145)34.296.76(165)30.288.64(140)32.255.74(160)31.247.62(135)31.213.72(155)32.205.60(130)30.272.69(150)34.264.57(125

0000

的预测区间的预测区间 YxYx

取 x0 不同的值算得下表 :

46

分别将这些区间的下端点和上端点连起来 , 得到曲线 L1 和 L2, 回归直线位于 L1,L2 所围成的带域中心线上 .

40

60

80

100

100 120 140 160 180 200

数据

回归直线

L2

L1

47

(八 ) 可化为一元线性回归的例子 在实际中常会遇到更为复杂的回归问题 , 但在某些情况下 , 可以通过适当的变量变换 , 化成一元线性回归来处理 . 下面介绍几种常见的可转化为一元线性回归的模型 .1, Y=ex, ln~N(0,2), (3.33)其中 ,,2 是与 x无关的未知参数 . 将Y=ex两边取对数 , 得

lnY=ln+x+ln.令 lnY=Y',ln=a, =b, x=x', ln=', (3.33) 式变为一元线性回归模型 :

Y'=a+bx'+', '~N(0,2). (3.34)

48

2, Y=x, ln~N(0,2), (3.35)其中 ,,2 是与 x无关的未知参数 . 将Y=x两边取对数 , 得 lnY=ln+lnx+ln.令 lnY=Y', ln=a, =b, lnx=x', ln=', (3.35)可转化为一元线性回归模型 : Y'=a+bx'+', '~N(0,2). (3.36)3, Y=+h(x)+, ~N(0,2). (3.37)其中 ,,2 是与 x无关的未知参数 . h(x) 是 x的已知函数 , 令 =a, =b, h(x)=x', (3.37) 可转化为一元线性回归模型 :

Y=a+bx'+, ~N(0, 2). (3.38)

49

若在原模型下 , 例如在模型 (3.37) 下 , 对于(x,Y) 有样本 (x1,y1),(x2,y2),...,(xn,yn) 就相当于在新模型 (3.38) 下有样本 (x1',y1),(x2',y2),...,(xn',yn). 其中 xi'=h(xi), 于是就能利用上节的方法来估计 a,b或对 b作假设检验 , 或对 Y进行预测 . 在得到 Y关于 x' 的回归方程后 , 再将原自变量 x代回 , 就得到 Y关于 x的回归方程 , 它的图形是一条曲线 , 也称为曲线回归方程 .

50

例 6 表 9.18 是 1957 年美国旧轿车价格的调查资料 , 今以 x表示轿车的使用年数 , Y表示相应的平均价格 , 求 Y关于 x的回归方程 .

表 9.18

2042262904845387651087149419432651)(10987654321

yx

美元平均价格使用年数

0

500

1000

1500

2000

2500

3000

0 2 4 6 8 10

51

解 从散点图看 Y 与 x呈指数关系 , 于是采用模型 (3.33), 即 Y=ex, ln~N(0,2),经变量变换后就转化为 (3.34).

Y'=a+bx'+', '~N(0,2),其中 lnY=Y',ln=a, =b, x=x', ln=', 数据经变换后得到

3181.54205.56699.51821.62879.6ln'109876'6399.69912.63092.75720.78827.7ln'54321'

yyxxyyxx

52

经计算得

,3060.2)8(3693.32ˆ

ˆ||

.29768.0164585.8'ˆ

,164585.8ˆ,29768.0ˆ

2/05.0

tSb

t

xy

ab

xx

又可求得从而有

.e26.3514)'ˆexp(ˆ 29768.0 xyy

即知线性回归的效果是高度显著的 . 代回原变量 , 得曲线回归方程 :

53

§4 多元线性回归

54

在实际问题中 , 随机变量 Y往往与多个普通变量 x1,x2,...,xp(p>1) 有关 . 对于自变量x1,x2,...,xp 的一组确定的值 , Y有它的分布 . 若 Y的数学期望存在 , 则它是 x1,x2,...,xp 的函数 , 记为 (x1,x2,...,xp), 它就是 Y关于 x的回归函数 . 我们感兴趣的是 (x1,x2,...,xp) 是x1,x2,...,xp 的线性函数的情况 , 仅讨论下述多元线性回归模型 :

Y=b0+b1x1+...+bpxp+, ~N(0,2), (4.1)其中 b0,b1,...,bp,2 都是与 x1,x2,...,xp无关的未知参数 .

55

设 (x11,x12,...,x1p,y1),...,(xn1,xn2,...,xnp,yn) (4.2)是一个样本 . 和一元线性回归的情况一样 , 用最大似然估计法来估计参数 . 即取

)3.4()(

ˆ,,ˆ,ˆˆ,,ˆ,ˆ

1

2110

110010

n

iippii

ppp

xbxbbyQ

bbbbbbbbb

时使当

达到最小 .

56

求 Q分别关于 b0,b1,...,bp 的偏导数 , 并令它们等于零 , 得

)4.4(

.,,2,1

,0)(2

,0)(2

1110

1110

0

pj

xxbxbbyb

Q

xbxbbyb

Q

n

iijippii

j

n

iippii

化简 (4.4) 式得

57

(4.5) 式称为正规方程组 .)5.4(

.

,

,

1

1

2

122

111

10

11

11

1212

1

211

110

11122

1110

n

iiip

n

iipp

n

iiip

n

iiip

n

iip

n

iii

n

iipip

n

iii

n

ii

n

ii

n

ii

n

iipp

n

ii

n

ii

yx

xbxxbxxbxb

yx

xxbxxbxbxb

yxbxbxbnb

58

为了求解的方便 , 将上式写成矩阵形式 , 为此 , 引入矩阵 :

pnnpnn

p

p

b

bb

B

y

yy

Y

xxx

xxxxxx

X

2

1

2

1

21

22221

11211

,,

1

11

(4.5) 式可写成X'XB=X'Y, (4.5)'

这就是正规方程组的矩阵形式 .

59

在 (4.5)' 式两边左乘 X'X的逆阵 (X'X)1( 设(X'X)1 存在 ) 得到 (4.5)' 的解

)6.4(,')'(

ˆ

ˆ

ˆ

ˆ 11

0

YXXX

b

b

b

B

p

这就是我们要求的 (b0,b1,...,bp)' 的最大似然估计 .

60

作为 (x1,x2,...,xp)=b0+b1x1+...+bpxp 的估计 , 方程

yxbxbb ppˆˆˆˆ

110 取

)7.4(ˆˆˆˆ110 ppxbxbby

称为 p元经验线性回归方程 , 简称回归方程 .

61

作业 第九章习题第 325页

第 6 题

62

请提问