第六章 多元线性回归预测• 1 、多元线性回归的模型• Y ＝ a+b1X1 +b2X2+… ＋ bmXm

•2 、多元线性回归的参数估计•（最小二乘法） • 3 、多元线性回归的误差分析与统计检

验• 4 、多元线性回归的预测

2 、多元线性回归的参数估计• 如果在对变量 Y 与 Xi(i ＝ 1 ， 2 ，…，

m) 的 n 次观察中，获得了如下数据：

mnmm

n

n

xxx

xxx

xxx

X

21

22221

11211

..........................＝

ny

y

y

Y 2

1

最小二乘法

2

1332211

1

2

21

)(

)ˆ(

),,,(

jmm

n

jjjjj

n

jjj

m

XbXbXbXbaY

YY

bbbaE

为最小。

• 对上式中的 a 、 bi(i=1,2,…,m) 分别求偏导，并令其等于零，经整理后得：

• •

• (4-14)•

•

• (4-15)

Ymmmmmm

Ymm

Ymm

LbLbLbL

LbLbLbL

LbLbLbL

＋＋

＋＋

＋＋

2

2

2

211

2222112

1121111

.................................................

i

m

ii XbYa

1

其中

n

kkY

nY

1

1

n

kiki X

nX

1

1

jjki

n

kikij XXXXL

)((1

n

k

n

kjk

n

kikjkik mjiXX

nXX

1 11

),3,2,1,())((1

，

第一节 二元线性回归预测• 以上讨论了两个变量因素之间的回归预测问

题。然而，客观事物的变化往往受多种因素的影响，即使其中一个因素起着主导作用，但有时其他因素的作用也是不可忽视的。在实际问题中，大多数影响因变量的因素不是一个，而是多个。我们把包括两个或两个以上自变量的回归称为多元回归。这一节中，我们首先讨论两个自变量的模型，借以说明多元回归的使用，然后推广到三个或三个以上自变量的回归模型。

一、二元回归模型

22110 xbxbbY

二、二元回归方程

• 称为常数，•

• ， 称为 Y 对 x 的回归系数

2211022110ˆˆˆ)()(ˆ xbxbbxbxbbEYEY

0̂b

1̂b 2̂b

三、 参数估计

• 1 、求估参数：用最小二乘法• 系数的计算公式为：

n

ii

n

iii

n

i

n

iiii

n

iii

n

ii

n

i

n

iiii

n

ii

n

ii

n

ii

xbxxbxbyx

xxbxbxbyx

xbxbbny

1

22

1221

11

1202

121

12

21

11

1101

12

121

110

ˆˆˆ

ˆˆˆ

ˆˆˆ

2 、回归系数 、 的含义

• 的含义：•

1̂b 2̂b

1̂b

2̂b 的含义：

3 、 的方差和标准差估计• 标准差：同一元线性回归的情况一

样，标准误差是对 y 值与模型估计值之间的离差的一种度量，它是计算置信区间估计值和其他拟合优度的基础指标。其计算公式为：

21ˆ,ˆ bb

222111

2

1

2

ˆˆ33

ˆˆ

xxyybxxyybyyQ

n

Q

n

yySy

iiiii

n

iii

四、回归方程和系数的检验 • 1 ．复可决系数 R2

2

2221112

1

2

1

22

2

ˆˆ

1

ˆ

12)(

)ˆ

yy

xxyybxxyybR

S

Q

yy

yy

yy

yy

S

UR

i

iiii

n

ii

n

iii

i

i

总总

（

2 、 复相关系数

• 对于多元线性回归而言，多元相关系数 R 似乎是多余的，它并未提供任何新的信息，只是可决系数的平方根。

3 、回归方程的显著性检验

•4 、回归系数的检验：• t 检验（个体检验）

3

2

12

2

nQ

U

nQ

UF

F 检验（全检验） :

5 、置信区间• 多元回归的近似置信区间的估计方法同简

单回归相类似，其置信区间的公式为：• 置信区间＝

• 式中， n 是观察值的个数； p 是自变量• 的个数， 是自由度为 n-p 的 t 统计

量数值表中的数值。

])1(ˆ,)1(ˆ[ 2/02/0 SypntySypnty

)1(2/ pnt

二元线性回归的例子

【例】【例】一家百货公司在一家百货公司在 1010 个个地区设有经销分公司。公司地区设有经销分公司。公司认为商品销售额与该地区的认为商品销售额与该地区的人口数和年人均收入有关，人口数和年人均收入有关，并希望建立它们之间的数量并希望建立它们之间的数量关系式，以预测销售额。有关系式，以预测销售额。有关数据如下表。试确定销售关数据如下表。试确定销售额对人口数和年人均收入的额对人口数和年人均收入的线性回归方程，并分析回归线性回归方程，并分析回归方程的拟合程度，对线性关方程的拟合程度，对线性关系和回归系数进行显著性检系和回归系数进行显著性检验验 ((=0.05)=0.05) 。。

销售额、人口数和年人均收入数据

地区编号

销售额（万

元） y

人口数( 万人 )

x1

年人均收入

( 元 )x2

1

2

3

4

5

6

7

8

9

10

33.3

35.5

27.6

30.4

31.9

53.1

35.6

29.0

35.1

34.5

32.4

29.1

26.3

31.2

29.2

40.7

29.8

23.0

28.2

26.9

1250

1650

1450

1310

1310

1580

1490

1520

1620

1570

一个二元线性回归的例子(Excel 输出的结果 )

SUMMARY OUTPUT

回归统计Mul ti pl e R 0. 968159025R Square 0. 937331897Adj usted R Square0. 919426725标准误差 2. 010050279观测值 10

方差分析df SS MS F Si gni fi cance F

回归分析 2 423. 01789 211. 50894 52. 34978 6. 16117E-05残差 7 28. 282115 4. 0403021总计 9 451. 3

Coeffi ci ents 标准误差 t Stat P-val ue Lower 95% Upper 95%I ntercept -38. 8251694 8. 4785911 -4. 579201 0. 002546 -58. 8738372 -18. 7765X Vari abl e 1 1. 340693618 0. 1433159 9. 3548147 3. 31E-05 1. 001805625 1. 6795816X Vari abl e 2 0. 022802293 0. 0047542 4. 7962172 0. 001975 0. 011560347 0. 0340442

1

1)1(1 22

pn

nRR调整

1

)ˆ(1

2

pn

yyS

n

ii

y

一个二元线性回归的例子( 计算机输出结果解释 )

1. 销售额与人口数和年人均收入的二元回归方程为

2.2. 多重判定系数多重判定系数 RR22= = 0.93730.9373 ；调整后的；调整后的 RR22= = 0.91940.9194

3.3. 回归方程的显著性检验回归方程的显著性检验 F F = 52.3498 = 52.3498 FF>>FF0.050.05(2,7)=4.74(2,7)=4.74 ，回归方程显著，回归方程显著

4.4. 回归系数的显著性检验回归系数的显著性检验 tt= 9.3548>= 9.3548>tt=0.3646=0.3646 ，； ，； tt2 2 = 4.7962> = 4.7962> tt=2.3646=2.3646

；两个回归系数均显著；两个回归系数均显著

显著性检验

• 1 、 t 检验• 2 、 F 检验• 3 、多重共线性

第三节 非线性回归预测法

.壹 基本概念

.贰 非线性模型及其线性化方法

一 . 基本概念

1. 因变量 y 与 x 之间不是线性相关关系2. 可通过变量代换转换成线性相关关系3. 用最小二乘法求出参数的估计值4. 并非所有的非线性模型都可以化为线性模型

二 . 几种常见的非线性模型 指数函数

1.1. 基本形式：基本形式：2.2. 线性化方法线性化方法

两端取对数得两端取对数得：：

3.3. 图像图像

lnlnyy = ln= lnaa + + bb xx

令令：： yy‘‘ = ln = lnyy ， ， A=aA=a 则有 则有 yy'' = = A+ A+ bb xx

几种常见的非线性模型 幂函数

1.1. 基本形式基本形式：：2.2. 线性化方法线性化方法

两端取对数得两端取对数得：： lg lg y y = lg= lgaa+ + b b lglg x x 令：令： yy'' = lg = lgyy ，， xx''= lg = lg xx，，则则 yy'' = lg= lgaa + + b xb x''

3.3. 图像图像

几种常见的非线性模型 双曲线函数

1.1. 基本形式基本形式：：

2.2. 线性化方法线性化方法 令：令： yy'' = 1/ = 1/yy ，， xx''= 1/= 1/xx, , 则有则有 yy'' = = aa + + b b xx''

3.3. 图像图像

几种常见的非线性模型 对数函数

1.1. 基本形式基本形式：：2.2. 线性化方法线性化方法

xx''= lg= lgx x , , 则有则有 yy'' = = aa + + bbxx''

3.3. 图像图像

b b 0 0b b <0 <0

几种常见的非线性模型 多项式函数

1.1. 基本形式基本形式：： pp xaxaxaay ...2

210

2.2. 线性化方法线性化方法 xx11 = = x x , , xx22 = = xx22 , …, … ，， xxpp = = xxpp , , 则有：则有： y=ay=a00+a+a11 xx11+a+a22xx22+…+…+a+app xxpp

3.3. 图像图像

00

举例

• 例 1 ：某商品从进入市场起，由于质量和成本的改变，变动了七次价格，每次价格变动的时间基本相等，总销售量由逐渐上升到逐渐下降，试对下列资料用抛物线拟合。

价格（元） 销售量1.21.83.14.95.77.18.69.8

4.55.97

7.87.26.84.52.7

例 1 的散点图

0

1

2

3

4

5

6

7

8

9

0 2 4 6 8 10 12

1系列

x1 x2 y

1. 2 1. 44 4. 51. 8 3. 24 5. 93. 1 9. 61 74. 9 24. 01 7. 85. 7 32. 49 7. 27. 1 50. 41 6. 88. 6 73. 96 4. 59. 8 96. 04 2. 7

输入形式

结果SUMMARY OUTPUT

回归统计Mul t i pl e R 0. 991R Square 0. 982Adj usted R Square 0. 975标准误差 0. 275观测值 8

方差分析df SS MS F

回归分析 2 21. 02 10. 51 139. 1残差 5 0. 378 0. 076总计 7 21. 4

Coeffi ci ents标准误差t StatP- val ueI ntercept 2. 588 0. 344 7. 528 7E- 04X Vari abl e 1 2. 065 0. 151 13. 68 4E- 05X Vari abl e 2 - 0. 21 0. 014 - 15. 4 2E- 05

例 2 的散点图

y货运量

010002000300040005000

0 5 10

y货运量

结果SUMMARY OUTPUT

回归统计Mul t i pl e R 0. 991R Square 0. 982Adj usted R Square 0. 975标准误差 0. 275观测值 8

方差分析df SS MS F

回归分析 2 21. 02 10. 51 139. 1残差 5 0. 378 0. 076总计 7 21. 4

Coeffi ci ents标准误差t StatP- val ueI ntercept 2. 588 0. 344 7. 528 7E- 04X Vari abl e 1 2. 065 0. 151 13. 68 4E- 05X Vari abl e 2 - 0. 21 0. 014 - 15. 4 2E- 05

Excel 中回归的步骤

• 1 、输入 x 列 ， y 列；• 2 、进入“工具” “数据分析”

• “ 回归”