多元线性回归的应用 李坦达 0811160005

一．回归分析原理简述

1.多元线性回归分析模型

在实际中,常常会遇到一个因变量与多个自变量间数量关系的问题, 直线回

归分析模型无法解决这个问题,需要构造一个因变量与多个自变量间的线性数量

关系模型,其数学模型为:

Y=β0+β1X1+β2X2+…+βmXm+ε

ε～N(0,σ2 )

式中,βi ( i=0, 1, 2,…,m)称为偏回归系数,其意义为当其他自变量对应的因

变量的线性影响固定时,βi 反映了第i个自变量Xi 对因变量 Y线性影响的度量;

ε 表示回归值与测量值之间的误差。采用最小二乘法确定回归系数。对Y 和X1,

X2, …,Xp 分别进行n 次独立观测, 取得样本

(Y1, Xi1,Xi2, …,Xip ) , i= 1, 2, …n,

则多元线性回归模型的矩阵形式为:

式中

设的估计值 β 的估计值为^β （

^ ^^

0 1 2......., ,

^

pb bb b ）’,Y 的估计量为

（

^Y

^ ^ ^

0 1, , . . . . . . ,

py y y ）’,采用最小二乘法，得出多元线性回归模型：

1

2.多元线性回归模型的检验

当求出线性回归方程后， 还需对回归方程进行显著性检验，一般采用统计

方法对回归方程进行检验，如 R检验，回归方程显著性的 F检验，回归系数显著

性的 T检验

（1）对回归方程的显著性检验是指检验假设

如果H0成立，说明不论 如何变化，y并不随之而

改变，显而易见，在这种情况下用模型(7)来表示y与

的关系是不和适的。如果H0不成立，说明 中至少有一个不等于

零，从而y至 少随 中之一的变化而线性变化。因此，

对回归方程显著性检验是从整体上 看y与 是否存在

线性关系。 其中回归平方和

残差平方和

对于给定的显著性水平 α，当计算得到的 F 值满足

时，H0不成立，认为在显著性水平α下，y与 有 显著的

线性关系，即回归方程是显著的。反之，则认为回归方程不显著。

(2) R 检验.

R 在这里被称为复相关系数或全相关系数,复相关系 R 的计算公式为

复相关系数 R 说明x1 ～ xm 这一组影响因素与 Y的相关程度. R 值越接近1 ,

说明利用多元线性回归的效果越好。

(3) F 检验

F 检验是用来检验整个回归系数是否有意义.构造统计量 F 为:

2

F 服从第一自由度为 m ,第二自由度为 n - m - 1 的 F 分布,给定显著水平 A ,

查 F 分布表得 FA ( m , n - m - 1) .如果 F > FA ( m , n - m - 1) ,则认为

这一组回归系数有意义,可以利用所建立的多元线性回归预测模型进行预测;否

则认为这一组回归系数无意义,所建立的多元回归模型不成立.

(4) T 检验.它是用来对每个回归系数是否有意义进行的检验.构造统计量

T.

其中 cii 是矩阵( X′ X)主对角线的第 j 个元素, Tj 服从自由度为 n - m - 1

的分布.当给定显著水平 A ,如果

则认为 xi 对 y 有显著影响,否则认为无影响,应将相应的无影响因素去掉.

（5）残差检验

残差是各观测值Yi与回归方程所对应得到的拟合值 之差,实际上,它是线

性回归模型中误差ε的估计值。ε～N (0 ,σ

^Y

2)即有零均值和常值方差 ,利用残

值的这种特性反过来考察原模型的合理性就是残差分析的基本思想。因此残差应

该围绕零点随机出现，其期望应为 0。

二．适用问题

在我们探讨理论如何应用理论模型之前先分析一下哪类问题适合用线性回

归分析来解决。

人们经常会遇到一些处于同一个统一体中的变量 ,这些变量相互联系、 相

互制约 ,客观上存在一定的关系。但由于随机因素的影响 ,使变量之间的关系具

有某种不确定性 ,无法得到精确的关系表达式。这时人们往往用统计的方法 ,

在大量的试验和观察中 ,寻找隐藏在随机变量后的统计规律性 ,即相关关系。研

究变量间相关关系时所建立的数学模型及所作的统计分析称为回归分析建模 ,

它主要包括以下内容:

(1)从一组数据出发,建立有相关关系的变量间的经验公式;

(2)对所得关系式的可信程度进行统计检验;

(3)从影响着某一个变量的诸多变量中 ,判断哪些变量的影响是显著的 ,哪

些变量的影响不显著;

(4)利用优化的关系式进行预测和控制。

在此举例说明适合回归分析的问题类型。由于不定时发生山体滑坡现象，盘

3

山公路一直是事故发生的高发带，那么我们就有意识要防范这样的的事故发生。

对于一条新建成的盘山公路，我们自然要问几个基本问题：

第一，山体滑坡跟哪些因素有关？

这个问题探讨就是山体滑坡和其他因素的相关性问题，那么我们就可以总结

这一山区不同地区历史上的山体滑坡记录，作为回归分析中的 Y。再将这些地区

的山体概况例如层岩性、降雨量、土地利用情况、植被覆盖率、地震烈度、岸坡

和工程岩组等信息作为 Xi。对 Y 和 X 进行回归分析，以及优化就得到了山体滑

坡与山体概况的关系，以及各个因素对其影响程度大小。

第二，哪些路段容易发生事故？

在我们得到了上述回归模型后就可以将公路沿途分段，利用模型带入这一段

的山体概况 Xii，就得到一个反映事故发生概率的数值，由此我们就可以回答这

个问题。

第三，如何防止事故的放生？

这里我们利用回归分析得到的结果，对影响程度较大的因素进行治理，例如

植被覆盖率是影响山体滑坡的重要因素，我们就在危险路段特别地提高植被的覆

盖率。

综上所述，回归分析是用来寻找变量之间相关性的理论方法，应用中主要是

用来判断各个因素之间的相关性和相关程度，以及进一步的预测可预防控制。

三．应用线性回归分析

在上一节的例子中我们可以看出应用解决回归分析解决问题的大致方法，这

里将具体地阐述应用步骤。

应用回归分析的具体步骤如下：

（1）收集数据

对于某个需要进行预测的变量与其可能相关的变量，我们需要大量的数据才

能计算他们的统计关系，数据的要求自然是真实可靠，对于时间上过于久远的数

据要检验的它是还符合目前的现状，有了准确的数据我们才能得到有价值的结

果。

（2）作散点图

对于性质不明确、无法判断其是否具有相关关系的两组数据，可先作散点图，

在图上看它们之间有无线性关系，关系的密切程度如何，然后再进行相关的回归，

只有在散点图大致呈线性时求出的回归直线方程才有实际意义。

如下图，大部分点接近线性，只有在 X轴末端有两个点例外，对于这样的散

点图我们可以接受它呈线性并利用线性回归分析来处理，当需要更高的精度的计

算时可以将 X=2,4 前后分段处理。

4

图 1

（3）求线性回归方程

通过计算或是软件处理得到线性回归方程，在计算机上常用处理软件有

EXCEL、MATLAB 以及 SPSS。

（4）检验方程和系数的显著性

多元回归的显著性检验，包括对总的回归效果的检验以及对每个自变量的回

归系数的检验两个方面，各种检验方法的原理已经在第一章中讲述。显著性检验

是回归分析最重要的一步，对于不符合要求的模型还要进行逐步分析进行优化。

（5）利用方程进行预测

预报预防领域中大量应用了多元线性回归，通过由历史数据得到的变量关系

在根据新的因变量数据推测自变量的结果。

上述步骤的流程图如下，在比较判定时如果模型的显著性不符合要求，可以

引入新的因变量 Xi，重新建立线性回归模型。还有一种方法是利用逐步分析方

法，讲变量一个一个引入回归方程，去掉不显著的变量，从而优化回归方程。下

一章节将用 MATLAB 来处理一个实例。

0

5

收集历史数据

建立正规方程组

求解回归系数

建立回归模型

进行 R 检验、F 检验、T 检验

比较判定

结果

满足条件

确定因变量和自变量

不满足条件

四．应用 MATLAB 进行回归分析

学模型进行检验 ,并

分析

,第三个是与统计量F对应的概率p,当p<α时

图 2

多元回归分析通常都要处理大量的数据 ,工作量非常大。随着 MATLAB 等计

算机软件的开发和普及 ,减少了对计算机编程的要求 ,大大提高了数据处理的

效率。MA TLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和

算法。运用 MATLAB 统计工具箱 ,人们可以十分方便地在计算机上进行计算 ,从

而进一步加深理解 ,同时 ,其强大的图形功能使回归分析的过程和结果可以直

观地展现在人们面前。本节通过一个例子,介绍如何利用 MATLAB 软件建立最具普

遍性的多元线性回归模型 ,并透过输出的结果对初步的数

模型的不足以及利用逐步回归进行模型的优化等。

MATLAB 统计工具箱中提供了命令 regress, 可以实现多元线性回归,具体用

法是:C = regress(Y, X) 或 [C, bint, r, rint, stats] =regress(Y, X, α )。

其中 Y是因变量数据向量, X 是自变量数据矩阵,α为显著性水平(缺省时设定为

0.05)。 输出向量 C, bint 为回归系数估计值及其置信区间; r, rint 为残差 (向

量)及其置信区间; stats是用于检验回归模型的统计量,有 3个数值,第一个是R2,

R是相关系数,第二个是 F统计量值

6

拒绝H0,说明回归模型假设成立。

下面使用一组线性关系较好的数据为例来讲解如何利用 MATLAB 进行多元线

性回

（

Y为自变量，X1X2X3X4为 4 个

因变量,录入到MATLAB中的Y与X的具体数据如下：

[Y,X]

1.0e+004 *

0.6242 5.7277 0.6038 0.0369 6.2388

（2） 做散点图

归分析。

1） 统计数据

下面的变量表中便是这一章节里面选择的数据，

>> YX=

YX =

0.1133 0.3624 0.0519 0.0041 4.0152

0.1146 0.4038 0.0538 0.0114 4.0581

0.1160 0.4518 0.0572 0.0153 4.2361

0.1176 0.4860 0.0630 0.0192 4.3280

0.1212 0.5302 0.0700 0.0216 4.4706

0.1867 0.5957 0.0756 0.0258 4.6004

0.1643 0.7207 0.0947 0.0296 4.7597

0.2005 0.8989 0.2041 0.0281 7.9873

0.2122 1.0201 0.2091 0.0157 5.1282

0.2199 1.1954 0.2140 0.0212 5.2783

0.2357 1.4922 0.2390 0.0176 5.4334

0.2665 1.6918 0.2727 0.0179 5.5329

0.2937 1.8598 0.2822 0.0300 5.6740

0.3149 2.1662 0.2990 0.0240 5.8360

0.3483 2.6652 0.3297 0.0265 5.9482

0.4349 3.4651 0.4255 0.0191 6.0220

0.5218 4.6533 0.5127 0.0280 6.1470

7

图 2

上面四幅图分别是Y与X1,X2, X3,X4的散点图，由此可见这些因变量与自变量

有很强的线性关系，可以用线性多元回归的方法来分析。

（3）利用 regress 命令建立模型键入 X矩阵与 Y矩阵后的程序与结果如下：

>> [C,bint,r,rint,stats]=regress(Y,X,0.05)

C =

767.7742

0.0543

0.3680

1.1013

-0.0037

bint =

1.0e+003 *

0.2463 1.2892

0.0000 0.0001

0.0001 0.0007

-0.0003 0.0025

-0.0000 0.0000

r =

78.5880

-15.2637

-77.1611

-141.1461

-175.1747

381.9249

-17.0636

8

-18.9573

45.7389

-45.8730

-95.5303

-20.0615

-0.9498

54.5974

-18.6143

144.5755

-45.3731

-34.2563

rint =

-147.9861 305.1621

-292.0271 261.4998

-358.1666 203.8443

-415.3225 133.0302

-440.3334 89.9841

244.9511 518.8988

-276.0208 241.8936

-88.9061 50.9916

-216.6026 308.0803

-325.8921 234.1462

-380.3810 189.3203

-300.1097 259.9866

-262.2957 260.3960

-242.1716 351.3664

-316.2305 279.0019

-110.5654 399.7165

-303.5916 212.8455

-242.4303 173.9178

stats =

1.0e+004 *

0.0001 0.0475 0.0000 1.9283

>>p=stats(1,3)

p =

6.039613253960852e-014

>> R=stats(1,1)^(1/2)

R =

0.99659739080425

>> F=stats(1,2)

F =

4.751385653047442e+002

9

计算出:回归系数 C=[767.7742;0.0543;0.3680;1.1013;-0.00367];相关系数 R

=0.9966;统计量 F对应的概率 p=6.039e-014。

（4）对模型进行检验

相关系数 R :一般地,若相关系数 R 的绝对值在 0. 8～1 范围内,可断定回

归变量之间具有较强的线性相关性。R 的绝对值为 0.9966 ,表明线性相关性很

强。

F检验法:本例中 F=475>>F1-0.05(4 ,13)=3.17(查表)。

p 值检验法:若 p <α(α为预定显著水平) ,则说明因变量 y 与自变量 x1 ,

x2 , …, xk 之间存在显著地线性相关关系。本例中 p<<α= 0. 05。

以上三种统计检验方法推断的结果是一致的,说明因变量 y 与自变量 x1,

x2,x3 之间存在显著地线性相关关系,因而模型从整体看来是可用的。

将因变量数据带入模型得到 Y 的估计值与原始数据进行对比，程序和图如

下：

>> y1=ones(18,1);

>> y1=X*C;

>> lx=[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18];

>> plot(lx,Y,'k');

>> hold on

>> plot(lx,y1,'r');

图 3

图中黑色曲线代表原始数据，红色曲线代表估计值，观察曲线符合度很好。

（5）残差检验

利用 MATLAB 进行残差分析则是通过时序残差图。以观测值序号为横坐标 ,

10

残差为纵坐标所得到的散点图称为时序残差图 ,画出时序残差图 MATLAB 语句为

rcoplot ( r, rint )。通过观察残差图 ,可以对奇异点进行分析 ,还可以对误

差的等方差性以及对回归函数中是否包含其它自变量、 自变量的高次项及交叉

项等问题给出直观的检验。下图是本例的时序残差图 ,可以清楚看到大部分误差

条都通过零线 ,说明它们不是异常值 ,不过第 6 个样本点的误差条偏离零线较

远 ,说明其为奇异点，模型还可以进一步进行优化。

图 4

（6）逐步回归优化模型

本着应挑选出对因变量 y 影响显著的那些自变量来建立模型,并从便于应

用的角度应使模型中自变量个数尽可能少出发,下面我们对上述模型采用逐步回

归法进行优化。逐步回归法是一种有效地选择重要变量的方法。它的基本思路是,

先确定一个包含若干自变量的初始集合,然后每次从集合外的变量中引入一个对

因变量影响最大的,再对集合中的变量进行检验,从变得不显著的变量中移出一

个影响最小的 ,依此进行 ,直到不能引入和移出为止。引入和移出都以给定的显

著性水平为标准。MATLAB 统计工具箱中逐步回归的命令是 stepwise ,它提供了

一个人机交互式画面 ,通过此工具可以自由地选择变量进行统计分析。该命令的

格式为:stepwise (x ,y ,inmodel ,alpha)其中 x 是自变量数据,排成 n×m 矩

阵( m 为自变量个数, n 为每个变量的数据量) , y 是因变量数据,排成 n ×1

向量 ,inmodel 是自变量初始集合的指标(缺省时为全部自变量) ,alpha 为显

著水平(缺省时为 0.05) 。在 MATLAB 中输入:

> > stepwise (X ,Y)

出现下图的人机交互界面,利用软件的自动筛选功能，将X1,X2保留在优化后的回

11

归方程之中，而把对自变量影响相对较小的项剔除，在下面的细节图里面我们看

到优化后R2、F和p的值，与前面得到的各值做对比。

图 5

对比结果：

p =6.039613253960852e-014 p’=3.33067e－016

R-square =0.99320635935784 R’-square=0.991486

F =4.751385653047442e+002 F’=873.397

我们发现 R没有太大的变化，而 F的值大大提高，且 p的值大大减少，下面

坐标轴表示的剩余标准差 RMSE 由 1500 减少到接近 100 左右,这些都表明仅含

X1 ,X2 的模型较之前模型更加合适。

于是我们得到新的模型: 1 2803.318 0.068148 0.323302Y X X= + +

五．回归分析在天文领域的应用实例

引用一个回归分析在天文学上面的应用实例，这是中国科学院陕西天文台程

贤德的一篇学术报告《太阳耀斑引起的磁扰的多因子回归分析》这里面应用了逐

步回归方法来研究作为因变量的太阳耀斑的日面经纬度、面积、持续时间、地球

的日面纬度、地磁轴与日地连线的夹角对作为自变量的地磁扰动指数的影响，以

12

及每个因子对其影响的程度。

在太阳耀斑爆发后数天内,地球上会出现一系列物理效应,其中地磁扰动是

个引人注目且非常灵敏的物理现象。现已观测到大磁暴期间的地球环境对地面远

距离无线电通讯、输电和输油线路都有不良影响。因此对地磁扰动与太阳耀斑的

关系的研究不仅具有纯粹的科学意义,也很有实用价值,比如促进我们对日地藕

合全面和深刻的认识,并能从理论上给予解释,进而准确地进行预报。

除选用了代表耀斑日面位置的参数——耀斑的日面经(j)纬(w)度外,还选用

了耀斑的持续时间(t)和修正面积(s)这两个参数来研究太阳耀斑与地磁扰动的

关系。此外，磁层的位形还受地磁轴与日地连线夹角的影响 ,这些因素也有可能

影响地磁扰动，为此把地球的日面纬度（ Hθ ）和地磁轴与日地连线夹角( 2θ )作

为地球空间位置影响地磁扰动的两个因子,利用多元逐步回归方法分析上述各个

因子在太阳耀斑引起的地磁扰动中的作用。

用多元逐步回归方法分析上述6个因子对磁扰指数 ,对磁扰指数 PA 的贡献情

况,在该方法中按照各因子对 PA 贡献的大小,由大到小逐个将显著因子引入回归

方程对已被引入方程的因子,若由于新因子的引入而变得对 PA 的影响不显著时,

就随时从方程中剔徐,直到既不能引入也不能剔除因子时为止,最后所得的回归

方程中包括所有对 PA 作用显著的因子,去掉了对 PA 贡献不显著的因子,故也称

为最佳回归方程表 1、2、3给出了在显著性水平α =0.1 的水平上,各显著因子的

标准回归系数及总体回归的相关系数 R,检验值 F及方差 。 dS 这一实例中将太阳耀斑的日面位置按其在日面上的中心经距分成若干个区

域，在每个区域中有一定数量的样本数，对每个区域分别进行逐步回归得到这一

区域的显著因子以及其标准回归系数。再通过这些区域的总体情况判断各个因素

对磁扰的影响程度。

表 1

13

表 2

表 3

对于上表的结果的讨论如下：

（1） 太阳耀斑的持续时间与磁扰显著正相关的区域最多,且其标准回归

系数也最大,故它对磁扰的贡献最大。

（2） 耀斑日面经纬度与磁扰的关系在有些区域并不显著,但在它们显著

相关的区域,均为负相关,从总体上看,在日面上随与日面中心距离

的增大,耀斑引起的磁扰变弱。

（3） 在诸因子中,耀斑面积与磁扰显著相关的区域最少,且其标准回归系

数的绝对值也最小。说明耀斑面积对磁扰的影响较其它因素小。

（4） 地球的绝对日面纬度在数个区域中与磁扰显著正相关，说明在地球

绝对日面纬度值较大的春秋两季地球的日面纬度对磁扰的影响较大

（5） 当把太阳耀斑以日面赤道为界分为南北区时,地磁轴与日地连线的

夹角对磁扰影响显著的区域明显增多。且对位于日面南半球的耀斑,

该因子均与磁扰显著正相关。而当耀斑出现在日面北半球时,该因子

均与磁扰显著负相关。这一方面说明了南北两半球耀斑引起的磁扰

具有不对称性。另一方面也说明对于出现在日面南半球的耀斑,当其

14

喷发物的运动方向与地磁轴的夹角较大时在冬季产生的磁扰较剧烈

对于出现在日面北半球的耀斑,当其喷发物的运动方向与地磁轴的

夹角较小时 在夏季 产生的磁扰较强。这可能是冬夏季磁扰强度有

差异的一个原因。

（6） 由于各方差的值均较大,所以用此法来预报耀斑引起的磁扰精度还

不够。要想提高预报精度,还需进一步引入反映耀斑物理特征的其它

参数。

15

参考文献

[1]丁月容. 天文数据处理方法. 南京:南京大学出版,1998

[2] 祁红光. 基于多元回归数学模型的分析应用研究. 湖南学院学报,第28

卷第 2期,2007

[3] 程贤德. 太阳耀斑引起的磁扰的多因子回归分析. 陕西夭文台台刊,第

16 卷 1～2 期,1993

[4] 刘勇,白林. 基 MATLA 的回归分析模型在经济预测分析中的应用. 中国

管理信息化,第 11 卷第 5期,2008

[5] 叶峰. 运用 MATLAB 软件进行回归分析建模. 成都航空职业技术学院

学报, 2007 年 6 月第 2 期(总第 71 期) [6] 刘昌蓉, 何政伟, 黄爽兵. 多元回归分析在地质灾害危险性评价中的

应用. 环保科技, 2008 年第 1 期

[7]李金海.多元回归分析在预测中的应用.河北工业大学学报,第 25

卷,1996

16