第七章 方差分析与实验设计

73
第第第 第第第第第第第第第 第第 第第第

Upload: chadwick-morse

Post on 30-Dec-2015

101 views

Category:

Documents


6 download

DESCRIPTION

第七章 方差分析与实验设计. 教材:第八章. 7.1 回顾假设检验问题. 在参数检验问题中,常见的检验内容有: 例 1: 某炼铁厂铁水含碳量: 记  0 = 4.55 。 现改变工艺条件。检测 5 炉铁水,其含碳量为: 4.28 , 4.40 , 4.42 , 4.35 , 4.37 问工艺条件改变后,铁水含碳量是否改变?. 记:  0 = 4.55 H 0 :  =  0 ( 所观察到的现象是随机误差造成的) H 1 :    0 (所观察到的现象是真实的) 构造“检验统计量”:. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 第七章    方差分析与实验设计

第七章 方差分析与实验设计

教材:第八章

Page 2: 第七章    方差分析与实验设计

在参数检验问题中,常见的检验内容有:

例 1: 某炼铁厂铁水含碳量:

记 0 = 4.55 。现改变工艺条件。检测 5 炉铁水,其含碳量为:

4.28 , 4.40 , 4.42 , 4.35 , 4.37

问工艺条件改变后,铁水含碳量是否改变?

? : H);,,() ,(~ 0012 nXXNX

)108.0,55.4(~ 2NX

7.1 回顾假设检验问题

Page 3: 第七章    方差分析与实验设计

记: 0 = 4.55

H0: = 0 ( 所观察到的现象是随机误差造成的) H1: 0 (所观察到的现象是真实的)

构造“检验统计量”: )1,0( ~ /

0H

20 Nn

XZ

选择检验水平 : ( = 0.05)

96.185.35/108.055.4364.4

/0 n

xZ

05.096.1P Z

决策: 拒绝 H0 ,认为 0 ;

Page 4: 第七章    方差分析与实验设计

例 2 : 某家庭日用食品商店在六个月内作了两次调查,

以了解家庭每月平均消费量有无变化。结果如下

5.0 ,97.4 ,250

4.0 ,91.4 ,2002

222

2

111

sxn

sxn

第二次:

第一次:

? :H

),,() ,(~

),,() ,(~

210

12

22

12

11

2

1

n

n

YYNY

XXNX

Page 5: 第七章    方差分析与实验设计

0 1 2

1 1 2

01 2

2 21 2

1 2

/ 2

0

(1) :

:

(2) : ~ (0,1)

(3) 0.05 1.96

4.91 4.97(4) 0.9487 1.96

0.4 0.5200 250

(5) H

H

H

H

X XZ N

S S

n n

z

z

统计量

不能拒绝

Page 6: 第七章    方差分析与实验设计

  检验多个总体均值是否相等的统计方法,称为方

差分析( analysis of variance, 缩写 ANOVA )

? :H

),,() ,(~

),,() ,(~

),,() ,(~

r210

,12

1212

222

1112

111

2

1

rnrrrrr

n

n

XXNX

XXNX

XXNX

方差分析的一般问题

Page 7: 第七章    方差分析与实验设计

例3:某果酱制造企业希望了解哪种包装的罐头更受消费者欢迎,以确定其包装策略。传统的包装方法是用罐头。市场部经理则提议增添两种新包装:玻璃瓶、塑料瓶。为了避免大量生产的危险,公司接到该建议后,随机选定了三家所在区域与规模都近似的超市进行实验,分别销售一种包装的罐头(采用随机的方法决定哪家超市销售哪一种包装) ,实验期为 4 周。

要检验的对象(因素, factor ):包装方式 因素的不同表现(水平,处理 treatment ): 三种不同的包装形式 H0: 三种包装的平均销量相同

1 = 2 = 3

Page 8: 第七章    方差分析与实验设计

检验疫苗与患病率之间的因果关系

例子: 20 世纪 50 年代 , 美国公共卫生总署组织小儿麻痹症疫苗实验 : 200000 个受试者,和相同数目的对照组。在对照组中,有 138 个孩子患病;在实验组中,有 56 个孩子患病。用随机性是否能解释这个差别?

检验问题:两类孩子的患病率是否相等

7.2 方差分析与实验设计的基本概念

一、一个你熟悉的故事   

工作目的 :

Page 9: 第七章    方差分析与实验设计

二、 怎样进行:实验设计

(一)小儿麻痹症疫苗实验(一)小儿麻痹症疫苗实验实验方案 1 :如果在 1954 年对大量儿童进行接种实验。结果发现 1954 年的发病率确实比 1953 年急剧下降。能否证实疫苗确实有显著效果?

小儿麻痹症是一种每年发病率变化很大的流行病。小儿麻痹症是一种每年发病率变化很大的流行病。

小儿麻痹症是一种每年发病率变化很大的流行病。小儿麻痹症是一种每年发病率变化很大的流行病。

事实上, 1952 年大约有 60000 个病历,而 1953 年仅有其一半。

所以存在两种可能: ●● 疫苗是有效的 ● ● 当年没有流行此病所以存在两种可能: ●● 疫苗是有效的 ● ● 当年没有流行此病

Page 10: 第七章    方差分析与实验设计

实验方案 2 :在同一年份中,一部分儿童接种疫苗,而另一部分儿童不接种疫苗。当然,只有取得父母同意的儿童才能接种疫苗。一个容易操作的方案是:一个容易操作的方案是:那些取得父母同意的儿童接种疫苗,其余儿童组成对照组。

问题问题:两组孩子的家庭背景不同。高收入家庭的父母常常比低收入家庭的父母更赞同接种疫苗;而高收入家庭的儿童更容易遭受小儿麻痹疫病的伤害。

生活在卫生条件比较差的儿童,在童年早期尚受到来自母亲抗体保护时,就有可能轻微感染过这种病。

必须避免混淆:必须避免混淆:两组之间的任何差异只能归因于处理不同,而不是其他原因。必须避免混淆:必须避免混淆:两组之间的任何差异只能归因于处理不同,而不是其他原因。

Page 11: 第七章    方差分析与实验设计

实验方案 3 :小儿麻痹症全国基金会( NFIP )的方案

所有小学2年级的并取得父母同意的儿童接种疫苗,而1年级和3年级儿童组成对照组。

该实验设计的缺陷:该实验设计的缺陷:小儿麻痹是一种通过接触传播的疾病,因此各个年级的发病率可能不同。在处理组种包括过多的来自高收入家庭的儿童,他们与对照组有不同的家庭背景。对照组与处理组不可比较。(有“不利于疫苗的偏倚”)

Page 12: 第七章    方差分析与实验设计

实验方案 4 :随机对照双盲实验( 1)实验组和对照组来自同一总体实验组和对照组来自同一总体(家庭收入、儿童一般健康状况、性格以及社会习惯基本相似):即父母同意接种疫苗的儿童。( 2)以 50% 对 50% 的机会,随机分配随机分配每一个儿童到处理组或者是对照组。(保证这两个组在一些重要变量上的取值分配是相近的)( 3)使用安慰剂:使用安慰剂:给对照组儿童注射盐溶液(实验对象不知道是在处理组还是实验组,避免精神力量作用)( 4)诊断医生(评估反映的人)不知道孩子是属于哪一组的。由于小儿麻痹病的诊断比较复杂,避免医生在诊断时可能受先验信息的影响。(双盲实验)

Page 13: 第七章    方差分析与实验设计

实验结果的比较( 1954 年)随机对照双盲实验 NFIP 研究

人数 比率( 10 万分之) 人数

比率( 10 万分

之)

处理组 200000

28 2 年级 ( 接种 ) 22500 25

对照组 200000

711 、 3 年级(对

照)72500

054

不同意 350000

46 2 年级不同意 125000

44( 1)从随机对照双盲实验可以看出,处理组的患病率明显低于对照组;( 71-28 )

( 2) NFIP 对照组包含一部分父母不同意的儿童,所以患病率较低。结果使得两组患病率之差下降( 54-25 )。

( 3)在 NFIP 实验中,其结果还可能受到儿童在 2年级等因素的影响。而调研者缺乏足够的资料以估计其对实验结果的影响。

Page 14: 第七章    方差分析与实验设计

实验设计

科学研究方法:先对某一过程或系统有一些猜想,

然后通过实验产生有关的数据,并对猜想进行验证。

实验设计 ( Experimental Design) :

  为收集样本数据所进行的计划

实验设计规则: 控制某一情形的所有相关方面,

操纵少数感兴趣的变量,然后观察实验结果 .

工作目的 : 检验变量之间的因果关系

Page 15: 第七章    方差分析与实验设计

 检验多个总体均值是否相等的统计方法,称为方差

分析( analysis of variance, 缩写 ANOVA )

? :H

),,() ,(~

),,() ,(~

),,() ,(~

r210

,12

1212

222

1112

111

2

1

rnrrrrr

n

n

XXNX

XXNX

XXNX

三、方差分析的一般问题

Page 16: 第七章    方差分析与实验设计

例:某果酱制造企业希望了解哪种包装的罐头更受消费者欢迎,以确定其包装策略。传统的包装方法是用罐头。市场部经理则提议增添两种新包装:玻璃瓶、塑料瓶。为了避免大量生产的危险,公司接到该建议后,随机选定了三家所在区域与规模都近似的超市进行实验,分别销售一种包装的罐头(采用随机的方法决定哪家超市销售哪一种包装) ,实验期为 4 周。

要检验的对象(因素, factor ):包装方式 因素的不同表现(水平,处理 treatment ): 三种不同的包装形式 H0: 三种包装的平均销量相同

Page 17: 第七章    方差分析与实验设计

重复 三种处理 每周销售 次数( i) 罐头 玻璃 塑料 1 30 42 18 90

2 40 46 26 112

3 18 38 40 96

4 24 50 36 110

112 176 120 x •• = 408

28 44 30 34xjx

4

1iijj xx

3

1iiji xx

显然,三种包装的平均销售量不同。但这种差别是随机因素造成的,还是从总体上,它们确实存在明显的差异呢?

H0: 321

Page 18: 第七章    方差分析与实验设计

四 、方差分析的基本工具: F-检验 

1

2

21 2

21 2

22 21

1 2 1 222

~ ( , ) ( , , , )

~ ( , ) ( , , , )

~ ( 1, 1), ,

X X

Y Y

n

n

X N X X X

Y N Y Y Y

SF F n n X Y

S

若 与 相互独立

21S

22S

复习复习: : F-F- 检验检验

Page 19: 第七章    方差分析与实验设计

实验单元( experimental unit)

接受“处理”的对象或实体( 3 个超市)随机化设计: 将 k 种“处理”随机地指派给各个实验单元, 在每一个实验单元 ( i ), 重复 ni 次实验

实验次数 罐头 玻璃 塑料

1 30 42 18

2 40 46 26

3 18 38 40

4 24 50 36

7.3 单因素方差分析例3:果酱包装策略:罐头、玻璃瓶、塑料瓶。 随机选定了 3 家所在区域与规模都近似的超市进行实验, 每家超市分别销售一种包装的罐头,实验期为 4周。

Page 20: 第七章    方差分析与实验设计

重复 三种处理 每周销售 次数( i) 罐头 玻璃 塑料 1 30 42 18 90

2 40 46 26 112

3 18 38 40 96

4 24 50 36 110

112 176 120 x •• = 408

28 44 30 34xjx

4

1iijj xx

3

1iiji xx

三种包装的平均销售量不同。问题是这种差别是随机因素造成的,还是从总体上,它们确实存在明显的差异呢?

H0: 321 检验多个总体均值是否相同

Page 21: 第七章    方差分析与实验设计

二 . 基本方法

r

r

n

j rj

r

rnrrrr

n

j jn

n

j jn

Xn

XXXNX

Xn

XXXNX

Xn

XXXNX

1,1

2

1 2

2

2121

2

22

1 1

1

1111

2

11

r210

1 : ),,() ,(~

1 :),,() ,(~

1 :),,() ,(~

? :H

2

2

1

1

1. 问题: Xi 正态分布 , 同方差,相互独立

i

r

ii

r

i

n

jij

r

iir

Xnn

Xn

X

nnnnnn

i

11 1

121

11

)(

总的样本均值:

:总的样本容量

各样本均值的加权和

Page 22: 第七章    方差分析与实验设计

2. 计算数据的总变差:

变差分解:

两边平方,求和:

• 注意:

r

i

n

jij

i

XXQ1 1

2

XXXXXX iiijij

r

iii

r

i

n

jiij

r

i

n

ji

r

i

n

jiij

r

i

n

jij

XXnXX

XXXXXX

i

iii

1

2

1 1

2

1 1

2

1 1

2

1 1

2

0111 1

ii n

jiij

r

iii

r

i

n

jiij XXXXXXXX

Page 23: 第七章    方差分析与实验设计

r

iii

r

i

n

jiij

r

i

n

jij XXnXXXX

ii

1

2

1 1

2

1 1

2

变差分解的结果:

总变差 = 随机抽样误差 + 系统变差 (组内变差平方和) + (组间变差平方和)

Q = Q1 + Q2

( n-1) = (n-r) + (r-1)

S2=Q / (n-1) S12=Q1 / (n-r) S2

2=Q2 / (r-1)

自由度

方差

1x 2xx3x

Page 24: 第七章    方差分析与实验设计

S12 :每组观测数据的方差(随机误差和)

S22 :每个总体的样本均值之间的差异

比较 两种方差的大小: S22 是否明显大于 S1

2

检验统计量:

方差来源 平方和 自由度 方差 F 值

因子影响

随机误差

总和

),1( ~ /

1/ 21

1

221

22 rnrF

rnQrQ

SS

F

2

12

r

iii XXnQ

2

11

r

i

n

jiij

i

XXQ

2

1 1

r

i

n

jij

i

XXQ

r-1

n-r

n-1

S22=Q2 / (r-1)

S12=Q1 / (n-r)

S2=Q / (n-1)

S22 /S1

2

方差分析表

Page 25: 第七章    方差分析与实验设计

方差分析表( r =3, n=12)

方差来源 平方和 自由度 方差 F 值 因子影响 608 3-1=2 304

误差 640 12-3=9 71.11

总和 1248 12-1=11

取 =0.05 ,查表: F0.05 (2 ,9) = 4.26

因为 F = 4.275 > 4.26

拒绝 H0, 即包装对销量的影响是比较明显的。

例题的计算结果

4.275

Page 26: 第七章    方差分析与实验设计

Excel: 工具 数据分析 单因素方差分析

分组方式: 列标志位于第一行

输入数据: 罐头 玻璃 塑料

30 42 1840 46 2618 38 4024 50 36

Page 27: 第七章    方差分析与实验设计

方差分析:单因素方差分析

SUMMARY组 计数 求和 平均 方差

罐头 4 112 28 88玻璃 4 176 44 26.66667塑料 4 120 30 98.66667

方差分析差异源 SS df MS F P-val ue F cri t组间 608 2 304 4.275 0.049527 4.256492组内 640 9 71.11111

总计 1248 11

Page 28: 第七章    方差分析与实验设计

关系强度的测量测量自变量与因变量之间的关系强度:

)(总)组间

SSSST

SSSSAR

(2

方差分析:单因素方差分析

SUMMARY组 计数 求和 平均 方差

罐头 4 112 28 88玻璃 4 176 44 26.66667塑料 4 120 30 98.66667

方差分析差异源 SS df MS F P-val ue F cri t组间 608 2 304 4.275 0.049527 4.256492组内 640 9 71.11111

总计 1248 11

487.01248

6082 R强度:包装方式对销量的影响

Page 29: 第七章    方差分析与实验设计

方差分析中的多重比较方法 ( multiple comparison procedures)

目的:通过配对比较,进一步检验到底哪些均值之间存在差异

最小显著差异方法 LSD ( Fisher ) (least significant differenc

e )第一步:提出假设:第二步:计算检验统计量:第三步: 计算 LSD :

其中, MSE 是组内方差第四步:根据显著水平做出决策:

jiji HH :: 10

jiij xxD

212

11)(

nnMSErntLSDij

0

0

,

,

HLSDD

HLSDD

ijij

ijij

不拒绝如果:

拒绝如果:

Page 30: 第七章    方差分析与实验设计

包装作用问题:方差分析:单因素方差分析

SUMMARY组 计数 求和 平均 方差

罐头 4 112 28 88玻璃 4 176 44 26.66667塑料 4 120 30 98.66667

方差分析差异源 SS df MS F P-val ue F cri t组间 608 2 304 4.275 0.049527 4.256492组内 640 9 71.11111

总计 1248 11

0.025 0.025

12 1 2

13 1 3

23 2 3

(12 3) (9) 2.262

1 1 2.262 71.11 13.49

4 4

28 44 16 13.49

28 30 2 13.49

44 30 14 13.49

t t

LSD

D x x

D x x

D x x

显著

不显著

显著

结论:

采用玻璃瓶包装

Page 31: 第七章    方差分析与实验设计

7.4 无交互作用的双因子方差分析

一 . 问题的提出 单因子方差分析的实验设计有一个缺点: 没有考虑实验单位之间是否存在性质差异! 例如: 不同超市之间的销售规律会有所不同,其所在销售区域

的市场潜力也会不同。如果实验单位的本质有所不同,则购买者的反应也不一样。

数据间的差异可能不只受一个因素的影响,还可能受到其他因素的作用。

Page 32: 第七章    方差分析与实验设计

随机化区组设计Randomized Blocks Design

应用:无交互作用的双因素方差分析双因素方差分析 双因素方差分析( two-way analysis of variance)

当方差分析中涉及到两个分类型的自变量时 区组( block)

按照一定的规则将实验单元划分为若干同质的区组 随机化区组设计 在每个区组,将各种处理随机指派给不同单元

Page 33: 第七章    方差分析与实验设计

例:两个因素:促销方法 / 地区消费倾向

某经营超级市场的集团公司,欲了解何种销售促销方法效果大,以某牌子的巧克力做一实验,实验水平共有 4种:

甲:在进口处摆设该巧克力的广告牌

乙:按原价减价 5%

丙:送增券

丁:油印广告,放在进口处由购买者自取

该公司决定以 3个区域的超市作为实验单位,实验期为4 个星期。至于在某个区域的某时段(或者某超市),采用何种促销方法,乃由随机抽样方法决定。结果如下表:

(应考虑销售区域在消费倾向方面的差异。)

Page 34: 第七章    方差分析与实验设计

区组1

区组2

区组3

第一周

第二周

第三周

第四周

随机化区组设计示意图

特点特点: 在每个区组中内,各种处理仅出现一次;

并且,出现的次序是随机的。具体操作方法具体操作方法:对于每一区组,产生一组不重复的 1-4 的随机数。

Page 35: 第七章    方差分析与实验设计

区域 四种方法 不同区域 ( i) 甲 乙 丙 丁 1 76 68 88 80 312

78

2 74 70 102 86 332 83

3 66 66 92 92 316 79

216 204 282 258 x •• = 960

72 68 94 86

ix

80xjx

3

1iijj xx

4

1iiji xx

实验设计实验设计 ::

根据经验,在实验的连续 4周内,没有季节因素。

每个区域是一个区组。每个区组分成 4周进行实验,并随机决定在哪一周 ( 不同颜色 ) 采用哪种促销方式。

Page 36: 第七章    方差分析与实验设计

区域 四种方法 不同区域 ( i) 甲 乙 丙 丁 1 76 68 88 80 312

78

2 74 70 102 86 332 83

3 66 66 92 92 316 79

216 204 282 258 x •• = 960

72 68 94 86

ix

80xjx

3

1iijj xx

4

1iiji xx

可以看出,不同促销方法的销售情况不同,而不同区域的销售量似乎也有差异。问题是:

( 1 )各种促销方法是否会有不同作用?

( 2 )不同区域的消费者行为是否会不一样?

Page 37: 第七章    方差分析与实验设计

二 . 方差分析:

变差分解:

两边平方,求和: ij ij i j i jX X X X X X X X X X

r

i

s

jjiij

s

jj

r

ii

r

i

s

jjiij

r

i

s

jj

r

i

s

ji

r

i

s

jij

XXXXXXXXrXXs

XXXXXXXX

XX

1 1

2

1

2

1

2

1 1

2

1 1

2

1 1

2

1 1

2

样本容量 n = rs r — 地区数

s — 水平数

Q = Q1 + Q2 + Q3

总变差 = 不同地区变差 + 不同广告的变差 + 随机误差

Page 38: 第七章    方差分析与实验设计

Q = Q1 + Q2 + Q3

总变差 = 不同地区变差 + 不同广告的变差 + 随机误差

(rs-1) = (r-1) + (s-1) + (r-1) (s-1)

S12= Q1/(r-1), S2

2= Q2/(s-1), S32= Q3 /(r-1)(s-1)

采用检验统计量,比较方差的大小:

))1)(1(,1( ~

)1(1/1/

))1)(1(,1( ~ )1(1/

1/

32

31

3

223

22

3

123

21

srsFsrQ

sQSS

F

srrFsrQ

rQSS

F

Page 39: 第七章    方差分析与实验设计

例题中的方差分析表( r =3, s=4) 方差来源 平方和 自由度 方差 F 值 广告因子 1320 3 440.0 14.35

区域因子 56 2 28.0 0.91

误差 184 6 30.67

总和 1560 11

取 =0.05 ,查表: F0.05 (3 , 6) = 4.76 , F0.05 (2, 6) =5.14

( 1 ) F = 14.35 > 4.76 拒绝 H0 ,四种广告确有区别;

( 2 ) F = 0.91 < 5.14 不能拒绝 H0 ,区域差异不显著;

Page 40: 第七章    方差分析与实验设计

方差分析:无重复双因素分析

SUMMARY 计数 求和 平均 方差1 4 312 78 69.333332 4 332 83 206.66673 4 316 79 225.3333

甲 3 216 72 28 乙 3 204 68 4丙 3 282 94 52丁 3 258 86 36

方差分析差异源 SS df MS F P-val ue F cri t行 56 2 28 0.913043 0.45063 5.143249列 1320 3 440 14.34783 0.003817 4.757055误差 184 6 30.66667

总计 1560 11

Excel: 工具 数据分析 无重复双因素分析

3 行

区域因子

4列

广告因子

Page 41: 第七章    方差分析与实验设计

关系强度的测量测量两个变量联合起来与因变量之间的关系强度:

)(总(列因素)(行因素)

总效应联合效应

SSSST

SSCSSRR

2

88.01560

1320562

R

例题:方差分析:无重复双因素分析

SUMMARY 计数 求和 平均 方差1 4 312 78 69.333332 4 332 83 206.66673 4 316 79 225.3333

甲 3 216 72 28 乙 3 204 68 4丙 3 282 94 52丁 3 258 86 36

方差分析差异源 SS df MS F P-val ue F cri t行 56 2 28 0.913043 0.45063 5.143249列 1320 3 440 14.34783 0.003817 4.757055误差 184 6 30.66667

总计 1560 11

Page 42: 第七章    方差分析与实验设计

7.5 有交互作用的双因素方差分析 ( 因子设计—— factorial Design )

一 . 问题的提出 市场分析中的两个因素: ( 1 )包装:罐头、玻璃瓶、塑料瓶 ( 2 )价格:高、中、低 购买者在市场实验中,其购买行为会受到两个因

素的影响。

考虑两个因子的交互作用:某种包装与某种价格的组合效应 (共有 9 种不同的组合)。

Page 43: 第七章    方差分析与实验设计

因子设计factorial Design

应用:有交互作用的双因子方差分析

定义:因素设计 两个或多个因素的搭配设计

然后在每个搭配的实验单元 , 重复实验观测

Page 44: 第七章    方差分析与实验设计

二 . 例题 新声香烟公司拟推出两种包装,一种实际比较保守,另一种则比较新颖。而价格也有两种选择(价格甲、价格乙)。在产品没有大量上市之前,该公司拟作一市场实验,以了解两种实验因素(价格与包装)的效果。市场研究部主任随机抽取了 20 个同规模的零售店作为实验单位,用随机方法将 4 种实验处理指派到 20 个商店,得到实验结果如下表:

价格 甲价格 乙价格 包装 B1 B2

保守包装 A1 A1 B1 A1 B2

新潮包装 A2 A2 B1 A2 B2

Page 45: 第七章    方差分析与实验设计

四种处理 试验号数A1 B1( 一 ) 1 2 3 4 5

A1 B2( 二 ) 6 7 8 9 10

A2 B1(三 ) 11 12 13 14 15

A2 B2(四 ) 16 17 18 19 20

商店编号 试验号数 实验处理 商店编号 试验号数 实验处理1 16 四 14 12 三2 8 二 15 14 三3 7 二 16 2 一4 5 一 17 3 一5 19 四 18 6 二6 1 一 19 4 一7 11 三 20 17 四8 10 二 21 20 四9 15 三 22 18 四10 13 三 23 9 二

用随机方法将 4 种实验处理指派到 20 个商店

Page 46: 第七章    方差分析与实验设计

重复 实验处理 次数( i) A1 包装 A2 包装 总计 B1 价格 B2 价格 B1 价格 B2 价格

1 42 x111 38 x121 36 x211 24 x221

2 46 x112 42 x122 32 x212 20 x222

3 44 x113 40 x123 46 x213 18 x223

4 42 x114 38 x124 42 x214 26 x224

5 36 x115 42 x125 34 x215 32 x225

总计 210 x11• 220 x12 • 190 x21 • 120 x22 • 720

平均值 42 40 38 24 36

11x 22x21x12x

xijk — 因子 A 的 i 水平与因子 B 的 j 水平组合,

在第 k 次实验观测中的结果 .

xijk — 因子 A 的 i 水平与因子 B 的 j 水平组合,

在第 k 次实验观测中的结果 .

A 与 B 组合的总效果

Page 47: 第七章    方差分析与实验设计

以上实验结果可以简化成下表( r 行, s 列):

价格 B1 B2 总计 均值包装 A1 42 40 82 41 A2 38 24 62 31均值 40 32 36

11x 12x

21x 22x

r

iix

rx

111

1

r

iix

rx

122

1

s

jjx

sx

111

1

s

jjx

sx

122

1

xijk —A 的 i 水平与 B 的 j 水平组合,在第 k 次观测中的结果 .

( i = 1,2,…, r ; j = 1,2,…, s ; k = 1,2,…, l )

总的实验观测样本容量: n = rsl

Page 48: 第七章    方差分析与实验设计

计算 A 与 B 组合作用的总效果(平均水平):

而由于在实验中存在随机误差,所以在每一次实验中 ,即

随机误差的估计为

l

kijkij x

lx

1

1

ijijk xx

ijkijijk exx

)( ijijkijk xxe

Page 49: 第七章    方差分析与实验设计

r

i ijj

s

j iji

r

i

s

j ij

r

i

s

j

l

k ijk

sjxr

x

rixs

x

xrs

xrsl

x

1

1

1 11 1 1

,,2,1 , 1

,,2,1 , 1

11

变差分解:

xxxx

xxxxxxxxxx

ji

jiijijijkijk

)()(

(包装)

(价格)

Page 50: 第七章    方差分析与实验设计

求平方和后

可以写成:

)()(1 1 1

2

1 1

2

1

2

1

2

1 1 1

2

r

i

s

j

l

kijijk

r

i

s

jjiij

s

jj

r

ii

r

i

s

j

l

kijk

xxxxxxxxl

xxrlxxslxx

Q = Q1 + Q2 + Q3 + Q4

总变差 = A 因子独立作用 + B 因子独立作用 + 交互作用 + 随机误差

( rsl-1) = ( r-1) + ( s-1) + (r-1)(s-1) +rs(l-1)

S2

112

1

rQ

S)1(

424

lrsQ

S1

222

sQ

S)1)(1(

323

sr

QS

Page 51: 第七章    方差分析与实验设计

))1(),1(1( ~

)1(/)1(1/

))1(,1( ~ )1(/

1/

))1(,1( ~ )1(/

1/

4

324

23

4

224

22

4

124

21

lrssrFlrsQ

srQSS

F

lrssFlrsQ

sQSS

F

lrsrFlrsQ

rQSS

F

B

B

A

A

)(不显著交互作用

用不显著作因素

用不显著作因素

构造统计量,对各因素作用进行显著性检验:

Page 52: 第七章    方差分析与实验设计

方差分析表( r =2, s=2 , l=5) 方差来源 平方和 自由度 方差 F 值 包装( A) 500 ( 2-1 ) 500 24.39

价格( B) 320 ( 2-1 ) 320 15.61

交互作用 180 (2-1)(2-1) 180 8.78

误差 328 22 (5-1) 20.5

总和 1328 19

取 =0.05 ,查表: F0.05 (1 ,16) = 4.49

( 1 ) FA = 24.39 > 4.49 拒绝 H0 ,包装因素作用显著。

( 2 ) FB =15.61 > 4.49 拒绝 H0 ,价格因素作用显著。

( 2 ) FB =8.78 > 4.49 拒绝 H0 ,交互因素作用显著。

Page 53: 第七章    方差分析与实验设计

7.6 实验设计的基本原则

(一)小儿麻痹症疫苗实验(一)小儿麻痹症疫苗实验 实验方案 1 :如果在 1954 年对大量儿童进行接种实验。结果发现 1954 年的发病率确实比 1953 年急剧下降。能否证实疫苗确实有显著效果?

小儿麻痹症是一种每年发病率变化很大的流行病。小儿麻痹症是一种每年发病率变化很大的流行病。

小儿麻痹症是一种每年发病率变化很大的流行病。小儿麻痹症是一种每年发病率变化很大的流行病。

事实上, 1952 年大约有 60000 个病历,而 1953 年仅有其一半。

所以存在两种可能: ●● 疫苗是有效的 ● ● 当年没有流行此病所以存在两种可能: ●● 疫苗是有效的 ● ● 当年没有流行此病

Page 54: 第七章    方差分析与实验设计

实验方案 2 :在同一年份中,一部分儿童接种疫苗,而另一部分儿童不接种疫苗。当然,只有取得父母同意的儿童才能接种疫苗。一个容易操作的方案是:一个容易操作的方案是:那些取得父母同意的儿童接种疫苗,其余儿童组成对照组。

问题问题:两组孩子的家庭背景不同。高收入家庭的父母常常比低收入家庭的父母更赞同接种疫苗;而高收入家庭的儿童更容易遭受小儿麻痹疫病的伤害。

生活在卫生条件比较差的儿童,在童年早期尚受到来自母亲抗体保护时,就有可能轻微感染过这种病。

必须避免混淆:必须避免混淆:两组之间的任何差异只能归因于处理不同,而不是其他原因。必须避免混淆:必须避免混淆:两组之间的任何差异只能归因于处理不同,而不是其他原因。

Page 55: 第七章    方差分析与实验设计

实验方案 4 :随机对照双盲实验( 1)实验组和对照组来自同一总体实验组和对照组来自同一总体(家庭收入、儿童一般健康状况、性格以及社会习惯基本相似):即父母同意接种疫苗的儿童。( 2)以 50% 对 50% 的机会,随机分配随机分配每一个儿童到处理组或者是对照组。(保证这两个组在一些重要变量上的取值分配是相近的)( 3)使用安慰剂:使用安慰剂:给对照组儿童注射盐溶液(实验对象不知道是在处理组还是实验组,避免精神力量作用)( 4)诊断医生(评估反映的人)不知道孩子是属于哪一组的。由于小儿麻痹病的诊断比较复杂,避免医生 =在诊断时可能受先验信息的影响。(双盲实验)

Page 56: 第七章    方差分析与实验设计

(二) 安妥明实验(二) 安妥明实验 评估某种药品对冠心病的治疗效果。在对心脏有问题的男子(实验对象)中,随机指派 1103名病人到药物组, 2789名到对照组。跟踪观察 5 年。

安妥明 安慰剂人数 死亡率 人数 死亡率

坚持者 708 15% 1813 15%

不坚持者 357 25% 882 28%

整个组 1103 20% 2789 21%

结论:结论:( 1 )安妥明没有显著效果

( 2 )坚持者与不坚持者除所服药物之外,在其他方面有所不同。(他们更关心自己的健康,在总的方面对自己更加照顾。)

实验设计的特点 : 控制某一事物的所有相关方面,操纵少数感兴趣的变量,然后观察实验结果。实验设计的特点 : 控制某一事物的所有相关方面,操纵少数感兴趣的变量,然后观察实验结果。

Page 57: 第七章    方差分析与实验设计

(三)完全随机化设计——单因素方差分析 某产品开发工程师考虑能使一种新的合成纤维的抗拉强度增大的方案(这种合成纤维织出的布是用来缝制男士衬衫的)。他推测适度提高棉花在纤维中含量,有可能增加抗拉强度。而且根据以往经验知道,棉花含量应该在 10% 到 40% 之间。他决定检验棉花百分率为 5 个水平的样品,这 5个水平分别是:15% , 20% , 25% , 30% , 35% 。他还决定,使用一台抗拉强度测试机,对每个水平试验 5个样品( n =55=25)。棉花百分率 % 试验号数

15 1 2 3 4 5

20 6 7 8 9 10

25 11 12 13 14 15

30 16 17 18 19 20

35 21 22 23 24 25

问题问题::如何确定这 25个 试验的次序(是否可以先做 5个含量 15%的样品,然后再做 5个含量 20%的样品,…… ?)

Page 58: 第七章    方差分析与实验设计

防止干扰变量对实验结果的污染: 抗拉强度检测机显示出某种热效应,运行的时间越长,读出的抗拉强度值越低。按照随机化的次序进行试验:试验序列 试验号数 棉花百分率 试验序列 试验号数 棉花百分率

1 8 20 14 7 20

2 18 30 15 1 15

3 10 20 16 24 35

4 23 35 17 21 35

5 17 30 18 11 25

6 5 15 19 2 15

7 14 25 20 13 25

8 6 20 21 22 35

9 15 25 22 16 30

10 20 30 23 25 35

11 9 20 24 19 30

12 4 15 25 3 15

13 12 25

Page 59: 第七章    方差分析与实验设计

抗拉强度的实验数据

棉花百分率观察值

总和 平均值1 2 3 4 5

15 7 7 15 11 9 49 9.8

20 12 17 12 18 18 77 15.4

25 14 18 18 19 19 88 17.6

30 19 25 22 19 23 108 21.6

35 7 10 11 15 11 54 10.8

376 15.04

完全随机化设计的特点完全随机化设计的特点:: 试验以随机顺序的方式进行,使得每个处理所处的环境都尽可能均匀。

Page 60: 第七章    方差分析与实验设计

单因素方差分析单因素方差分析SUMMARY

组 观测数 求和 平均 方差15 5 49 9.8 11.2

20 5 77 15.4 9.8

25 5 88 17.6 4.3

30 5 108 21.621.6 6.8

35 5 54 10.8 8.2

差异源 SS df MS F P-value F crit

组间 475.76 4 118.9414.7568

29.13E-06

2.866081

组内 161.2 20 8.06

总计 636.96 24

       

方差分析

结论: 差异显著。 棉花含量 30%时,抗拉强度最高结论: 差异显著。 棉花含量 30%时,抗拉强度最高

0

5

10

15

20

25

30

0 10 20 30 40

棉花含量百分率

抗拉强度

Page 61: 第七章    方差分析与实验设计

例:某果酱制造企业希望了解哪种包装的罐头更受消费者欢迎,以确定其包装策略。传统的包装方法是用罐头。市场部经理则提议增添两种新包装:玻璃瓶、塑料瓶。为了避免大量生产的危险,公司接到该建议后,随机选随机选定了三家超市进行实验,定了三家超市进行实验,分别销售一种包装的罐头(采用随机抽样的方法决定哪家超市销售哪一种包装) ,实验期为 4 周。

该实验设计可能存在的缺陷该实验设计可能存在的缺陷:: 三家超市的顾客消费习惯有可能有差异问题问题::如何在分析中排除 “超市” 的效应?

该实验设计可能存在的缺陷该实验设计可能存在的缺陷:: 三家超市的顾客消费习惯有可能有差异问题问题::如何在分析中排除 “超市” 的效应?

Page 62: 第七章    方差分析与实验设计

例题:技术人员想确定 4 种不同类型的杆尖在一台硬度检验机上是否会得出不同的读数。试验方法是将杆尖压入一块金属中,由压入深度可确定试件的硬度数据。实验者决定,对每支杆尖重复观察 4次。由于只有一个因素——杆尖硬度,所以一个完全随机化单因素设计就是随机安排 44=16 次试验,并观察所得到的硬度数据。为此,需要准备为此,需要准备 1616 块不同的金属试块不同的金属试件。件。

潜在的严重问题潜在的严重问题:: 如果金属试件的硬度稍有不同(来自不同炉次的铸锭),那么实验误差就不只反映随机误差,还反映出试金属件之间的变异性。

随机化完全区组设计随机化完全区组设计———— 用于:单因素方差分析用于:单因素方差分析

Page 63: 第七章    方差分析与实验设计

另一种设计另一种设计::从误差中分离出金属试件之间的变异性 在 44块块试件的每一块上检测每支杆尖。在对第 1块试件进行试验时,杆件类型的实验排列次序是随机安排的,第 2-4试件相同。(表中用不同的颜色代表在每块试件上进行试验的杆件顺序)

杆件类型金属试件

1 2 3 4

1 9.3 9.4 9.6 10

2 9.4 9.3 9.8 9.9

3 9.2 9.4 9.5 9.7

4 9.7 9.6 10 10.2

硬度检验实验的随机化完全区组设计

( 1 )

( 2 )

( 3 )

( 4 )

( 1 )

( 1 )

( 1 ) ( 2 )

( 2 )

( 2 ) ( 3 )

( 3 )

( 3 )

( 4 )

( 4 )

( 4 )

Page 64: 第七章    方差分析与实验设计

无重复双因素分析(杆尖类型有显著差异)差异源 SS df MS F P-value F crit

行 0.385 3 0.128333 14.43750.00087

13.862548

列 0.825 3 0.275 30.9375 4.52E-05 3.862548

误差 0.08 9 0.008889

总计 1.29 15        

单因素方差分析(杆尖类型无显著差异)差异源 SS df MS F P-value F crit

组间 0.385 30.12833

31.70165

70.2195

683.49029

5

组内 0.905 120.07541

7

总计 1.29 15        

检验效率更高

Page 65: 第七章    方差分析与实验设计

小 结实验设计的三个基本原理实验设计的三个基本原理::     重复、随机化、区组化重复、随机化、区组化重复:重复:( 1 )可以得到实验误差的一个估计量;   ( 2 )如果以样本均值作为一个因素效应的估

计量,则重复可以使得该估计更加精确。随机化:随机化: 试验的次序是随机确定的,使得每个处理

所处的环境都尽可能均匀。 区组化:区组化:相比于实验单元的全体,区组内单元的性质

更加近似。可以排除实验单元异质化的影响,是提高实验精度的一种方法。

Page 66: 第七章    方差分析与实验设计

思考案例 : 17世纪初 ,海上长期航行的水手常患坏血

病。英国海军试图发现坏血病的起因:一艘船上的

水手每天喝柑橘汁 ,另外三艘船的水手则没有柑橘汁

供应。检验问题:两类船水手的患病率是否相等

实验缺陷 : 如果随机决定哪一个水手喝或不喝柑

橘汁,而不是按船来分,可以消除有关船的其他因

素的影响,结果会更有说服力。)

Page 67: 第七章    方差分析与实验设计

例:测量赠品的促销效果 某百货公司欲在 12月采用赠品政策来促销某品牌的毛衣。 采用赠品政策前的销售量: 100件 采用赠品政策后的销售量: 130件 问题: 赠品效果如何 130-100=30

没有考虑 12月份圣诞节和新年节日的影响。这期间销售量较往日高,不一定是赠品政策的影响。

实验组 对照组 事前 销量(有赠品) 100 销量(无赠品) 100 事后 销量(有赠品) 130 销量(无赠品) 110 变动 30 10

Page 68: 第七章    方差分析与实验设计

Industrial System LaboratoryIndustrial System Laboratory

Figure 1 METAMO

106 个部件

研究介绍研究介绍 : : 在工人生产技能中,培训因素的测度研究在工人生产技能中,培训因素的测度研究福岛大学( Fukushima University )董彦文教授

Assemble toy robot METAMO

Page 69: 第七章    方差分析与实验设计

Impact of Aptitude and LearningImpact of Aptitude and Learning

FactorsSum of Squares

dfMean Square

FSignifi-cance

Operators 5355.3 76 70.5 10.0 0.000

Experience 1568.8 2 784.4 111.6 0.000

Residual 1067. 8 152 7.0    

Total 7991.9 230      

Operators

67%

Experience20%

Residual

13%

77 个操作者

3次重复的经验水平

玩具组装结果:个人能力起 67%的作用

0%

10%

20%

30%

40%

50%

60%

70%

5 10 15 20 25

3rd time(min)

Tim

e re

du

ctio

n

Group A

Group B

重复 3次后,使用时间依然很长,并且没有明显的减少

是否受过培训

第 3 次所用时间

Page 70: 第七章    方差分析与实验设计

Impact of Education and ExperienceImpact of Education and Experience

FactorSum of Squares

dfMean Square

FSignifi-cance

Group 11.74 1 11.74 30.5 0.031

Experience 40.89 2 20.45 53.1 0.018

Residual 0.77 2 0.38

Total 53.40 5

不同的培训办法起22%的作用

是否受过培训教育

3次重复的经验水平

Page 71: 第七章    方差分析与实验设计

作业

《统计学》各章练习题

9.2 (使用 Excel)

9.3 (使用计算器)

9.5(使用 Excel)

Page 72: 第七章    方差分析与实验设计

更深入一些的思考更深入一些的思考

1 、将 P211 中例 8-2 的实验过程具体化。并采用单因素方差分析和双因素无重复方差分析进行计算,给出研究结论;

2 、阅读第七章的第三节和第四节;3 、对于P 213 中例 8-3 ,采用 Excel双因素无重复

方差分析进行计算,并与书中的结果进行比较;4 、对于 P215 中的例 8-4 ,采用 Excel双因素无重

复方差分析进行计算,并与书中的结果进行比较。

Page 73: 第七章    方差分析与实验设计

参考书

2 、 Douglas C. Montgomery,《实验设计与分析》,中国统计出版社, 1998 ;乔治亚理工学院、华盛顿大学咨询领域:产品和工序的设计与开发、工序故障分析、质量改进等3 、 David Freedman, Robert Pisani, et al. (魏宗舒等译),统计学 , 中国统计出版社, 1997 。

1 、闵建蜀,游汉民,市场研究:基本方法 ,香港:中文大学出版社, 1979 ;