研究設計與資料分析 - ntnu · 2018-07-03 ·...

17
研究設計與資料分析 任宗浩、陳冠銘 第三章

Upload: others

Post on 16-Mar-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

44

研究設計與資料分析

研究設計與資料分析

任宗浩、陳冠銘

第三章

Page 2: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

45

第三章

第一節 抽樣設計與權重

第二節 標準誤的估計

第三節 結論與建議

P.46

P.57

P.59

Page 3: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

46

研究設計與資料分析

第三章 研究設計與資料分析

任宗浩、陳冠銘

本章介紹我國參與 TIMSS 2015 的抽樣架構和統計量的標準誤估計方法。

第一節 抽樣設計與權重

多 數 的 大 型 國 際 教 育 成 就 調 查, 因 為 考 量 到 經 費 與 施 測 實 務 的 限 制, 大 多 無 法 採

用簡單隨機抽樣的方式進行調查 ( 任宗浩、譚克平和張立民,2011)。由國際教育成就

調 查 委 員 會(The International Association for the Evaluation of Educational

Achievement,簡稱 IEA)所主導的國際大型調查研究 ( 如 TIMSS、PIRLS 或 ICCS 等 )

為了有效地推論各個參加國家的調查母群並研究跨國性的教育議題,皆採用二階段分層叢

集抽樣(two-stage stratified cluster sampling)設計,先將調查母群涵蓋的所有學校,

按照其背景特性分成若干子群後,再從每一子群中,按比例抽出受調查學校,最後再從受

調查學校中抽出一個班級,針對該班學生進行調查。

一、 調查母群

TIMSS 的調查設計主要針對參加國家的兩個標的母群,對大部分的國家來說是指四

年級和八年級的學生。由於參與 TIMSS 調查的國家可以自由選擇要參加哪一個母群的調

查,或是同時參與兩個母群的調查。我國除首次參加第三屆國際數學與科學教育成就研究

後續調查(稱為 TIMSS REPEAT,TIMSS-R)時,僅參加八年級母群的調查,接下來四

屆 (TIMSS 2003、TIMSS 2007、TIMSS 2011 和 TIMSS 2015) 均參加四年級和八年級

兩個母群的調查。

二、 抽樣設計

由於 TIMSS 調查希望對每個參加國家母群成就估計的 95% 信賴區間能夠小於 10%

標準差 ( 相當於 TIMSS 成就分數的 ±10 分 )。在這樣的要求下,若採用隨機抽樣方法,

每個調查母群的樣本數下限約為 400 人 (Joncas & Foy, 2012;任宗浩,2011)。因為

TIMSS 採取二階段分層叢集抽樣 (two-stage stratified cluster analysis) 方法:第一階

段進行學校抽樣,採用分層抽樣方法;第二階段則是進行校內的班級抽樣,屬叢集抽樣,

抽到班級的全班學生均參加調查。這種方式所抽出的同一個班級的學生之間,可能因為具

有共同的學校和班級層級之變項,使得其抽樣的代表性不如利用簡單隨機抽樣抽出相同樣

本大小之代表性(任宗浩、譚克平和張立民,2011)。又為了能夠將抽樣學生分成不同

Page 4: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

47

第三章

子群 ( 如不同性別、不同地區等 ) 以進行子群間的比較,TIMSS 建議每一個調查母群的抽

樣人數應大於 4,000 人。此外,由於 TIMSS 調查希望能夠針對學校和班級層級進行分析,

所以要求各參加國除了特別狀況外(例如參加國全國總校數不到 150 校),抽樣學校數最

少為 150 校 (Joncas & Foy, 2012)。接下來分別說明我國參加 TIMSS 2015 之學校和班

級兩階段的抽樣設計。

(一) 學校抽樣

在學校抽樣階段,TIMSS 採用分層抽樣方法,先依各國所提供的分類法將全國國中或

國小分為若干群或層 (strata),並於每一分類層中,按正比於各層涵蓋調查母群人數估算

出各層的抽樣人數和班級數,再按該層中所有學校所涵蓋調查母群人數之機率隨機抽選出

受測學校。TIMSS 成就調查內容主要希望反應各國教育制度之成效,因此調查母群人數的

估算,依國際規定排除啟聰、啟明、啟智、華僑中學和戲曲學校等無法依正規數學和科學

課程學習的特殊學校 ( 任宗浩,2011)。

TIMSS 調查允許各參加國提供學校抽樣架構時,指定兩類分層依據:第一類學校分

層稱為顯性分層 (explicit stratification),此類分層的目的是為了想要藉由調查進行不同

層 ( 子群 ) 的推論。例如有些參加國想要比較不同教育行政區域 ( 如不同省份或是縣市 )

之教育成果,為了能確保不同行政區域都有一定比例的學校被抽到,該參加國就必須提供

全國各教育行政區域內學校涵蓋的母群人數作為抽樣架構。第二類學校分層稱為隱性分層

(implicit stratification),隱性分層的目的是為了減少在學校層級的抽樣誤差,為了達到

這個目的,學校的分層變項應該要盡可能地與學校內學生的平均成就表現有高相關,加拿

大統計局建議如果參加國家有全國性的成就測驗,可以利用各校在該成就測驗表現的平均

成績作為隱性分層之依據(任宗浩、譚克平和張立民,2011)。

(二) 班級抽樣

經過第一階段進行學校抽樣並決定各校應抽出的班級數後,第二階段採叢集抽樣

(cluster sampling),針對被抽到的學校進行內部班級的抽樣,按每個班級等機率方式

隨 機 進 行 班 級 抽 樣, 原 則 上 每 校 抽 1 班, 如 果 該 校 班 級 人 數 很 少, 可 能 會 抽 取 兩 班,

甚至合併其他類似背景小學校的抽樣班級後,再將其合併視為一個虛擬班級 (pseudo-

classroom),抽出班級的整班學生均接受調查。

Page 5: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

48

研究設計與資料分析

三、 我國 TIMSS 2015 兩個母群抽樣分布

我國參加 TIMSS 2015 調查,四年級的部分,在第一階段的學校抽樣,主要參考侯佩

君、杜素豪、廖培珊、洪永泰和章英華(2008)的研究結果,以學校所在地的都市化程

度作為學校分層變項,分為鄉村、城鎮以及大都會地區等三層,共抽出 150 個學校,每校

1 或 2 班,共抽出 177 個班級,扣除規定的排除樣本以及缺席樣本,最後的有效樣本為

4291 人。八年級的部分,在第一階段的學校抽樣,利用學校所在地的都市化程度(鄉村、

城鎮以及大都會地區等三層)以及各校在 2012 年國三學生參加會考的數學科平均成績類

別(總共分為 A、B、D、T、Y、Z 等六類)作為學校的分層依據,將所有學校分成 15 層,

另外本屆因為了做城鄉差異分析的需要而加抽鄉村地區的樣本數,共抽出 190 個學校的

193 個班級,最後的有效樣本為 5711 人。表 3-1A 表 3-1B 分別顯示 TIMSS 2015 我國

參加 TIMSS 所屬地區與學校分層抽樣結果。

表 3-1B 我國參加 TIMSS 2015 八年級群抽樣分布

表 3-1A 我國參加 TIMSS 2015 四年級群抽樣分布

學校分層變項 估計母群人數 抽樣學校數 抽樣班級數 有效樣本數

鄉村地區 34,236 26 27 530

城鎮地區 101,868 74 82 2,006

大都會地區 65,507 50 68 1,755

全國 201,611 150 177 4,291

學校分層變項估計母群人數 抽樣學校數 抽樣班級數 有效樣本數

都市發展 會考平均分類

鄉村地區

D 5,475 8 8 227 T 22,313 24 25 623 Y 10,767 12 12 335

A+B+Z 5,471 10 10 395

城鎮地區

A 18,377 10 10 414 B 26,168 16 18 471 D 27,995 16 16 459 T 22,013 12 12 318 Y 29,403 16 16 454 Z 8,578 8 8 269

大都會地區

A 34,917 20 20 683 B 21,146 12 12 351 D 15,633 10 10 280 T 7,611 8 8 207 Y 11,043 8 8 225

全國 266,910 190 193 5,711

Page 6: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

49

第三章

四、 組內相關係數與變異量

表 3-2A-B 顯示利用 HLM6.08 軟體所估計的 TIMSS 2015 參加國家四年級與八年級

兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

班級相關兩個層級所產生的效果,這是因為大部分的參加國僅在每個學校內部抽取一個班

級,所以學校層級和班級層級無法區分。

表 3-2A TIMSS 2015 參加國小四年級的組間、內變異量以及組內相關係數

國家四年級數學 四年級科學

組間變異量 組內變異量 組內相關 組間變異量 組內變異量 組內相關

阿布扎比(阿拉伯聯合酋長國) 5683 5374 0.51 6977 7617 0.48

布宜諾斯艾利斯(阿根廷) 1866 4486 0.29 2080 5582 0.27

杜拜(阿拉伯聯合大公國) 4937 4584 0.52 5651 5896 0.49

阿拉伯聯合大公國 6233 4987 0.56 7537 6927 0.52

澳大利亞 1670 5228 0.24 1173 4578 0.20

比利時 939 2895 0.24 1091 2854 0.28

保加利亞 2798 4316 0.39 3951 5425 0.42

巴林 1629 5506 0.23 2619 8300 0.24

加拿大 1559 4206 0.27 1281 4211 0.23

智利 1451 3586 0.29 1431 3781 0.27

安大略省(加拿大) 925 4406 0.17 908 4328 0.17

魁北克省(加拿大) 881 3613 0.20 803 3566 0.18

賽普勒斯 687 5844 0.11 673 5096 0.12

捷克 711 4145 0.15 504 4336 0.10

德國 730 3520 0.17 822 3935 0.17

丹麥 1160 4549 0.20 892 3976 0.18

英格蘭 1660 5321 0.24 1276 3519 0.27

西班牙 1121 3745 0.23 1093 3830 0.22

芬蘭 238 4106 0.05 326 3791 0.08

法國 1100 4319 0.20 867 4218 0.17

喬治亞 3166 5482 0.37 2467 5759 0.30

香港 1283 3103 0.29 1248 3748 0.25

克羅埃西亞 679 3794 0.15 562 3381 0.14

匈牙利 2411 5365 0.31 2434 4565 0.35

印度尼西亞共和國 3516 4442 0.44 4584 5953 0.44

愛爾蘭 596 4673 0.11 715 4059 0.15

伊朗 3638 6569 0.36 4342 6587 0.40

義大利 845 4204 0.17 783 3586 0.18

日本 265 4445 0.06 197 4060 0.05

哈薩克 2770 3142 0.47 2935 3388 0.46

韓國 964 3976 0.20 527 3678 0.13

科威特 3331 7243 0.32 4901 11474 0.30

Page 7: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

50

研究設計與資料分析

表 3-2A(續) TIMSS 2015 參加國小四年級的組間、內變異量以及組內相關係數

註:根據 TIMSS 2015 國際資料庫中各國受測學生之五個似真值,利用 HLM6.06 軟體進行二階層線性模型之空模型 (null model) 分析所得。

表 3-2B TIMSS 2015 參加國八年級的組間、內變異量以及組內相關係數

立陶宛 1373 3946 0.26 1305 3793 0.26

摩洛哥 4776 4509 0.51 7318 8362 0.47

北愛爾蘭 1218 6064 0.17 724 4054 0.15

荷蘭 332 2794 0.11 783 2873 0.21

挪威(四年級) 549 4523 0.11 408 4264 0.09

挪威 497 4362 0.10 399 3429 0.10

紐西蘭 1999 5847 0.25 1934 5228 0.27

阿曼 3152 7834 0.29 4890 10816 0.31

波蘭 599 4393 0.12 519 4234 0.11

葡萄牙 1280 4098 0.24 597 3092 0.16

卡達 3828 5764 0.40 4409 8215 0.35

俄羅斯 2053 3273 0.39 1554 3171 0.33

沙烏地阿拉伯 3925 5072 0.44 6036 8293 0.42

新加坡 1796 5738 0.24 1857 5494 0.25

塞爾維亞 1355 6444 0.17 1532 5569 0.22

斯洛伐克 1962 4500 0.30 2135 5059 0.30

斯洛維尼亞 339 4406 0.07 466 4419 0.10

瑞典 1135 3717 0.23 1616 3903 0.29

土耳其 3707 5706 0.39 3185 5803 0.35

臺灣 645 4797 0.12 550 4504 0.11

美國 1700 4662 0.27 1796 4510 0.28

Page 8: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

51

第三章

表 3-2B(續) TIMSS 2015 參加國八年級的組間、內變異量以及組內相關係數

註:根據 TIMSS 2015 國際資料庫中各國受測學生之五個似真值,利用 HLM6.06 軟體進行二階層線性模型之空模型 (null model) 分析所得。

Page 9: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

52

研究設計與資料分析

圖 3-2A TIMSS 2015 各國四年級數學成就變異量(各國家的變異量由左至右由小而大)

圖 3-2B TIMSS 2015 各國四年級科學成就變異量(各國家的變異量由左至右由小而大)

圖 3-2C TIMSS 2015 各國八年級數學成就變異量(各國家的變異量由左至右由小而大)

Page 10: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

53

第三章

圖 3-2D TIMSS 2015 各國八年級科學成就變異量(各國家的變異量由左至右由小而大)

組內相關係數可供判斷校內或班級內學生能力的均質程度。當數值高時,代表該校學

生能力彼此很均質,因此利用該校學生的平均表現便可推測校內學生的個別表現。反之,

當組內相關係數小時,顯示校內學生能力差異大,便無法根據該校學生的平均表現預測個

別學生表現。TIMSS 2015 的調查結果顯示,臺灣四年級學生數學和科學成就的組內相關

係數分別為 0.12 和 0.11,比全球多數國家小;八年級數學和科學成就的組內相關係數則

分別為 0.32 和 0.29,在全球參加國屬中等。

就校內均質程度的變化趨勢來看,臺灣、日本、新加坡和香港在四年級學生的數學

和科學成就表現上,組內相關係數大致穩定(圖 3-3A)。但八年級的組內相關係數則顯

示臺灣有逐年增加趨勢,新加坡和韓國維持穩定,日本和香港則逐年降低(圖 3-3B)。

是何種原因導致這樣的變化,值得深入研究。

圖 3-2A ~ D 分別顯示在兩個調查年段的數學和科學成就上,各個 TIMSS 2007 參

加國家的組內相關係數 (ρ )。組內相關係數可以利用組間變異量 (σ²between ) 和組內變異量

(σ²within ) 估算而得:

Page 11: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

54

研究設計與資料分析

另一件值得關注的趨勢變化是關於整體學生成就的變異量,經由整體學生成就表現

分布的變異量,可供了解學生能力分布的差異程度。TIMSS 2015 臺灣四年級學生數學

(5442)和科學(5053)成就表現的差異程度(圖 3-4A),與日本、韓國、香港相似;

但 在 八 年 級 學 生 數 學 成 就 表 現 上( 圖 3-4B), 能 力 差 異 程 度 自 2007 年(11135) 至

2015 年(11183)均普遍高於全球多數國家。此外,新加坡、韓國和香港八年級學生的

數學能力差異不斷縮小,日本、新加坡和香港八年級學生的科學能力差異也有下降的趨勢。

如何減少學生能力的差異程度,讓落後的學生持續進步甚而趕上成就好的學生,是教

育的理想目標。日本、新加坡、韓國和香港對於減少學生學習落差的相關政策,應可作為

臺灣教育政策參考的重要依據。

圖 3-3A 亞洲五國家四年級 (a) 數學 (b) 科學成就校內相關(ICC)變化趨勢(a) (b)

(a) (b)圖 3-3B 亞洲五國家八年級 (a) 數學 (b) 科學成就校內相關(ICC)變化趨勢

Page 12: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

55

第三章

五、 權重的計算與運用

權重(weight)與樣本在母群中的抽樣機率成反比。樣本抽取機率越小者其權重越大,

其母群代表性越大;樣本抽取機率越大者其權重越小,其母群代表性也越小。TIMSS 調查的

抽樣設計盡可能遵守讓母群內每位成員有均等的機會被抽到,但有時候因為特別的目標或是

實際的抽樣過程與結果常使得此一目標無法達到。例如我國因為城鄉人口分佈的差異,若按

正常抽樣程序,鄉村地區的學生數因為遠少於城鎮和大都會地區,其樣本數通常很少,相關

的統計推論誤差也較城鎮地區和大都會地區的樣本來的更大。因此,為了能更精確的估計鄉

村地區學生的表現,本屆 TIMSS 2015 八年級群的抽樣特別針對鄉村地區的學校和學生樣本

進行過額抽樣 (oversampling)。也因為這個原因,在推論整體母群參數的時候,鄉村地區學

生平均的權重會小於城鎮地區和大都會地區。此外,再加上替代學校與缺席學生所需的機率

校正等因素(任宗浩,2011),都會導致樣本權重大小不均等的結果。圖 3-5 為我國參加

TIMSS 2015 八年級 5711 位樣本的權重頻率分布圖,樣本權重值介於 10.89 至 88.71 之間。

圖 3-4A 亞洲五國家四年級 (a) 數學 (b) 科學成就變異量變化趨勢(a) (b)

(a) (b)圖 3-4B 亞洲五國家八年級 (a) 數學 (b) 科學成就變異量變化趨勢

Page 13: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

56

研究設計與資料分析

圖 3-5 TIMSS 2015 資料庫我國八年級生樣本權重頻率分布圖

如圖 3-5 的結果,由於 TIMSS 調查時,並非每位受調查的學生被抽取的機率均相等,

為了能正確地推估母群參數,必須對樣本資訊進行正確的加權,在 TIMSS 2015 資料庫中,

學生權重變項名稱為 TOTWGT。若分析時未使用權重,結果將會有所偏差。

除了 TOTWGT 可以用在對於各參與國家內部學生母群參數的推估外。TIMSS 資料庫也

提供一些不同的權重,應用於某些特定的資料分析。表 3-3 列出在 TIMSS 2015 資料庫中,

主要的權重變項以及這些權重變項的使用時機 (Joncas & Foy, 2012;任宗浩,2011)。

表 3-3 TIMSS 2015 權重變項、適用時機與研究層次之關係

Page 14: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

57

第三章

第二節 標準誤的估計

在 TIMSS 國際報告和本報告當中,所有統計值的標準誤都考慮了因為抽樣誤差和測

驗誤差所造成對於該統計值估計的變異量。相關的理念,因為在過去兩屆的國家報告都已

清楚說明,有興趣的讀者可以參考 TIMSS 2007 的國家報告第三章(任宗浩,2011),

本節僅呈現相關的計算公式。

一、 抽樣誤差變異量的估計

TIMSS 調查的資料分析的抽樣變異量採用 Frankel (1971) 針對二階段分層叢集抽樣

所提出的刀切重複抽樣法 (Foy, & LaRoche, 2016)。在 TIMSS 資料庫當中,包含我國在

內的大多數參加國家都是按國際調查中心的建議抽樣 150 所學校,這 150 所學校依據學

校分層變項以及學校大小等相近的特質配對成 75 組刀切抽樣區(任宗浩、譚克平和張

立民,2011)。依據二階段分層叢集抽樣的刀切重複抽樣法,TIMSS 2015 所有統計量

的抽樣誤差變異量估計必須透過 75 組重複抽樣的樣本來估計;每一次重複抽樣的樣本,

僅針對其中的一個刀切抽樣區隨機去除一所學校的資料,而將另一個學校的權重改為 2

倍,其他 74 個抽樣區的 148 所學校之權重維持不變;之後研究者可將原始樣本之統計

值 t,及根據 75 組重複抽樣樣本計算得到的 75 個統計值 t (j)(j=1, 2, ..., 75) 代入式 3.2 後,

計算根據原樣本統計值 t 推估母群參數之抽樣誤差變異量 U (t)(Foy, & LaRoche, 2016;

任宗浩,2011):

^^

^

二、 測驗誤差變異量的估計

為了讓研究者在針對 TIMSS 資料庫進行分析時,能夠很容易地估計因為成就測驗的

測量誤差對統計量的估計所造成的影響。TIMSS 資料庫利用每位學生對於成就測驗的作答

結果以及背景問卷所提供的訊息,估計其能力的後驗分佈(posterior distribution),

再根據此分佈隨機抽取五個似真值(plausible values)來代表每一位樣本在各個向度的

學習成就(Foy, & LaRoche, 2016; Mislevy, 1991)。利用這五組似真值能夠讓研究者

在利用 TIMSS 資料庫進行母群參數的估計時,將測量誤差所導致的變異考慮進來。其中

對於母群參數 t 的估計,應先分別利用每一組似真值估計對應的統計量 之後,再將五個統計量平均,即為母群參數 t 的期望值 t:^

(3.2)

(3.3)

Page 15: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

58

研究設計與資料分析

其中 M 為對每位受試者抽取似真值的次數,TIMSS 採用五個似真值,所以 M=5。而

對母群參數估計因成就測量誤差所造成之變異量為

三、 標準誤的估計

透過 TIMSS 調查對於母群參數估計的誤差變異來源主要有兩個部分,第一個部分是

來自於抽樣誤差所造成之抽樣變異(式 (3.2)),第二個部分則是來自於因成就測驗誤差

所導致的測量變異(式 (3.4))。對母群參數估計的誤差變異 V 可依式 (3.5) 合併這兩個部

分 (Mislevy, Beaton, Kaplan, & Sheehan , 1992):

其中 為分別用五個似真值求得之抽樣變異的平均:

最後 即為母群參數 t 估計之標準誤。

理論上,所有與成就測驗有關的母群參數估計都需要透過五組似真值分別求出估計值

後加以平均,而為了估計其標準誤,還需針對每一組似真值,針對所有樣本進行刀切重複

抽樣,根據每次抽樣結果重新計算一組估計值,每組似真值需進行 75 次重複抽樣,五組

共需進行 375 次的重複抽樣。換句話說,每一個統計量都必須進行 380 次的估計,再將

此 380 次的估計結果依據上述方法計算後,才能獲得母群參數及標準誤的正確估計。在

TIMSS 的國際報告中,所有統計值和其標準誤的估計都是按照式 (3.6) 的程序計算得到的,

唯獨為了簡化程序,式 (3.6) 中的 由第一組似真值所算出來的抽樣變異 所取代,而

非採用五組似真值所算出的抽樣變異量再取平均值。

(3.4)

(3.5)

(3.6)

Page 16: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

59

第三章

第三節 結論與建議

本章簡單說明 TIMSS 2015 的抽樣設計和調查結果之誤差估計方法。由於 TIMSS 設

計之主要目的在於準確估計所有參加國家四年級與八年級生之數學與科學平均成就,其抽

樣架構、題本與試題的安排、背景資料的蒐集等,都在調查進行前有縝密的規劃。由於

TIMSS 調查採複雜抽樣方式,研究人員對於 TIMSS 資料庫的使用也應該也依循第二節所

介紹的誤差估計方法,以免在進行統計檢定時產生低估了違犯型 I 錯誤的機率。

國際評比除了關注整體學生的平均表現外,還有許多值得檢視的指標,例如跨屆成就

表現、能力分布差異以及組內相關等趨勢。藉由跨屆趨勢的分析探討,日本和新加坡學生

的成就表現不僅優異並持續攀升,且能力分布的差異程度逐漸縮減。但兩個國家的課程制

度卻有不同:新加坡採能力分流分校的規劃,校內學生能力均質性高;日本則採常態入學,

故不同學校間學生能力的分布極為相似、校內學生能力則差異較大。臺灣正面臨推動新課

綱的挑戰,經由國際評比結果,借鏡其他國家的成功經驗,可讓臺灣於推動新課綱時,收

事半功倍之效。

參考文獻

任宗浩(2011)。研究設計與資料分析(第三章)。張俊彥主編,TIMSS 2007 國際數學

與科學教育成就趨勢調查國家報告。臺北市:國立臺灣師範大學科學教育中心。

任宗浩、譚克平、張立民(2011):二階段分層叢集抽樣的設計效應估計:以 TIMSS

2007 調查研究為例。教育科學研究期刊,第 56 期(第 1 卷),33-65 頁。

侯佩君、杜素豪、廖培珊、洪永泰和章英華(2008)。台灣鄉鎮市區類型之研究:台灣

社會變遷基本調查第五期計畫之抽樣分層效果分析。調查研究,第 23 期,7-32 頁。

Joncas, M., & Foy, P. (2012). Sample design in TIMSS and PIRLS. In J. F. Olson, M. O. Martin & I. V. S. Mullis (Eds.), Methods and procedures in TIMSS and PIRLS 2011 . Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston

College.

Foy, P., & LaRoche, S. (2016). Estimating standard errors in the TIMSS 2015 results. In M. O.

Martin, I. V. S. Mullis, & M. Hooper (Eds.), Methods and Procedures in TIMSS 2015

(pp. 15.1-15.312). Retrieved from Boston College, TIMSS & PIRLS International

Study Center. http://timss.bc.edu/publications/timss/2015-methods/chapter-15.

html

Page 17: 研究設計與資料分析 - NTNU · 2018-07-03 · 表3-2a-b顯示利用hlm6.08軟體所估計的timss 2015參加國家四年級與八年級 兩個調查母群的組間變異、組內變異以組內相關。本文的組內相關包含了校內相關和校內

60

研究設計與資料分析

Lehtonen, R., & Pahkinen, E. (2004), Practical methods for design and analysis of complex surveys, statistics in practice (2nd ed.) . New York : John Wiley &

Sons.