ntt の実践的利用： 2 段階モデルによる 英語プレイスメントテストの分析...
Post on 19-Dec-2015
215 views
TRANSCRIPT
NTT の実践的利用：2 段階モデルによる英語プレイスメントテストの分析
第 7 回日本テスト学会企画セッション３：ニューラルテスト理論２００９年９月４日
新潟青陵大学 木村哲夫
発表の概略
1. 英語プレイスメントテストの開発2. NTT と IRT による分析の比較3. 外部テスト結果との比較
4. 下位テストごとに能力を分析 → その結果をもとに総合力を分析
① 下位潜在ランク→ 順位数の和② 下位潜在ランク→ 段階ニューラルテスト
5. 結果の比較と考察6. 今後に向けて
2
“ ニューラルテスト理論による英語プレイスメントテストの作成と評価” ( 木村 ,2009) の概要
2 段階モデルによる英語プレイスメントテスト分析
英語プレイスメントテスト作成の流れ
項目選択のための予備テスト
IRT ： 1PLM による項目分析 (ZL
値 )NTT ：項目参照プロファイル (IRP)
項目分析
misfit の除去
CTT ：点双列相関係数 (P.BIS)
プレイスメントテスト完成
Misfit 除去の基準Misfit Person ： ZL ＜－1.96Misfit Item ： P.BIS ＜0.25
3
4
予備テストの項目数と受験者数受験者数 項目数 準 1
級2 級 準 2
級3 級
文法語彙問題(vg)
222 80 25 20 20 15
会話問題 (dlg) 157 47 12 15 10 10
説明文問題 (mlg) 119 35 --- 15 10 10
受験者数 項目数 準 1級
2 級 準 2級
3 級
文法語彙問題(vg)
193 32 2 10 13 7
会話問題 (dlg) 142 13 0 7 2 4
説明文問題 (mlg) 112 19 --- 7 5 7
misfit の除去
NTT の項目困難度 (β) と 1PLM の項目困難度 (θ) の比較
6
0 1 2 3 4 5-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00 Vg
NTT (β)
1P
LM
(θ
)
0 1 2 3 4 5-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00 Dlg
NTT (β)
1P
LM
(θ
)
0 1 2 3 4 5-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00 Mlg
NTT (β)
1P
LM
(θ
)
rs
= .97rs
= .91rs
= .89
疑似クラス分け予備テストで、プレイスメントテストに選ばれた 64 問すべてを回答した 75 人のデータをもとに、下位テストごとのランク数の単純和により、擬似的に５クラス分けを行った。
7
Rvg
Vg の潜在ランク（ Q=10)
Rdlg
Dlg の潜在ランク
（ Q=10)
Rmlg
Mlg の潜在ランク
（ Q=10)
RT
総合評価( 下位テストのランクの単純
和 )３～３０
潜在ランク和 (RT) によるクラス分け
8
3 4 5 6 7 8 9 10111213141516171819202122232425262930Class01 Class02 Class03 Class04 Class05
0
1
2
3
4
5
6
潜在ランク和 (RT) とクラス
人数
n= 15 n= 15 n= 16 n= 14 n= 15
各クラスの英語基礎力総合評価 (RT 、 θT 、 ST)の代表値と散布度の比較
9
Class n RT θT ST
Mdn Range M SD M SD
Class 01 15 6 5 -3.06 0.604 26.9 3.88
Class 02 15 11 5 -1.39 0.584 35.5 3.76
Class 03 16 17 4 0.11 0.652 42.6 3.66
Class 04 14 21 3 0.97 0.698 46.9 3.09
Class 05 15 26 6 2.89 1.204 54.3 4.84
R 、 θ 、 S 間の相関係数
10
文法語彙 Rvg θvg Svg 会話 Rdlg θdlg Sdlg
Rvg ― .96 .96 Rdlg ― .90 .90
θvg ― .99 θdlg ― .98Svg ― Sdlg ―
説明文 Rmlg θmlg Smlg 総合評価 RT θT ST
Rmlg ― .93 .92 RT ― .96 .94
θmlg ― .92 θT ― .96Smlg ― ST ―
注： RT:θT と RT:ST はスピアマンの順位相関係数 (rs) を、 θT:ST はピアソンの積率相関係数 (r) を用いた。
他の英語能力試験結果との比較 (CASEC)
11
0 5 10 15 20 25 300
100200300400500600700800900
1000
RT
CA
SE
C
-4.00 -2.00 0.00 2.00 4.00 0
100200300400500600700800900
1000
θTC
AS
EC
rs=.80 r =.76
n =55
n =55
他の英語能力試験結果との比較 (TOEIC Bridge)
12
0 5 10 15 20 25 300
20
40
60
80
100
120
140
160
180
RT
TO
EIC
Bri
dg
e
-4.00 -2.00 0.00 2.00 4.00 0
20
40
60
80
100
120
140
160
180
θTT
OE
IC B
rid
ge
rs=.89 r =.90
n =13
n =13
2 段階モデルによる英語プレイスメントテストの分析
13
NTT により求めた下位テストの潜在ランク(Rvg, Rdlg, Rmlg) の単純和 (SUM) で
本当によいのか？
NTT により求めた下位テストの潜在ランクを段階ニューラルテスト (graded neural test,
GNT) ： LRT-SOM モデルにより分析すべきでは？
2 段階モデルによる英語プレイスメントテストの分析
14
① 2008 疑似クラス分け (N=75)
② 2009 N 短大のクラス分け(N=125)
• NTT 分析は予備テストで得られた IRP を固定し、①は neutet 、②はexametrika を使 LRT-SOM モデルにより、潜在ランクの目標分布を指定せずに行った。• GNT の分析は exametrika を使い LRT-SOM モデルにより、 潜在ランクの目標分布を 一様分布として行った。
NTT(Q=10) により下位テストの潜在ランク(Rvg, Rdlg, Rmlg) を求め
潜在ランク (Rvg, Rdlg, Rmlg) の単純和 (SUM) をもとに５クラス分け
SUM
潜在ランク (Rvg, Rdlg, Rmlg) を項目としてGNT(Q=5) により５クラス分け
GTN
SUM によるクラス分けとGNT によるクラス分けの相関
受験者数 第 1 段NTT
ﾗﾝｸ数
第 2 段GNTﾗﾝｸ数
順位相関係数
① 2008 75 10 5 0.93
② 2009 12510 5 0.95
10 10 0.92
15
•① の GNT を Q=10 とした場合は、弱順序配列を満たさなかった•順位相関係数はスピアマンの順位相関係数
クラス分け結果の差異
年度 (受験者数 ) DGNT=SUM+
1GNT=SUM-1
GNT=SUM+2
① 2008 (N=75)
4 2 2 0
② 2009 (N=125)
43 23 18 2
16
② 2009 Class1 Class2 Class3 Class4 Class5
SUM 28 29 20 23 25GNT 27 26 26 23 23
① 2008 Class1 Class2 Class3 Class4 Class5
SUM 15 15 16 14 15GNT 15 15 16 14 15
分析方法によって推定ランクが異なるケース (D)
分析方法の違いによるクラス人数の差異
GNT のテスト参照プロファイル(TRP)
18
1 2 3 4 50
2
4
6
8
10
12
14
潜在ランク
得点
1 2 3 4 50
2
4
6
8
10
12
14
潜在ランク
得点
① 2008 (N=75) ② 2009(N=125)
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク
相対
度数
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク
相対
度数
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク相
対度
数
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク
相対
度数
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク
相対
度数
1 2 3 4 5 6 7 8 9 100.0
0.1
0.2
0.3
0.4
0.5相対 LRD
相対 RMD
潜在ランク
相対
度数
19
下位テストの相対潜在ランク分布 (LRD) と相対ランク・メンバーシップ分布 (RMD)
Vg MlgDlg
① 2008 (N=75)
② 2009(N=125)
Vg MlgDlg
GNT の相対潜在ランク分布 (LRD) と相対ランク・メンバーシップ分布 (RMD)
20
① 2008 (N=75) ② 2009(N=125)
1 2 3 4 50.00
0.06
0.12
0.18
0.24
0.30
相対 LRD
相対 RMD
潜在ランク
相対度数
1 2 3 4 50.00
0.06
0.12
0.18
0.24
0.30
相対 LRD
相対 RMD
潜在ランク相対度数
21
GNT の項目参照プロファイル (IRP)
① 2008 (N=75) ② 2009(N=125)
1 2 3 4 50.0
1.0
2.0
3.0
4.0
5.0
RVgRDlgRMlg
LATENT RANK
1 2 3 4 50.0
1.0
2.0
3.0
4.0
5.0
RVgRDlgRMlg
LATENT RANK
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
22
RVg
RMlg
RDlg
RVg
RMlg
RDlg
GNT の境界カテゴリ参照プロファイル(BCRP) ① 2008 (N=75)
② 2009(N=125)
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
23
RVg
RMlg
RDlg
RVg
RMlg
RDlg
GNT の項目カテゴリ参照プロファイル(ICRP)
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
1 2 3 4 50.0
0.2
0.4
0.6
0.8
1.0
12345
① 2008 (N=75)
② 2009 (N=125)
2 段階モデルによる英語プレイスメントテストの分析（まとめ）
24
予備テストで識別力の高い項目を用意した場合SUM でも GNT でもほぼ同様のクラス分けができる。
NTT と GNT の 2 段階で分析することで、クラス( 能力）の境界を解釈・設定しやすくなる。
GNT で一様分布を指定することで、より均等なクラス分けが実現する。
SUM と GNT によるクラス分けで異なる結果が出るのは、 GNT は下位テストの識別力の差を考慮するためであろう。
2 段階モデルによる英語プレイスメントテストの分析（今後に向けて）
25
下位テストに読解問題を加える (GNT による分析）
各下位テストに項目数を増やし ( 等化）アイテムバンクを構築・公開：学校 (教員 ) 間での共有
各下位テストを Moodle-based CAT にする
潜在ランクを何らかの Can-D0-Chartへ対応づける
英語基礎力の構成概念の妥当性の検討
