ニューラルテスト理論における DIF 指標の提案

新潟大学全学教育機構熊谷　龍一

ＤＩＦ（特異項目機能）について

「テストが測定しようとしている特性・能力が等しいにもかかわらず、所属する下位集団によって正答率が異なってしまう」

（例：知能検査での男女差）

ＤＩＦ（特異項目機能）について

DIF 検出の方法Lord の χ2 法Thissen 他のデザイン行列による方

法BILOG-MG の DIF コマンドMantel-Haenszel 法SIBTEST 　 …など

ＤＩＦ（特異項目機能）について

⇒ 　 IRT の文脈では「項目パラメタの不変性が下位集団で成立していない」

　　　　　　　　　　　 ( 渡辺・野口 ,　1999)

0.0

0.5

1.0

-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0

正答確率

潜在特性尺度値

集団１

集団２

ＮＴＴで表現すると…

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4 5 6 7 8 9 10

Prob

ability

潜在ランク

group1group2

本発表で提案する方法IRT の枠組みで提案されてきた熊谷・山口・小林（ 2005 ）および熊谷（ 2007 ）を，ニューラルテスト理論に応用する

DIF 指標の計算方法

１．データ行列の分解Thissen,　Steinberg,　&　Wainer(1993)

によるデザイン行列の作成。

１．データ行列の分解item

１　２　３　４　５　６　 …　　Ｎ

Ｇｒｏｕｐ１

Ｇｒｏｕｐ２

１．データ行列の分解item

１　２　４　５　６　…　　Ｎ

Ｇｒｏｕｐ１

Ｇｒｏｕｐ２

３’　　３ *

欠測値

欠測値

２．項目参照プロファイルの推定

１．で作成したデータファイルに対して，項目参照プロファイル（ IRP ）を推定する。

２．項目参照プロファイルの推定item

１　２　４　５　６　…　　Ｎ

Ｇｒｏｕｐ１

Ｇｒｏｕｐ２

３’　　３ *

欠測値

欠測値

DIF を検討したい項目については， 2 つの IRPが 推 定 さ れ る（３’と３ *）。

２．項目参照プロファイルの推定

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4 5 6 7 8 9 10

Prob

ability

潜在ランク

group1group2

２．項目参照プロファイルの推定潜在ランク分布（ latent　rank　distribution,　LRD ）

0.000.020.040.060.080.100.120.14

1 2 3 4 5 6 7 8 9 10潜在ランク

相対LRD

　　　　　　　　　　　　　　　・・・潜在ランク数　　　　　　　　　　　・・・集団１および集団 2

として推定した項目参照プロファイルでの潜在ランク q における項目正答確率

　　　　　　・・・潜在ランク q における相対 LRD（もしくは相対 RMD ）

３． DIF 指標の計算

Q

qqgqPqPK

121

Q

qPqP 21 ，

qg

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4 5 6 7 8 9 10

Prob

ability

潜在ランク

group1group2

0.0 0.1 0.1 0.2

1 2 3 4 5 6 7 8 9 10潜在ランク

相対LRD

正答確率差

正答確率差の期待値

指標の性能検討シミュレーションデータによるMantel-Haenszel 法（以下 M-H法）

　との比較検討

シミュレーションデータの作成

被験者母数 θ

標準正規乱数

2 母数ロジスティック・モデル（ IRT ）における正答確率と一様乱数との比較による０－１データの作成

1000名

1000名

乱数による項目母数設定（識別力：対数正規乱数，困難度：標準正規乱数）

15 項目

50 項目

50 項目

２セット作成（ 100 項目分の DIF項目）

結果

0.0

5.0

10.0

15.0

20.0

25.0

0.00 0.20 0.40 0.60 0.80 1.00

|-2.35

*ln(α)|

indexK

α ：共通オッズ比の推定値

ｒ =　0.92

結果

0.00

0.50

1.00

1.50

2.00

2.50

3.00

0.00　 0.05　 0.10　 0.15　 0.20　 0.25　 0.30　

Δ=|-

2.35

*ln(

α)|

indexK

Roussos　and　Stout　(1996) による Large　or　C-level　DIF 基準　ΔMH≧1.5

指標 K の特徴正答率差の期待値として０～１の値で

表現され，解釈が容易である。

実際に IRP を描くことで，どの集団のどのカテゴリにおいて DIF の影響が大きいのかを検討することができる。

3 母集団以上の DIF 検出に拡張が可能。

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4 5 6 7 8 9 10

Prob

ability

潜在ランク

group1group2

課題計算量の多さ

→ 専用のソフトウェアの開発

Suspect　item （ DIF を検討する項目）と Matching　item （ DIF が生じていない項目）の切り分け

　→ purification の確立