evidence-based education policyと日本の英語教育学
TRANSCRIPT
Evidence-Based Education Policy
と日本の英語教育学
寺沢拓敬（てらさわ・たくのり）[email protected]
日本学術振興会特別研究員PD／東京大学社会科学研究所
1
2016年3月13日日英・英語教育学会 第15回研究会青山学院大学
概要
1. エビデンスベースト とは何か
2. エビデンス階層
3. 小学校英語の政策決定をエビデンスの観点から振り返る
4. 良質のエビデンスを得るために必要な研究デザイン
5. 英語教育研究向けエビデンスのガイドラインをつくる
2
エビデンスベーストとは何か
3
01.40
本発表前半のベースの論文
寺沢拓敬 (2015). 「英語教育学における科学的エビデンスとは？――小学校英語教育政策を事例に」『外国語教育メディア学会（LET）中部支部外国語教育基礎研究部会2014年度報告論集』 pp. 15-30.
ダウンロード先http://d.hatena.ne.jp/TerasawaT/20150706/
4
EBP: Evidence Based Practice
EBM: Evidence Based Medicine(根拠に基づいた医療)
Evidence Based Education Policy
(or Evidence Informed EP)
5
Bridges, Smeyers, & Smith (2009)
Evidence-Based Education Policy:
What Evidence? What Basis? Whose
Policy?
民主的（非権威主義的）な意思決定
権威としての科学的知識
民主的プロセスのための科学的知識
政治家・役人・学者がいわば勘に基き一方的に行っていた政策判断をよりオープンに
6
「エビデンス」の意味
注意すべき用法 (1)
「介入→結果」モデル
特定の介入（例：指導法、カリキュラム）が、被介入者（例：生徒）に何らかの成果（アウトカム）を生じさせるか否かに注目
【ポイント】
•「客観的であれば何でもよい」わけではない
•「数値目標（達成目標）」とは異なる
7
「エビデンス」の意味
注意すべき用法 (2)
エビデンス階層「介入→結果」の因果的効果が
どれだけ信頼できるかが重要
【ポイント】「科学的知識であれば何でもよい」わけではない
8
エビデンス階層9
06.10
オックスフォード大学EBMセンターのガイドライン（拙訳）(Oxford Centre for Evidence-based Medicine, 2009)
10
1a ランダム化比較実験の系統的レビューで結果に均質性あり、 1b 個々のランダム化
比較実験のうち信頼区間の狭い、1c 治療群が全員生存あるいは非治療群が全員死亡
2a コホート研究の系統的レビューで結果に均質性があるもの、2b 個々のコホート研究。
質の低いランダム化比較実験も含まれる、2c アウトカム研究，生態学的研究
3a 症例対照研究の系統的レビューで結果に均質性があるもの、3b 個々の症例対照研
究
4 一連の症例を集めたもの
5 明確な批判的吟味のない，あるいは，生理学，基礎実験，原理的な議論に基づく専
門家の意見
教育政策に関するエビデンス階層（試案）
11
1 因果的研究（ランダム化比較実験等）
2 コホート研究（追跡調査等）
3 相関的研究（質問紙調査等の一時点調査）
4 事例を集めたもの
5 上記の調査のうちデザインが不適切なもの;
専門家の意見；現場のデータに基づかない基礎科学
ランダム化比較実験
12
画像の出典：中室 (2015), 図表39
コホート研究・追跡研究
13
各自の意志で介入を受けるかどうかを選択
小学校英語の政策決定をエビデンスの観点から振り返る
14
09.50
必修化推進の根拠に使われたエビデンス
A) 狭義のSLA（特に臨界期仮説）、認知科学、脳神経科学
B) 早期L2学習における習得過程の研究
C) 情意面の発達を扱った心理学的研究
D) 研究校等の先行的実践の事例報告
E) 早期英語経験者・非経験者の統計的比較
15
16
1
2
3
4
信頼度低 5 A 狭義のSLA、認知科学、脳科学
B L2習得過程 C 情意面の心理学
政策エビデンスとしての信頼度高
A/B/CSLA, 認知科学、脳科学、言語習得過程
きわめて低いエビデンスレベル
「現場」からの距離– 日本の小学校英語の教育現場から遠い– 「介入→効果」の因果モデルではない– 因果効果を直接検証していない
高い科学性、低い妥当性「科学であること」は「政策的に妥当であること」を必ずしも意味しない
17
18
1
2
3
4
信頼度低 5 A 狭義のSLA、認知科学、脳科学
B 外国語習得過程 C 情意面の心理学
D’事例報告（デザイン劣）
政策エビデンスとしての信頼度高
D 研究校等の事例報告（デザイン良）
D. 先行実践の事例報告
適切なデザインである限り質は高くないものの有益なエビデンス
↕
適切なデザインでなければきわめて質の劣るエビデンス
• 先駆的な実践の啓蒙（松川, 1997; 2004）
• 「効果の検証」に不可欠な中立性に乏しい
• エビデンス不在でも説得力を持つ「美談」
• 報告書は「成果はなかった」と言いづらい
19
20
1
2
3
4
信頼度低 5 A 狭義のSLA、認知科学、脳科学
B 外国語習得過程 C 情意面の心理学
D’事例報告（デザイン劣）
E 早期英語経験者比較（デザイン良）
政策エビデンスとしての信頼度高
D 研究校等の事例報告（デザイン良）
E’早期英語経験者比較（デザイン劣）
E. 経験者・非経験者の比較
適切なデザインである限り有益なエビデンス
↕
適切なデザインでなければきわめて質の劣るエビデンス
• 日本児童英語教育学会（JASTEC）による一連の調査を始めとした先行研究の問題点（cf. 寺沢, 2015, pp. 233-4）
1. 対象者のバイアス、ランダム抽出ではない
2. 終局的効果（or 長期的効果）の検討なし
3. 交絡因子への対応なし21
では、どのように研究すればよいか
22
19.30
（再掲）教育政策に関するエビデンス階層（試案）
23
1 因果的研究（ランダム化比較実験等）
2 コホート研究（追跡調査等）
3 相関的研究（質問紙調査等の一時点調査）
4 事例を集めたもの
5 上記の調査のうちデザインが不適切なもの;
専門家の意見；現場のデータに基づかない基礎科学
24
低質のエビデンス
良質のエビデンス
ランダム化比較実験
ランダム抽出による経験者・非経験者比較
縁故サンプリング等の恣意的な経験・非経験者比較
認知科学系SLA, 脳科学
抽出バイアスに配慮した経験者・非経験者比較
25低質
良質ランダム化比較実験
ランダム抽出による経験者・非経験者比較
縁故サンプリング等の恣意的な経験・非経験者比較
抽出バイアスに配慮した経験者・非経験者比較
コスト大
コスト小
現実的な調査デザイン
26
小英の経験（過去）
正規の授業としての経験がベター
現在の英語力長期的な成果であるほどベター
交絡因子例：保護者の学歴・教育意識、世帯の収入、生育地（都市度等）etc
因果効果
※ 無作為抽出orそれに準じる方法で被調査者を選択
メソドロジーに関する補足
交絡因子を事後的に（i.e., 数学的に）統制する方法
重回帰
SEM
傾向スコア星野崇宏 (2009) 『調査観察データの統計科学―因果
推論・選択バイアス・データ融合』岩波書店
林岳彦 (2012) 「統計的因果推論（傾向スコア）の勉強会資料をアプしてみた」Take a Risk：林岳彦の研究メモ. http://takehiko-i-
hayashi.hatenablog.com/entry/20120427/1335475881
27
前半のまとめ
小学校英語必修化の根拠に用いられたエビデンスは、きわめて質が低い
良質のエビデンスを得ることは現実的にも可能• 無作為抽出（あるいはそれに準じる方法）
• 交絡因子などの様々なバイアスに対処
• 終局的（あるいは長期的）効果に焦点
あくまでこれは「政策的エビデンス」の話• 政策的エビデンスについてコンセンサスを得るのは比較的簡単
• 問題は教室研究
28
ガイドラインをつくる
29
XX.XX
エビデンス階層を構成する2つの原理
原理1因果の連鎖が近ければ近いほど良い
原理2バイアスが小さければ小さいほど良い
30
距離近
Close
距離遠
Distant
CD
原理1 因果の近さ
「介入→効果」の因果の連鎖が近ければ近いほど意思決定に直接的に役立つエビデンスであり、上位に格付けすべし。
31
実例「原理1 因果の近さ」
議題1次のスライドに実証研究の結果（科学的エビデンス）を8点示します。
これらを小学校英語の政策決定にどれだ
け貢献するかという観点から評価します。
ここでは因果の近い順に順位をつけて下さ
い。
32
実証研究（科学的エビデンス） 順位
シナプス（神経細胞の結合）の数は3歳前後にピーク、その後減る 8
生後6ヶ月～12ヶ月の乳児に英語を聞かせたところ、/l/ から /r/ に音が変わると脳波も変化した
スウェーデン語のL2学習者を調査したところ、母語話者に近いVOT習得と習得開始時期に有意な相関があった（早いほどNSに近いVOT）
8歳以降に米国に移住した人の文法性判断テストの成績は、母語話者や7歳以前移住者より低かった
X社の児童英会話教室に通ったことがある生徒（13-15歳）を追跡し、標準テストを受けさせた．対照群より経験群の点数の方が高かった
全国の小学校で「総合的な学習の時間」に英語に触れた者を追跡し、センター英語の成績を調査した．経験者の平均点の方が高かった
P市（教科として小英実施）と隣のQ市（未実施）の出身者（25-34歳）に英語力を尋ねた（自己評価設問使用）．P市の出身者のほうが英語ができると答えた者が多かった
政府によって検討中の小学校英語プログラムを実験校に先行的に導入。経験者を追跡し、成人後に英語力を測定した結果、経験者の英語力は対照群より高かった。
33
34
Variable
Variable
Variable
Variable
Variable
Variabl
e
Variabl
e
早期英語の効果
Variabl
e
脳波がどうとか臨界期がどうとか
途方もない因果の連鎖…。
V
V
V
V
V
V
V
V V
VV
V
V
V
35
早期英語の効果
実験的プログラム
因果の連鎖の近いものがよいエビデンス
Variable
Variable
Variable
Variable
Variable
Variable
Variable
Biasedバイアス大
バイアス小
Unbiased U
B
原理2 バイアスの小ささ
因果効果の推定に伴うバイアスが少なければ少ないほど信頼性が高いエビデンスであり、上位に格付けすべし。
36
オックスフォード大EBMセンターのガイドライン（再掲、抜粋）
37
1a ランダム化比較実験の系統的レビューで結果に均質性あり
1b 個々のランダム化比較実験のうち信頼区間の狭いもの
2a コホート研究の系統的レビューで結果に均質性があるもの
2b 個々のコホート研究。
質の低いランダム化比較実験も含まれる
3a 症例対照研究の系統的レビューで結果に均質性があるもの
3b 個々の症例対照研究
議題 2-a
なぜ以下のように症例対照研究よりコホート研究、コホート研究よりランダム化比較実験が優れていると考えられているのでしょうか。その論理を議論して下さい。
★★★★★ ランダム化比較実験 経験させる人と
させない人をランダムに振り分けて追跡
★★★★☆ コホート研究 経験する人としない人を
追跡
★★★☆☆ 症例対照研究 過去に経験した人としな
かった人を調査
38
議題 2-b
なぜ系統的レビュー／メタアナリシスを経
て再現性があることがわかると、
エビデンスの質が良くなるのでしょうか。そのロジックを議論して下さい。
39
ガイドライン作成に伴う争点
40
XX.XX
科学は価値判断をしない（価値判断をするものは科学ではない）
• ガイドラインの本質は、各研究に優先順位を付けるとい
う価値判断
• 科学的知見を参考にしているとはいえ、ガイドライン構
築自体はあくまで政治的・社会的なプロセス
• 「教育」は意思決定を必然的に伴うので、純粋な意味での科学にはなりえない（「学習」なら問題なし）
• EBMガイドラインが現在「科学的事実」のように扱われることがあるのは、過去の長きにわたる議論を経て広く
合意が得られたからこそ
41
争点1
「因果の近さ」と「バイアスの少なさ」が対立した時、どちらを優先すべきか？
42
Biasedバイアス大
バイアス小
Unbiased
距離近
Close
距離遠
Distant
CUDU
DB CB
43
バイアス大
バイアス小
距離近距離遠
脳神経経科学（特に相関研究）
付属小学校の児童の追跡調査（一般化にバイアス）
成人対象の小英経験と現在の英語力の相関研究
（因果効果推定にバイアス）
早期英語経験の短期効果のメタアナリシス（政策評価から遠い）
小学校英語政策の場合
44
CU
DU
DB
CB
左に約70度回転
45
CU
DU
DB
CB
左に約20度回転
46
パラフレーズ：争点1
「因果の近さ」と「バイアスの少なさ」が対立した時、どちらを優先すべきか？
↓「厳密さは高いが関連性の低い科学知識」と
「厳密さは低いが関連性の高い科学知識」の両者があった時、どちらを優越させるか
47
争点2
そもそも実証研究を格付けるガイドラインは英語教育研究に必要か？
48
EBM並みの厳密なガイドラインを採用した場合・・・→既存の英語教育研究・SLA研究の90%以上は「一番下のランク」という評価
Ev階層の基本思想のみへの依拠でも…→おそらく数割以上は「ほぼ無関係のエビデンス」という評価
SOURCE:http://www.forbes.com/sites/rodgerde
anduncan/2014/10/14/
EBP as an elephant in the room?
49
EBP ≠ 万能薬EBP = べからず集
能登 (2010, EBM入門書) の基本メッセージ
– 誇張された“科学的効果” にだまされない
– バイアスの大きい “科学的効果”は
割り引いて理解する
EB-ELTの場合?– 科学的英語教育にだまされるな
– 「英語教育の科学」すべてを真に受けない
50
EBMと教室研究で事情が違う
1. 短期目標（エンドポイント）の有無医療 終局的な成果（治癒・生存）の代理指標としてコンセンサスが
得られている指標が多数ある
教育 代理指標に関するコンセンサスはほぼない
2. 効果が発現するまでの時間医療 比較的短期・中期
教育 非常に長期
3. 実験（とくにRCT）の困難度医療 一般的
教育 困難
4. ランダムサンプリングの困難度医療 困難（通常、疾病は低確率の現象）
教育 コストは大きいが可能（教育上の介入は低頻度現象ではない）51
後半のまとめ
1. 因果の近さ
関連性が高い研究であればあれほど良いエビデンス
2. バイアスの小ささ
因果効果の推定にバイアスが混入しなければしないほど良い
3. 英語教育研究独自のエビデンスが必要かどうかも含めた包括的な議論が必要
課題1「因果の近さ」と「バイアスの少なさ」が対立した時の優先順位にコンセンサスをつくる
課題2 どれだけEBMや既存のEBPガイドラインに則るかコンセンサスをつくる
52
53
Bridges, D., Smeyers, P. & Smith, R., (ed.). (2009). Evidence-based education policy:
What evidence? What basis? Whose Policy?. John Wiley & Sons.
Oxford Centre for Evidence-based Medicine. (2009). Levels of evidence (March
2009). http://www.cebm.net/oxford-centre-evidence-based-medicine-levels-
evidence-march-2009/.
JASTEC言語習得プロジェクトチーム (1991, 1992, 1993). 「学習開始年齢が言語習得に及ぼす影響： II, III, IV 報」『日本児童英語教育学会研究紀要』10, 11, & 12.
（ページ略）
JASTEC プロジェクトチーム (1986, 1987, 1988, 1989).「早期英語学習経験者の追跡調査：第 1, 2, 3, 4 報」『日本児童英語教育学会研究紀要』5, 6, 7, & 8. （ページ略）
中室牧子 (2015). 『「学力」の経済学』ディスカヴァー・トゥエンティワン
能登洋 (2010). 『やさしいエビデンスの読み方・使い方 : 臨床統計学からEBMの真実を読む』南江堂.
寺沢拓敬 (2015).『「日本人と英語」の社会学：なぜ英語教育論は誤解だらけなのか』研究社.
ヘックマン, J. (古草秀子訳). (2015). 『幼児教育の経済学』東洋経済新報社
松川禮子 (1997).『小学校に英語がやってきた：カリキュラムづくりへの提言』アプリコット.
松川禮子 (2004). 『明日の小学校英語教育を拓く』アプリコット.