tefl 20141028 3key

英語科教育法Ⅲ 第３回 October 28th, 2014

亘理陽一 [email protected]

mailto:[email protected]

Opening small talk

第 3回: 評価・テスティングの基礎概念

• Feedback & Review

• Debriefing session & Task

• Lecture: Assessment and testing

• Assignment

Assessment and testing

• 記述統計

• 得られたデータをまとめて、「このデータの特徴は〇〇ですよ」と記述する統計

• 目的は、たくさんのデータを整理してわかりやすく表現すること


• 学習者のために収集・分析すべき情報

• 当該テストの大問ごと（カテゴリー）の平均点（＋標準偏差）

• 当該テストの項目ごとの正答率


• 到達度テストのあり方

• 配点: 重みづけ

• ≠問題の難しさor解答時間


• どのようなテストが「良いテスト」か

• [ 　 ] 1. テスト問題で，正答率80％を超えるものは良い問題ではない。

• [ 　 ] 2. テスト問題で，正答率があまりに低い，例えば20％を下まわるようなものは良い問題ではない。

• [ 　 ] 3. テスト問題は，正答率が約60％になるようにつくるべきである。


• どのようなテストが「良いテスト」か

• [ × ] 1. テスト問題で，正答率80％を超えるものは良い問題ではない。

• [ × ] 2. テスト問題で，正答率があまりに低い，例えば20％を下まわるようなものは良い問題ではない。

• [ × ] 3. テスト問題は，正答率が約60％になるようにつくるべきである。


• Cf. 項目応答理論


• 到達度テスト

• 熟達度テスト


• 熟達度テスト • 到達度テスト

Assignment

• New Crown, Book 1, Lesson 8の教材を学習した後のテストを考える

• ねらい＝テスティング・ポイント

• そのタイプのテストを作成・実施する際の留意点

• 種類・形式は自由；配布・回収も含めて５分程度で実施できるもの

Debriefing session

• 順に報告

• 持ち時間: 3分

• 方法・ねらいを説明

• 自分にはなかった方法、ねらいをメモ

• 実施に当たって気になる点を意見交換

Task

• 「写真のポールになりきって，アメリカの学校の昼食について説明してください」”Imagine that you are Paul in this picture. Please tell us about school lunch in America.”

• よういち君の答案を10点満点で採点

• 採点基準をメモ


• 妥当性

• 測りたいものを測ろうとしているかどうか

• 信頼性

• 安定して（ゆらぎなく）測れているかどうか


• 妥当性（validity）: 測りたいものを測ろうとしているかどうか

• 内容的妥当性: 質問項目・問題の適切さ

• 基準関連妥当性: 客観的基準との相関で測られるもの

• 予測的／同時的

• 構成的妥当性: 仮定が実際のデータで実証されるか


• 信頼性（reliability）: 安定して（ゆらぎなく）測れているかどうか

• 検査・再検査、採点者内: 時間的

• 採点者間、平行検査: 空間的

• 内的整合性

• Cronbach’s alpha＞.80 or 折半法


• 公正性（equity）:

• 出題・採点のプロセスに関与するさまざまな要因（性別，国籍，宗教，階層等）が整えられているかどうか

• 実行可能性（feasibility）：

• その評価方法を実施するための条件が整っているかどうか


• テスト形式の選び方考え方

• 測定は直接的 or 間接的？

• 潜在特性: 心理学的特性は直接観察できないということ; ０点だからと言って「能力がない」わけではない

• 主に理解力を測る or 主に発信力を測る？


• 測定の標準誤差：同じテストを受けた生徒間のばらつき

• 68％：SD×√1—α

• 95％：1.96SD×√1—α

• E.g., よういち君80点、めぐみさん85点

• SD=20, α= 0.8→SE = ±8.94（68％）

• TOEIC→SE = ±50（68％）, ±98（95％）


• 測定の差の標準誤差：同じ生徒がテストを何度も受けた時のばらつき

• 68％：√2×SD×√1—α

• 95％：√2×1.96SD×√1—α

• E.g., 夏休み開始前30点、終了後45点

• SD = 20, α= 0.8→SE = ±12.65（68％）

• TOEIC→SE = ±70（68％）, ±138（95％）


• 練習効果: 繰り返しによる慣れ

• （平均への）回帰効果

• 平均点から離れているデータほど次は平均に近づく傾向

• テスト間の相関が低いほど表れやすい

• 天井効果・床効果：M±1SDで判断

• 結果が最大値・最小値に偏っている場合

Assignment

• テキスト(1)第3章に目を通す

• 各自が身につけさせたい「英語力」と、学習指導要領に掲げられた目標をもとに、中学校外国語科３年間でめざす姿（学校の教科目標）を策定

• 観点は自由: 「○○な生徒（の育成を目指す）」

• 11月4日8:40までにLiveCampusを通じて提出；一部印刷して11月4日の授業に持参

Closing small talk

tefl 20141028 3key

Education