tefl 20141028 3key
Post on 19-Jun-2015
205 Views
Preview:
DESCRIPTION
TRANSCRIPT
Opening small talk
第 3回: 評価・テスティングの基礎概念
• Feedback & Review
• Debriefing session & Task
• Lecture: Assessment and testing
• Assignment
Assessment and testing
• 記述統計
• 得られたデータをまとめて、「このデータの特徴は〇〇ですよ」と記述する統計
• 目的は、たくさんのデータを整理してわかりやすく表現すること
Assessment and testing
• 学習者のために収集・分析すべき情報
• 当該テストの大問ごと(カテゴリー)の平均点(+標準偏差)
• 当該テストの項目ごとの正答率
Assessment and testing
• 到達度テストのあり方
• 配点: 重みづけ
• ≠問題の難しさor解答時間
Assessment and testing
• どのようなテストが「良いテスト」か
• [ ] 1. テスト問題で,正答率80%を超えるものは良い問題ではない。
• [ ] 2. テスト問題で,正答率があまりに低い,例えば20%を下まわるようなものは良い問題ではない。
• [ ] 3. テスト問題は,正答率が約60%になるようにつくるべきである。
Assessment and testing
• どのようなテストが「良いテスト」か
• [ × ] 1. テスト問題で,正答率80%を超えるものは良い問題ではない。
• [ × ] 2. テスト問題で,正答率があまりに低い,例えば20%を下まわるようなものは良い問題ではない。
• [ × ] 3. テスト問題は,正答率が約60%になるようにつくるべきである。
Assessment and testing
• Cf. 項目応答理論
Assessment and testing
• 到達度テスト
• 熟達度テスト
Assessment and testing
• 熟達度テスト • 到達度テスト
Task
Assignment
• New Crown, Book 1, Lesson 8の教材を学習した後のテストを考える
• ねらい=テスティング・ポイント
• そのタイプのテストを作成・実施する際の留意点
• 種類・形式は自由;配布・回収も含めて5分程度で実施できるもの
Debriefing session
• 順に報告
• 持ち時間: 3分
• 方法・ねらいを説明
• 自分にはなかった方法、ねらいをメモ
• 実施に当たって気になる点を意見交換
Task
• 「写真のポールになりきって,アメリカの学校の昼食について説明してください」”Imagine that you are Paul in this picture. Please tell us about school lunch in America.”
• よういち君の答案を10点満点で採点
• 採点基準をメモ
Assessment and testing
• 妥当性
• 測りたいものを測ろうとしているかどうか
• 信頼性
• 安定して(ゆらぎなく)測れているかどうか
Assessment and testing
• 妥当性(validity): 測りたいものを測ろうとしているかどうか
• 内容的妥当性: 質問項目・問題の適切さ
• 基準関連妥当性: 客観的基準との相関で測られるもの
• 予測的/同時的
• 構成的妥当性: 仮定が実際のデータで実証されるか
Assessment and testing
• 信頼性(reliability): 安定して(ゆらぎなく)測れているかどうか
• 検査・再検査、採点者内: 時間的
• 採点者間、平行検査: 空間的
• 内的整合性
• Cronbach’s alpha>.80 or 折半法
Assessment and testing
• 公正性(equity):
• 出題・採点のプロセスに関与するさまざまな要因(性別,国籍,宗教,階層等)が整えられているかどうか
• 実行可能性(feasibility):
• その評価方法を実施するための条件が整っているかどうか
Assessment and testing
• テスト形式の選び方考え方
• 測定は直接的 or 間接的?
• 潜在特性: 心理学的特性は直接観察できないということ; 0点だからと言って「能力がない」わけではない
• 主に理解力を測る or 主に発信力を測る?
Assessment and testing
• 測定の標準誤差:同じテストを受けた生徒間のばらつき
• 68%:SD×√1—α
• 95%:1.96SD×√1—α
• E.g., よういち君80点、めぐみさん85点
• SD=20, α= 0.8→SE = ±8.94(68%)
• TOEIC→SE = ±50(68%), ±98(95%)
Assessment and testing
• 測定の差の標準誤差:同じ生徒がテストを何度も受けた時のばらつき
• 68%:√2×SD×√1—α
• 95%:√2×1.96SD×√1—α
• E.g., 夏休み開始前30点、終了後45点
• SD = 20, α= 0.8→SE = ±12.65(68%)
• TOEIC→SE = ±70(68%), ±138(95%)
Assessment and testing
• 練習効果: 繰り返しによる慣れ
• (平均への)回帰効果
• 平均点から離れているデータほど次は平均に近づく傾向
• テスト間の相関が低いほど表れやすい
• 天井効果・床効果:M±1SDで判断
• 結果が最大値・最小値に偏っている場合
Assignment
• テキスト(1)第3章に目を通す
• 各自が身につけさせたい「英語力」と、学習指導要領に掲げられた目標をもとに、中学校外国語科3年間でめざす姿(学校の教科目標)を策定
• 観点は自由: 「○○な生徒(の育成を目指す)」
• 11月4日8:40までにLiveCampusを通じて提出;一部印刷して11月4日の授業に持参
Closing small talk
top related