英語授業を見つめ直す方法: テストデータの見方を知ろう

セミナー２

英語授業を見つめ直す方法： テストデータの見方を知ろう

浦野 研（北海学園大学） email: urano@hgu.jp

全国英語教育学会・小学校英語教育学会 第2回英語教育セミナー＠関西大学

2014.10.26.

本日の資料 http://bit.ly/jasele_seminar2014

突然ですが 質問です

どんなテスト してますか？

Question 1

テストの結果、 どう保管してますか？

Question 2

アウトライン

アウトライン

1. 既存のデータを活用しよう

2. 入力方法を変えてみよう

• セクションごとの得点

• １問ずつの得点

• 解答そのもの

既存のデータを活用しよう

• データの要約

• 中心

• ばらつき

• データの可視化

• ヒストグラム

• 散布図

既存のデータを活用しよう

データの要約

データの要約

• データの中心

• 平均値（mean）

• 中央値（median）

• 最頻値（mode）

全体の特徴・傾向を知る

• データのばらつき

• 範囲（range）

• 分散（variance）

• 標準偏差（SD）

平均

標準偏差

0 20 40 60 80 100

0.00

0.01

0.02

0.03

0.04

0 20 40 60 80 1000.00

0.01

0.02

0.03

0.04

平均 = 50 の場合

標準偏差 = 10 標準偏差 = 20

34.1%

13.6% 34.1%34.1%13.6%

34.1%

13.6% 13.6%

平均 = 50 の場合

標準偏差 = 10

標準偏差 = 20

0 20 40 60 80 100

0.00

0.01

0.02

0.03

0.04

0 20 40 60 80 100

0.00

0.01

0.02

0.03

0.04

架空のデータを 用意しました

Name* Test A小倉 敦 35河西 大五郎 78小杉 昴 70坪井 基祐 64永井 基祐 58橋口 法嗣 48原 竜也 44広瀬 佑 54藤田 獅童 37本間 雅彦 50宮崎 丈雄 47村井 禄郎 76山崎 孝太郎 43横井 悟志 58依田 洋介 56若山 徹 28有馬 佳乃 49和泉 恭子 68岩井 美佳 38江川 由宇 57神谷 紗季 42北川 千佳子 60坂田 愛菜 41杉田 美佳 24辻本 窈 68土谷 朝香 47永瀬 くるみ 45松木 那奈 39村井 結子 61若槻 まみ 90

*「なんちゃって個人情報」で生成 http://kazina.com/dummy/

Class A Test A小倉 敦 35河西 大五郎 78小杉 昴 70坪井 基祐 64永井 基祐 58橋口 法嗣 48原 竜也 44広瀬 佑 54藤田 獅童 37本間 雅彦 50宮崎 丈雄 47村井 禄郎 76山崎 孝太郎 43横井 悟志 58依田 洋介 56若山 徹 28有馬 佳乃 49和泉 恭子 68岩井 美佳 38江川 由宇 57神谷 紗季 42北川 千佳子 60坂田 愛菜 41杉田 美佳 24辻本 窈 68土谷 朝香 47永瀬 くるみ 45松木 那奈 39村井 結子 61若槻 まみ 90

Class B Test A岩永 六郎 40植木 育二 83片瀬 竜也 61坂元 翔太 74島村 優 58城田 長利 59長沢 知史 42松井 一徳 73三原 裕次郎 47守屋 竜次 57青野 みあ 41池谷 優 84岩谷 桃子 59上原 景子 66江口 めぐみ 70及川 なつみ 42大塚 まさみ 32岡野 路子 62角田 桃子 50川端 結衣 56神戸 菜々美 56外山 みあ 80照井 みき 50根岸 優 17根岸 礼子 74羽田 亜希 42福士 みゆき 40布施 友香 63村田 文世 55吉永 恵梨香 82

比べてみよう

Class A Class B

平均 52.50 57.17

標準偏差 15.16 16.26

比べてみよう

0 20 40 60 80 1000.000

0.010

0.020

0.030

Class B

0 20 40 60 80 100

0.000

0.010

0.020

0.030

Class A

Class A Class B

比べてみよう

0 20 40 60 80 100

0.000

0.010

0.020

0.030

Class B

0 20 40 60 80 100

0.000

0.010

0.020

0.030

Class A

Class A Class B

• 平均と標準偏差で表したデータ

• 要約としてはわかりやすいが

• すべての情報は保てない

注意事項

実際のデータは

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100 0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

Class A Class B

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100 0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

実際のデータは

Class A Class B

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100 0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

実際のデータは

Class AClass B

0 20 40 60 80 1000.000

0.010

0.020

0.030

Class B

0 20 40 60 80 1000.000

0.010

0.020

0.030

Class A

ところで…

ヒストグラムこういうグラフを

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100 0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

Class A Class B

ヒストグラムと呼びます

ヒストグラム• データの要約

• 中心

• ばらつき

• データの可視化

• ヒストグラム

• 散布図

既存のデータを活用しよう

データの可視化

データの可視化

• ヒストグラム

全体と個の両方に気を配る

• 散布図

Class A Test A Test B小倉 敦 35 56河西 大五郎 78 83小杉 昴 70 74坪井 基祐 64 73永井 基祐 58 65橋口 法嗣 48 49原 竜也 44 53広瀬 佑 54 39藤田 獅童 37 41本間 雅彦 50 60宮崎 丈雄 47 54村井 禄郎 76 80山崎 孝太郎 43 48横井 悟志 58 84依田 洋介 56 55若山 徹 28 30有馬 佳乃 49 68和泉 恭子 68 71岩井 美佳 38 36江川 由宇 57 64神谷 紗季 42 41北川 千佳子 60 63坂田 愛菜 41 48杉田 美佳 24 31辻本 窈 68 67土谷 朝香 47 52永瀬 くるみ 45 40松木 那奈 39 48村井 結子 61 65若槻 まみ 90 88

Test A Test B

平均 52.50 57.53

標準偏差 15.16 15.98

ヒストグラム

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

Test A Test B

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

まずはヒストグラム

ヒストグラム

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

Test A Test B

0

2

4

6

8

10

12

-10 -20 -30 -40 -50 -60 -70 -80 -90 -100

Test A

Test

B散布図

Test A

Test

B

散布図２つのテストの関係を見る

Test A

Test

B若槻さん

90

88

Test A

Test

B

得点上昇

Test A

Test

B 横井くん

58↗84

Test A

Test

B

有馬さん

49↗68

Test A

Test

B

小倉くん

35↗56

Test A

Test

B

得点下降

Test A

Test

B

広瀬くん

54↘ 39

Test A

Test

B

散布図ひとりひとりに目を配る

入力方法を変えてみよう

入力方法を変えてみよう

データの要約• セクションごとの得点

• １問ずつの得点

• 解答そのもの

◯◯中学校 第２学期中間試験 学 年 ３ クラス 2 氏 名 Ken Urano

１ リスニング問題 放送を聴き、次の質問に番号で答えなさい。 1. What does Tora-san do?

① He is a salesman. ② He is a fisherman. ③ He is an entertainer. ④ He is a traveler.

2. Where does he live? ① In Tokyo. ② In Sapporo. ③ In Osaka. ④ He doesn’t have a home.

【解答欄】 1 4 2 4

２ 次の文の ( ) 内から適切な語を選び、番号で答えなさい。 1. Atsushi has already ( ① eat ② eating ③ eaten ) all the chocolate.

2. We call ( ① he ② his ③ him ) a chocolate monster. 【解答欄】 1 3 2 3

３ 次の文を読んで、下の問いに答えなさい。 Today we live in the age of beer. In addition to major beer manufacturers, there are hundreds of small breweries all over Japan. They are called microbreweries and the beer they produce is becoming more and more popular because of its high quality. 1. Do you like beer?

2. What is your favorite brand? 【解答欄】 1 Yes, of course! 2 Sapporo Classic.

４ 次の日本文を英語に直しなさい。 1. わたしはこのあと梅田でたくさんお酒を飲みたい。

2. 仕事が待っているので札幌に帰りたくない。 【解答欄】

1 I am so ready to go to Umeda and get drunk.

2 I don’t want to go back to Sapporo because there are so many things to do there.

10

20

20

30

80 合計点

セクション

ごとの得点

合計点

セクション

ごとの得点

• 今日の話はこれまですべて合計点のこと

• セクションごとの得点という情報をすでに失っている

• つまり合計点はすでに要約されている

• 可能であれば要約前の情報も記録しておきたい

セクションごとの得点

• 合計点を計算する手間を省ける

• 合計点の計算ミスを防げる

• 学習者についてより詳しく理解できる

• セクション間の得点比較

• 平均と標準偏差で要約

• 散布図で可視化して個々の学習者の確認

セクションごとの得点セクションごとの得点

合計点

• 平均と標準偏差で要約• 散布図で可視化

セクションごとの得点• 平均と標準偏差で要約

• 散布図で可視化

• 「このクラスはリスニングと比べてリーディングが苦手なようだ」

• 文法セクションはデータのばらつきが大きいな」

• 「村井くんはリスニングが苦手なのかな」

• 「江川さんは単語がんばってるな」

• セクション間を比較することで振り返る

• テスト問題（の良し悪し）

• 学習内容

• 指導方法、学習方法

• 学習者の個性（学習スタイル）

セクションごとの得点

１問ずつの

得点

◯◯中学校 第２学期中間試験 学 年 ３ クラス 2 氏 名 Ken Urano

１ リスニング問題 放送を聴き、次の質問に番号で答えなさい。 1. What does Tora-san do?

① He is a salesman. ② He is a fisherman. ③ He is an entertainer. ④ He is a traveler.

2. Where does he live? ① In Tokyo. ② In Sapporo. ③ In Osaka. ④ He doesn’t have a home.

【解答欄】 1 4 2 4

２ 次の文の ( ) 内から適切な語を選び、番号で答えなさい。 1. Atsushi has already ( ① eat ② eating ③ eaten ) all the chocolate.

2. We call ( ① he ② his ③ him ) a chocolate monster. 【解答欄】 1 3 2 3

３ 次の文を読んで、下の問いに答えなさい。 Today we live in the age of beer. In addition to major beer manufacturers, there are hundreds of small breweries all over Japan. They are called microbreweries and the beer they produce is becoming more and more popular because of its high quality. 1. Do you like beer?

2. What is your favorite brand? 【解答欄】 1 Yes, of course! 2 Sapporo Classic.

４ 次の日本文を英語に直しなさい。 1. わたしはこのあと梅田でたくさんお酒を飲みたい。

2. 仕事が待っているので札幌に帰りたくない。 【解答欄】

1 I am so ready to go to Umeda and get drunk.

2 I don’t want to go back to Sapporo because there are so many things to do there.

10

20

20

30

80

0 10

10 10

10 10

2010

１問ずつの得点

１問ずつの得点い

• 学習者についてさらに詳しく理解できる

• テスト問題の評価ができる

• 難易度（Item Facility）

• 弁別力（Item Discrimination）

• 学習者の能力を判別する精度

• 誤答分析ができる

• 選択肢の良し悪しを評価できる（Distractor Analysis）

• マークシートの利用

解答そのものの記録

整理すると

データの要約合計点

セクションごとの得点

１問ずつの得点

解答そのもの

情報が多い

情報が少ない

まとめ

まとめ

1. 既存のデータを活用しよう

2. 入力方法を変えてみよう

• セクションごとの得点

• １問ずつの得点

• 解答そのもの

おわりに

おわりに

• 紹介した分析はすべて表計算ソフト（Excel等）で可能です。

• さらにおすすめなのが

• 今日紹介した分析や可視化をほぼ自動で行ってくれるウェブアプリ

• 水本篤さん（関西大学）が開発し、無料で公開

• お礼はチョコレートで

• 平均や標準偏差の計算

• Basic Statistics Calculator

• ヒストグラム作成

• Basic Statistics Calculator

• Comparing Two Independent Samples (クラス間の比較)

• Comparing Paired Samples (同じ学習者の複数のテストの比較)

• 散布図作成

• Correlation / Comparing Paired Samples

参考文献

参考文献

• 英語教師のための教育データ分析入門

• はじめの一冊に

参考文献

• 外国語教育研究ハンドブック

• より詳しく知るために

参考文献

• Testing in Language Programs • 言語テスティング入門の良書

1. 既存のデータを活用しよう

2. 入力方法を変えてみよう

• セクションごとの得点

• １問ずつの得点

• 解答そのもの

セミナー２

英語授業を見つめ直す方法： テストデータの見方を知ろう

Ken Urano urano@hgu.jp

http://bit.ly/jasele_seminar2014