齋藤勝宏 - 東京大学asaito/qea18/... · 1.2.4...

54
ノート ( 30 ) 30 4 5

Upload: others

Post on 04-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

数量経済分析講義ノート (平成 30年度版)

齋藤勝宏

平成 30 年 4 月 5 日

Page 2: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

目 次

1 シラバス 41.1 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2 講義内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.2.1 イントロダクション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2.2 記述統計の基礎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2.3 推測統計の基礎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2.4 回帰分析の理論 (計量経済学の基礎) . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.5 回帰分析の応用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3 参考書 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.4 回帰分析用ソフトウエアについて . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.5 「応用数量経済分析」について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 記述統計の基礎 82.1 1 変数の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.2 2 変数の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3 Excel の使い方(記述統計編) 113.1 ブック・ワークシート・セル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.2 データの集計・選別 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.3 クロス表(「挿入」タブ > ピボットテーブル) . . . . . . . . . . . . . . . . . . . . . . . 113.4 グラフ作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.5 データの統計処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.6 回帰分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.7 偏差値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.8 度数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.9 乱数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4 推測統計の基礎 154.1 確率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.1.1 確率の公理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.1.2 基本的性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.1.3 等確率の事象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164.1.4 平均・分散・標準偏差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164.1.5 条件付き確率(Conditional probability ) . . . . . . . . . . . . . . . . . . . . . . 164.1.6 事象の独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174.1.7 全確率の公式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174.1.8 ベイズ( Bayes )の定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.2 確率変数 - ふたつのタイプの確率変数 - . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2.1 連続確率変数の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1

Page 3: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.2.2 離散確率変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2.3 連続確率変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2.4 確率変数の平均、分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2.5 確率分布・確率密度関数の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204.2.6 確率変数の規準化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234.2.7 累積分布関数(cumulative distribution function ) . . . . . . . . . . . . . . . . . 234.2.8 応用例(カイ二乗分布の確率密度関数) . . . . . . . . . . . . . . . . . . . . . . . 244.2.9 χ2 分布の定義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244.2.10 積率母関数( Moment Generating Function ) . . . . . . . . . . . . . . . . . . . 254.2.11 中心極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284.2.12 誤差法則と正規分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284.2.13 Chebyshev の不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.2.14 演習問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.3 確率分布間の関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.3.1 正規分布 ( Normal distribution ) . . . . . . . . . . . . . . . . . . . . . . . . . . 324.3.2 χ2 分布 ( Chi-squared distribution ) . . . . . . . . . . . . . . . . . . . . . . . . 324.3.3 F 分布 ( F-distribution ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.3.4 t 分布( t-distribution ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.4 確率分布の形状の確認 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.4.1 二項分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.4.2 ポワソン分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.4.3 正規分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.4.4 正規化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.5 推計理論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.5.1 推定理論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.5.2 点推定と区間推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.5.3 点推定量が満たすべき規準 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.5.4 区間推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.6 仮説検定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374.6.1 統計的仮説検定( Testing Statistical Hypothesis ) . . . . . . . . . . . . . . . . . 374.6.2 統計的仮説検定の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5 回帰分析の理論 455.1 線型回帰分析とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455.2 攪乱項の意味 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455.3 攪乱項についての仮定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455.4 最小二乗法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465.5 最小二乗推計量の期待値と分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465.6 ガウス・マルコフの定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475.7 推定結果の判断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485.8 回帰係数が有意か否かの検定 : t 検定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

2

Page 4: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5.9 回帰係数のあてはまりの良さ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495.9.1 決定係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

5.10 方程式の標準誤差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495.11 系列相関とダービン・ワトソン検定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505.12 多重共線性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515.13 不均一分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515.14 重回帰モデルの応用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

5.14.1 重回帰モデルとは(復習) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515.14.2 仮説検定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3

Page 5: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

1 シラバス

1.1 目的

農業・資源経済学と開発経済学を学ぶ上で必要となるデータ解析の方法を学ぶ。講義はオーソドックスな統計学・計量経済学をベースに行われるが、農業政策や開発政策に関連した適用事例なども多数紹介される。

1.2 講義内容

1.2.1 イントロダクション

• Excelによる回帰分析の実際と応用事例

• 計量経済ソフトウエア「gretl」の紹介と使い方の基本

1.2.2 記述統計の基礎

• 1 変数の場合

– 度数分布

– 分布の特性値(データの代表とデータの散らばり)

– 時系列データ

• 2 変数(多変数)の場合

– 散布図と相関係数

– 回帰分析

1.2.3 推測統計の基礎

• 確率(確率論の基礎概念、条件付き確率など)

• 確率分布(正規分布、χ2 分布、 F 分布、 t 分布など)

• 標本分布(再帰性、分布間の関係、中心極限定理)

• 確率理論の応用 : リスクが農業経営へ及ぼす影響のシミュレーション分析など

• 推定と検定

4

Page 6: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

1.2.4 回帰分析の理論 (計量経済学の基礎)

• 最小ニ乗法• ガウスマルコフの定理• 推計結果の有意性検定• 制約条件の検定• 系列相関• 多重共線性• 不均一分散• 特定化の誤り• 計量経済モデル

1.2.5 回帰分析の応用

• 農業・資源経済学への応用• 開発経済学へ応用

1.3 参考書

統計学の教科書に書かれている内容はどれをとってもほぼ同じなので、自分の「相性」にあったものを選んで上手につきあうのがコツ。

• 『高等学校の確率・統計 三省堂版 教科書・指導資料』ちくま学芸文庫

高校用の教科書と指導資料を纏めたもの。統計学の考え方の基礎が分かりやすく説明されている。

• 國友直人著『現代統計学(上)(下)』日本経済新聞社• 加納悟・浅子和美著『入門 経済のための統計学 第 2版』日本評論社

これらは、言葉による説明が多いので、割と読みやすいと思う。

• 柳川堯『統計数学』近代科学社確率と統計についてコンパクトに纏めた教科書。やや厳密に記述されているので、数学アレルギーのない人向け。

• 岩田暁一著『経済分析のための統計的方法』東洋経済新報社言葉による説明が厳密ではなく不満だという学生に推薦。数学を多用しているので、読破するにはそれなりの覚悟が必要。農経も含め、経済学系の大学院に進学する予定の学生は是非ともマスターしておきたい一冊である。

5

Page 7: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

• 山本拓著『計量経済学』新世社数学を使って厳密に説明しているが、岩田暁一ほど難しくはない。この程度はマスターしておきたい。

• 山本拓・竹内明香『入門計量経済学』新世社上記山本の姉妹編。出版社のHPに「WEB解説」があり、EXCELを使った計量分析についての詳しい説明がある。自習用として、後述の白砂同様、持っていて「損」はないと思う。

• 加藤久和『gretlで計量経済分析』、日本評論社

講義で使う計量経済学用フリーソフトウエア gretlの解説書。唯一の日本語の解説本なので有用。英語を厭わなければ、ネット上に存在する数多くの解説を利用することができる。

• 白砂提津耶『例題で学ぶ初歩からの計量経済学・第 2 版』日本評論社

計量経済学の基本的方法をできるだけ平易な表現で説明し、例題を通して完全にマスターしてもらうことを目的に書かれたもの。Excel を使いながら、読んでゆくことで「使える」知識が身につくと思う。自習用に奨めたい。

• 鹿野繁樹『新しい計量経済学』日本評論社初級から中級の計量経済学を学ぶための教科書。教科書にでてくる例題は学術雑誌の推計結果を除き、すべて gretlで行っている。使用したデータも著者のホームページで公開されているので、自分で分析事例の追試を行いながら本書を読むことで、内容の理解が深まるはずである。

• 畑農悦夫・水落正明『データ分析をマスターする12のレッスン』有斐閣データの入手方法、整理方法、読み解き方、仮説の導き方、基本的な分析手法について丁寧に書かれたもので、是非とも、目を通しておいてほしい本。

• 山本勲『計量経済学 正しい手法と結果の読み方』中央経済社

離散選択モデルや、因果関係の特定化の方法についての説明がよい。結果の読み方が詳しく説明されている。

• 森田果『実証分析入門』日本評論社実証分析の心構えから説く本。データから因果関係を読み解く作法について詳しく説明している。

• 田中隆一『計量経済学の第一歩』有斐閣これも因果関係を読み解く作法について詳しく説明している。

• 英語を厭わなければ次の 4冊もよい。

Wooldridge, Introducory Econometrics: A Modern Approach, South Westren Publishing

Hill, Griffiths, and Lin, Principles of Econometrics, Wiley

Stock and Watson, Introduction to Econometrics, Pearson.(邦訳有)

Gujarati and Porter, Basic Econometrics, McGrow Hill

6

Page 8: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

• その他 駒場の基礎統計・情報処理論などで使用したテキスト。

• デイビット・サルツブルグ『統計学を拓いた偉才たち』日本経済新聞出版社ピアソン、フィッシャーの二大巨頭を中心に華々しく繰り広げられる才人たちの知恵比べを、多くのエピソードとともに綴るおもしろ統計学史。勉強に疲れたらどうぞ。原題はThe Lay Tasting Tea。

1.4 回帰分析用ソフトウエアについて

統計分析や計量経済分析を行うには、Excel をはじめ商用、非商用 (フリーソフト)を含めて数多くのもが存在する。例えば、Excelには分析ツールやソルバーなどのアドインソフトが組み込まれており、データの入力・

整理、グラフ描画に加えて、統計的仮説検定や回帰分析が可能になっている。ソルバーをうまく使えば、ロジスティック曲線などの非線型回帰分析も可能である。また、非商用の計量経済分析ソフトウエアには、gretlやRがある。gretlは計量経済分析に特化したソフトウエアで高度な分析が可能であるばかりではなく、使い方がきわめて易しい。Rは統計分析ソフトウエアであるが、パッケージを組み込むことにより、殆どの計量経済分析が可能となっている。他にも、OX、Scilab、Octaveなどの汎用ソフトウエアがあり、統計分析や計量分析に利用されている。一方、商用では、Eviews、STATA、TSPなどの計量経済分析ソフトウエアがある。簡単な回帰分析を

行う上では、それほど違いは見られないが、時系列分析ではEviewsやTSPが、家計調査の個票など大量のミクロデータデータを扱うには STATAなど、それぞれ「力」を発揮する分野が異なっている。また、汎用ソフトウエアには、行列演算の得意な GaussやMATLABがあり、計量分析に利用している研究者も少なくない。この講義では、汎用的なExcel と、使い方の非常に易しい gretl を使う。gretl の使い方については、別

途配付資料があるので確認されたい。

1.5 「応用数量経済分析」について

A1・A2ターム開講の「応用数量経済分析」(金曜日・3限)では、数量経済分析で学んだ手法の応用編についてコンピューターによる実習を交えて講義するので、併せて受講することを強く推薦する。使用するソフトウエアは「R」である。

7

Page 9: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

2 記述統計の基礎

2.1 1 変数の場合

x1, x2, . . . , xn : n 個の観測データ

平均値( Mean )

x =1n

n∑i=1

xi

分散( Variance )

σx2 =

1n

n∑i=1

(xi − x)2 =1n

(n∑

i=1

xi2 − nx2

)

標準偏差( Standard deviation )

分散の平方根σx =

√σx

2

変動係数( Coefficient of variation )

標準偏差 / 平均cvx =

σx

x

度数分布

観測データの分布状態を示すとき、度数分布表、相対度数分布表、累積度数分布表の階級幅は等しくするのが望ましい。

データ範囲( Range )

データの最大値 − データの最小値

中央値(メジアン、 Median )

データを小さい方から並べたときの中央の値

8

Page 10: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

最頻値(モード、 Mode )

度数の一番多い値

四分位点( Quartile )

データを小さい方から並べたときの下位 25 % の値を第 1 四分位点( first quartile )、下位 50 % の値を第 2 四分位点( second quartile )、下位 75 % の値を第 3 四分位点( third quartile )という。

データの標準化

「(各観測データ − 観測データの平均) / (標準偏差)」をデータの標準化という。標準化すると、変換後のデータの平均は 0 、分散及び標準偏差は 1 となる。

xi =xi − x

σx

2.2 2 変数の場合

(x1, y1), (x2, y2), . . . , (xn, yn) : n 個の観測データの組

散布図

データの組を 2 次元のグラフにプロットしたもの

共分散( Covariance )

一種のデータの散らばり具合を見るもの

Cov(x, y) =1n

n∑i=1

(xi − x)(yi − y) =1n

(n∑

i=1

xi · yi − nx · y)

相関分析

回帰分析は、関数関係を観測データに当て嵌めることによって、変数がどのように関連するかを分析するのに対し、相関分析は相関係数を計算することによって変数がどの程度関連するかを分析するものである。

相関係数( Correlation )

相関の程度を表す指数

Cor(x, y) =Cov(x, y)σx · σy

=1n

n∑i=1

xi − x

σx· yi − y

σy(−1 ≤ Cor(x, y) ≤ +1)

9

Page 11: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

相関係数と回帰係数の関係

元のデータを X, Y とし、平均からの偏差をそれぞれ xi = Xi − X , yi = Yi − Y とする。また、単回帰

モデルを yi = βxi とすると、 β =∑

xi · yi∑xi

2。また、r =

∑xi · yi√∑

xi2√∑

yi2なので、 β =

sY

sX· r を得る。

みせかけの相関

• 相関は必ずしも因果関係を表すのもではない第一変数と第三変数、第二変数と第三変数とがそれぞれ相関していると、第一変数と第二変数とが相関していないにもかかわらず、「見かけ上の相関」が現れることがある。偏相関係数で対処。

• 相関や回帰分析を因果関係の証拠として用いることは出来ない

– 理論的な因果関係に確証を与える

– 認識されていない因果関係を示唆する可能性がある

偏相関

• 3 変数の場合の例示

– 回帰分析ではY = α + βX + γZ

β は、 Z が一定ならば Y が X にどのように関係するかを推定する。

– 相関分析では、

偏相関係数 : rY X.Z =rY X − rY ZrXZ√1 − r2

XZ

√1 − r2

Y Z

∗ 偏相関係数と単相関係数の間には対応関係は無い∗ X,Y と Z とが無関係の場合には、 rY X.Z = rY X 。

• 偏相関係数をどのようにして計算するかY に対する Z の影響とは、 Y = α + βZ を意味する。また、 Y から Z の影響を除去するとは、u = Y − Y をもとめること、すなわち、 Y の動きのうち Z で説明されない部分を求めることを意味する。偏相関係数 rY X.Z は、u = Y − Y = Y − (α + βZ) , v = X − X = X − (γ + δZ) と定義するとき、 ruv を求めることに他ならない。

重相関係数

重相関係数は観測された Y と当てはめれらた Y との相関係数のことである。すなわち、

R2 = r2Y Y

=∑

(Yi − Y )2∑(Yi − Y )2

10

Page 12: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

3 Excel の使い方(記述統計編)

3.1 ブック・ワークシート・セル

• データの入力・コピー・ペースト・移動

• データの整理・加工

• データの並べ替え(「データ」タブ >並べ替え)

• データの抽出・フィルター(「データ」タブ>フィルター)

3.2 データの集計・選別

• 集計

• 選別 =if( 条件 ,a,b) 条件を満たすときは a 、満たさないときは bを返す

例 1) =IF(D2>=60,”合格”,”不合格”)

例 2) =IF(D2>=80,”優”,IF(D2>=65,”良”,IF(D2>=50,”可”,”不可”)))

3.3 クロス表(「挿入」タブ > ピボットテーブル)

アンケートの集計などへの応用

3.4 グラフ作成

「挿入」タブ > グラフ > · · · グラフ作成ウィザードに従う

11

Page 13: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

3.5 データの統計処理

平均 x =1n

n∑i=1

xi =average()

標本分散 s2 =1

n − 1

n∑i=1

(xi − x)2 =var()

母分散 S2 =1n

n∑i=1

(xi − x)2 =varp()

標準偏差 σx =√

S2 =stdev()

相関係数 cor(x, y) =

1n

n∑i=1

(xi − x)(yi − y)

σx · σy=correl()

相関と因果関係の違いに注意せよ。

3.6 回帰分析

「データ」タブ >データ分析 > 回帰分析Excelで回帰分析を行う方法については、別途配布資料を見て確認してください。

• 説明変数、被説明変数の指定 (ラベルを含めてデータ範囲を指定すると結果が見やすい)

• 出力範囲・出力オプションの指定

• 実行・結果の解釈・・・HPより、Excelファイルをダウンロードして実行してみること。

例 1) 牛肉需要関数の推計例 2) アメリカのコブ・ダクラス生産関数の推計

3.7 偏差値

平均 m 、標準偏差 σ のデータ xini=1 から平均 50 、標準偏差 10 を持つデータに変換するには、

xi − m

σ=

yi − 5010

を満たす系列 yini=1 を求めればよい。yi = 50 +

xi − m

σ/10を元のデータ xi の偏差値という。

3.8 度数分布

=frequency()

• 詳細は Excel の関数ヘルプを参照

12

Page 14: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

• 使い方は、一様乱数の確認の項を参照せよ

3.9 乱数

0 から 9 までの数字が無規則かつ等確率で現れるように並べられた数字

• 乱数表

• 最も簡単な乱数発生法xn ≡ axn−1 + c (mod m)

注意 1. (mod m) は xn を m で割ったときの剰余 (余り)

注意 2. a, c, m を適当に選ばないと「乱数」に周期が生じてしまうの注意

• 一様乱数Excel の組込関数( =rand() )は区間 [0, 1) 上の一様乱数を与える。

1. セル A1 に =rand() と入力して、 return を押す

2. さらに F9 を押して、数が変わること(乱数の再計算)を確かめよ

3. A1 を A2 から A1000 までコピーしてみよ。 F9 を押して再計算を確認せよ

• 区間 [0,1] を 0.1 刻みで区切り、度数分布表を作成し、一様分布に従うかどうかを確認しよう。

1. B1 に 0.0を入力する

2. B1 ~ B11 を範囲指定し、「「ホーム」タブ> 編集 > フィル >連続データの作成(行、増分0.1 )」を実行

3. C1 に =frequency($A$1:$A$1000,B1:$B$11) と入力cf.絶対番地と相対番地の違いに注意せよ!

4. C1 を C2~C11 までコピー(累積度数分布)

5. D2 に =C2-C1 を入力し、 D2 をD3 ~ D11 までコピー(度数分布)

6. D13 に =sum(D2:D11) と入力し、度数の総和が 1000 となっていることを確認

7. 度数分布のグラフを作成( D2 ~ D11を範囲指定し、「挿入」タブ > グラフ >縦棒)

8. 区間数を 10 としたので、各区間の度数が約 100 であれはほぼ一様分布に従うと考えられる。

9. F9 を押して再計算して、グラフの形状を確認せよ

• 他の分布に従う乱数はどうやって発生させるか ?

– Excel の分析ツールを使う。 Add-In で「分析ツール」を組込む。(「データ」タブ> データ分析 > 乱数発生)

– Excel の Add-in ソフトを使う。

13

Page 15: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

∗ risk240t.xla : http://www.usfca.edu/˜middleton/decision.htmMonte Carlo Simulation Add-In for Excel, Trial Version 2.40.Developed by Mike Middleton ( University of San Francisco )

– 逆関数法などにより、自分で乱数発生プログラムを組む

• 逆関数法とは 区間 [0, 1) 上の互いに「独立」な一様乱数を U1, U2, U3 等で表す。また、発生させたい乱数を X とし、その分布関数を F (x) 、確率密度関数(連続確率変数の場合)を f(x) とする。

このとき、F (x) = PrX ≤ x , f(x) =d

dxF (x) である。分布関数 F (x) の逆関数 F−1(x) を次式

で定義する。F−1(y) = inf

0≤y≤1x : F (x) ≥ y

このとき、 X = F−1(U) とおけば、 X は求めたい F (x) に従う乱数となる。

PrX ≤ x = PrF−1(U) ≤ x = PrU ≤ F (x) = F (x)

この方法は、原理的には連続分布でも離散分布でも適用可能だが、逆関数が簡単に計算できない場合や、必ずしも効率的な発生方法でない場合がある。(伏見正則『乱数』、東大出版会、 1989 年)

14

Page 16: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4 推測統計の基礎

4.1 確率

結果が偶然に支配される実験あるいは操作のことを試行( trial )といい、試行の結果を根元事象、基本事象と呼ぶ。また、全ての根元事象を集めた集合を標本空間( sample space )という。標本空間の任意の部分集合を事象( event )という。もちろん、根元事象は事象である。各事象の起こりうる可能性の量的尺度を確率という。

4.1.1 確率の公理

標本空間を Ω 、 E ⊂ Ω とする。

• 0 ≤ P (E) ≤ 1

• P (Ω) = 1

• A ∩ B = ∅ ⇔ P (A ∪ B) = P (A) + P (B) 排反事象に関する確率の加法性

和事象・積事象

• A ∪ B : 和事象

• A ∩ B : 積事象

• 特に、 A ∩ B = ∅ のとき、 A ∪ B = A + B と書く。

4.1.2 基本的性質

事象 A に対して、 A が起きない事象を余事象とよび AC で表す。

• P (AC) = 1 − p(A)(特に A ∩ AC = ∅ であるから P (A) + P (AC) = P (Ω) = 1 より P (∅) = 1 − P (Ω) = 0 。)

• A ⊂ B ⇒ P (A) ≥ P (B)( B = A + AC ∩ B だから P (B) − P (A) = P (AC ∩ B) ≥ 0 となる。)

• P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

– A ∪ B = A ∩ BC + A ∩ B + AC ∩ B

– A = A ∩ B + A ∩ BC

– B = B ∩ A + B ∩ AC

よって P (A ∪ B) − P (A) − P (B) = · · · = −P (A ∩ B) 。

15

Page 17: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.1.3 等確率の事象

ふたつのサイコロを投げ、出た目の数を加える。

1 2 3 4 5 6

1 2 3 4 5 6 72 3 4 5 6 7 83 4 5 6 7 8 94 5 6 7 8 9 105 6 7 8 9 10 116 7 8 9 10 11 12

出た目の数の和を X とする。

• P (X = k) を確率分布という。

• P (X = k) ≥ 0 かつ∑k

P (X = k) = 1

例. Pk = P (X = k) = c · 2−k のとき、c の値を定めよ。また、 X が偶数となる確率は ?

4.1.4 平均・分散・標準偏差

平均 「出る目」の平均

X = E(X) =12∑

k=2

k · P (X = k) = 2 · 136

+ 3 · 236

+ · · · + 12 · 136

= 7

分散

V ar(X) = E((X − X)2

)=

12∑k=2

(k − X)2 · P (X = k) = · · · =21036

≅ 5.833

標準偏差σ =

√V ar(X) ≅

√5.8333 ≅ 2.4152

4.1.5 条件付き確率(Conditional probability )

P (B|A) =P (A ∩ B)

P (A)or P (A ∩ B) = P (A) · P (B|A)

16

Page 18: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.1.6 事象の独立性

ふたつの事象 A , B とが独立( independent )とは、P (B|A) = P (B) , P (A|B) = P (A) が成り立つことをいう。ふたつの事象 A , B が独立ならば、 P (A ∩ B) = P (A) · P (B) である。

例. n 本のくじに r 本の当たりくじがあり( n ≥ r ≥ 1)、 A 、 B の順に 1 本ずつくじを引くものとする。次のふたつの場合について、「 A が当たる」という事象と「 B が当たる」という事象とは独立か ?

1. 復元抽出の場合

2. 非復元抽出の場合

4.1.7 全確率の公式

標本空間 Ω が互いに排反な事象 A1, A2, . . . に分割されているものとする。このとき、任意の事象 E

に対して、 Ω = A1 + A2 + · · · かつ Ai ∩ Aj = ∅ から E = E ∩ Ω = (A1 ∩ E) + (A2 ∩ E) + · · · となりP (E) =

∑i

P (Ai) · P (E|Ai) が成り立つ。

4.1.8 ベイズ( Bayes )の定理

標本空間 Ω が互いに排反な事象 A1, A2, . . . に分割されているものとする。このとき、任意の事象 E

に対して

P (Ai|E) =P (Ai ∩ E)

P (E)=

P (Ai) · P (E|Ai)∑i

P (Ai) · P (E|Ai)

となるため

P (Ai|E) =P (Ai) · P (E|Ai)∑i

P (Ai) · P (E|Ai)

が成り立つ。

comment!! この定理は、 P (Ai) 及び P (E|Ai) (i = 1, 2, . . .) が与えられているときに、 P (Ai|E) を求める手続きを示すものである。 P (Ai) を事前確率、 P (Ai|E) を事後確率という。

例 1. よくある例

3 つの機械 A 、 B 、 C が生産する製品は全製品のそれぞれ 50 % 、 30 % 、 20 % である。 A 、 B 、C それぞれの機械の製品の不良品率は 3 % 、 4 % 、5 % である。

(1) 全製品の中から、 1 個の製品を任意に抽出する場合、それが不良品である確率は ?

(2) 任意に 1 個抽出したら不良品であった。それが、機械 C の製品である確率は ?

17

Page 19: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

略解 1 (1) 全確率の公式

「機械 # の製品である」という事象を # ( # = A , B , C )で、不良品であるという事象を F

で表すと、 F = (A ∩ F ) ∪ (B ∩ F ) ∪ (C ∩ F ) と書ける。

P (F ) = P (A ∩ F ) + P (B ∩ F ) + P (C ∩ F )

= P (A) · P (F |A) + P (B) · P (F |B) + P (C) · P (F |C)

= 0.5 · 0.03 + 0.3 · 0.04 + 0.2 · 0.05 = 0.037

(2) ベイズの定理

求める確率は P (C|F ) である。

P (C|F ) =P (c ∩ F )

P (F )=

P (C) · P (F |C)P (F )

=0.2 · 0.05

0.037= 0.27

例 2. 経済学的な例ある銀行の住宅ローンの返済不能の状況調査結果がある。

• 返済不能者の 30 % は、審査を優良でパスしている。

• 返済上の問題の無かった者の 80 % は、審査を優良でパスしている。

• 返済不能となった者は全体の 5% である。(残りの 95 % は返済完了。)

審査を優良でパスしながら、返済不能に陥る確率は ?

解説 2

E : 審査を優良でパスA : 返済不能に陥る → AC : 返済完了

求める確率は、 P (A|E) である。

P (E|A) = 0.3 、 P (E|AC) = 0.8 、 P (A) = 0.05 、P (AC) = 0.95 から

P (A|E) =P (A ∩ E)

P (E)=

P (A ∩ E)P (E ∩ A) + P (E ∩ AC)

=P (A) · P (E|A)

P (A) · P (E|A) + P (AC) · P (E|AC)

=0.05 · 0.3

0.05 · 0.3 + 0.95 · 0.8= 0.01935

練習問題

3 つの壺 U1 、 U2 、 U3 がある。 U1 には、赤球が 4 個、白球が 6 個、 U2 には赤球が 5 個、白球が 5個、 U3 には赤球が 6 個、白球が 4 個入っている。いま、サイコロを投げて 1 、 2 、 3 の目が出れば U1 、4、5の目が出れば U2 、 6 の目が出れば U3 から無作為に球を 2 個取り出すものとする。

(1) 2 個とも白球である確率は ? (答 : 71/270 )

(2) 2 個とも赤球であったとして、それらが壺 U2 から取り出された確率は ? (答 : 20/53 )

18

Page 20: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.2 確率変数 - ふたつのタイプの確率変数 -

• 離散型( discrete ) : 確率変数のとりうる値が高々可付番個

• 連続型( continuous ) : 確率変数のとりうる値が連続

4.2.1 連続確率変数の例

半径 r で、円盤の周囲に 0 から 2π の範囲で目盛りが打ってあるルーレットがある。但し、針の太さを 0 とする。針の停止位置を x とすると、 x は 0 と 2π の間の実数値をとる確率変数であり、どの値をとることも同程度の確率であるとする。x = πr となる確率は ? → 0

πr ≤ r ≤ πr + dx となる確率は、Pπr ≤ x ≤ π + dx =1

2πr· dx

dx → 0 とすると、 Px = πr → 0つまり、連続確率変数の場合、ある 1 点をとる確率は 0 となる。

4.2.2 離散確率変数

確率変数 X の標本空間を Ω = x0, x1, . . . , xn, . . . (可付番集合1)とするとき、適当な数列 pk; k =0, 1, 2, . . . が存在して、 pk ≥ 0 かつ

∑k

pk = 1 であり、なおかつ pk = P (X = xk) (k = 0, 1, 2, . . .) を

満たすとき、pk は離散確率変数 X の確率分布であるという。

4.2.3 連続確率変数

確率変数 X の標本空間を Ω = R(set of real number) とするとき、適当な関数 f(x) が存在して、

f(x) ≥ 0 ,

∫Ω

f(x)dx = 1

であり、なおかつ任意の実数 a < b に対して

P (a < X < b) =∫ b

af(x)dx

であるとき、 f(x) は連続確率変数 X の確率密度関数( probability density function )という。

4.2.4 確率変数の平均、分散

離散型確率変数の平均、分散 確率変数 X の確率分布を pk とし、 ϕ(x) を x の関数とする。級数の和

∑k

ϕ(k) · pk が存在するとき、これを X の関数 ϕ(X) の平均(期待値)といい、 E ϕ(X) で表す。

例えば、ϕ(x) = x のとき、 EX =∑

k

k · pk ( = X or µ) · · · 通常の平均

1可付番集合とは、集合の要素が自然数と 1 対 1 に対応することをいう。

19

Page 21: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

ϕ(x) = ax + b のとき、 EX = aEX + b

ϕ(x) = (x − µ)2 のとき、 E(X − µ)2

=

∑k

(k − µ)2 · pk ( = V ar(X) )· · · 通常の分散

分散は (X − µ)2 の平均である。

標準偏差 σ =√

V ar(X) i.e. V ar(X) = σ2 (分散を σ2 と書くのは、このためである。)V ar(aX + b) = a2 · V ar(X) である。V ar(X) = E(X2) − (E(X))2 · · · 「 2 乗の平均 − 平均の 2 乗」

連続確率平均の平均、分散、標準偏差 確率変数 X の密度関数を f(x) 、 ϕ(x) を x の任意の関数とす

る。積分∫

Ωϕ(x)f(x)dx が存在するとき、これを X の関数 ϕ(X) の平均(期待値)といい、 E ϕ(X)

で表す。特に、 X の平均は

X = E(X) =∫

Ωx · f(x)dx (= µ)

であり、分散は

σ2 = V ar(X) = E((x − µ)2

)=

∫Ω(x − µ)2f(x)dx

である。また、標準偏差は σ =√

V ar(X) である。離散確率変数と同様に、次の各公式が示せる。

EaX + b = aEX + b

V ar(aX + b) = a2 · V ar(X)

V ar(X) = E(X2) − (E(X))2

4.2.5 確率分布・確率密度関数の例

離散確率変数

例 1. 確率変数 X の確率分布が、 pk = Aλk

k!( k = 0, 1, 2, . . . )で与えられるとき、

(a) A の値を定めよ。

(b) E(X) 、 V ar(X) を求めよ。

解.

ex =∞∑

k=0

xk

k!

(a)∞∑

k=0

pk = A∞∑

k=0

λk

k!= A · eλ = 1 (但し、 e は自然対数の底である。)

よって、 A = e−λ

20

Page 22: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

(b)

E(X) =∞∑

k=0

k · e−λ λk

k!= λ · e−λ

∞∑k=1

λk−1

(k − 1)!= λ · e−λ = λ

E(X2) =∞∑

k=0

k2 · e−λ λk

k!= λ · eλ

∞∑k=1

(1 + k − 1) · λk−1

(k − 1)!

= λ · e−λ∞∑

k=1

λk−1

(k − 1)!+ λ2 · e−λ

∞∑k=2

λk−2

(k − 2)!= λ + λ2

V ar(X) = E(X2) − (E(X))2 = λ

注意 : 上記の確率分布をポワソン( Poisson )分布という。

例 2. 確率変数 X の確率分布が pk = nCkpk(1 − p)n−k (k = 0, 1, 2, . . . )で与えられるとき、平均、分

散を求めよ。

E(X) =∞∑

k=0

k · n!k!(n − k)!

pk(1 − p)n−k

= npn−1∑

k−1=0

(n − 1)!(k − 1)! ((n − 1) − (k − 1))!

pk−1(1 − p)(n−1)−(k−1)

= np (1 + (1 − p))n−1 = np

E(X2) =∞∑

k=0

k2 · n!k!(n − k)!

pk(1 − p)n−k

= np

n−1∑k−1=0

k · (n − 1)!(k − 1)! ((n − 1) − (k − 1))!

pk−1(1 − p)(n−1)−(k−1)

= npn−1∑

k−1=0

(1 + k − 1) · (n − 1)!(k − 1)! ((n − 1) − (k − 1))!

pk−1(1 − p)(n−1)−(k−1)

= np

n−1∑k−1=0

(n − 1)!(k − 1)! ((n − 1) − (k − 1))!

pk−1(1 − p)(n−1)−(k−1)

+ n(n − 1)p2n−1∑

k−2=0

(n − 2)!(k − 2)! ((n − 2) − (k − 2))!

pk−2(1 − p)(n−2)−(k−2)

= np + n(n − 1)p2

V ar(X) = np + n(n − 1)p2 − (np)2 = np(1 − p)

連続確率変数

例 1. 一様変数X の確率密度関数が、

f(x) =

1

b − a(a < x < b)

0 others

21

Page 23: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

であるとき、X は開区間 (a, b)上の一様分布( Uniform distribution)に従うといいX ∼ Unif(a, b)と書く。

E(X) =∫ b

ax · 1

b − adx =

a + b

2

E(X2) =∫ b

ax2 · 1

b − adx =

13(a2 + ab + b2)

σ2 = V ar(X) =a2 + ab + b2

3−

(a + b

2

)2

=(b − a)2

12

σ =b − a

2√

3

例 2. 指数分布X の確率密度関数が、

f(x) =

λ · e−λx (0 < x < +∞)

0 others(λ 0)

であるとき、 X はパラメータ λ の指数分布( exponential distribution )に従うという。

E(X) =1λ、 V ar(X) =

1λ2である。

例 3. 正規分布 · · · 非常に重要な分布X の確率密度関数が、

f(x) =1√2πσ

exp(−(x − µ)2

2σ2

)(−∞ < x < ∞,−∞ < µ < ∞, 0 < σ < ∞)

であるとき、 X は平均 µ 、分散 σ の正規分布に従うといい、X ∼ N(µ, σ)と書く。

E(X − µ) =1√2πσ

∫ +∞

−∞(x − µ) · exp

(−1

2

(x − µ

σ

)2)

dx = 0

E(X) = µ

V ar(X) = E((x − µ)2

)=

1√2πσ

∫ +∞

−∞(x − µ)2 exp−

(12

(x − µ

σ

)2)

dx

=1√2πσ

∫ +∞

−∞(x − µ)

−σ2 · exp

(−1

2

(x − µ

σ

)2)

dx

=1√2πσ

[−σ2(x − µ) exp

(−1

2

(x − µ

σ

)2)]+∞

−∞

+σ2

∫ +∞

−∞exp

(−1

2

(x − µ

σ

)2)

dx

= σ2 · 1√2πσ

∫ +∞

−∞exp

(−1

2

(x − µ

σ

)2)

dx = σ2

f(x) のグラフは釣鐘型であり、

22

Page 24: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

(a) 直線 x = µ に対して対称

(b) 変曲点は、 x = µ ± σ

(c) limx→±∞ f(x) = 0

となる。これを確かめよ。

4.2.6 確率変数の規準化

X ∼ N(µ, σ2) のとき、変数変換 z =x − µ

σを施すと Z ∼ N(0, 12) となる。先ずは、平均及び分散を

求める。

E(Z) = E

(1σ· X − µ

σ

)=

1σ· µ − µ

σ= 0

V ar(Z) = V ar

(1σ· X − µ

σ

)=

(1σ

)2

· V ar(X) =1σ2

· σ2 = 1

つまり、分布の如何に関わらず、規準化により確率変数の平均は 0 に、分散は 1 となる。

f(Y ) = P (z ≤ Y ) = P (x ≤ µ + σY ) =∫ µ+σY

−∞1√2πσ

e−12(

x−µσ )2

dx

ここで、x − µ

σ= t とおくと、 x = −∞ に t = −∞ が、 x = µ + σY に t = Y が対応し、 dx = σdt

となり、

F (Y ) = P (z ≤ Y ) =∫ Y

∞1√2π

e−t2

2 dt

が従う。これは、 Z ∼ N(0, 12) を示す。

上記の被積分関数に注目すると、変数変換x − µ

σ= t により、確率密度関数は

1√2πσ

e−12(

x−µσ )2

から1√2πσ

e−t2

2dx

dt=

1√2π

e−t2

2 へ

と変換されていることに気づく。一般に、確率変数X の確率密度関数を f(x)とし、変数変換 y = h(x)を施したときの確率変数 Y = h(x)

の確率密度関数は、

g(x) = f(h−1(y)) ·∣∣∣∣dx

dy

∣∣∣∣で与えられる。但し、 h′(x) = 0 とする。

4.2.7 累積分布関数(cumulative distribution function )

連続確率変数 x の確率密度関数を f(x) 、分布関数を F (x) とすると、

F (x) =∫ x

−∞f(t)dt

23

Page 25: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

が成り立つ。このとき、P (a < x < b) = F (b) − F (a)

であり、

limx→−∞F (x) = 0

limx→+∞F (x) = 1

が成り立つ。また、分布関数が既知であるとき確率密度関数は

F ′(x) =d

dx

∫ x

−∞f(t)dt = f(x)

によって求められる。

4.2.8 応用例(カイ二乗分布の確率密度関数)

確率変数 x は標準正規分布に従うとする( x ∼ N(0, 1) )。このとき、 y = x2 の確率密度関数を求めてみよう。

G(y) = Prx2 ≤ y = Pr−√y ≤ x ≤ √

y = 2∫ √

y

0

1√2π

exp(− t2

2

)dt = 2F (

√y) − 1

よって、 y の確率密度関数は

g(y) =

G′(y) =1√yf(√

y) =1√2π

y−

12 exp

(−y

2

)(0 < y < +∞)

0 otherwise

となる。

4.2.9 χ2 分布の定義

独立に平均 0 、分散 1 の正規分布に従う確率変数の二乗和

Sn = x12 + x2

2 + · · · + xn2

が従う分布を自由度 n の χ2 分布といい、Sn = x12 + x2

2 + · · · + xn2 ∼ χ2(n) で表す。

X ∼ χ2(n) のとき、 E(X) = n 、 V ar(X) = 2n となることが知られている。X ∼ χ2(n) の確率密度関数は

f(x) =1

Γ(n

2

)· 2n

2

xn2−1e−

x2 0 < x < +∞

となる(関数型は覚えなくとも良い)。

24

Page 26: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

但し、 Γ(·) はガンマ関数( Gamma Function )であり、

Γ(p) =∫ +∞

0xp−1e−xdx (p 0)

により定義される。このとき、 limx→+∞

xp

ex= 0 から

Γ(p + 1) =∫ +∞

0xpe−xdx = − [

xpe−x]+∞0

+ p

∫ +∞

0xp−1e−xdx = pΓ(p)

であり、 Γ(p + 1) = pΓ(p) が従う。特に、 p が正の整数のときには、

Γ(1) = 1Γ(n + 1) = nΓ(n) = n(n − 1)Γ(n − 1) = · · · = n!

である。また、 x = y2 とおくと

Γ(

12

)=

∫ +∞

0x− 1

2 e−xdx = 2∫ +∞

0e−y2

dy =√

π

が成り立つ。2

∫ +∞−∞ e−y2

dy =√

πは示せる ? もし示せなければ、適当な解析学のテキストを復習のこと。

• 積率母関数(後出)は、 φ(t) = (1 − 2t)−n2 ( t <

12)となる。

• χ2 分布表の見方

4.2.10 積率母関数( Moment Generating Function )

離散型確率変数 X = xi となる確率を pk = P (X = xk) とおき、確率分布 pk に対して

φ(z) =∑

k

zkpk

と定義する。すると、

φ(1) =∑

k

pk = 1

φ′(z) =∑

k

kzk−1pk , φ′′(z) =∑

k

k(k − 1)zk−2pk , . . .

これらの式に z = 1 を代入すると、

φ′(1) =∑

k

kpk = E(X)

φ′′(1) =∑

k

k(k − 1)pk =∑

k k2pk −∑

k

kpk = E(X2) − E(X)

となり、容易に平均、分散を求めることができる。

25

Page 27: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

例 1. X ∼ B(n, p) のとき、 φ(z) =n∑

k=0

zknCkp

k(1 − p)n−k = (pz + (1 − p))n

φ′(z) = np (pz + (1 − p))n−1

φ′′2 (pz + (1 − p))n−2

である。E(X) = φ′(1) = np

V ar(X) = E(X2) − (E(X))2 = (φ′′(1) + φ′(1)) − (φ′(1))2

= n(n − 1)p2 + np − n2p2 = np(1 − p)

例 2. X ∼ Poisson(λ) のとき、φ(z) =∞∑

k=0

zkeλ λk

k!= eλ(z−1)

連続型確率変数 確率変数 X の確率密度関数を f(x) とする。次の積分の値が存在するとき、

φX = E(etX) =∫ ∞

−∞etXf(x)dx =

∞∑k=0

tk

k!

∫ ∞

−∞xkf(x)dx =

∞∑k=0

tk

k!· E(Xk)

を、 X の積率母関数という。

φ(0) =∫ +∞

−∞f(x)dx = 1

φ′(t) =∫ +∞

−∞xetxf(x)dx , φ′(0) =

∫ +∞

−∞xf(x)dx = E(x)

φ′′(t) =∫ +∞

−∞x2etxf(x)dx , φ′′(0) =

∫ +∞

−∞x2f(x)dx = E(X2)

......

φ(n)(t) =∫ +∞

−∞xnetnf(x)dx , φ(n)(0) =

∫ +∞

−∞xnf(x)dx = E(Xn)

である。

例 1. 正規分布

26

Page 28: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

X ∼ N(µ, σ2) のとき、 MGF は

φ(t) =1√2πσ

∫ +∞

−∞exp(tx) exp

(−1

2

(x − µ

σ

)2)

dx = · · · = exp(

µt +σ2

2t2

)φ′(t) = (µ + σ2t) · exp

(µt +

σ2

2t2

)φ′′(t) = σ2 · exp

(µt +

σ2

2t2

)+ (µ + σ2t)2 · exp

(µt +

σ2

2t2

)φ′(0) = µ = E(X)

φ′′(0) = σ2 + µ2 = E(X2)

定理 X1, X2, . . . , Xn は互いに独立な確率変数とし、それぞれの積率母関数を φX1(t), φX2(t), . . . , φXn(t)とする。このとき、 c1X1 + c2X2 + · · · + cnXn の積率母関数を φ(t) とすれば、

φc1X1+c2X2+···+cnXn(t) = φX1(c1t)φX2(c2t) · · ·φXn(cnt)

が成り立つ。

応用例 Xi ∼ N(µi, σi2) かつ X1, X2 は互いに独立とする。このとき、 X1 ± X2 の積率母関数を φ(t)

とすれば、

φX1±X2(t) = φX1(t)φX2(±t) = exp(

µ1t +σ1

2

2t2

)·(±µ2t +

σ22

2t2

)= exp

((µ1 ± µ2)t +

σ12 + σ2

2

2

)従って、 X1 ±X2 ∼ N(µ1 ± µ2, σ1

2 + σ22) となる。つまり、正規分布に従う確率変数の和(差)もまた

正規分布に従うのである(正規分布の再生性)。より一般に、 Xi ∼ N(µi, σi

2) , i.i.d であるとき

X1 + X2 + · · · + Xn ∼ N(µ1 + µ2 + · · · + µn, σ12 + σ2

2 + · · · + σn2)

が成り立つ。特に、X1, X2, . . . , Xn が同一母集団からのランダムサンプリングであるとき、互いに独立であり、 µ1 = µ2 = · · · = µn = µ 、 σ1

2 = σ22 = · · · = σn

2 = σ2 なので、

X1 + X2 + · · · + Xn

n∼ N

(µ,

σ2

n

)

となり、標本平均は、平均 µ 、分散σ2

nの正規分布に従う。なお、標本数 n を増やしてゆくと分散は 0

に近づいてゆく(標本平均は母平均へ確率収束する)。

27

Page 29: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

定理の証明

φ(t) =∫ +∞

−∞

∫ +∞

−∞· · ·

∫ +∞

−∞exp (t(c1x1 + c2x2 + · · · + cnxn)) f(x1, x2, . . . , xn)dx1dx2 · · · dxn

X1, X2, . . . , Xn は互いに独立なので、

f(x1, x2, . . . , xn) = f(x1)f(x2) · · · f(xn)

が成り立つ。これを上式に代入すると

φ(t) = φ1(c1t)φ2(c2t) · · ·φn(cnt)

が示せる。

4.2.11 中心極限定理

母平均 µ 、母分散 σ2 の任意の母集団 Π から、標本の大きさ n の標本を任意抽出し、その標本値を

x1, x2, . . . , xn とする。このとき、標本平均 x = (x1 + x2 + · · ·+ xn)/n より導かれる確率変数x − µ

σ/√

nの

確率分布は n → ∞ のとき、正規分布 N(0, 1) に近づく。

証明

z =x − µ

σ/√

n=

x1 − µ

σ√

n+

x2 − µ

σ√

n+ · · · + xn − µ

σ√

n

x1 − µ

σ/√

n= u とおき、 u の積率母関数を φ1(t) とおくと、

φu(t) = E(eut) = 1 + E(u)t +t2

2!E(u2) +

t3

3!E(u3) + · · ·

= 1 +t2

2!

(1

nσ2E

((x2 − µ)2

))+

t3

3!

(1

(σ√

n)3E

((x3 − µ)3

))+ · · ·

== 1 +t2

2n+ O

(1

n3/2

)= 1 +

12n

(t2 + ε(n)

), lim

n→∞ ε(n) = 0

また、他のxj − µ

σ√

nも同じ積率母関数を持ち、なおかつ独立なので z の積率母関数 φ(t) は、

φ(t) = (φu(t))n =(

1 +t2 + ε(n)

2n

)n

=

(1 +

t2 + ε(n)2n

) 2n

t2 + ε(n)

t2 + ε(n)

2

→ et2

2

4.2.12 誤差法則と正規分布

Gauss が天体運動の観測データの整理、地上の測量データの整理から、誤差が正規分布をなすこと、即ち誤差関数の発見に成功したことはよく知られている事実。真の値 u を求めようとして測定した実測値を M とするとき、 u − M を誤差という。

28

Page 30: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

誤差の原因

過失的誤差 測定者の不注意、非熟練によって生ずるもので回避可能規則的誤差 修正可能な誤差偶然誤差 避けることができない偶発的な誤差

• 誤差法則における誤差とは「偶発誤差」を意味する

• 偶発誤差は正規分布をなす( Gauss の発見)

誤差の法則 誤差を X = u − M とすると、 X は確率変数。

Pr(x ≤ X ≤ x + dx) = f(x)dx

f(x) は誤差の確率密度関数で、次の性質を満たす。−∞ < x < +∞

+∞∫−∞

f(x)dx = 1

u の n 回の観測値を M1,M2, . . . , Mn とし、 Xi = Mi − u とおくと、各 Xi は独立。

Pr(x1 ≤ X1 ≤ x1 + dx, . . . , xn ≤ Xn ≤ xn + dx) = Πf(xi)(dx)n

誤差の同時密度関数は Πf(xi) = Πf(Mi − u) 。未知の量 u の測定値M1,M2, . . . , Mn をもとに、確率密度関数の値を最大化する u の値 u を求める

(最尤推定量:真の値を求めることは不可能なので、一番信頼度の高い (一番尤もらしい)値である u をもって、真の値 u の代用とせざるを得ないと言う考え方)。

Gaussは、最尤推定量は「u = (M1 + · · ·+Mn)/nであるべき」だとという公理的信条に立った( Gaussの直観)。

d

du

∏f(Mi − u) = 0 ⇒ f ′(x1)

f(x1)+

f ′(x2)f(x2)

+ · · · + f ′(xn)f(xn)

= 0

f ′(x)f(x)

= F (x) とおけば、F (x1) + F (x2) + · · · + F (xn) = 0 。

求めるべき推定量 (u)は (M1,M2, · · · ,Mnの)算術平均なので (M1− u)+(M2− u)+ · · ·+(Mn− u) = 0(x1 + x2 + · · · + xn = 0)。このとき、dxn

dxi= −1(i = 1, 2, · · · , n − 1)が成り立つ。

F (x1)+F (x2)+· · ·+F (xn) = 0をxiで微分すると、F ′(xi)+F ′(xn)dxndxi

= 0 より、F ′(xi) = F ′(xn)(i =1, 2, · · · , n − 1)となる。つまり、 F ′(x1) = F ′(x2) = · · · = F ′(xn) が成り立つので F ′(x)の値は xに依存せず、 F ′(x) = c1 となる。 F (x) = c1x + c2 。 F (x1) + F (x2) + · · · + F (xn) = 0 なので、 c2 = 0 。f ′(x)f(x)

= c1x より、f(x) = kec12

x2。密度関数の性質より c1 < 0 なので、

c1

2= −h2 とおき k の値を定

めると f(x) =h√π

e−h2x2、 h > 0 。

29

Page 31: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.2.13 Chebyshev の不等式

連続確率変数 X の平均を µ 、分散を σ2 とすれば任意の正数 k に対して

P |X − µ| ≥ kσ ≤ 1k2

である。

証明

σ2 = V ar(X) =∫ +∞

−∞(x − µ)2f(x)dx

=∫ µ−kσ

−∞(x − µ)2f(x)dx +

∫ µ+kσ

µ−kσ(x − µ)2f(x)dx +

∫ +∞

µ+kσ(x − µ)2f(x)dx

≥∫ µ−kσ

−∞(x − µ)2f(x)dx +

∫ +∞

µ+kσ(x − µ)2f(x)dx

≥ k2σ2

(∫ µ−kσ

−∞f(x)dx +

∫ +∞

µ+kσf(x)dx

)= k2σ2 · P |X − µ| ≥ kσ

よって、 P |X − µ| ≥ kσ ≤ 1k2。

参考 1 「記述統計の復習」で説明した Chebyshev の不等式の証明は、以下の通りである。上記の証明と比較してみよ。

定理 データ x1, x2, . . . , xn の度数を f1, f2, . . . , fn とし、平均を x 、標準偏差を σ とすれば、

|xi − x| ≤ λσ (for arbitary positiveλ > 1)

を満足するデータの個数は N

(1 − 1

λ2

)よりも大きい。但し、 N =

n∑i=1

fi とする。

証明 分散 σ2 の定義より、Nσ2 =n∑

i=1fi(xi − x)2 。ここで、 I = i; |xi − x| λσ とすれば、 Nσ2 ≥∑

i∈I

fi(xi−x)2λ2σ2∑i∈I

fi。よって、∑i∈I

fi <N

σ2。求めるデータの個数は、N−

∑i∈I

fiN−N

λ2= N

(1 − 1

λ2

)。

参考 2 確率変数 X が離散型の場合に、 Chebyshev の不等式を証明してみよ。

問題( Chebyshev の不等式の応用) 確率変数 X が二項分布に従うとき(即ち、 X ∼ B(n, p))、任意の正数 ε に対して lim

n→∞P∣∣∣x

n− p

∣∣∣ < εとなることを示せ。

30

Page 32: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

解答 X ∼ B(n, p) であるから、平均は µ = np 、分散は σ2 = np(1 − p) となる(既出)。従って、Chebyshev の不等式より

P|x − np| < k

√np(1 − p)

≥ 1 − 1

k2

P

∣∣∣xn− p

∣∣∣ < k

√p(1 − p)

n

≥ 1 − 1

k2

ここで、 ε = k

√p(1 − p)

nとおくと、 k2 =

p(1 − p)ε2n

となるので、 1 ≥ P∣∣∣x

n− p

∣∣∣ < ε≥ 1− p(1 − p)

ε2n

。よって、 limn→∞P

∣∣∣xn− p

∣∣∣ < ε

= 1 が成り立つ。 ε は任意の正数なので十分小さな値をとってもよ

いことに注意すると、上式は、 n を大きくしてゆくと相対度数x

nと事象の起こる確率 p とが一致する

確率は 1 に近づくことを示している。

4.2.14 演習問題

1. 分布関数、四分位点、平均値、分散a を正の定数とし、連続確率変数 X の累積分布関数を

F (x) =

0 , x < 0xa , 0 ≤ x ≤ 11, , 1 < x

とする。

(a) a = 2 のとき、第 1 四分位点、第 2 四分位点(中央値)、第 3 四分位点を求めよ。

(b) 確率密度関数を求めよ。

(c) 任意の a > 0 に対して、平均値と分散を求めよ。

2. 最頻値連続分布の最頻値( mode )とは確率密度関数 f(x) を最大にする x の値のことである。いま、連続確率変数 X は確率密度関数が

f(x) =

cx · e−x

d , 0 < x < +∞0 , x ≤ 0

である分布に従うものとする。 x = 3 がこの分布の mode であるとき定数 c 及び d の値を定めよ。

3. χ2 分布、中央値

連続分布の中央値とは、確率密度関数を f(x) とするとき∫ −∞

αf(x)dx =

12となる α の値のこと

である。連続確率変数 X が自由度 25 の χ2 分布に従うとき、 mode 、 median 、mean を求めよ。

4. 補足 : χ2 分布表の見方確率変数 X が自由度 5 の χ2 分布に従うとき、 P (X < c) = 0.90 となる c の値を求めよ。

31

Page 33: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.3 確率分布間の関係

4.3.1 正規分布 ( Normal distribution )

• X ∼ N(µ, σ2) ⇒ Z =X − µ

σ∼ N(0, 12)

• X ∼ N(µ, σ2) ⇒ cX ∼ N(cµ, c2σ2)

•X1 ∼ N(µ1, σ1

2)X2 ∼ N(µ2, σ2

2)X1, X2 : indep.

⇒ X1 + X2 ∼ N(µ1 + µ2, σ12 + σ2

2)

• Xi ∼ N(µi, σi2)

Xi : i.i.d.⇒

n∑x=1

Xi ∼ N

(n∑

x=1

µi,

n∑x=1

σi2

)

4.3.2 χ2 分布 ( Chi-squared distribution )

• X ∼ N(0, 12) ⇒ X2 ∼ χ2(1)

• Xi ∼ N(0, 12)Xi : i.i.d.

⇒ Sn =n∑

x=1

Xi2 ∼ χ2(n)

• X ∼ N(µ, σ2) ⇒(

X − µ

σ

)2

∼ χ2(1)

• Xi ∼ N(µi, σi2)

Xi : i.i.d.⇒ Sn =

n∑i=1

(Xi − µi

σi

)2

∼ χ2(n)

4.3.3 F 分布 ( F-distribution )

•X1 ∼ χ2(n1)X2 ∼ χ2(n2)

X1, X2 : indep.

⇒X1

n1

X2

n2

∼ F (n1, n2)

4.3.4 t 分布( t-distribution )

•X1 ∼ N(0, 1)X2 ∼ χ2(n2)

X1, X2 : indep.

⇒ X1√X2

n

∼ t(n)

• X ∼ F (1, n) ⇒ √X ∼ t(n)

32

Page 34: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.4 確率分布の形状の確認

4.4.1 二項分布

試行回数を n 、成功確率を p とするとき k 回成功する確率 P (X = k) は

P (X = k) =(n

k

)pk(1 − p)n−k

である。ただし、(

nk

)=

n!k!(n − k)!

確率分布の形状はパラメータ n, p によって決まる。なお、 X ∼ Bin(n, p) のとき E(X) = np 、V ar(X) = np(1 − p) となる。 Excel ファイル(二項分布)には、二項分布の確率分布を求める関数の説明( B4 )と実際の形状( n = 12, p = 0.5 )のグラフが示してある。パラメータ n ( B9 )及び p

( B10 )の値を変えて、確率分布がどのようになるか確認しよう。

4.4.2 ポワソン分布

確率分布は

P (X = k) =e−λλk

k!(k = 0, 1, 2, . . .)

で与えられる。確率変数 X がポアソン分布に従うとき X ∼ Poisson(λ) と書く。 E(X) = V ar(X) = λ

である。単位時間にかかってくる電話の件数、一定時間内に交差点で起こる事故の回数など。ある現象の生起間隔が平均 1/λ に従う分布ならば、単位時間内の発生確率はパラメータ λ のポアソン分布となる。

Excel ファイル(ポアソン分布)には λ = 15 の場合の確率分布のグラフが描かれている。パラメータλ ( B6 )をいろいろ変えて、分布の形状がどうなるのか確認しよう。

4.4.3 正規分布

もっともよく使われる確率分布のひとつである。確率変数が平均 µ 、分散 σ2 の確率分布に従うときX ∼ N(µ, σ2) と書く。確率分布関数は

f(x) =1√2πσ

e−12(

x−µσ )2

で表される。

4.4.4 正規化

X ∼ N(µ, σ2) のとき、 Z =X − µ

σは平均 0 、分散 1 の正規分布に従う。

Excel ファイル「正規分布 1」には、平均 0 、分散 1 の標準正規分布の確率密度関数及び分布関数のグラフが描かれている。平均( B4 )を 0 としたまま標準偏差( B5 )をいろいろ変えて、分散の大きさが確率密度関数の形状にどのような影響を及ぼすか確かめよう。また、標準偏差を 1 としたまま、平均の大きさを変えるとどうなるか ? 大きな平均、分散の値で確認したいときは「正規分布 2」を使用する。正規分布にまつわる貼付関数の例は、「正規分布 3」に示してある。これを利用して、通常の統計学の教科書の巻末に掲載されている標準正規分布表を作ってみなさい(「正規分布 4」)。

33

Page 35: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

4.5 推計理論

4.5.1 推定理論

母集団から任意抽出された標本の標本平均や標本分散などの標本値に基づき、統計的推測(statisticalinference )を行う。推測には統計的推定(statistical estimation )と統計的仮説検定( test of statisticalhypothesis )のふたつの方法がある。本節では、統計的推定についてまとめる。

4.5.2 点推定と区間推定

母集団の未知の母数(母平均、母分散)の値を標本値(実現値)から推定する方法を点推定( pointestimation )といい、母数の推定のために用いられる統計量を点推定量( point estimator )という。また、確率分布や標本分布理論に基づき、信頼度(確率)という概念を用いて未知の母数の取り得る値の範囲を推定する方法を区間推定( interval estimation )という。

4.5.3 点推定量が満たすべき規準

不偏性( unbiasedness ) 母集団の母数 θ の推定量 θ が、

E(θ) = θ

を満たすとき、 θ は θ の不偏推定量(unbiased estimator )であるという。

一致性( consistency ) 母集団の母数 θ の推定量 θ が、任意の正数 ϵ に対して

limn→∞P (|θ − θ| ≥ ε) = 0

を満たすとき、 θ は θ の一致推定量(consistent estimator )であるという。

有効性( efficiency ) 母集団の母数 θ に対する不偏一致推定量 θ1 , θ2があり、θ1 の分散が θ2 の分散よりも小さいとき、 θ1 は θ2 よりも有効であるという。

例 任意の確率分布に従う無限母集団(母平均 µ 、母分散 σ2 )から、任意に n 個の標本を抽出したとする。標本値 x1, x2, . . . , xn から計算される推定量を

xn =1n

(x1 + x2 + · · · + xn)

s2 =1n

((x1 − x)2 + (x2 − x)2 + · · · + (xn − x)2

)とする。このとき、

E(xn) =1n· nµ = µ

E(s2) =n − 1

nσ2

34

Page 36: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

となるので、 xn は母平均の、n

n − 1s2 =

1n − 1

∑ni=1(xi − x)2 は母平均の不偏推定量となる。

ところで、 xn の平均は µ 、分散はσ2

nであるので、チェビシェフの不等式から

p

(∣∣∣∣ xn − µ

σ/√

n

∣∣∣∣ > k

)<

1k2

つまり、 ε = k · σ√nとおくと

P (|xn − µ| > ε) <σ2

nε2

が成り立つのでlim

n→∞P (|xn − µ| > ε) = 0

となり、 xn が母平均の一致推定量となっていることが分かる.

4.5.4 区間推定

正規母集団の母平均・母分散の区間推定 母平均 µ 、母分散 σ2 とする。 xi ∼ N(µ, σ2) である。

x =1n

(x1 + x2 + · · · + xn)

S2 =1

n − 1((x1 − x)2 + (x2 − x) + · · · + (xn − x)

)とおくと、 x ∼ N(µ,

σ2

n) つまり x−µ

σ√n

∼ N(0, 1) となる。一方、(n − 1)S2

σ2∼ χ2(n − 1) が成り立つ。

母平均の区間推定

t =

x − µ

σ/√

n√(n − 1)S2

σ2 · (n − 1)

=x − µ√

S2

n

∼ t(n − 1)

となる。ここで、P (|t| tα) = α となる α が求まれば、 −tα ≤ x − µ√S2

n

となる確率は 1 − α となる。この

1 − α を信頼係数( confidence coefficient )といい、 x − tα

√S2

n≤ µ ≤ x + tα

√S2

nを信頼係数 1 − α

の信頼区間( confidence interval )という。信頼係数は信頼度とも呼ばれる。母分散の区間推定上述の通り

(n − 1)S2

σ2∼ χ2(n − 1)

35

Page 37: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

が成り立つので、信頼係数 1 − α の信頼区間を求めるには、P (z ≤ χ2L) =

α

2、 P (z ≥ χ2

U ) =α

2となる

χ2L , χ2

U を数表より求めて χ2L ≤ (n − 1)S2

σ2≤ χ2

U を σ2に関して解けばよい。実際、

(n − 1)S2

χ2U

≤ σ2 ≤ (n − 1)S2

χ2L

が、信頼係数 (1 − α) の信頼区間となる。

例 1. 標準偏差が既知で、サンプル数 1 の場合森の小道を歩いていると、突然 1 人の小人が現れた。その身長は 10cm であった。小人の国の平均身長を 90 % 、 95 % の信頼度で区間推計せよ。但し、小人の国の身長は正規分布に従うものとし、標準偏差を 3cm とする。

解. • 90 % の信頼度の場合

−1.64 ≤ 10 − µ

3≤ 1.64

10 − 1.64 × 3 ≤ µ ≤ 10 + 1.64 × 35.08 ≤ µ ≤ 14.92

• 95%の信頼度の場合

10 − 1.96 × 3 ≤ µ ≤ 10 + 1.96 × 34.12 ≤ µ ≤ 15.88

例 2. 標準偏差が既知で、サンプル数 10 の場合例 1 で 10 人の平均身長が 10cm である場合

解. • 90 % の信頼度の場合

−1.64 ≤ 10 − µ

3/√

10≤ 1.64

10 − 1.64 × 3/√

10 ≤ µ ≤ 10 + 1.64 × 3/√

108, 44 ≤ µ ≤ 11.56

• 95%の信頼度の場合

10 − 1.96 × 3/√

10 ≤ µ ≤ 10 + 1.96 × 3/√

108.14 ≤ µ ≤ 11.86

例 3. 分散が未知の場合目の前に 7 人の小人が現れた。彼らの体重を測ったところ、 360 , 410 , 350 , 380 , 420 , 400 ,410 であった(単位は g )。小人の国の平均体重を信頼度 90 % で区間推定せよ。また、体重の分散を信頼度 95 % で区間推定せよ。

36

Page 38: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

解. (平均体重の信頼区間)7 人の小人の平均体重は 390g 、不偏分散は (4400/6)g である。よって、平均体重の標準誤差は√

4400/67

= 10.24g

となり、390 − µ√4400/6

7

∼ t(7 − 1)

求める信頼区間は390 − 1.94 × 10.24 ≤ µ ≤ 390 + 1.94 × 10.24

370.1 ≤ µ ≤ 409.9

注 信頼度 95 % の場合 364.9 ≤ µ ≤ 415.1信頼度 99 % の場合 352.0 ≤ µ ≤ 428.0

(体重の分散の信頼区間)

∑(xi − x)2 = 4400 ← (n − 1)S2

だから440014.45

≤ σ2 ≤ 44001.237

304 ≤ σ2 ≤ 3557

4.6 仮説検定

4.6.1 統計的仮説検定( Testing Statistical Hypothesis )

T 、 N のふたつのチームがソフトボールで、「どちらが強いか」を決めたいと考えているとする。この場合、強さは相手に勝つ確率であると考える。一回のゲームで T の勝つ確率を p とおく。引き分けはないものとすれば、 N の勝つ確率は 1 − p である。どちらが強いかを、ゲームの勝敗だけで判定するには、 1 回の試合の結果のみでは十分とは言えない。ここでは、仮に n = 12 回の試合で決着をつけるものとする。ところで、このような試合をするにはその結果の判断に関する主張がある筈である。例えば、 T チー

ムが「私たちのチームの方が強い」と主張してやまず、その結果このような試合をする羽目になったのかもしれない。この主張に関する仮説を対立仮説(alternative hypothesis )と呼び、

H1 : p >12

と書く。対立仮説は、当面する事柄によって何を問題とするかによって異なることに注意しよう。さて、 n = 12 回の試合の結果、 T チームが勝った回数を X で表す。 X が、 2 とか 3 とかという値

のときに T チームが強いと主張する人はいないだろうが、 X が 9 や 10 の値をとったときには微妙である。直観的には判断を下せないからである。

37

Page 39: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

T チームが勝つ回数 X が x となる確率は

PX = x = nCxpx(1 − p)x (x = 0, 1, 2, . . . , n)

で表される。しかし、 p は未知なので上記の確率を計算することはできない。そこで、次のような仮説をおいてみる。

H0 : p =12

この仮説は、帰無仮説( null hypothesis )と呼ばれるが、 H0 の下では、上記の確率が計算できる。確率の計算は、帰無仮説が真であるという前提の下で評価されることに注意せよ !いま、 n = 12 回の試合の結果 T チームが 12 回連続して勝ったとしよう。帰無仮説 H0 (「 T チーム

と N チームの強さは等しい」)のもとでも、 12 試合中 T チームが 12 回とも勝つことはないわけではない。しかし、その確率は

PX = 12 = 12C12

(12

)12 (12

)0

= 0.000244414

となり、僅か 0.025 % にしかすぎない。試行の結果を踏まえて考えたときに、帰無仮説 H0 の下で 10,000回中 2 ~ 3 回しか起こらないきわめて稀なことが、現実に起こったと考えるのが自然だろうか。それとも、帰無仮説 H0 が正しくないと考えて、 H0 を棄却( reject )する方が自然だろうか。では、 n = 12 回の試合の結果 T チームが 10 回勝った場合にはどうか。上の表によると、その確率は

1.6 % である。果たして、 T チームが強いと言えるだろうか。ここで、判断を客観化するために、有意水準( significant level)という確率の規準を導入する。Fisher

以来の伝統に従って、通常は 5 % や 1 % の水準が採用される場合が多い。もし、有意水準を 5 % と設定した場合には、 T チームが 10 回以上勝つ確率 0.0192 % は、有意水準よりも小さいので、帰無仮説 H0

を棄却するわけである(統計的に、帰無仮説 H0 は支持されない2)。このように、統計的仮説検定では、帰無仮説 H0 を棄却することによって、当面問題となっている対立

仮説 H1 が、(統計的には)誤りとは言えないことを主張する。帰無仮説 H0 を棄却する領域(棄却域 critical region )は、対立仮説に依存して決められる。

H1 : p >12→ 棄却域は x ≥ 10 , 10, 11, 12

H1 : p <12→ 棄却域は x ≤ 2 , 0, 1, 2

さて、有意水準を 5 % と設定し、

D : 「 T チームが 10 回以上勝ったらTチームの方が強い」

という判断基準をおいたとしよう。このとき、

P (D|H0) = 0.0161 + 0.0029 + 0.0002 = 0.0192

2「帰無仮説H0 が誤りで、対立仮説 H1 が正しい」というわけではないので、検定理論の適用に当たっては、言葉の使い方には充分注意すること。

38

Page 40: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

は、帰無仮説 H0 が真である場合に、判断基準 D に基づいて判断した場合に判断を誤る確率である。この誤りを第一種の過誤( Type 1 error )という。有意水準 α は、判断基準 D によって生ずる過誤の確率の上限を与えたものである。これに対し、帰無仮説 H0 が誤りであるのも関わらず、それを採択する過誤を第二種の過誤( Type 2 error )という。

H0 :真 H0 :偽

H0 :採択 正しい判断 第二種の過誤H0 :棄却 第一種の過誤 正しい判断

片側検定( One-tailed test )と両側検定( Two-tailed test )

4.6.2 統計的仮説検定の例

例 1. 分散が既知の場合 : N 検定ある国において、金 1oz 相当の金貨が売り出された。偶然手に入れた 5 枚の金貨の金含有量を調べたところ、 0.90oz , 0.95oz , 1.00oz , 1.05oz , 0.85oz であった。平均金含有量が 1.00oz であると言えるか。但し、金貨全体の金含有量の分布は正規分布に従い、標準偏差は 0.05oz であるものとする。

解. 標本平均 : 0.95 、母分散 : 0.052

H0 : µ = 1.00H1 : µ = 1.00

とし、有意水準 5 % で検定(両側検定)する。もし、帰無仮説が正しいとすれば

x − µ√σ2

n

=0.95 − 1.00√

0.052

5

= −2.24

となる。有意水準を 5 % とし両側検定を行う場合の棄却域は 1.96 である。従って、帰無仮説は棄却され、「金の平均含有量が 1.00oz であるとは言えない」。

例 2. 分散が未知の場合 : t 検定例 1 で分散(標準偏差)が未知である場合、平均金含有量が 1.00oz であると言えるか。分散が未知であるため、母分散の推定値として不偏分散( S2 )を用いる。但し、

S2 =1

n − 1

n∑i=1

(xi − x)2

である。このとき、母分散 σ2 を不偏分散 S2 で置き換えた式

x − µ√S2

n

∼ t(n − 1)

は、自由度 (n − 1) の t 分布に従う。

39

Page 41: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

解. 不偏分散は 0.00625 である。従って、

x − µ√S2

n

=0.95 − 1.00√

0.006255

= −1.414

有意水準 5 % で両側検定を行う場合、棄却域が 2.78 となり帰無仮説は棄却できない。

例 3. 比率の検定 : N 検定ある地域の住民に対して就業状況調査を行ったところ、失業者が 100 人中 6 人いたという。国全体の失業率を 2.5 % とするとき、この地域の失業率は全国平均よりも高いと言えるか。

解. 失業率を p とおき、H0 : p = 0.025

とする。また、 i 番目の人の状況を xi で表す。

xi =

1: 失業0: 就業

このとき、E(xi) = 1 · p + 0 · (1 − p) = p

V ar(xi) = (1 − p)2 · p + (0 − p)2 · (1 − p) = p(1 − p)

である。

x =1n

n∑i=1

xi

E(x) = p

V ar(x) =p(1 − p)

n

ここで、中心極限定理よりサンプル数が十分大きいときには

x − p√p(1 − p)

n

∼ N(0, 1)

となり、 N 検定が利用可能となる。

x − p√p(1 − p)

n

=0.06 − 0.025√

0.025(1 − 0.025)100

= 2.24

なので、有意水準 5 % で帰無仮説は棄却される。

例 4. 平均の差の検定 : N 検定 or t 検定ふたつの正規母集団 Π1 , Π2について考える。 Π1 、 Π2 からそれぞれ n1 個、 n2 個の標本を抽出する。標本値を x1

1, x12, . . . , x

1n1 , x2

1, x22, . . . , x

2n2 とし、標本平均を x1 , x2とする。(母

平均、母分散を、それぞれ µi 、 σ12 とする)

40

Page 42: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

• 母分散が既知である場合

x1 ∼ N

(µ1,

σ12

n1

)x2 ∼ N

(µ2,

σ22

n2

)なので、帰無仮説 H0 : µ1 = µ2 の下では

z =x1 − x2√σ1

2

n1+

σ22

n2

∼ N(0, 1)

が従う。

• 母分散が未知である場合 σ12 = σ2

2 ならば3

z =x1 − x2

σ ·√

1n1

+1n2

と変形できるので、共通の標準偏差の推定量( S )を

S2 =1

n1 + n2 − 2·

n1∑i=1

(xi − x)2 +n2∑

j=1

(yj − y)2

によって推計し、 σ へ代入すれば

z ∼ t(n1 + n2 − 2)

となる。

σ12 = σ2

2 ならば上記の手法は使えない(ベーレンス・フイッシャー問題4)。なお、等分散の過程が満たされない場合の検定方法については、補足資料で確認せよ。

例 5. ふたつの母集団における比率の差の検定 : N 検定母集団 Πi (i = 1, 2) において、ある性質 P (例えば失業など)を持つものの割合を pi とする。 Πi

からそれぞれ ni 個の標本を抽出したとき、性質 P を持つ標本の数を Ri とする。このとき、帰無仮説 H0 : p1 = p2 を検定する。このとき、サンプル数が十分大きければ

Ri

ni∼ N

(pi,

pi(1 − pi)ni

)となるから(例 3 を参照のこと)、

R1

n1− R2

n2∼ N

(p1 − p2,

p1(1 − p1)n1

+p2(1 − p2)

n2

)3σ1

2 = σ22 となることを統計的に検定する必要がある。(後述)

4詳しくは、例えば竹内啓・大橋靖雄著『統計的推測 -2 標本問題』日本評論社、 1981 年を見よ。

41

Page 43: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

が従う。つまり、比率の差の検定は、次の検定統計量を用いればよいことが分かる。

z =

R1

n1− R2

n2√p(1 − p)

n1+

p(1 − p)n2

∼ N(0, 1) , p = p1 = p2 =R1 + R2

n1 + n2

例 6. 分散の検定 : χ2 検定例 1 では、任意に抽出した 5 枚の金 1oz 相当の金貨の金含有量を調べ、平均金含有量が 1.00oz であると言える否かを与えられた標準偏差( 0.05oz )を用いて検定したが、果たして母集団の標準偏差が 0.05oz であると言えるだろうか。ここでは、標本値から得られる情報に基づき、母分散( σ2 )が与えられた値( σ0

2 )に等しいかどうかを検定する方法について説明する。帰無仮説は H0 : σ2 = σ0

2 である。正規母集団Π(µ, σ2)から、任意の n 個の標本を抽出(x1, x2, . . . , xn )するとき、

n∑i=1

(xi − x)2

σ2∼ χ2(n − 1)

となる。従って、帰無仮説 H0 : σ2 = σ02 の検定は、検定統計量

n∑i=1

(xi − x)2

σ2

が、自由度( n − 1 )の χ2 分布に従うことを用いればよい。例 1 の標本値は 0.90oz , 0.95oz , 1.00oz , 1.05oz , 0.85oz であった。このとき、 x = 0.95 なので、検定統計量は

z =5∑

n=1

10.052

· ((0.90 − 0.95)2 + · · · + (0.85 − 0.95)2)

= 10.0

となり、自由度 4 の χ2 分布に従う。有意水準を 5 % とし、両側検定を考える。 χ2 分布表より、下側 2.5 % 点、上側 2.5 % 点を与える値は、それぞれ 0.48 、 11.14 であるから、帰無仮説は棄却されない。

例 7. 分布の適合度検定 : χ2 検定確率変数 x があり、 x のとりうる値の範囲が m 個の階級に分割されており、 x がそれぞれの階級にはいる確率を p1, p2, . . . , pm とする。いま、 x に関する n 個の標本値があるとき、その標本値を

区分けした結果、それぞれの階級の度数が n1, n2, . . . , nmとなったとする(m∑

j=1

nj = n )。

各階級における期待度数は np1, np2, . . . , npm である。このとき、各階級に x が落ちる確率に関して次のような仮説を立てる。

H0 : p1 = p10, p2 = p20, . . . , pm = pm0

m∑j=1

pj0 = 1

H1 : H0ではない

42

Page 44: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

このとき、帰無仮説H0 が真であれば、

z =m∑

i=1

(ni − npi0)2

npi0∼ t(m − 1)

に近似できることが知られている(証明は難しいので省略5)。これを用いて適合度検定を行うことができる。なお、観測度数分布と期待度数分布の差が大きくなればなるほど z の値も大きくなることに注意しておく。サイコロに歪みがあるか否かの検定( 300 回試行)

サイコロの目 1 2 3 4 5 6観測度数分布 44 51 45 56 47 57期待度数分布 50 50 50 50 50 50

帰無仮説を「サイコロに歪みがない」とすると、

H0 : p1 =16, p2 =

16, . . . , p6 =

16

となる。このとき、検定統計量は

z =6∑

i=1

(ni − npi0)2

npi0=

(44 − 50)2

50+

(51 − 50)2

50+ · · · + (57 − 50) − 2

50= 3.12

である。有意水準を 5 % とする。 z は漸近的に自由度 5 の χ2 分布に従う。上側 5 % 点は 11.07であるから、帰無仮説は棄却できない。

例 8. 独立性の検定次の表は、小人の国で無作為に 100 人を抽出して目の色と性別とを調べた結果をまとめたものである。小人の国で、性別によって青い目のものの割合は異なるのだろうか。

男 M 女 F 計 割合青い目 B 30 10 40 0.4緑の目 G 20 40 60 0.6計 50 50 100割合 0.5 0.5

もし、「性別」と「目の色」とが独立の事象であるとすれば、「男」でかつ「青い目」をしたものの割合は 0.5× 0.4 = 0.2 、「男」でかつ「緑の目」をしたものの割合は 0.5× 0.6 = 0.3 となる。サンプル数が 100 であるから、期待頻度はそれぞれ 20 、 30 となる。

男 女 計

青い目 20 20 40緑の目 30 30 60

計 50 505例えば、岩田暁一著『経済分析のための統計的方法』東洋経済新報社、 pp.390~394 を見よ。

43

Page 45: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

つまり、帰無仮説を「 H0 : 性別と目の色とは独立である」とすると、

H0 : pMB = pMpB, pMG = pMpG, pFB = pF pB, pFG = pF pG

となる。このとき、例 7 を思い出せば、検定統計量は

z =(30 − 20)2

20+

(20 − 30)2

30+

(10 − 20)2

20+

(40 − 30)2

30= 16.67

となる。これは、漸近的に自由度( 4− 3 = 1 )の χ2 分布に従うから、有意水準を 5 % として検定する(上側 5 % 点は 3.84 )と、帰無仮説は棄却される。一般論 m × n 分割表を次のように定める。

1 2 · · · n sum

1 x11 x12 · · · x1n n1·2 x21 x22 · · · x2n n2·...

......

. . ....

...m xm1 xm2 · · · xmn nm·

sum x·1 x·2 · · · x·n n

このとき、検定統計量

z =m∑

i=1

n∑j=1

(xij − n · ni·

n· n·j

n

)2

n · ni·n

· n·jn

∼ χ2 ((m − 1)(n − 1))

は、漸近的に自由度 (m−1)(n−1)の χ2 分布に従う。自由度は、上の分割表で左上から下へ (m−1)、右へ (n − 1) の部分のデータが得られれば残りのデータは列和と行和より求め得ることを考えればよい。

44

Page 46: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5 回帰分析の理論

5.1 線型回帰分析とは

変数 x と変数 y との間に関数の関係 y = f(x) を見出すことを回帰分析という。特に、 x と y との間に線型関係( 1 次式)を仮定する場合を、線型回帰分析6という。例えば、想定する関係式が y = a + bx

や log y = α + β log x という場合に、観測されたデータから a ( α )や b ( β )を推計することである7。変数 x を説明変数(独立変数)、変数 y を被説明変数(従属変数)などと呼んでいる。説明変数の数がひとつの場合を単回帰分析、ふたつ以上の場合を重回帰分析という。実際の回帰分析では、想定される関係式 y = f(x) に攪乱項 u を加える。これは確率変数であり正の値

も負の値もとり得る。

5.2 攪乱項の意味

• モデル(推計式)の定式化の誤りによる誤差

• 説明変数不足による誤差

• 偶然性による誤差

• 統計データの観測誤差(変量誤差)

5.3 攪乱項についての仮定

1. 攪乱の期待値は 0 : 攪乱項は正の値も負の値もとり得るが、平均的には誤差がゼロ。

E(ui) = 0

2. 攪乱項の分散は一定(均一分散) : 攪乱項のばらつきは計測期間中は一定。

E((ui)2

)= σi

2 = σ2

3. 攪乱項の共分散は 0 (系列相関なし) : 異なる攪乱項は互いに独立。

E(ui, uj) = 0 (i = j)

4. 攪乱項と説明変数とは独立

5. 説明変数は確率変数ではない

6. 攪乱項は正規分布に従う

6x と y との間に非線型関係( 1 次式以外の関係)を仮定する場合には、非線型回帰分析という。7後者の例では、 x と y との関係式は y = Axβ であり非線型関係にあるが、対数をとることによって線型化している。

45

Page 47: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5.4 最小二乗法

残差二乗和を最小にするように未知のパラメーターを推計する方法。例えば、計測式が

Yi = α + βXi + ui (i = 1, 2, . . . , T )

であり、観測データが ((x1, y1), (x2, y2), . . . , (xT , yT )) の場合、観測データと回帰直線 yi = α + βxi との誤差(残差) ei = yi − α − βxi ( i = 1, 2, . . . , T )の 2 乗和

T∑i=1

ei2 =

T∑i=1

(yi − α − βxi)2 = φ(α, β)

を最小にするような α , β が、 α , β の最小二乗推計量よばれる。実際、 φ(α, β) を、 α , β で偏微分した式をゼロとおけば、

T∑i=1

yi = T α + β

T∑i=1

xi

T∑i=1

xiyi = α

T∑i=1

xi + β

T∑i=1

xi2

を得る (正規方程式8)。これを解くと、

α = y − βx

β =

T∑i=1

(xi − x)(yi − y)

T∑i=1

(xi − x)2

となる9。

α =T∑

i=1

1T − x

xi − x∑(xj − x)2

yi

β =T∑

i=1

xi − x∑(xj − x)2

yi

と変形できるので、最小二乗推計量は共に観測値 y1 の 1 次式である(線型推計量)。

5.5 最小二乗推計量の期待値と分散

上で得られた OLS 推計量に真の関係式 yi = α + βxi + ui を代入して整理すると、

β = β +T∑

i=1

xi − x∑(xj − x)2

ui

8重回帰分析の場合も同様にして求めることができるので省略する。9回帰直線は、点 (x, y) を通ることがわかる。

46

Page 48: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

となるので、説明変数が非確率的で、なおかつ攪乱項 ui が正規分布に従えば、 OLS 推計量は正規分布に従うことがわかる10。攪乱項 ui に掛かっている係数はよくでてくるようなので

ωi =(

xi − x∑(xj − x)2

)

とおこう。すると、β = β +T∑

i=1

ωiui となって見通しがよい。ここで、β の平均・分散を求めると、

E(β) = E

(β +

T∑i=1

ωiui

)= β +

T∑i=1

ωiE(ui) = β

V ar(β) = E((β − β)2

)=

T∑i=1

ωi2E(ui

2) +∑i=j

ωiωjE(uiuj) =σ2∑

(xi − x)2

となる。即ち、攪乱項の期待値が 0 であれば、最小二乗推定量は不偏性を持つこと、 β の分散は説明変数の散らばりが大きければ大きいほど小さくなり、より効率的に β を推定することがわかる。なお、線型回帰モデルおいて標準的な仮定がすべて満たされているとき、最小二乗推計量は最良( Best )・線型( Linear )・不偏( Unbiased )な推計量( Estimator )となることが知られている。即ち、 OLS はBLUE である。これを、ガウス・マルコフの定理という。しかしながら、実際のデータを用いて回帰分析を行う場合には必ずしも標準的な仮定のすべてが満たされるわけではなく、パラメーターを推計する上で様々な工夫が施されている。

5.6 ガウス・マルコフの定理

説明変数は非確率的、攪乱項が無相関で均一分散を持つとき、 β の OLS 推計量 β は、 y1, y2, . . . , yT

の線型結合で表される不偏推定量のなかで最小の分散を持つ。

定理の証明 β の任意の推定量 β∗ は

β∗ =T∑

i=1

diyi

とおける。但し、 d1, d2, . . . , dT は定数である。β∗ は不偏推定量なので、

E(β∗) =T∑

i=1

diE(yi) = αT∑

i=1

dixi = β

が常に成立する。従って、 d1, d2, . . . , dT は

T∑i=1

di = 0 ,

T∑i=1

dixi = 0

10α も同様に正規分布に従うことが示される。

47

Page 49: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

を満たす。このとき、

V ar(β∗) = V ar

(T∑

i=1

diyi

)=

T∑i=1

di2V ar(yi) = σ2

T∑i=1

(di − ωi + ωi)2

= σ2T∑

i=1

((di − ωi)2 + ωi

2 + 2(di − ωi)ωi

) ≥ σT∑

i=1

ωi2 = V ar(β)

等号成立は、 di = ωi の時であり、 β∗ が最良推定量であることを知る。なお、推計量が不偏性を持つという条件より

T∑i=1

((di − ωi)ωi) =

T∑i=1

dixi − xT∑

i=1

di

T∑i=1

(xi − x)2−

T∑i=1

(xi − x)2

(T∑

i=1

(xi − x)2)2 = 0

が成り立つという事実を用いている。(証明終)

5.7 推定結果の判断

次の統計的仮説検定問題を考えよう。 H0 : β = 0H1 : β = 0

帰無仮説が真であるとき、

z =β − β

σ

(T∑

i=1

(xi − x)2)− 1

2

σ

(T∑

i=1

(xi − x)2)− 1

2

∼ N(0, 1)

なので、もし σ が既知であれば、 z の値を用いて正規検定が可能である。しかしながら、一般的には、σ が既知となることは希なので、 σ の不偏推計量 σ

σ2 =1

T − 2

T∑i=1

(yi − α − βxi)2

を用いると、σ2

σ2∼ χ2(T − 2)

従って、

t =z√σ2

σ2

σ

(T∑

i=1

(xi − x)2)− 1

2

∼ t(T − 2)

となることがわかる11。

11σ

„TP

i=1

(xi − x)2«−0.5

は β の標準誤差と呼ばれる。

48

Page 50: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5.8 回帰係数が有意か否かの検定 : t 検定

要するに、推計されたパラメーターの値を対応する標準誤差で除した比率( t 値)で回帰係数の有意性を検定する12。

5.9 回帰係数のあてはまりの良さ

5.9.1 決定係数

非説明変数の全変動のうちで、説明変数の変動により説明される部分の割合。観測データ (xi, yi) に対して、独立変数の値 xi を与えたとき回帰直線によって与えられる従属変数の値(内挿値)を yi とすると、 yi = α + βxi である。 ei = yi − yi を残差とすると、

T∑i=1

(yi − y)2 =T∑

i=1

(yi − y)2 +T∑

i=1

ei2

が成立する。上式の左辺は、回帰を全く行わない場合の y の平均回りの変動(全変動)であり、右辺第1 項は回帰直線回りの変動(回帰変動)であり、回帰直線で説明される変動を表す。これに対し、第 2 項は、回帰で説明されない部分の変動(残差変動)を示している。つまり、

「(全変動)=(回帰変動)+(残差変動)」

が成り立つ。ここで、「決定係数( R2 ) = 回帰変動 / 全変動 = 1 - 誤差変動 / 全変動」と定義する。即ち、

R2 =

T∑i=1

(yi − y)2

T∑i=1

(yi − y)2= 1 −

T∑i=1

ei2

T∑i=1

(yi − y)2

である。 R2 は 0 と 1 の間の数値であり 1 に近いほど当て嵌まりがよいと考えられる。なお、観測データのオブザベーション数を一定とし説明変数の数を増やしてゆくと R2 の値は大きくなる13。これは、決定係数 R2 が回帰直線の当てはまりの良さの指標として適切ではないことを物語っており、この不具合を克服する指標として自由度調整済み決定係数( R2 )が定義されている。

R2 = 1 −(Σei

2)/(T − k − 1)

(Σ(yi − y)2) /(T − 1)但し、 Σ =

T∑i=1

但し、 T は観測データ数、 k は説明変数の数を表す。

5.10 方程式の標準誤差

残差 2 乗和を回帰式の自由度で割った値(攪乱項の不偏分散の平方根)を方程式の標準誤差という。勿論、この標準誤差は小さければ小さいほど回帰式の適合度は高い。

12t 検定を行う際の自由度は、観測データ数 - 推計すべきパラメーター数となる。13観測データ数と推計すべきパラメーターの数が一致する場合には、 R2 = 1 となる。

49

Page 51: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5.11 系列相関とダービン・ワトソン検定

誤差項に系列相関が存在する場合には仮定 3 が満たされないので OLS 推計量は BLUE とはならない。誤差項に一階の系列相関が存在するか否かの検定には、ダービン・ワトソン比( d.w. )による検定が行われる。

yi = α + βxi + ui

ui = ρui−1 + ϵi

のとき、 H0 : ρ = 0 , H1 : ρ = 0 を検定する統計量がダービー・ワトソン比であり、

d.w. =

T∑i=2

(ei − ei−1)2

T∑i=1

ei2

によって与えられる。今、残差の自己相関係数を ρ とすると

ρ =

T∑i=2

eiei−1

T∑i=1

ei2

なので、T∑

i=1

ei2 ≅

T∑i=2

ei2 であるとき、 ρ の定義式を用いて分子を書き換えると、 d.w. ≅ 2(1 − ρ) とな

る。従って、

相関係数が 0 (無相関)のとき、 d.w.=2。相関係数が 1 (正の相関)のとき、 d.w.=0。相関係数が -1 (負の相関)のとき、 d.w.=4。

である。逆に d.w. を基準に考えると、

d.w. 比 2 前後のとき、 系列相関なし。d.w. 比 2 より十分に小さいとき、 正の系列相関。d.w. 比 2 より十分に大きいとき、 負の系列相関。

となるので、 d.w. 比により誤差項の系列相関の有無が判定できる。正確な判定には、観測データ数とパラメーター数に依存した臨界値が用いられる14。

14検定法の詳細については、計量経済学のテキストを参照せよ。

50

Page 52: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

5.12 多重共線性

重回帰分析において説明変数間に独立性がない場合(説明変数間に相関がある場合)には、係数の推定値の信頼性は疑わしくなる。多重共線性が存在するときには、推定値の分散が大きく推計されたり、推計期間を少し変えただけで推計値の値が大きく変化することがあり、安定的な推計結果は得られないような状況が起こる。これを例示しよう。回帰式が yi = αzi + βxi + ui となる場合について考えよう( zi = 1 のときには、 α は定数項を表す)。

zi と xi の相関が大きいとき(即ち、多重共線性が強いとき)、 zi ≅ λxi なので、見かけ上ふたつの説明変数を持つ回帰式は

yi = αzi + βxi + ui ≅ (λα + β)xi + ui

となり、 λα + β を推計することは可能であっても、 α , β をそれぞれ別々に推計することはできなくなる。たとえ推計できたとしても不安定となる。

5.13 不均一分散

攪乱項の分散が均一でない場合、即ち観測データに依存する場合には、標準的仮定が満たされない。例えば、回帰式が yi = α + βxi + ui で、 V ar(ui) = σi

2 となっている場合について考えよう。この場合には、回帰式の両辺を σi で割った式に OLS を適用すればよい。

5.14 重回帰モデルの応用

5.14.1 重回帰モデルとは(復習)

yi = β0 + β1x1i + β2x2i + · · · + βkxki + εi (i = 1, 2, . . . , n)

• 説明変数の数が 2 以上(説明変数が 1 個の場合には単回帰モデルと呼ぶ)

• 古典的仮定

1. k(n) 個の説明変数は確率変数ではなく、一次従属の関係なし

2. 誤差項 ε1, ε2, . . . , εn は互いに独立な同一分布 N(0, σ2) に従う

3. 決定係数、標準誤差、 t 値、 d.w. 比は単回帰の場合と同様

5.14.2 仮説検定

1. 個々のパラメーターに関する検定 : t 検定H0 : βj = βj0

H1 : βj = βj0

51

Page 53: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

→ t 検定(単回帰モデルと同じ)

βj − βj

s.d.of βj

∼ t (n − (k + 1))

2. 線型制約 : F 検定 H0 : β1 + β2 = 1, β3 = β30, β4 = β5

H1 : H0ではない

など。線型制約を課さないモデルと制約を課したモデルのふたつを推計し、それぞれの残差 2 乗和を使った F 検定を行う。

RSS(H0) := 帰無仮説の下での残差 2 乗和RSS(H1) := 対立仮説の下での残差 2 乗和

とし、 F =(RSS(H0) − RSS(H1))/p

RSS(H1)/(n − k − 1)∼ F (p, n − k − 1) (ただし、 p は線形制約の数)を計算

し、上位 α % 点 Fα(p, n − k − 1) より F 値が大きければ帰無仮説を棄却する。

例 : コブ・ダクラス型生産関数の1次同次性の検定 コブ・ダクラス型生産関数は

Y = AKαLβ or log Y = A + α log K + β log L

一次同次であれば(即ち、規模に関して収穫一定) α + β = 1 となる。H0 : α + β = 1H1 : α + β = 1

RSS(H0) の求め方 : 帰無仮説を生産関数に代入して整理すると、 log Y/L = A + α log K/L 。 β の推

定値 : 1 − α 。 β の標準誤差 : β = 1 − α に注意すると√

V ar(β) =√

V ar(α)

推計例(サンプル数は n = 27 )

log Y/L = 1.069 +0.637 log K/L 但し、()は標準誤差(0.132) (0.0754) R2 = 0.943, R2 = 0.941, RSS = 0.85574

β の推計値 = 1 − α = 1 − 0.637 = 0.363 、β の標準誤差 = 0.0754 。よって、

log Y = 1.069 +0.637 log K +0.363 log L ()内は t 値(8.12) (8.45) (4.81) R2 = 0.943, R2 = 0.941

一方、制約を考えないモデルの推計式はlog Y = 1.171 +0.603 log K +0.376 log L ()内は t 値

(3.58) (4.79) (4.40) R2 = 0.944, R2 = 0.939, RSS = 0.85163

F =(RSS(H0) − RSS(H1))/p

(RSS(H1)/(n − k − 1))=

(0.85574 − 0.85163)/10.85163/(27 − 2 − 1)

= 0.116 ∼ F (1, 24)

F 分布表から、 F0.05(1, 24) = 4.26 なので、帰無仮説は棄却できず「規模に関して収穫一定でないとは言えない」ことになる。どうやら、規模に関して収穫一定のようだ。

52

Page 54: 齋藤勝宏 - 東京大学asaito/QEA18/... · 1.2.4 回帰分析の理論(計量経済学の基礎) • 最小ニ乗法 • ガウスマルコフの定理 • 推計結果の有意性検定

応用 : 構造変化の検定 ある期間の前後で生産技術が変化したか ? もし、変化しているとすれば、前期: Y = AKαLβ 、後期 : Y = A′α′

Lβ′としたとき、 A と A′ 、 αと α′ 、 β と β′ のうち、どれかは等し

くなくなる。検定は、ダミー変数を用いて次のようなモデルにすればよい:

log Y = β0 + β1 log K + β2 log L + γ0β0D + γ1β1((log K)D) + γ2β2((log L)D)H0 : γ0 = γ1 = γ2 = 0H1 : H0ではない

53