第一回広島ベイズ塾・最小二乗法

魁 !! ベイズ塾

第一話　最小二乗法

発表者：教育学研究科　山根嵩史

お品書き

最小二乗法とは　

最小二乗法の種類　

最小二乗法のメリット・デメリット　

最小二乗法とは

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50

1

2

3

4

時間 ( 秒 )

位置

(m)

例えば…

一定測度で動く車の時間とスタートからの位置の関係

理想的には　⇒　

一次関数上に観測値が並ぶ傾き＝速度


例えば…

一定測度で動く車の時間とスタートからの位置の関係

現実には測定誤差が入るので　⇒　

このようなデータにも直線を当てはめて速度を求めたい！

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50

1

2

3

4

時間 ( 秒 )

位置

(m)


各測定値から直線までの差をそれぞれ d1 ～ d5 とすると，“ もっともらしい直線”とは

　 S ＝ d12+d2

2+d32+d4

2+d52

S の値を最小にするような直線y=ax+b であると考えられる

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50

1

2

3

4

時間 ( 秒 )

位置

(m)

d1

d2

d3

d4

d5

y=ax+b

直線 y=ax+b の切片と傾きを決めるための推定法が最小二乗法

最小二乗基準

傾き a と切片 b に任意の値を代入したときの，直線とデータとの「適合の悪さ」を最小二乗基準という指標で定義

N 個の点すべてについて，残差の 2 乗を求め，合計した値この最小二乗基準が最小になるように， a および b の値を定める　※二乗和を最小にするので最小二乗法

残差

曲線への近似

直線だけでなく， 2 次曲線や 3次曲線への近似も可能

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50

1

2

3

4

時間 ( 秒 )

位置

(m)

お品書き




最小二乗法の種類

最小二乗法には，最小二乗値の計算方法による下位区分がある某統計ソフト (S ピー SS) では，因子分析の因子抽出の際に　

　・重み付けのない最小二乗法　・重み付き最小二乗法　・一般化最小二乗法　

が選択できます


重み付けのない最小二乗法 (Unweighted Least Squares)

　　・特別な前提を設けず (= 全ての誤差を同じ重みで考える ) ，　　　モデルとデータの差の二乗和を最小化する方法　　・計算が効率的であり，反復主因子法を用いるよりも　　　収束が速い


重み付け最小二乗法 (Weighted Least Squares)　　・水準間で分散が異なる場合などに，分散が散らばる　　　ところは軽く，散らばりが少ないところは重く評価　　・尺度不変，汎用的


一般化最小二乗法 (Generalized Least Squares)　　・分散多変量正規分布を仮定した，重み付き最小二乗法　　　の発展形　　・モデルの有意性検定が可能


どれを使えば良いの？　・重みなし→重み付き→一般化の順に発展しているので，基　　本的には一般化最小二乗法を使うのが良い　・一般化最小二乗法では，モデルとデータとの適合度検定が　　できるようになっている

お品書き




最小二乗法のメリット

因子抽出法として最小二乗法を用いることのメリット　　・データの正規性を仮定しない (= 使いやすい )

　　・最尤法に比べて，不適解をあまり出さない

最小二乗法のデメリット

最小二乗法のデメリット　　・最小二乗法で得られる因子負荷量は尺度不変ではない　　　 ( 重み付けのある最小二乗法，一般化最小二乗法では　　　因子負荷量は尺度不変になる )

第一回広島ベイズ塾・最小二乗法

Documents