Download - 第一回広島ベイズ塾・最小二乗法
魁 !! ベイズ塾
第一話 最小二乗法
発表者:教育学研究科 山根 嵩史
お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット
最小二乗法とは
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50
1
2
3
4
時間 ( 秒 )
位置
(m)
例えば…
一定測度で動く車の時間とスタートからの位置の関係
理想的には ⇒
一次関数上に観測値が並ぶ傾き=速度
最小二乗法とは
例えば…
一定測度で動く車の時間とスタートからの位置の関係
現実には測定誤差が入るので ⇒
このようなデータにも直線を当てはめて速度を求めたい!
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50
1
2
3
4
時間 ( 秒 )
位置
(m)
最小二乗法とは
各測定値から直線までの差をそれぞれ d1 ~ d5 とすると,“ もっともらしい直線”とは
S = d12+d2
2+d32+d4
2+d52
S の値を最小にするような直線y=ax+b であると考えられる
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50
1
2
3
4
時間 ( 秒 )
位置
(m)
d1
d2
d3
d4
d5
y=ax+b
直線 y=ax+b の切片と傾きを決めるための推定法が最小二乗法
最小二乗基準
傾き a と切片 b に任意の値を代入したときの,直線とデータとの「適合の悪さ」を最小二乗基準という指標で定義
N 個の点すべてについて,残差の 2 乗を求め,合計した値この最小二乗基準が最小になるように, a および b の値を定める ※二乗和を最小にするので最小二乗法
残差
曲線への近似
直線だけでなく, 2 次曲線や 3次曲線への近似も可能
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50
1
2
3
4
時間 ( 秒 )
位置
(m)
お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット
最小二乗法の種類
最小二乗法には,最小二乗値の計算方法による下位区分がある某統計ソフト (S ピー SS) では,因子分析の因子抽出の際に
・重み付けのない最小二乗法 ・重み付き最小二乗法 ・一般化最小二乗法
が選択できます
最小二乗法の種類
重み付けのない最小二乗法 (Unweighted Least Squares)
・特別な前提を設けず (= 全ての誤差を同じ重みで考える ) , モデルとデータの差の二乗和を最小化する方法 ・計算が効率的であり,反復主因子法を用いるよりも 収束が速い
最小二乗法の種類
重み付け最小二乗法 (Weighted Least Squares) ・水準間で分散が異なる場合などに,分散が散らばる ところは軽く,散らばりが少ないところは重く評価 ・尺度不変,汎用的
最小二乗法の種類
一般化最小二乗法 (Generalized Least Squares) ・分散多変量正規分布を仮定した,重み付き最小二乗法 の発展形 ・モデルの有意性検定が可能
最小二乗法の種類
どれを使えば良いの? ・重みなし→重み付き→一般化の順に発展しているので,基 本的には一般化最小二乗法を使うのが良い ・一般化最小二乗法では,モデルとデータとの適合度検定が できるようになっている
お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット
最小二乗法のメリット
因子抽出法として最小二乗法を用いることのメリット ・データの正規性を仮定しない (= 使いやすい )
・最尤法に比べて,不適解をあまり出さない
最小二乗法のデメリット
最小二乗法のデメリット ・最小二乗法で得られる因子負荷量は尺度不変ではない ( 重み付けのある最小二乗法,一般化最小二乗法では 因子負荷量は尺度不変になる )