sunny side up! (221.114.158.246/~bunken/statistics/sunny_side_up.pdf · 2016-03-04 ·...

6
Sunny side up! (http://norimune.net/) ホーム (HTTP://NORIMUNE.NET) 研究テーマ (HTTP://NORIMUNE.NET/INTEREST) 心理統計学 (HTTP://NORIMUNE.NET/PSYCHMETRICS) 従来の推定法とベイズ推定法の違い Posted on 2013226(http://norimune.net/708) by norimune (http://norimune.net/author/norimune) ベイズ推定って、最近はやってきてますね。僕も流行りにおいて行かれないように勉強しています。 理論的な話や数学的な話はいろいろWebや本をあされば出てきますが、実用面とか解釈面について言及してい るものは少ないですね。 今回は清水の個人的な意見として、ベイズがどういう風に使えそうか書いてみます。数学的な話はなしで。よくわ からないので。 興味ある人は続きをどうぞ。 2016/2/1追記:ベイズ統計について,入門的な資料を作りました。心理学者のためのベイズ統計入門 (http://norimune.net/2740) もあわせてどうぞ。 ベイズ推定法の前に、従来法の代表として最尤推定法について触れておきます。 その方法とベイズがどう違うのかについて、そのあと述べます。 最尤推定法 最尤法ともいわれますが、基本的な発想は、モデルとデータの関係を次のように考えます。 1. 真のモデルというのがあって、我々はそのモデルから発生したデータを手に入れている。真値は一つで、デ ータは取り方によって確率的に変化する、というのが頻度論の基本的な発想。 コイントスを例にとれば、真値が確率0.50でもデータによっては0.3になったり0.6になったりする。でも、何度もサ ンプルを取って平均を取れば0.5に近づいていくはず、という感じ。 2. データは確率的なものだけど、真のモデルの推定値は、手元のデータが最も得られやすいものとする 手元にあるサンプルを固定して考えると、このデータが最も得られやすいようなモデルはなんだろうか? これが尤度の考え方です。 例えば、コインを100回投げたら50回表、50回裏が出たとする。 このデータが最もありえそうなモデルはなんだろう?と考える。 得られたデータから考えたときのモデルの尤もらしさを尤度という。 尤度が最大になるモデルを推定する=最尤法というわけ。 最尤法に限らず、頻度主義の統計学では真値(真のモデル)が一つに決まるものという前提があります。 ベイズ推定法 ベイズ推定では、真値を確率分布として考えます。 コイントスを例に挙げると、表が出る確率が0.5というのが最もありえるモデルで、01に近いモデルほどありえ なさそう、という感じにグラデーションで考えます。 また、データは確率的なものとしては考えません。データはあくまで情報であって、それを基に真値の分布を更新 していく、という発想です。 データを得る前の真値の分布を「事前分布」と呼び、データを得た後更新された分布を「事後分布」と呼びます。 事前というのはデータを得る前、という意味で、あくまで相対的な呼び方です。データをどんどん更新していくとい う発想に立てば、ある事後分布は次の推定の事前分布になりえるわけです。 最尤法などは、事前分布を考えません(あえて言うなら、一様分布であると考える。つまり、どんな値も等確率)。 手元のデータが最も得られやすいモデルを「一から」推定します。なので、正確な推定をするためには膨大なデ ータを一度に分析する必要があります。 それに対してベイズ推定の便利なところは、あるデータが得られたら事後分布を更新、次に得られたらまた更 新、という感じで全部のデータを分析する必要はありません。どんどんデータを足して更新していけば、現象をよ り説明できる事後分布を推定することができる、という立場です。 ついでに事後分布は簡単に言えば次のように計算します。 事後分布 = (事前分布 × 尤度) / データの分布 データの分布は確率の形に戻すための定数と考えれば、重要なのは事前分布と尤度です。 最尤法は尤度だけから真値を推定しますが、ベイズは事前分布をかけています。正確に言うと、最尤法は事前 分布に一様分布を仮定しています。ということは、 (http://norimune.net/wp/wp content/uploads/2013/07/snoopy_face.bmp) 管理人:清水裕士 (http://norimune.net/? page_id=758) 所属:関西学院大学社会学部 准教授 専門:社会心理学 サイト内検索 人気の投稿 カテゴリカルデータの相関係数 (http://norimune.net/673) 統計分析ソフト HAD (http://norimune.net/had) 従来の推定法とベイズ推定法の違い 尤度と最尤推定法について (http://norimune.net/2510) 因子分析の因子抽出方法について (http://norimune.net/705) 欠損値があるデータの分析 (http://norimune.net/1811) HADとは (http://norimune.net/696) 重回帰分析で交互作用を検討する (http://norimune.net/1733) HADでできること一覧 (http://norimune.net/640) 因子分析における因子軸の回転法について (http://norimune.net/706) 最近の投稿 心理学者のための統計モデリング,GLMM階層ベイズ (http://norimune.net/2755) HAD15.00をアップしました (http://norimune.net/2749) HAD14.80をアップしました (http://norimune.net/2743) 心理学者のためのベイズ統計入門 (http://norimune.net/2740) HAD14.701をアップしました【重要なバグの修 正】 (http://norimune.net/2734) HAD

Upload: others

Post on 08-Jan-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Sunny side up!(http://norimune.net/) 

ホーム (HTTP://NORIMUNE.NET) 研究テーマ (HTTP://NORIMUNE.NET/INTEREST) 心理統計学 (HTTP://NORIMUNE.NET/PSYCHMETRICS)

従来の推定法とベイズ推定法の違いPosted on 2013年2月26日 (http://norimune.net/708) by norimune (http://norimune.net/author/norimune)

 ベイズ推定って、最近はやってきてますね。僕も流行りにおいて行かれないように勉強しています。

理論的な話や数学的な話はいろいろWebや本をあされば出てきますが、実用面とか解釈面について言及してい

るものは少ないですね。

今回は清水の個人的な意見として、ベイズがどういう風に使えそうか書いてみます。数学的な話はなしで。よくわ

からないので。

興味ある人は続きをどうぞ。

2016/2/1追記:ベイズ統計について,入門的な資料を作りました。心理学者のためのベイズ統計入門

(http://norimune.net/2740)もあわせてどうぞ。

ベイズ推定法の前に、従来法の代表として最尤推定法について触れておきます。 その方法とベイズがどう違うのかについて、そのあと述べます。

 

最尤推定法

最尤法ともいわれますが、基本的な発想は、モデルとデータの関係を次のように考えます。

1.  真のモデルというのがあって、我々はそのモデルから発生したデータを手に入れている。真値は一つで、デ

ータは取り方によって確率的に変化する、というのが頻度論の基本的な発想。 コイントスを例にとれば、真値が確率0.50でもデータによっては0.3になったり0.6になったりする。でも、何度もサ

ンプルを取って平均を取れば0.5に近づいていくはず、という感じ。

2.  データは確率的なものだけど、真のモデルの推定値は、手元のデータが最も得られやすいものとする

手元にあるサンプルを固定して考えると、このデータが最も得られやすいようなモデルはなんだろうか? これが尤度の考え方です。

例えば、コインを100回投げたら50回表、50回裏が出たとする。 このデータが最もありえそうなモデルはなんだろう?と考える。 得られたデータから考えたときのモデルの尤もらしさを尤度という。 尤度が最大になるモデルを推定する=最尤法というわけ。

最尤法に限らず、頻度主義の統計学では真値(真のモデル)が一つに決まるものという前提があります。

 

ベイズ推定法

ベイズ推定では、真値を確率分布として考えます。

コイントスを例に挙げると、表が出る確率が0.5というのが最もありえるモデルで、0や1に近いモデルほどありえ

なさそう、という感じにグラデーションで考えます。

また、データは確率的なものとしては考えません。データはあくまで情報であって、それを基に真値の分布を更新

していく、という発想です。

データを得る前の真値の分布を「事前分布」と呼び、データを得た後更新された分布を「事後分布」と呼びます。

事前というのはデータを得る前、という意味で、あくまで相対的な呼び方です。データをどんどん更新していくとい

う発想に立てば、ある事後分布は次の推定の事前分布になりえるわけです。

最尤法などは、事前分布を考えません(あえて言うなら、一様分布であると考える。つまり、どんな値も等確率)。

手元のデータが最も得られやすいモデルを「一から」推定します。なので、正確な推定をするためには膨大なデ

ータを一度に分析する必要があります。

それに対してベイズ推定の便利なところは、あるデータが得られたら事後分布を更新、次に得られたらまた更

新、という感じで全部のデータを分析する必要はありません。どんどんデータを足して更新していけば、現象をよ

り説明できる事後分布を推定することができる、という立場です。

ついでに事後分布は簡単に言えば次のように計算します。

事後分布 = (事前分布 × 尤度) / データの分布

データの分布は確率の形に戻すための定数と考えれば、重要なのは事前分布と尤度です。 最尤法は尤度だけから真値を推定しますが、ベイズは事前分布をかけています。正確に言うと、最尤法は事前

分布に一様分布を仮定しています。ということは、

(http://norimune.net/wp/wp­content/uploads/2013/07/snoopy_face.bmp) 

管理人:清水裕士 (http://norimune.net/?page_id=758)所属:関西学院大学社会学部 准教授

専門:社会心理学

サイト内検索

    

人気の投稿

カテゴリカルデータの相関係数

(http://norimune.net/673)統計分析ソフト HAD(http://norimune.net/had)従来の推定法とベイズ推定法の違い

尤度と最尤推定法について

(http://norimune.net/2510)因子分析の因子抽出方法について

(http://norimune.net/705)欠損値があるデータの分析

(http://norimune.net/1811)HADとは (http://norimune.net/696)重回帰分析で交互作用を検討する

(http://norimune.net/1733)HADでできること一覧

(http://norimune.net/640)因子分析における因子軸の回転法について

(http://norimune.net/706)

最近の投稿

心理学者のための統計モデリング,GLMM,

階層ベイズ (http://norimune.net/2755)HAD15.00をアップしました

(http://norimune.net/2749)HAD14.80をアップしました

(http://norimune.net/2743)心理学者のためのベイズ統計入門

(http://norimune.net/2740)HAD14.701をアップしました【重要なバグの修

正】 (http://norimune.net/2734)

HAD

一様分布 × 尤度 の確率分布の最頻値(尤度が最大の値)が最尤推定量となることがわかります。実際数学的にはそうなるようで

す。

さて、ベイズ推定では値ではなくて確率で得られるという話をしました。ではベイズ推定では、どのように結果を報

告するのがいいのでしょうか。

ベイズ推定では、点推定値と標準偏差、95%信用区間を基本に報告します。点推定値とは確率分布の代表値の

ことで、中央値や平均値をおもに使います。最尤推定のときの推定値と基本的に同じような意味合いです。次に

標準偏差は、分布の標準偏差で、最尤推定のときの標準誤差と同じような指標です。推定の精度を表していま

す。最後に信用区間とは、最尤法でいうところの信頼区間のようなものです。95%の確率で真値がその範囲にあ

る、ということを意味しています。

信頼区間(confidence interval)と信用区間(credible interval)の違いは、ベイズ主義と頻度主義の考え方の違

いを顕著に示しているといえます。

頻度主義では真値は一つと考えるので、「信頼区間の中に95%の確率で真値がある」という言い方は間違いに

なります。確率的に変動するのはデータのほうなので、「何度も同じサンプルサイズのデータを取ると、真値が

95%の確率で信頼区間内に入る」という意味になります。

一方、信用区間はベイズ主義に基づくもので、仮に真の値を考えると「95%の確率でその範囲に真値がある」と

いう解釈になります。

頻度主義とベイズ主義の検定の考え方の違いについては、後で詳述します。

 

MCMC(マルコフ連鎖モンテカルロシミュレーション)による推定

「ベイズ推定といえばMCMC法を使うらしい」というのは聞いたことがある人も多いでしょう。ただ、MCMCはただ

の推定アルゴリズムで、ベイズ理論とは直接関係がありません(現状として密接な関係はありますが)。先ほどの

式で

事後分布 = (事前分布 × 尤度) / データの分布

というのがありましたが、実は最後のデータの分布(正規化定数の積分)を求めるのが難しいらしいです。数値計

算でも厳しい。

そこでどうするかといえば、事後分布を上の式ではなくてモンテカルロシミュレーションで推定しましょう、というこ

とになったわけです。さて、モンテカルロシミュレーションとはなんでしょうか。簡単に言えば、乱数を使ってシミュ

レーション計算する方法です。乱数を使ってどうやって事後分布を推定するのかっていうのはちょっと話がややこ

しいのでパスします。知らなくてもベイズ推定は使えます。

要は、「解析的に解けないからシミュレーションで事後分布を求めることになった。その方法がMCMCなんだ」、と

いうことです。MCMCはマルコフ連鎖・モンテカルロ法の略ですが、マルコフ連鎖を利用したモンテカルロ法を使う

と、データの分布の計算をせずとも直接事後分布を求めることができる、ということです。

MCMCを使うと分布をシミュレーションで求めるので、推定値が例えば10000個とか膨大な数値の集合として得

られます。点推定値はシンプルに、10000個の平均値や中央値として計算されます。標準誤差も同様に得られた

推定値の標準偏差で計算します。信用区間も、上位2.5%のポイントと下位97.5のポイントの範囲になります。

最尤法や最小二乗法などの推定方法に慣れていると、点推定値が推定ごとに微妙に変わったり、平均値や中央

値でも変わるのが「気持ち悪い」と感じることがあると思います。ただ、ベイズ推定では真値が一つと考えないわ

けですから、点推定値が安定するかどうかは比較的どうでもいいことで、分布全体の特徴が変わらなければいい

のです。もちろん、ちゃんと収束していれば、そんなに点推定値も変わらないと思いますが。

一方で、ベイズ推定では分布を直接推定することに利点もあって、推定値の分布に正規性などを仮定しなくても

よい、ということがあげられます。最尤法は推定値が正規分布であることを仮定するので、媒介分析の間接効果

の検定や級内相関係数の検定など、正規分布にならないパラメータの信頼区間を正確に推定できない欠点があ

ります。それに対してベイズ推定を使えば、歪んだ分布も歪んだ形のまま推定できるので、区間推定はより正確

になります。

さらに、最尤法は無理に正規分布を当てはめることによって相関係数が1を超えたり、分散が負になるような不適

解が生じやすい一方、ベイズ推定では不適解が生じないような制約を簡単にかけることができるので、経験的に

妥当な効果量の推定ができるといえます。

 

ベイズ推定を使う

最尤法の代わりにベイズ推定法を使うと、何が変わるでしょうか。 逆に何が同じか、という点を先に挙げておきましょう。

点推定値は多少不安定だけど、同じように推定できる

標準誤差も同様に推定できる(ただ、推定値の標準偏差と呼ばれる)

信頼区間に似た、信用区間も同様に推定できる

信用区間に0が含まれるかどうか、という観点で検定もできる

情報量基準によるモデル選択ができる

上のような感じで、基本的には従来とあまり変わりません。データを取って現象を説明・予測するというのは変わ

りないので、そんなにビクビクする必要はないわけです。

仮に、100人のデータを使った回帰分析で、最尤法とベイズ法を比較してみましょう。 

View on SlideShare

エクセルで統計分析 統計プログラムHADについ

(http://www.slideshare.net/simizu706/had­18099341) from Hiroshi Shimizu(http://www.slideshare.net/simizu706)

HADのページ (http://norimune.net/had)

著書の紹介

個人と集団のマルチレベル分析

清水裕士

ロープライス ¥3,024 or 新品 ¥3,024

ポイント 90pt

プライバシーについて  

M­plusとRによる構造方程式モデリン...

小杉 考司, 清水...ロープライス ¥2,700 

or 新品 ¥2,700ポイント 81pt

プライバシーについて

Twitter

埋め込む Twitterで表示

@simizu706さんのツイート

1時間

1時間

1時間

4時間

頭フットー #とは

 

 Hiroshi Shimizuさんがリツイートしま

した

久々にがっつりベイズの話聞いてて

頭フットーしてきている

 

 Hiroshi Shimizuさんがリツイートしま

した

変態は加速する…

 

左門くん強さ議論スレに草

 

ばいきんになってて草

Hiroshi Shimizu @simizu706

T.Teraguchi @mashed_matthew

numba shushi @NSushi

Hiroshi Shimizu @simizu706

Hiroshi Shimizu @simizu706

アーカイブ

2016年2月

(http://norimune.net/date/2016/02)2016年1月

(http://norimune.net/date/2016/01)2015年12月

(http://norimune.net/date/2015/12)2015年11月

(http://norimune.net/date/2015/11)2015年10月

(http://norimune.net/date/2015/10)2015年9月

(http://norimune.net/date/2015/09)2015年7月

(http://norimune.net/date/2015/07)2015年6月

(http://norimune.net/date/2015/06)2015年5月

(http://norimune.net/date/2015/05)2015年4月

(http://norimune.net/date/2015/04)

最尤法の結果: 点推定値 0.521 標準誤差 0.078 信頼区間 0.368~0.674 ベイズ法の結果:点推定値 0.524 標準誤差 0.079 信用区間 0.367~0.678 このように、ほぼ同じ結果が得られます。

ではベイズ推定は何が違うのでしょうか。まとめると、以下のようになります。それぞれについて後述します。

点推定値ではなく、分布そのものを推定するという考え方(前述)

事前分布の存在

データとの距離(適合度)は、絶対的な定数ではなく、相対的な比較による

検定の考え方の違い

 

事前分布をどうするか

事前分布は、データを得る前の想定されたモデルです。最尤法は一様分布、つまり何にも情報がない状態をスタ

ートとしています。

ベイズ推定でも、特に事前に何の予測もなければ「無情報分布」という事前分布を利用します。一様分布でもい

いのですが、推定されるパラメータの種類によって無情報分布を変えるのが一般的です。簡単に言えば推定値

が正負の両方を取りうるなら分散が無限の正規分布を、正の値しかとらない(分散など)場合はガンマ分布を使

います。

では、事前に情報がある場合はどうすればいいでしょうか。その場合は、その情報を事前分布に使えばいいので

す。例えば、以下のような例を考えてみます。200人のデータがあって、回帰分析をしたとします。回帰係数は次

のような推定値が得られました。

平均 0.498 標準偏差 0.060

ここで、最初の100人だけのデータを先に回帰分析して、それを事前分布として残りの100人で回帰分析をすると

いうことを考えてみます。まず、最初の100人のデータの推定値は、以下のようになりました。

平均 0.473 標準偏差 0.091

サンプルサイズが半分なので、推定精度が少し悪いです。次に無情報分布を使って残りの100人の回帰分析の

結果を見ておきましょう。

平均 0.524 標準偏差 0.079

そして、最初のデータを事前分布とした分析をしてみましょう。事前分布を平均0.473、分散を0.091の2乗である

0.0008の正規分布として分析します(他にも切片と誤差も事前分布を設定しました)。すると、以下のようになりま

した。

平均 0.501 標準偏差 0.058

元の200人のデータの結果にかなり近い推定となりました。このように、事前分布を有効利用すると、より精度の

高い推定を行うことができます。逆に、誤った情報を事前分布としてしまうと、当然誤った推定を行います。事前

分布の利用は有効かつ慎重に行うべきでしょう。もしわからなければ無情報分布を使えばいいでしょう。多くのプ

ログラムはデフォルトが無情報分布になっているので、特に事前分布を意識しなくても推定はできます。

 

データの適合度

最尤法や最小二乗法は、データとモデルの距離を定数で表現できました。最尤法は尤度(場合によっては対数

尤度)、最小二乗法は誤差の二乗和を使います。

ベイズ推定の場合は、データとモデルの距離を確率で表現します。ベイズ法はとりあえず、すべて確率で表現す

るところが特徴です。(追記:最尤法との違いは、最尤法は点推定値のみを考慮した距離(尤度)を考えますが、

ベイズは推定値の分布すべてを考慮に入れた距離を用います)。

ベイズ推定の適合度で代表的なのはベイズファクターです。これは、二つの仮説の尤度の比であらわされるもの

で、データから考えると、どちらの仮説が確からしいかを示す指標です。ベイズファクターの対数を取れば、二つ

の仮説の対数尤度の差を意味しており、実は情報量基準のBICの差とほとんど同じです(追記:BICは厳密には

ベイズファクターとは違うものです。BICは推定値の分布の期待値を用いる簡便的な指標です)。

ベイズファクターそのものを計算するのが大変なので、BICの差を使って対数ベイズファクターを求めるソフトウェ

アもあります。Mplusもその一つです。正確には、BICとベイズファクターには以下の関係があります。

BICの差 ≒ ベイズファクターの対数の2倍

ベイズファクターを使った検定の考え方は後述します。 他にも、DIC(偏差情報量基準)や事後予測p値などがあります。DICはBICと同じように、情報量基準で、絶対値

に意味はなく、相対的な大きさを比較するものです。事後予測p値は、絶対的な当てはまりを示すもので、50%に

近いなら非常に適合しており、0に近いとデータから予測しにくいモデルであることを示しています。

 

ネイマン­ピアソン流の仮説検定の考え方との違い

従来法が寄って立つ頻度主義的な確率論では、真値が固定的なものと考えます。 

(http://norimune.net/date/2015/04)2015年3月

(http://norimune.net/date/2015/03)2015年2月

(http://norimune.net/date/2015/02)2015年1月

(http://norimune.net/date/2015/01)2014年12月

(http://norimune.net/date/2014/12)2014年11月

(http://norimune.net/date/2014/11)2014年10月

(http://norimune.net/date/2014/10)2014年9月

(http://norimune.net/date/2014/09)2014年8月

(http://norimune.net/date/2014/08)2014年7月

(http://norimune.net/date/2014/07)2014年6月

(http://norimune.net/date/2014/06)2014年5月

(http://norimune.net/date/2014/05)2014年4月

(http://norimune.net/date/2014/04)2014年3月

(http://norimune.net/date/2014/03)2014年2月

(http://norimune.net/date/2014/02)2014年1月

(http://norimune.net/date/2014/01)2013年12月

(http://norimune.net/date/2013/12)2013年11月

(http://norimune.net/date/2013/11)2013年10月

(http://norimune.net/date/2013/10)2013年9月

(http://norimune.net/date/2013/09)2013年8月

(http://norimune.net/date/2013/08)2013年7月

(http://norimune.net/date/2013/07)2013年6月

(http://norimune.net/date/2013/06)2013年5月

(http://norimune.net/date/2013/05)2013年4月

(http://norimune.net/date/2013/04)2013年3月

(http://norimune.net/date/2013/03)2013年2月

(http://norimune.net/date/2013/02)2013年1月

(http://norimune.net/date/2013/01)2012年12月

(http://norimune.net/date/2012/12)2012年11月

(http://norimune.net/date/2012/11)2012年10月

(http://norimune.net/date/2012/10)2012年9月

(http://norimune.net/date/2012/09)2012年8月

(http://norimune.net/date/2012/08)2012年7月

(http://norimune.net/date/2012/07)2012年6月

(http://norimune.net/date/2012/06)2012年5月

(http://norimune.net/date/2012/05)2012年4月

(http://norimune.net/date/2012/04)2012年3月

(http://norimune.net/date/2012/03)2012年2月

(http://norimune.net/date/2012/02)2012年1月

(http://norimune.net/date/2012/01)

なので、統計的検定でも、真値を確率で表現しません。帰無仮説のもとで、手元のデータが得られるのがどれくら

いの確率かというように、データに対して確率を当てはめます。 例えるならこんな感じ。

ある人の性別を考える場合(あくまで例です)。 あの人は男性だろうか、女性だろうか。答えはどちらかであるはず、というのが前提です。データを見ると、髪が

長い、スカートをはいている、ヒールをはいている。仮にその人が男性だと仮定すると(帰無仮説)、こんな格好を

する確率はどれくらいだろうか?ほぼありえない。だから、「その人は男性ではない!」という結論を導きます。逆

にその人がスーツに革靴、ネクタイを付けていれば、男性がその格好をすることは十分ありえると考えられるの

で、「男性でないとは言えない!」となります。

ここで重要なのは、帰無仮説と対立仮説の関係が非対称である点です。 帰無仮説は「パラメータが特定の値と等しい」という形式をとり、対立仮説は「等しくない」という形式をとります。ネ

イマン­ピアソン流の仮説検定でテストできるのは、「等しいという仮説が間違っている」ことだけです。

具体的に言えば、差が0と等しいという仮説を立てて、得られたデータがその仮説から得られる確率を計算し、そ

の確率が非常に小さければ、「差が0と等しいという仮説は間違えている」と考える、というわけです。逆に言え

ば、「差が0と等しい」という仮説が正しいという主張はできません。また、「差が0と等しくない」という仮説が間違

えているという主張もできません。

一方、ベイズ推定では従来の仮説検定といくつかの点で前提が異なっています。ここでは2点指摘します。

真値がただ一つの定数だとは考えない

帰無仮説(値が特定の値と等しい)を出発点にする必要がない

まず、ベイズは(上の例でいえば)男性か女性か、どちらか一方であるとは考えません。男性である確率と女性で

ある確率がそれぞれあると考えます。

また、各仮説を同等のものとして扱います。ある人の格好を見て、「もし男性ならこういう格好をするか」と「もし女

性ならこういう格好をするか」をそれぞれ考えます。それぞれの「らしさ」を比較して、大きい方の仮説を支持す

る。これがベイズ的な仮説検定です。

上の例に即して具体的に言えば、「あの人は男性である」という仮説と、「あの人は女性である」という仮説をそれ

ぞれ同等において、相対的にどちらがデータから見て確からしいかを判断するのがベイズ的な仮説検定(そもそ

も検定っていうのか?)になるのです。

さて、すでにベイズファクターの話をしましたが、これがベイズ的な仮説検定で利用できます。 モデルを所与としたときのデータの得られやすさを尤度と呼びましたが、その人が男性と仮定するときの「その格

好のしやすさ」と、女性と仮定した時の「らしさ」をそれぞれ尤度として計算します。

そして、それぞれの尤度の比(対数を取れば差)をとれば、ベイズファクターです。これはつまり、「らしさ」を比較し

てどちらが大きいかを求めていることと同じです。

それぞれの仮説の「らしさ」はBICで計算できますから、BICの差(=対数ベイズファクターの2倍)をみればどちら

の仮説が尤もらしいかがわかるというわけです。

BICの差は、以下のような解釈をするようです(豊田2008)。 0~2  大きい方がかろうじて優れている 2~5  大きい方が優れている 5~10  大きい方がかなり優れている 10以上 大きい方が非常に優れている

BICはサンプルサイズを考慮しているので、サンプルサイズが大きいほど強い証拠になりやすいです。

このように、従来の仮説検定といろいろ違いますが、まとめると

従来の方法は、帰無仮説を軸として対立仮説のありえなさを確率と有意水準で判断する。

一方、ベイズ法は両方の仮説を両方同等のものとして考慮し、仮説の相対的な強さを段階的に判断する

こんな感じでしょうか。

また、信用区間を用いれば、疑似的に母数=0の帰無仮説に対する仮説検定もできます。

95%信用区間に0が含まれていれば帰無仮説を採択、含まれていなければ対立仮説を採択、という具合です。

ただこのやり方はあまりベイズ的ではないかもしれませんね。

 

現状としてのベイズ推定の利点と欠点

これらを踏まえて、ベイズ推定の利点と欠点を考えてみます。 現状を踏まえたものを書いておきます。

利点

事前分布を上手く使えば、サンプルサイズが小さくてもそれなりに妥当な推定ができる

上に関連して、データを次々に足していけば、どんどん推定精度が上がる

帰無仮説を軸としないので、母数=0といった仮説を積極的に採択できる

推定値の分布に正規性を仮定していないので、より正確な区間推定ができる

不適解を簡単に回避できる

複雑なモデルも比較的簡単にモデリングできる

欠点

事前分布をどのように扱えばいいのか、まだ議論がある(事前分布の恣意的な利用に対する懸念など)

(http://norimune.net/date/2012/01)2011年12月

(http://norimune.net/date/2011/12)2011年11月

(http://norimune.net/date/2011/11)2011年10月

(http://norimune.net/date/2011/10)2011年9月

(http://norimune.net/date/2011/09)2011年8月

(http://norimune.net/date/2011/08)2011年7月

(http://norimune.net/date/2011/07)2011年6月

(http://norimune.net/date/2011/06)2011年5月

(http://norimune.net/date/2011/05)2011年4月

(http://norimune.net/date/2011/04)2011年3月

(http://norimune.net/date/2011/03)2011年2月

(http://norimune.net/date/2011/02)2011年1月

(http://norimune.net/date/2011/01)2010年12月

(http://norimune.net/date/2010/12)2010年11月

(http://norimune.net/date/2010/11)2010年10月

(http://norimune.net/date/2010/10)2010年9月

(http://norimune.net/date/2010/09)

2010年8月

(http://norimune.net/date/2010/08)2010年7月

(http://norimune.net/date/2010/07)2010年6月

(http://norimune.net/date/2010/06)2010年5月

(http://norimune.net/date/2010/05)2010年4月

(http://norimune.net/date/2010/04)2010年3月

(http://norimune.net/date/2010/03)2010年2月

(http://norimune.net/date/2010/02)2010年1月

(http://norimune.net/date/2010/01)2009年12月

(http://norimune.net/date/2009/12)2009年11月

(http://norimune.net/date/2009/11)2009年10月

(http://norimune.net/date/2009/10)2009年9月

(http://norimune.net/date/2009/09)2009年8月

(http://norimune.net/date/2009/08)2009年7月

(http://norimune.net/date/2009/07)2009年6月

(http://norimune.net/date/2009/06)2009年5月

(http://norimune.net/date/2009/05)2009年4月

(http://norimune.net/date/2009/04)2009年3月

(http://norimune.net/date/2009/03)2009年2月

(http://norimune.net/date/2009/02)2009年1月

(http://norimune.net/date/2009/01)2008年12月

(http://norimune.net/date/2008/12)2008年11月

(http://norimune.net/date/2008/11)2008年10月

ツイート  (http://b.hatena.ne.jp/entry/http://norimune.net/708)

← HAD9.646をアップ (http://norimune.net/707) Mplusの使い方 入門編と中級編 →(http://norimune.net/709)

事前分布をどのように扱えばいいのか、まだ議論がある(事前分布の恣意的な利用に対する懸念など)

推定するための時間が長い(複雑なモデルのときは数時間かかることもある)

ひどい場合、事後分布がいつまでたっても収束しないことがある

使い慣れた仮説検定と前提が違うので(またわかりやすい有意水準もない)、とっつきにくい

使い慣れた適合度やp値などの指標が使えないので、解釈や報告に慣れが必要

使えるソフトウェアがまだ限定されている

とまぁいろいろ欠点もありますが、それは利点の裏返しでもあります。僕はかなり未来ある方法だと個人的には思

います。

なんだかんだと頻度主義の方法は残り続けるとは思いますが、研究の選択の幅が広がることはいいことだと思う

ので、一度ベイズ推定、試してはいかがでしょう。

 

関連ページ:心理学者のためのベイズ統計入門 (http://norimune.net/2740)

This entry was posted in 心理統計学 (http://norimune.net/category/psychometrics). Bookmark the permalink(http://norimune.net/708).

2 THOUGHTS ON “従来の推定法とベイズ推定法の違い”

60いいね!

 Takayuki Itoh says:2013年5月1日 at 4:58 PM (http://norimune.net/708#comment­205)SECRET: 0PASS: 74be16979710d4c4e7c6647856088456最尤法とベイズ推定法の違い。 まさに今、悩んでいるところでありました。 だいぶスッキリしました。

 norimune says:2013年8月6日 at 8:40 AM (http://norimune.net/708#comment­206)お役にたててよかったです。 私もまだベイズ統計は勉強中ですので,また進展しましたら記事にしようと思います。

2008年10月

(http://norimune.net/date/2008/10)2008年9月

(http://norimune.net/date/2008/09)2008年8月

(http://norimune.net/date/2008/08)2008年7月

(http://norimune.net/date/2008/07)2008年6月

(http://norimune.net/date/2008/06)2008年5月

(http://norimune.net/date/2008/05)2008年4月

(http://norimune.net/date/2008/04)2008年3月

(http://norimune.net/date/2008/03)2008年2月

(http://norimune.net/date/2008/02)2008年1月

(http://norimune.net/date/2008/01)2007年12月

(http://norimune.net/date/2007/12)

2007年11月

(http://norimune.net/date/2007/11)2007年10月

(http://norimune.net/date/2007/10)2007年9月

(http://norimune.net/date/2007/09)2007年8月

(http://norimune.net/date/2007/08)2007年7月

(http://norimune.net/date/2007/07)2007年6月

(http://norimune.net/date/2007/06)2007年5月

(http://norimune.net/date/2007/05)2007年4月

(http://norimune.net/date/2007/04)2007年3月

(http://norimune.net/date/2007/03)2007年2月

(http://norimune.net/date/2007/02)2007年1月

(http://norimune.net/date/2007/01)2006年12月

(http://norimune.net/date/2006/12)2006年11月

(http://norimune.net/date/2006/11)2006年10月

(http://norimune.net/date/2006/10)2006年9月

(http://norimune.net/date/2006/09)2006年8月

(http://norimune.net/date/2006/08)2006年7月

(http://norimune.net/date/2006/07)2006年6月

(http://norimune.net/date/2006/06)2006年5月

(http://norimune.net/date/2006/05)2006年4月

(http://norimune.net/date/2006/04)2006年3月

(http://norimune.net/date/2006/03)2005年7月

(http://norimune.net/date/2005/07)2005年4月

(http://norimune.net/date/2005/04)

最近のコメント

HAD11.00をアップしました。

(http://norimune.net/1618#comment­2168)に HAD12.0をアップしました。 | Sunny sideup! (http://norimune.net/1887) より

Rを使って,SPSSデータをcsvファイルに変換

する方法

(http://norimune.net/1393#comment­2024)に Mizumoto Lablog | SPSSが入っていない

Macでsavファイルを変換する方法

(http://mizumot.com/lablog/archives/1052)より

回帰分析における頑健な標準誤差について

(ロバスト標準誤差)

(http://norimune.net/1585#comment­1647)に HAD11.30をアップしました。 | Sunny sideup! (http://norimune.net/1807) より

回帰分析における頑健な標準誤差について

(ロバスト標準誤差)

(http://norimune.net/1585#comment­1492)に 分析のいろんな仮定と,それに対する頑健

さ | Sunny side up!(http://norimune.net/1761) より

HAD掲示板

(http://norimune.net/had%e6%8e%b2%e7%a4%ba%e6%9d%bf#comment­1472) に norimune より

メタ情報

ログイン (http://norimune.net/wp/wp­login.php)投稿の RSS (Really Simple Syndication)(http://norimune.net/feed)コメントの RSS (Really Simple Syndication)(http://norimune.net/comments/feed)WordPress.org (https://ja.wordpress.org/)

アクセス解析

  L-アルギニ

(http://www.ikumodo.com/show/itemid/KU017.html)

Sunny side up! (http://norimune.net/) Proudly powered by Essence ThemeFramework. (http://essencetheme.com)