CHAPTER 18 : Metric Predicted Variable with One Nominal Predictor

近藤康一朗

DBDA 勉強会

18.INTRODUCTION

Poem? 18 　 INTRODUCTION

繰り返し検定が行われることによって、偶然、帰無仮説が却下される可能性は、近親相姦の噂を育てる。多重 t- 検定でうわさの発生源をしつこく探し出す。調査を以って吠えれば、１みじめな犬は逃げ出す。ああ、 Baysian oneway ANOVA をしておくべきだった。

章の目的 18 　 INTRODUCTION

被説明変数（連続数）を名義尺度の説明変数で予測していく。

・体重の減少をどのダイエット方法（ low-carb,vegetarian,low-fat ）が貢献する。・精神異常の激しさを服用している抗精神病薬で予測する。・収入を支持政党から予測する。⇒ANOVA の出番。

分散分析について 18 　 INTRODUCTION

・全データの分散（下図左）は 2 つのパーツに分けられる。1. 名義尺度内の分散2. 名義尺度間の分散

名義尺度ごとの分散： variance within ⇒ ノイズ又はエラーとして捉えられる。名義尺度間の分散： variance between⇒ 説明変数の effect として捉えられる。

Variance between/variance within = F ratio( ベイジアンのアプローチではほぼ F 値には触れない）

18.1 Bayesian Oneway ANOVA

名義尺度変数による予測の基本 18.1 Bayesian Oneway ANOVA

14.1.6.1 に書いてあるよー。

【ポイント】・変数は 1,0 のフラグでベクトル記述するよー。⇒” one way”・被説明変数はベースラインとベクトルの内積の和で表すよ―。 (18.1)・各係数の和は 0 になるよー。 (18.2)・ Yi ~ N(μi,τ) 、即ち正規分布に従う。ただし異常値がる分布に対しては、 t 分布を代用。

18.1.1 The Hierarchical Prior （１） 18.1 Bayesian Oneway ANOVA

・ βj の平均値は、 0 。 ( 全部足したら 0 だから )・ τβ はあらかじめ決めたり、一定にすることは出来ない。⇒x による振れが小さければ τβ は大きくなり、他の βj も小さく見積もられる。

18.1.1 The Hierarchical Prior （ 2 ） 18.1 Bayesian Oneway ANOVA

・ τ=1/σ^2 、 σ は片側 t 分布に従う。（＞ 0 のため）・ γ 分布で検定することも多いが、現実は結構 noise 値は荒れるので、 0 に寄っている γ 分布ではなく、 t 分布にしている。・ y の分散については、一様分布を仮定する。（ folded-t 検定よりも直観的にわかりやすい、このレベルであれば β の標準偏差に大きな影響を与えない。 )

18.1.1.1 Homogeneity of Variance 18.1 Bayesian Oneway ANOVA

・モデルでは、全ての x に対して、同じ分散を仮定している。⇒republicans,democrats,libertarians,greens 達のグループ間の収入のばらつきは同じだと仮定する。

・等分散性の仮定は、 2 つの前提に基づいている。1.ANOVA を線形回帰の一種だとして扱う。2. 等分散の前提は、 F 分布への誘導を簡単にする。

ただ、 BANOVA においては、等分散の仮定を求めることはない。BANOVA はそれぞれの x ごとに異なる分散を仮定する。超事前分布は、全ての x に関わる τj の分布を表現している。

18.1.2 Doing It with R and BUGS 18.1 Bayesian Oneway ANOVA

NxLvl: 説明変数の水準数Ntotal: 観測のトータル数

Y を μ と τ に従う正規分布と定義。 μ ＝ a0+a[x[i]]Bugs モデルでは、 Σβ=0 の条件は特に出てこない。Baseline は a0 、各係数は a[j] と置かれている。・パラメータは b[j]=a[j]-mean(a) にして無理矢理条件式に従わせる。※その代わりにbaaseline:b0=a0+mean(a)

・オーダーの違いを考慮しないために 16.1式に従って、 y を標準化する。

・ aSD に、 0.1 の定数を加えることで、 0 に近づくことを避けている。⇒ 少数、多グループの場合、縮小が強くなる。 CHAP19 で大問題。

・結論として、このケースでの MCMCサンプリングは極めて非効率。　　初期値の影響を効率的に省く（ burn-in time を短く）には初期値をいい位置に調整するしかない。　　⇒データ平均を baseline に置き、各レベルの deflection をレベル平均 - 全体平均に置く。（初期値）

・あと、このモデルは自己相関がとても高い　　⇒粒度をかなり細かくするかだけど・・・お勧めできないなぁ。　　　　あとは、 a[1] を a[2]~a[NxLvl] の負の総和に設定してしまう⇒ Σβ=0 の条件を守る。　　でもそうすると、 τ がものすごく大きくなるパターンが出てくるよね。⇒ hyperprior使うならやめたほうが・・・。

18.1.3 A Worked example 18.1 Bayesian Oneway ANOVA

・地理的な要素（天気や日光の影響）がムラサキガイの筋肉のサイズに影響を与えるのか検証。(1)Tillamook,Oregon(2)Newport,Oregon(3)Petersburg,Alaska(4)Magadan,Russia(5)Tvarminne,Finland

・内転筋とトータルの筋肉の長さの比率は 5～ 15％に収まるが、この比率を被説明変数とする。

【 Bugs による結果】①全てのグループの分散は、同じ事前分布から導き出される。　 このため、分布各 β の平均は、実際のものよりも少し小さい。②全てのグループで等分散を仮定している。（分散がバラバラだと結果が大きく歪むため）③各 β の違いは、グループ間の違いを示しているものではない。（各 β 間に相関があるため・・・ Σβ ＝ 0 ） 各 β 間は負の相関があり、あるパラメータが大きくなると、他のものが小さくなる。基本的に baseline の近くに。

各 β の分布

18.1.3.1 Contrasts and Complex Comparison 18.1 Bayesian Oneway ANOVA

・例えば太平洋グループの 4 つの平均を足して、 4 で割ったものから、非太平洋グループの数値を引く。　（係数の合計がゼロになるように平均を足す）これを contrast と呼ぶ。・ 2 つのグループの差異の代わりに、まとまったグループ平均と差異を比較するとき、 complex comparison と呼ばれる。　また、この際に付けられる変数名を contrast coefficients と呼ぶ。　　 MCMC の各ステップでこの差異を計算し、結果の分布をみる。

各 β 平均の比較

18.1.3.1 Contrasts and Complex Comparison

一番下、二番目の分布⇒フィンランドとその他地方の対比。　・ 95％ HDI に 0 が含まれていない（３．６ % ）。 ただし、これらの結果から、フィンランドの環境は他の環境に比べ、筋肉の成長に影響を与えるという結論が　　言いたいのではない。　これは、 HDI と ROPE をどう設計するかに依存する。　それにかかわらず少なくとも最も信頼出来る差異とその差異の不確実性はわかる。

18.1.3.1 Contrasts and Complex Comparison 18.1 Bayesian Oneway ANOVA

・ 2 行目 1列目、左側１番大きい筋肉群と、それ以外の 3 つの比較。⇒昔の手法でいう [post hoc] 。元々検証したいグループではない。 because データを集めてみるまで biggest不明。・ 2 行目 2列目オレゴン同士の比較・ 3列目アラスカとオレゴンの２地域の平均

事後分布は、比較の回数によって変わることはない（差の分布を検定するだけ）から、検証力を気にしなくていい。NHST だと、 false alarm が問題化してしまう。幸いにも、変数同士がお互いに影響しあうため、異常値の影響は和らげられる。この作用は、 NHST の繰り返しによる“補正“によく似ている。

各 β 平均の比較

Ch17.2Ch11.4

18.1.3.2 　 Is There Difference? 18.1 Bayesian Oneway ANOVA

・ contrast や comlex の comparison は、 HDI でグループ間の平均差異を判定してくれる。

・もうひとつ、事前分布に帰無仮説と代替仮説を仮定して、ベイズファクターで判定する方法もある。　 - モデル比較によって、事後確率の高い方を選べること。（よりよいモデルの選択）　 - 数学的に確からしい分布を当てはめることが出来る（議論なしで）

・ただ、この 2 つの事前分布モデルのベイズファクター検定はもっと注意して扱われるべきだ。　 -比較されるグループ間の差異がほとんどないと考えられる場合（帰無仮説）　 -違いを表すもっともらしい事前分布が存在している場合（代替仮説）

・ Solari,Liseo,Sun のトマトの酸っぱさを 9 グループに分けて測定。　帰無仮説に基づいたモデルでは、他モデルはすべて変わらないという結論になった。　代替仮説の事前分布では、グループ 3 の平均が他グループと異なるという結論になった。　ベイズファクターでは、代替仮説の事前分布を強く支持した。

　⇒しかし、これは代替仮説を支持しているわけではない。　　 「 9 つが同じ平均」よりも「 8 つが同じ平均で、 group3 だけ違う」を支持するだけ。　　そもそも 8 つのグループの平均が同じというのがおかしい。

•・ complex comparison を実施した結果、 group3 は　　明らかに異なる平均を持つ（ 0 より大きい）。　　⇒ベイズファクターの検討ナシで決定出来る。

　

18.2 Multiple Comparison

18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON

・帰無仮説による比較を異なる複数のグループ間で行う際に問題となるのは、やればやるほど検出力が下がること。

　

・ムラサキガイのデータで例えてみると・・・　ロシアとフィンランドの 2群間の平均の差異は確かに有意（ t=2.53,p=0.028)　ただし、 Turkey の HSD 検定で見ると、有意ではなくなる。　（ Turkey 検定の詳細は http://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/multi.pdf）

　

18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON

・ニ又の変数ではなく、連続変数で考えてみる。・一つのグループは偽薬で治療を受けている患者、もう一つのグループは効果のない薬で治療を受けている患者。・説明変数として、体温等の連続数を取る。

・この二つグループには明確な治療の差も体温の差もないモノとする。⇒ 一番下のカーブが検出力と t 値の関係。（ 5％有意にするには 2.23 ）

・患者をプラシーボ治療者、 4 つの薬治療者の５グループに分ける。⇒ 全員同じ分布を持つが、サンプリングの問題から特定グループが異常値を持つことがある。⇒真ん中の曲線が検出力と t 値の関係。 （５％有意にするには 2.95 ＞ 2.23 ）

・全てのグループを比較。（ 5 グループ： 5C2 より 10 回比較）⇒ 一番上の曲線が検出力とｔ値の関係。 （５％有意にするには 3.43 ＞ 2.23 ）

・比較するグループを増やしていくほど、有意だと判断されるための t 値は増加。・検定力を５％以内に保つためには、 1 回の t 値を高めなければならない。

　

18.2 Multiple Comparison 18.2 MULTIPLE COMPARISON

・ 1 グループ 6人、 5 グループで実験をしてみた。・結果、 group1 と group2 の比較で t=2.95 だった。

　⇒この結果の解釈は、どのように比較するかによって違う。　　 2群の検定だったら「有意に差異がある」 (>2.25)　　 1 以外の 4 つを検定していたら、「ほんのわずかに有意 ?」 (=2.95)　　全ての群比較をしていたら「偶然の結果」 (<3.43)

・研究者の意図でデータの解釈が変わるのはよくない。⇒BANOVA では、比較をどれだけしても解釈は変わらない。⇒ 異常値による頑健性は微妙だけど、事前確率を入れ込むことで抑えられる。

　

18.3 Two-group Bayesian ANOVA and NHST t TEST 18.3 two group

18.1~18.2 のおさらい。・ 2 つのグループしかない時の ANOVA が t-test だと考える。⇒ よって、 2 つのグループしかない場合、 F 値と t 値の二乗に等しくなる。

・ 2 グループしかないと、 shrinkage の影響はより強くなる。（あるグループで between varianve が大きくなると、他のグループを抑えにかかる。

・　また、グループ内の分散の事前分布も曖昧だと、 two-groupBANOVA の結果は、 NHST の t 検定にかなり近くなる。

　

18.5 EXERCISE 18.5 EXERCISES

・ 18.1 ⇒2 つのグループでの BANOVA の結果が、 NHST t- 検定と一緒の結果になる。・ 18.2⇒ 片側 t 分布の精度が、 shrinkage の度合いを決定する。　　大きければ、グループはそんなに変わらないということになり、 shrinkage は強くなる。 1000 の場合と 10^-6 の場合でやってみると・・・？

・ 18.3⇒ 等分散性の前提ナシで BANOVA を実施する。・・・分散に制約を設けないと、平均に対する信頼度が落ち、平均の差についても信頼度が落ちる。