基礎からのベイズ統計学 輪読会資料 第8章 「比率・相関・信頼性」

60

Upload: kenichi-matsui

Post on 21-Apr-2017

1.497 views

Category:

Data & Analytics


3 download

TRANSCRIPT

Page 1: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 2: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 3: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

https://twitter.com/_inundata/status/616658949761302528

Page 5: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

http://www.slideshare.net/matsukenbook

Page 6: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 7: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 8: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 9: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

�p11�p01 = p11 � p01 =n11

n11 + n10� n01

n01 + n00

Page 10: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 11: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

RR =p11p01

=n11

N1·/n01

N0·=

n11N0·n01N1·

� 0

RR < 1

RR = 1

1 < RR

Page 12: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

OR =p11/p10p01/p00

=(n11/N1·)/(n10/N1·)

(n01/N0·)/(n00/N0·)=

(n11/N·1)/(n10/N·1)

(n01/N·0)/(n00/N0·0)=

n11

p10/p01p00

OR < 1

OR = 1

1 < OR

Page 13: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

n11 ⇠ Bin(p11, N1·)

n10 ⇠ Bin(p10, N1·)

n01 ⇠ Bin(p01, N0·)

n00 ⇠ Bin(p00, N0·)

model{          for(i  in  1:2){                  for(j  in  1:2){                          n[i,j]  ~  binomial(N[j],  p[j][i]);                  }          }  }

Page 14: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 15: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                         mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  p[0,0]              0.58    5.0e-­‐4      0.02      0.53      0.56      0.58      0.59      0.63      2429        1.0  p[1,0]              0.42    4.9e-­‐4      0.03      0.37      0.41      0.42      0.44      0.47      2557        1.0  p[0,1]              0.42    5.0e-­‐4      0.02      0.37      0.41      0.42      0.44      0.47      2429        1.0  p[1,1]              0.58    4.9e-­‐4      0.03      0.53      0.56      0.58      0.59      0.63      2557        1.0  d                        0.15    7.0e-­‐4      0.04      0.08      0.13      0.15      0.18      0.22      2513        1.0  delta_over        1.0          0.0        0.0        1.0        1.0        1.0        1.0        1.0    10000        nan  p11                    0.58    5.0e-­‐4      0.02      0.53      0.56      0.58      0.59      0.63      2429        1.0  p10                    0.42    5.0e-­‐4      0.02      0.37      0.41      0.42      0.44      0.47      2429        1.0  p01                    0.42    4.9e-­‐4      0.03      0.37      0.41      0.42      0.44      0.47      2557        1.0  p00                    0.58    4.9e-­‐4      0.03      0.53      0.56      0.58      0.59      0.63      2557        1.0  RR                      1.37    2.0e-­‐3        0.1      1.19        1.3      1.37      1.43      1.58      2510        1.0  OR                      1.89    5.6e-­‐3      0.28      1.41      1.69      1.86      2.06      2.49      2466        1.0  lp__              -­‐548.7        0.03      1.05  -­‐551.6  -­‐549.0  -­‐548.3  -­‐547.9  -­‐547.7      1586        1.0

Page 16: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 17: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

q =1

1� ⇢

2

"✓x1 � µ1

�1

◆2

� 2⇢

✓x1 � µ1

�1

◆✓x2 � µ2

�2

◆+

✓x2 � µ2

�2

◆2#

f(x1, x2|µ1, µ2,�21 ,�

22) =

1

2⇡�1�2p1� ⇢

e

�q/2

Page 18: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

⇢A, ⇢B

�(t)⇢ = �(t)⇢B�⇢A= g(⇢(t)A , ⇢(t)B ) = ⇢(t)B � ⇢(t)A

u(t)�⇢>0 = g(⇢(t)A , ⇢(t)B )

(1 �(t)⇢ > 0

0 otherwise

Page 19: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

transformed  parameters{          SigmaA[1,2]  <-­‐  sigmaA[1]*sigmaA[2]*rhoA;          SigmaA[2,1]  <-­‐  sigmaA[1]*sigmaA[2]*rhoA;          SigmaB[1,2]  <-­‐  sigmaB[1]*sigmaB[2]*rhoB;          SigmaB[2,1]  <-­‐  sigmaB[1]*sigmaB[2]*rhoB;  }  model{          for(i  in  1:N){                  xA[i]  ~  multi_normal(muA,  SigmaA);                  xB[i]  ~  multi_normal(muB,  SigmaB);          }  }  generated  quantities{          real  delta_r;          real  delta_r_over;          delta_r  <-­‐  rhoB  -­‐  rhoA;          delta_r_over  <-­‐  step(delta_r);  }

Page 20: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 21: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                             mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  rhoA                      0.63    8.1e-­‐4      0.04      0.54        0.6      0.63      0.66      0.71      2876        1.0  rhoB                      0.72    6.7e-­‐4      0.03      0.65        0.7      0.73      0.75      0.79      2626        1.0  delta_r                  0.1    1.0e-­‐3      0.06-­‐9.0e-­‐3      0.06        0.1      0.14      0.21      2790        1.0  delta_r_over      0.96    3.6e-­‐3      0.19        0.0        1.0        1.0        1.0        1.0      2814        1.0  

Page 22: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 23: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

⇢11(= 1.00)

⇢22(= 1.00)

⇢33(= 1.00)

⇢21

⇢31 ⇢32

Page 24: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

�⇢2 = ⇢32 � ⇢21

Page 25: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

transformed  parameters{          vector<lower=0>[3]  sig2;          matrix[3,3]  Sigma;          for(i  in  1:3){                  sig2[i]  <-­‐  pow(sigma[i],2);          }          Sigma  <-­‐  diag_matrix(sigma)  *  rho  *  diag_matrix(sigma);  }  model{          for(i  in  1:N){                  x[i]  ~  multi_normal(mu,Sigma);          }  }  generated  quantities{                  rho_21  <-­‐  rho[2,1];          rho_31  <-­‐  rho[3,1];          rho_32  <-­‐  rho[3,2];          delta_r2  <-­‐  rho[3,2]  -­‐  rho[2,1];          delta_r2_over  <-­‐  step(delta_r2);  }

Page 26: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 27: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  rho_21                0.45    1.3e-­‐3      0.06      0.33      0.41      0.45      0.49      0.57      2358        1.0  rho_31                0.62    9.7e-­‐4      0.05      0.52      0.59      0.62      0.65        0.7      2406        1.0  rho_32                0.75    6.8e-­‐4      0.03      0.67      0.73      0.75      0.77      0.81      2552        1.0

Page 28: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

�(t)⇢2= g(⇢21 � ⇢32) = ⇢(t)32 � ⇢(t)21

u(t)�⇢2>0

(1 �(t)⇢2 > 0

0 otherwise

Page 29: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 30: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  delta_r2              0.3    1.1e-­‐3      0.05      0.19      0.26      0.29      0.33      0.41      2562        1.0  delta_r2_over    1.0          0.0        0.0        1.0        1.0        1.0        1.0        1.0    10000        nan

Page 31: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 32: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 33: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

x

y

x1 x2

y

Nx

= 500

Nx1 = 378

Ny = 122

Page 34: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

NyY

i=1

p(x2i,yi|µx2 , µy ,�2x2

,�2y

,�2x2y

)

x2

y

for(i  in  1:Ny){          y[i]  ~  multi_normal(mu2,  S2);  }

Page 35: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

NyY

i=1

p(x2i,yi|µx2 , µy ,�2x2

,�2y

,�2x2y

)

NyY

i=1

p(x2i,yi|µx, µy ,�2x

,�2y

,�2xy

)

Nx1Y

j=1

p(x1j |µx,�2x

)

Page 36: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

x2

y

for(i  in  1:Ny){          y[i]  ~  multi_normal(mu,  Sigma);  }  for(i  in  1:Nx){          x[i]  ~  normal(mu[1],  sqrt(sigma[1]));  }

x

NyY

i=1

p(x2i,yi|µx, µy ,�2x

,�2y

,�2xy

)

Nx1Y

j=1

p(x1j |µx,�2x

)

Page 37: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 38: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  rho_truncated  0.6      1.1e-­‐3      0.06      0.47      0.56        0.6      0.64      0.7      2824        1.0  rho_corrected  0.81    8.8e-­‐4      0.04      0.71      0.79      0.82      0.84      0.88    2182        1.0

�2xy

Page 39: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

x

y

Nx

= 500

Ny = 500

Page 40: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  rho_truncated  0.6      1.1e-­‐3      0.06      0.47      0.56        0.6      0.64      0.7      2824        1.0  rho_corrected  0.81    8.8e-­‐4      0.04      0.71      0.79      0.82      0.84      0.88    2182        1.0  rho_complete    0.83    2.9e-­‐4      0.01        0.8      0.82      0.83      0.84      0.86    2324        1.0

Page 41: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 42: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 43: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

xij = µk + ↵ki + �kj + ekij

i j k r m

↵ki = µki � µk

Page 44: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

xij = µr + ↵ri + �rj + erij

↵ri = µri � µk

erij ⇠ N(0,�2er)

↵r ⇠ N(0,�2↵r)

�r ⇠ N(0,�2�r)

�2x

= �2↵r

+ �2�r

+ �2er

x

ij

⇠ N(µr

+ ↵

ri

+ �

rj

,�

2x

)

Page 45: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 46: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

ICC(2, 1)

ICC(2, 1)(t) = g(�2(t)↵r ,�2(t)

�r ,�2(t)er ) =

�2(t)↵r

�2(t)↵r + �2(t)

�r + �2(t)er

ICC(2, j)

ICC(2, j)(t) = g(�2(t)↵r ,�2(t)

�r ,�2(t)er ) =

�2(t)↵r

�2(t)↵r + (�2(t)

�r + �2(t)er )/j

Page 47: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

model{          mu  ~  normal(0,  1000);          for(s  in  1:S){                  alpha[s]  ~  normal(0,  tauSubject);          }          for(r  in  1:R){                  beta[r]  ~  normal(0,  tauRater);          }          for(s  in  1:S)  {                  for(r  in  1:R)  {                          nu  <-­‐  mu  +  alpha[s]  +  beta[r];                          Score[s,r]  ~  normal(nu,  tauWithin);                  }          }  }  generated  quantities{          ICC21  <-­‐  sig2subject  /  (sig2subject  +  sig2rater  +  sig2within);          ICC24  <-­‐  sig2subject  /  (sig2subject  +  ((sig2rater  +  sig2within)/4));  }

Page 48: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 49: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  sig2subject        8.8        0.06      4.47      3.44        5.9        7.8    10.48    20.28      6130        1.0  sig2rater          4.29        2.33    61.98  1.7e-­‐3      0.03      0.16      0.58    12.73        705        1.0  sig2within        3.65        0.03      0.84      2.37      3.03      3.52      4.12      5.57        683        1.0  ICC21                  0.64    4.9e-­‐3      0.14      0.28      0.57      0.66      0.74      0.85        834        1.0  ICC24                  0.86    5.0e-­‐3      0.11      0.61      0.84      0.89      0.92      0.96        446        1.0

Page 50: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

xij = µm + ↵mi + �mj + emij

↵mi = µmi � µm

emij ⇠ N(0,�2em)

↵m ⇠ N(0,�2↵m)

�m ⇠ N(0,�2�m)

�2x

= �2↵m

+ �2em

x

ij

⇠ N(µm

+ ↵

mi

+ �

mj

,�

2x

)

Page 51: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

ICC(2, j)

ICC(3, 1)

ICC(3, 1)(t) = g(�2(t)↵m ,�2(t)

em ) =�2(t)↵m

�2(t)↵m + �2(t)

em

ICC(3, j)(t) = g(�2(t)↵m ,�2(t)

em ) =�2(t)↵m

�2(t)↵m + �2(t)

em /j

Page 52: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

model{          mu  ~  normal(0,  1000);          for(s  in  1:S){                  alpha[s]  ~  normal(0,  tauSubject);          }          for(s  in  1:S)  {                  for(r  in  1:R)  {                          nu  <-­‐  mu  +  alpha[s]  +  beta[r];                          Score[s,r]  ~  normal(nu,  tauWithin);                  }          }  }  generated  quantities{          ICC31  <-­‐  sig2subject  /  (sig2subject  +  sig2within);            ICC34  <-­‐  sig2subject  /  (sig2subject  +  (sig2within/R));  }

Page 53: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 54: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  sig2subject      8.82        0.05      4.48      3.39        5.8      7.79    10.67    20.29      9199        1.0  sig2within        3.76    9.6e-­‐3      0.89      2.41      3.13      3.63      4.25      5.89      8580        1.0  ICC31                  0.67    1.1e-­‐3      0.11      0.44        0.6      0.68      0.75      0.86      9291        1.0  ICC34                  0.89    5.5e-­‐4      0.05      0.76      0.86        0.9      0.92      0.96      9239        1.0

Page 55: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 56: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」
Page 57: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

ICC(3, J 0)(t) = g(�2(t)↵m ,�2(t)

em ) =�2(t)↵m

�2(t)↵m + �2(t)

em /J 0

ICC(2, J 0)(t) = g(�2(t)↵r ,�2(t)

�r ,�2(t)er ) =

�2(t)↵r

�2(t)↵r + (�2(t)

�r + �2(t)er )/J 0

u(t)ICC(2,J 0) = g(�2(t)

↵r ,�2(t)�r ,�2(t)

er ) =

(1 ICC(2, J 0

)

(t) > 0.9

0 otherwise

u(t)ICC(3,J0) = g(�2(t)

↵, ,�2(t)em ) =

(1 ICC(3, J 0

)

(t) > 0.9

0 otherwise

Page 58: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

generated  quantities{          ICC25    <-­‐  sig2subject  /  (sig2subject  +  ((sig2rater  +  sig2within)/5));          ICC26    <-­‐  sig2subject  /  (sig2subject  +  ((sig2rater  +  sig2within)/6));          nine6  <-­‐  step(rho6  -­‐  0.9);  }

generated  quantities{          ICC34  <-­‐  sig2subject  /  (sig2subject  +  (sig2within/R));          ICC35  <-­‐  sig2subject  /  (sig2subject  +  (sig2within/5));          nine  <-­‐  step(ICC35  -­‐  0.9);  }

Page 59: 基礎からのベイズ統計学 輪読会資料  第8章 「比率・相関・信頼性」

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  ICC25                  0.89    4.8e-­‐3        0.1      0.66      0.87      0.91      0.93      0.97        411        1.0  ICC26                  0.9      4.7e-­‐3      0.09        0.7      0.89      0.92      0.94      0.97        388        1.0  nine6                  0.69        0.01      0.46        0.0        0.0        1.0        1.0        1.0      1375        1.0

                           mean  se_mean          sd      2.5%        25%        50%        75%    97.5%    n_eff      Rhat  ICC34                  0.89    5.5e-­‐4      0.05      0.76      0.86        0.9      0.92      0.96      9239        1.0  ICC35                    0.91    4.7e-­‐4      0.05        0.8      0.88      0.92      0.94      0.97      9231        1.0  nine                    0.64    4.8e-­‐3      0.48        0.0        0.0        1.0        1.0        1.0      9981        1.0