H. RONY CALLATA.-AUTOR-

TAREA DE INVESTIGACIÓN

BAYESIAN STATISTICS

HISTORY

El reverendo Thomas Bayes prueba un caso particular de lo que hoy se conoce como Th. de Bayes (1702-1761)

Pierre Simon de Laplace (1749-1827) prueba una versión más general del Th. de Bayes

La relevancia del Th. De Bayes para la Estadística no se aprecia hasta el s.XX

El paradigma FRECUENTISTA ha sido el predominante en la Teoría de la Probabilidad durante los s. XIX y XX (Fisher, Neyman, Pearson, Venn, Von Mises,….)

El paradigma BAYESIANO tienen un gran auge en las últimas dos décadas (DeFinetti, Savage, ….)

Las herramientas básicas de la Estadística frecuentista, intervalos de confianza y tests de hipótesis avanzan considerablemente.

Todo este tiempo existen los equivalentes bayesianos, pero su resolución requiere muchos más cómputos y el avance es más lento.

PROBLEMAS EN INFERENCIA ESTADISTICA

ESTIMACIÓN DE PARÁMETROS

CONTRASTE DE HIPÓTESIS

El Th. de Bayes se deriva de la formulación de la Probabilidad conjunta de dos eventos A y B:Sea p(A) la probabilidad de que A ocurra, p(B) la de que ocurra B y p(A,B) la probabilidad de que ocurran A y B, entonces: p(A,B)=p(A).p(B/A)=p(B).p(A/B)

El Th. de Bayes establece, simplemente, que:

( ))(

)/().(/

Ap

BApBpABp =

La versión anterior del Th. de Bayes es aceptada por frecuentistas y bayesianos

La Estadística Bayesiana utiliza formulaciones alternativas de dicho teorema.

Otras versiones:

( ))(

)/().(/

Ap

BApBpABp =

( ))(

)/().(/

datosp

datosppdatosp

θθθ =

DISTRIBUCIÓN INICIAL Y FINAL (I)

( )datosHp I / ( )datosMp i /

DISTRIBUCIÓN INICIAL Y FINAL (II)

El parámetro (desconocido): θLos datos (conocidos): datosLa probabilidad de los datos dado θ: p(datos/θ)La probabilidad “inicial” de θ: p(θ)La probabilidad “final” de θ: p(θ/datos)

El denominador es constante luego lo podemos obviar

( ))(

)/().(/

datosp

datosppdatosp

θθθ =

( ) ( ) ( )θθθ // datosppdatosp ∝

DISTRIBUCIÓN INICIAL Y FINAL (III)

El Th. De Bayes se utiliza para combinar datos con unas creencias “a priori” en referencia a una cantidad desconocida, resultando unas creencias “a creencias “a posteriori”posteriori” acerca de la cantidad desconocida.

Esta aproximación ha sido comparada con tareas de aprendizaje donde la experiencia sirve de base para la la experiencia sirve de base para la continua adaptación del sistema de creencias del continua adaptación del sistema de creencias del investigador.investigador.

Probabilidad inicial del parámetro: p(θ)Probabilidad inicial del parámetro: p(θ)Probabilidad final del parámetro: p(θ/datos)Probabilidad final del parámetro: p(θ/datos)

DEFINICIÓN DE PROBABILIDAD (I)

DEFINICIÓN FRECUENTISTA. La probabilidad de un evento, o de que una cantidad tome un valor en un intervalo determinado, es una frecuencia. Supongamos muchas circunstancias en las que ocurre el suceso A. La proporción de circunstancias en las que ocurre A es su “probabilidad” … es una probabilidad objetiva

DEFINICIÓN DE PROBABILIDAD (II)DEFINICIÓN BAYESIANA. La probabilidad de que

ocurra un suceso A (o de que una cantidad tome un valor en un intervalo dado), es un grado de creencia. El grado de creencia que tenemos en que A puede cambiar si lo confrontamos con nuevos datos. La probabilidad de A es una representación numérica de este grado de creencia.

Si tu y yo estamos de acuerdo en la creencia sobre el suceso A podemos definir una probabilidad objetiva, si no lo estamos, definimos una probabilidad subjetiva.

QUE ES FIJO Y QUE ES ALEATORIO ? (I)

FRECUENTISTA. En este caso tenemos un valor fijo y desconocido para el parámetro. Los datos son un ejemplo de entre muchos posibles datos que podríamos recoger. La filosofía frecuentista evalúa cómo de verosímiles son los datos de acuerdo a diferentes valores hipotéticos para el parámetro desconocido. Las afirmaciones acerca de la probabilidad de observar los datos que tenemos, dados diferentes valores hipotéticos para el parámetro, se resumen en un Intervalo de Confianza

QUÉ ES FIJO Y QUÉ ES ALEATORIO ? (II)

BAYESIANO. El valor del parámetro es desconocido. Los datos son conocidos, ellos han sido observados. Un bayesiano evalúa como de verosímiles son diferentes valores posibles para la cantidad –parámetro- desconocido, dados los datos observados. Por tanto, las afirmaciones a las que se llega se refieren a la probabilidad de que la cantidad desconocida tome un determinado valor en un cierto Intervalo de Credibilidad

UN PROBLEMA DE INFERENCIA BAYESIANA

•Queremos hacer inferencias acerca de un parámetro θ

•Establecemos la distribución inicial de θ (conjugada)

•Calculamos la distribución final (transformada mediante el Th. De Bayes)

•Las inferencias se realizan en la distribución final

PROBLEMA DE ESTIMACIÓN DE PARÁMETROS

•Queremos estimar un parámetro θ

•Establecemos la distribución inicial de θ (conjugada)

•Calculamos la distribución final (transformada mediante el Th. De Bayes)

•La estimación puntual es la media de la distribución final (función de pérdida)

•El intervalo de credibilidad se construye como un mero ejercicio probabilístico

SABEMOS INTERPRETAR UN INTERVALO DE ESTIMACIÓN? (I)

FRECUENTISTA. Un intervalo de confianza al 95% para una cantidad θ

Si se recogen muchas veces nuevos datos y se calculan intervalos de confianza en cada ocasión, el 95% de estos intervalos de confianza contienen el verdadero valor de θ

SABEMOS INTERPRETAR UN INTERVALO DE ESTIMACIÓN? (II)

BAYESIANO. Un intervalo de credibilidad al 95%

La probabilidad de que el valor de θ esté entre 2,5 y 4,5 es del 95%, dados los datos observados y nuestra creencia inicial

PROBLEMA DE CONTRASTE DE HIPÓTESIS

•Queremos contrastar H0 frente a H1

•Establecemos la distribución inicial de H0 y H1

•Calculamos la distribución final (transformada mediante el Th. De Bayes) de H0 y H1

•Se establece el factor Bayes

TEST DE HIPÓTESIS (I)

FRECUENTISTA. Dadas dos hipótesis H0 y H1, se calcula, si H0 fuera cierta, la probabilidad de obtener datos al menos tan extremos como los que tenemos. Si esa probabilidad es baja (p-valor) se rechaza H0

Una hipótesis es, o verdadera, o falsa. Los frecuentistas calculan sólo la verosimilitud de los datos observados y no pueden asignar probabilidades a cada una de las hipótesis

TEST DE HIPÓTESIS (II)

BAYESIANO. Dadas dos hipótesis H0 y H1, se calcula la probabilidad de cada una de ellas, dados los datos obtenidos y la información previa. gana la hipótesis que tiene mayor probabilidad.

Se calcula la probabilidad de que cada hipótesis sea verdadera

FACTOR BAYES

Odds ratio inicial:

Odds ratio final:

Factor Bayes:

( )( )1

0

Hp

Hp

( )( )datosHp

datosHp

/

/

1

0

inicialratioodds

finalratiooddsB =01

INFERENCIA BAYESIANA PARA LA PROPORCIÓN

1. MODELO DISCRETO INICIAL NO INFORMATIVO

Suponemos que los valores posibles para la proporción de veredictos de culpabilidad son 11, todos igualmente verosímiles con probabilidades cada uno de ellos de 1/11=0,9091 (prob. a priori)

Suponemos que se selecciona una muestra de 5 elementos de los que 3 emiten veredicto de culpabilidad 3/5=0,60. Tenemos una distribución Binomial n=5 y p=0,60. La probabilidad de obtener 3 éxitos será:

( ) 0081,09,01,03

51,0/3 23 =

==θf

θ f(θ) f(3/θ) f(3,θ) f(θ/3)=f(3,θ)/g(3

00,10,20,30,40,50,60,70,80,91,0

0,0909090910,0909090910,0909090910,0909090910,0909090910,0909090910,0909090910,0909090910,0909090910,0909090910,090909091

00,00810,05120,13230,23040,31250,34560,30870,20480,07290

00,0007363640,0046545450,0120272730,0209454550,0284090910,0314181820,0280636360,0186181820,0066272730g(3)=0,1515

00,0048604860,0307230720,0793879390,1382538250,1875187520,2073807380,1852385240,1228922890,0437443740

f(θ):distrib.inicial

f(3/θ): verosimilitud de la muestra o probab. de obtener 3 éxitos si la verdadera proporción de los que dicen culpable en la población es θ

ESTIMADOR PUNTUAL BAYES

El valor esperado de la distribución final del parámetro vale φ*(θ)=0,571287

Se pueden construir intervalos de credibilidad

P(0,50<θ<0,80)=0,7184

P(0,40<θ<0,80)=0,8413