mas sobre estimaciÓn de parÁmetros.pdf
TRANSCRIPT
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
1/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
1
COMPLEMENTOS: ESTIMACIN DE PARMETROS
Dra. C. San Luis
Concepto de Sesgo: Estimador de la varianza
E
s2x =
1n
Ei=1
n
(xi- x-)2=
1n
Ei=1
n
(xi- + - x-)2=
=1n E
i=1
n
[ ](xi- ) + ( - x-) 2=
=1n E
i=1
n
[ ](xi- )2+ ( - x-)2+ 2(xi- )( - x-) =
=1n E
i=1
n
(xi- )2+ n( - x-)2+ 2i=1
n
(xi- )( - x-)
Ahora bien,
i=1
n
[ ](xi- )( - x-) =
=i=1
n
( xi - 2 - x-xi+ x-) = i=1
n
xi - n2 - x-i=1
n
xi+ nx-=
= nx- - n2 - nx-2+ nx-= 2nx- - n2 - nx-2= -n(2+ x-2 - 2x-) =
= -n( - x-)2
luego,
E
s2x =
1n
E
i=1
n
(xi- )2+ n( - x-)2 - 2 n( - x-)2 =
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
2/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
2
=1n
E
i=1
n
(xi- )2 - n( - x-)2 =1n
i=1
n
E(xi- )2 E( - x-)2
pero,
1n
i=1
n
E(xi- )2=1n
n2x=
2x
y
E( - x-)
2
= E(x-
- )2
= VAR(x-) =
N - n
N - 1
2x
n
luego,
E
s2x =
2x -
N - nN - 1
2x
n
siendo el sesgo, como vemos,
b() = 2x
N - nn(N - 1)
Suficiencia de un EstimadorSi, siendo b un estadstico suficiente para , definimos un nuevo estadstico z
funcin de b, z = (b), donde tiene una inversa nica, h, podremos expresar b = h(z)y, por tanto,
f(b; ) = f(h(z); ) = f*(z; )
luego, podremos escribir:
F(x; ) = g(x) f*(z; )
Por consiguiente, si z es funcin de k, siendo k un estadstico suficiente, tambin z serun estadstico suficiente para .
Veamos, como ejemplo, si x-es un estimador suficiente para , siendo X una variable
distribuida normalmente en la poblacin con varianza 2x:
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
3/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
3
F(x;) =1
x 2exp
i=1
n
(xi - )2
-22x
=
=1
x 2exp
-1
22x
i=1
n
x2i + n
2 - 2i=1
n
xi =
1
x 2exp
-1
22x
i=1
n
x2i exp
-1
22x
n2 - 2i=1
n
xi
Hemos descompuesto la funcin de densidad de probabilidad conjunta original en dos
factores: el primero independiente de y el segundo dependiente de y dei=1n (xi).Puesto quei=1n (xi) es un estadstico suficiente para , tambin lo ser x-al serfuncin de l.
Mtodos de obtencin de Estimadores
Mtodo de la mxima verosimilitud
Sean x1, x2, ...., xnuna muestra aleatoria simple de una poblacin cuya funcin de
densidad de probabilidad es f(x; ). Si suponemos que cada uno de los valores x1, x2,
...., xnes la realizacin concreta de una serie de variables aleatorias X1, X2, ...., Xn
independientes entre s, tendremos que la funcin de densidad de probabilidad conjunta,
llamada funcin de verosimilitud, vendr dada por:
L(x1, x2, ...., xn;
) = (f(x1;
)f(x2;
)f(xn;
) =i=1
n
f(xi;
)
Lo que pretende el mtodo de mxima verosimilitud es encontrar el valor de que
maximice la funcin de verosimilitud; es decir, seleccionar aquel valor del parmetro
que posea como propiedad el maximizar el valor de la probabilidad de la muestra
aleatoria observada.
Dado que el logaritmo de L se maximiza para el mismo valor que L, es frecuente
simplificar la funcin tomando logaritmos. Tendremos entonces que:
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
4/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
4
Log[L(x1, x2, ...., xn; )] =i=1
n
log[f(xi; )]
Puesto que el objetivo es encontrar el valor de que maximice la funcin, derivaremos
sta con respecto a e igualaremos a 0, quedando:
{Log[L(x1, x2, ...., xn; )]} =
i=1
n
1
f(xi; )f(xi; ) = 0
tras lo cual se resuelve el sistema de ecuaciones para .
Los estimadores de mxima verosimilitud poseen varias propiedades asintticas
importantes que exponemos sin demostracin1:
Son consistentes.
Son asintticamente insesgados: a medida que el tamao de la muestra se acerca a
infinito, la esperanza del estimador tiende al valor del parmetro. No obstante, pueden
ser sesgados para muestras finitas.
Son asintticamente eficientes: ninguno de los estimadores asintticamente insesgados
de un parmetro tendr menor varianza en su distribucin muestral.
Son asintticamente normales: su distribucin muestral tiende a la normalidad al tender
a infinito el tamao de la muestra.
Si existe un estimador suficiente del parmetro, el estimador de mxima verosimilitudser funcin de dicho estimador.
Segn se desprende de las propiedades comentadas, los estimadores de mxima
verosimilitud se comportan adecuadamente con tamaos muestrales muy grandes, pero
no necesariamente si dichos tamaos son pequeos.
Mtodo de mnimos cuadrados
1Para una demostracin de estas propiedades puede consultarse, por ejemplo, Cramr (1968)
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
5/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
5
Supongamos que un investigador desea ajustar los parmetros de un modelo del tipo:
y= X+
siendo yun vector de n observaciones empricas de la variable denominada criterio; X
una matriz, llamada de diseo, de n observaciones empricas por k variables
predictoras; un vector de n residuales que recoge todas las influencias sobre la
variable yno recogidas en el modelo, y un vector de parmetros.
Asumiendo la independencia de los residuales, que E() = 0, VAR() = 2y que sedistribuye normalmente2, si denominamos bal estimador de , el mtodo de losmnimos cuadrados selecciona los valores de bque minimizan S(
), definido como:
S(
) = |y - X
|2= [y - X
] [y - X
]
para ello derivamos con respecto a , e igualamos a cero las derivadas, obteniendo las
llamadas ecuaciones normales:
[XX] b= Xy
de donde:
b= [XX]-1
[Xy]
Los estimadores por mnimos cuadrados presentan las siguientes caractersticas:
1. Insesgados:
E(b) = E{[XX]-1[Xy]} = [XX]-1 XE(y) = [XX]-1 XE(Xb+ ) =
= [XX]-1 X{E(Xb) + E(
) = [XX]-1 XX
=
2. De varianza mnima3:
Sea bel estimador de mnimos cuadrados de y sea b* otro estimador lineal tambininsesgado de .
Recordemos que
2Para obtener los estimadores b no se requiere la suposicin de normalidad de , sin embargo, este supuesto
se suele incluir para hacer posibles los contrastes que dependan de dicha suposicin, como t de Student o F, o la
determinacin de intervalos de confianza basados en dichas distribuciones. (Draper y Smith, 1981)
3Esta caracterstica constituye el Teorema de Markov
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
6/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
6
b= [XX]-1[Xy]
y si hacemos S-1= [XX]-1, tendremos:
b= S
-1
XySea bla matriz de varianzas-covarianzas de b. Podemos escribir:
b= E{[b - ][b - ]} = E{[ S-1Xy - ][ S-1Xy - ]} =
= E[S-1XyyX S-1 - S-1Xyb - byX S-1+ bb] =
= S-1XE[yy]X S-1 - S-1XE[y]
-
E[y]X S-1+ bb
Ahora bien,
E[yy] = E{[X+ ][X+ ]} =
= E[X
X +
X+ Xb
+
]
y, puesto que en funcin de los supuestos asumidos
E[] = 0
E[
] = 2I
tenemos
E[yy] = X X+ 2I
E[y] = X
E[y] = X
Por consiguiente,
b= S-1X[X
X+ 2I]X S-1 - S-1X X - XX S-1+ =
= + 2 S-1XX S-1- - + = 2 S-1
Por otra parte, y puesto que b*es un estimador lineal, podremos escribir:
b*= Ay= [S-1X + B]y
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
7/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
7
E(b*) = E{[S-1X + B]y} = [S-1X + B]E[y] = [S-1X + B]X
=
= + BX.
y, puesto que el estimador es insesgado, tiene que ser
BX= 0
Sea b*la matriz de varianzas-covarianzas de b*. Tenemos:
b*= E{[b* -][b* - ]} =
= E{[[S-1X + B][X
+
] -
][[S-1X+ B][X
+
] -
]} =
= E{[S-1XX+ S-1X+ BX+ B - ][S-1XX+ S-1X+ BX+
+ B - ]} =
= E{[S-1X
+ B
][S-1X
+ B
]} =
= E{S-1XXS-1+ BXS-1 + S-1XB + BB} =
= S-1XE[]XS-1+ BE[]XS-1+ S-1XE[]B + BE[]B =
= 2S-1XXS-1+ 2BXS-1 + 2S-1XB+ 2BB =
= 2S-1+ 2BB = 2[S-1+ BB]
Puesto que los elementos de la diagonal principal de BBson sumas cuadrticas, sern
siempre positivos, con lo que los elementos de la diagonal principal de 2[S-1+ BB],
que constituyen la varianza de b*, sern siempre mayores que los elementos de la
diagonal principal de 2S-1, que constituyen la varianza de b, salvo, naturalmente, que Bsea cero, en cuyo caso b* = b.
3. Son estimadores mximo-verosmiles (bajo los supuestos asumidos):
La funcin de verosimilitud para la muestra Y bajo los supuestos asumidos es:
L(Y; ) =
i=1
n
1
2exp
-2i
22 =1
n(2)n/2exp
-
22
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
8/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
8
y, puesto que minimizarequivale a maximizar L(Y; ), queda demostrada la propiedad.
Mtodo general para construir intervalos de confianza4
Consideremos una poblacin con funcin de densidad de probabilidad f(x;
). Con
muestras de tamao n empleamos como estimador de una funcin de las
observaciones que denominaremos b(x1, x2, ...xn). Supongamos que hemos determinado
la funcin de densidad del estimador y que viene dada por g(b;
). Finalmente,
supongamos que el campo de variacin de bes (-< b< ).
Queremos obtener el intervalo de confianza de tamao 1 -, para lo que necesitamos
determinar dos valores h1y h2tales que:
P[h1< b h2] = 1 -
h1
h2g(b;
)db= 1 -
o, alternativamente,
-
h1g(b;
)db=2
h2
g(b;))db=
2
Los valores h1y h2dependen explcitamente de , por lo que podemos escribir h1= h1(
) y
h2= h2(), por lo que:
P[h1() < b h2()] = 1 -
Para obtener el intervalo de confianza de tamao para , representaremos
grficamente h1 y h2 tal como se muestra en la figura adjunta. Hecho esto obtenemos
una muestra de tamao n y calculamos el valor de b. Supongamos que el valor obtenido
4Tomado de Arnaiz (1986)
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
9/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
9
es b1; por el punto de ordenada b1 trazamos una recta paralela al eje de abscisas que
cortar a h1() y h2() en los puntos P y Q. Proyectando estos puntos sobre el eje de
abscisas obtendremos unos valores [1y 2] que delimitan el intervalo de confianza.
h2()h1()
S
P Q
B
1 2
A fin de justificar el procedimiento, supongamos que es el verdadero valor del
parmetro. Tenemos una probabilidad 1 -de que los valores bobtenidos con muestras
de tamao n caigan entre R y S. Si a cada valor de b le hacemos corresponder una
recta horizontal trazada por b, vemos que siempre que R < b< S, la recta horizontal
corta a la vertical trazada por entre los puntos R y S, limitados por las dos curvas y
entonces el segmento aleatorio determinado por la recta horizontal abarca el verdadero
valor de .
Hemos llegado, pues, a la siguiente cadena de igualdades: Si es el verdadero valor del
parmetro
P[R < b< S] = 1 -
P[R < b< S] = probabilidad de que la recta horizontal trazada por bcorte a la verticaltrazada por entre las dos curvas = probabilidad de que el segmento horizontal
determinado por las dos curvas abarque a = 1 - .
Una vez obtenido el valor de b1la recta horizontal cortar a la vertical que pasa por el
verdadero valor de , entre las dos curvas o fuera de las dos curvas, pero como antes de
realizar el experimento tenamos una probabilidad 1 - de que la cortara entre dos
curvas, ahora tenemos una confianza 1 -de que la habr cortado y, por lo tanto, como
-
7/24/2019 MAS SOBRE ESTIMACIN DE PARMETROS.pdf
10/10
Master en Metodologa de las Ciencias del Comportamiento y de la Salud
10
la recta horizontal determina el intervalo (1; 2) tendremos una confianza 1 -de que
ese intervalo abarque el verdadero valor de .
En cualquier caso, recordemos que la llamada precisin de la estimacin del
parmetro, es un concepto probabilstico y siempre est supeditado a la aplicabilidad del
modelo matemtico de distribucin muestral del estadstico elegido.
Ejemplo
Supongamos, como ejemplo de lo expuesto, que queremos estimar usando como
estimador x-con una confianza de 0.95; sea la varianza poblacional 2xconocida. En esta
situacin tendremos que
h1() = x-+ 1,96x
n
h2() = x- - 1,96x
n
Una vez seleccionada una muestra de tamao n, calcularemos x-, valor que sustituiremos
en h1() y h2() (equivalente algebraico de la proyeccin geomtrica), obteniendo los
lmites del intervalo de confianza del 95%.