Download - Modelos de regresión lineal
Modelos de regresión linealInstructor: Favio Murillo García
Econometría
EconometríaModelos de regresión lineal
Referencias:• William Greene. Econometric Analysis. Ed.
Pearson (capítulo 2)• Jeffrey Wooldridge. Introductory Econometrics: A
Modern Approach. Ed. Thomson Learning (pp 22-40)
• Damodar Gujarati. Econometrics. Ed. McGraw-Hill (pp 38-84)
EconometríaModelos de regresión lineal
Objetivos de la sesión:• Identificar un modelo de regresión lineal.• Obtener los estimadores de un modelo de
regresión lineal simple con excel y con eviews.• Interpretar el signo de los coeficientes y el valor de
la bondad de ajuste.
Introducción
• El papel esencial de la econometría es la estimación y verificación de los modelos econométricos.
• Proceso:– Especificación del modelo en forma matemática.– Reunión de datos apropiados y relevantes de la
economía o sector que el modelo se propone describir.
– Con los datos se estima los parámetros del modelo– Realizar pruebas con el modelo para analizar si es
valido o si es necesario modificar la especificación.
Introducción
• Un modelo econométrico es una representación simplificada de la realidad, que recurre a un número limitado de conceptos formalizados.
Criticas
• Excesiva simplificación. • Supuestos poco realistas. Lo
importante no es lo realista o no de los supuestos, sino qué tan buena es la explicación y capacidad de predicción que el modelo tiene en la realidad.
• Datos. Para funcionar, el modelo requiere datos, que a veces son escasos.
Análisis de regresión
• El objetivo del análisis de regresión es modelar, estadísticamente, la contribución o impacto que una o más variables explicativas pudieran tener sobre alguna variable de interés.
La realidad bajo estudio
Metodología de análisis
a) Identificar las variables que pudieran estar relacionadas con nuestra variable de interés.
b) Proponer un modelo que capte la relación entre las variables.
c) Estimar los parámetros del modelo propuesto en función de la información muestral disponible.
d) Verificar la validez estadística del modelo construido y el cumplimiento de las propiedades de los errores.
e) Verificar que no existan variables redundantes o no significativas en el modelo.
Algunas aplicaciones
• Costo de Capital (CAPM, APT).• Tipo de cambio, tasas de interés,
inflación.• Relación entre el IPC e índices de
mercados financieros internacionales.• Modelación del Spread en función
volumen, tamaño de la empresa, sector industrial.
Algunas aplicaciones
• Interrelación entre variables económicas y financieras entre economías (Inflación en México vs. Inflación en Estados Unidos).
• Teoría de administración de portafolios (rendimiento esperado de un portafolio).
• Nivel de ventas, utilidades, etc.
Regresión Lineal Simpleyi = b0 + b1xi + ui
y = b0 + b1x + u • donde y es:
– Variable dependiente– Variable explicada– Regresando
• u es:– Residual– Término de error
• mientras que x es:– Variable independiente– Variable explicativa– Covariable– Variable de control– Regresor
b0 y b1: parámetros o coeficientes a estimar
Algunos supuestos
• El valor promedio de u, el término de error, en la población es = 0.
• Es decir, E(u) = 0
• Este supuesto no es muy restrictivo puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0
Media condicional = 0
• Hay un supuesto crucial sobre la relación entre el error y la variable explicativa:
cov(x, u)
• Queremos que la información contenida en x sea independiente de la información contenida en u (que no estén relacionados), de modo que:
E(u|x) = E(u) = 0, lo cual implica:
E(y|x) = b0 + b1x
17
Mínimos Cuadrados Ordinarios (MCO)
• La idea básica es estimar parámetros poblacionales a partir de una muestra.
• Sea {(xi,yi): i =1, …,n} una muestra aleatoria de tamaño n de una población.
• Para cada observación en la muestra, tenemos:
yi = b0 + b1xi + ui
.
..
.
y4
y1
y2
y3
x1 x2 x3 x4
}
}
{
{
u1
u2
u3
u4
x
y
Línea de regresión, observaciones y errores
E(y|x) = b0 + b1x
19
Estimador MCO / OLS: intercepto (β0)
• Tenemos:
xy
xy
10
bien o
10
ˆˆ
,ˆˆ
20
Estimador MCO / OLS: pendiente (β1)
0 : varianza tenga que veztoda
)var(
),cov(ˆ
1
2
1
2
11
n
ii
n
ii
n
iii
xxx
x
yx
xx
yyxx
El estimador MCO de b1
b1, es la covarianza muestral entre x y y, dividida entre la varianza muestral de x.
• Si x y y están correlacionados positivamente, b1 será positivo (pues la varianza del denominador siempre es positiva).
• Si x y y están correlacionados negativamente, b1 será negativo.
• Obviamente, requerimos que x tenga cierta varianza en la muestra.
24
MCO / OLS
• Intuitivamente, MCO ajusta una línea a través de los datos muéstrales, de modo que la suma de residuales al cuadrado (SSR) sea la mínima posible: de ahí el término “mínimos cuadrados”.
• El residual, û, es un estimado del término de error entre lo observado y lo predicho, es decir, la diferencia entre la línea de regresión (fitted line) y el dato observado.
25
.
..
.
y4
y1
y2
y3
x1 x2 x3 x4
}
}
{
{
û1
û2
û3
û4
x
y
Línea de regresión muestral, observaciones, y residuales
estimados
xy 10ˆˆˆ
26
Suma de cuadrados: Terminología
SSR SSE SST que implica cual Lo
SSR :cuadrados de Residual Suma la es ˆ
SSE :cuadrados de Explicada Suma la es ˆ
SST :cuadrados de Total Suma la es
:siguiente lodefinir podemos que modo De ˆˆ
:explicado no componenteun y co)(sistemáti explicado
componenteun en n observació cadaseparar Podemos
2
2
2
i
i
i
iii
u
yy
yy
uyy
27
Bondad de ajuste: R2
• ¿Cómo saber qué tan bueno es el ajuste entre la línea de regresión y los datos de la muestra?
• Podemos calcular la proporción de la suma de cuadrados totales (SST) que es “explicada” por el modelo.
• Esto es la llamada R-cuadrada de una regresión: R2 = SSE/SST = 1 – SSR/SST
Ejercicio
• La siguiente tabla presenta datos que se refieren al consumo de tazas de café por día y el precio al menudeo del café. En Estados Unidos de 1970 a 1980.
• Fuentes: Summary of National Coffee Drinking Study, 1981. Nielsen Food Index, 1981.
Año Tasas diarias por persona (Y)
Precio en dólares por libra (X)
1970 2.57 0.77
1971 2.5 0.74
1972 2.35 0.72
1973 2.3 0.73
1974 2.25 0.76
1975 2.2 0.75
1976 2.11 1.08
1977 1.94 1.81
1978 1.97 1.39
1979 2.06 1.2
1980 2.02 1.17
Contestea) ¿ Cómo es la relación existente entre estas dos
variables: directa o inversa ?
b) ¿ Qué tan ajustada es la correlación entre estas dos variables ?
c) Construya el siguiente modelo:
d) Interprete intuitivamente el valor de los parámetros obtenidos
e) Estime las tasas diarias por persona si el precio es de 1.5 dólares por libra.
precioTCDP 10
Tarea
• Resolver el ejercicio 2.16• Revisar el ejemplo 7.2
(del texto de Gujarati)
32
Regresión Lineal Múltiple
yi = b0 + b1x1i + b2x2i + . . . bkxki + ui
33
Cálculo de estimadores
= (b Xt X)-1Xt Y
Sesgo y eficiencia de MCO
• Dos características deseables de cualquier estimador estadístico son:
• Insesgamiento (unbiasedness): que el parámetro estimado sea, en promedio, igual al “verdadero” parámetro poblacional.
• Eficiencia (efficiency): que la varianza del estimador sea mínima (ie, máxima precisión).
• Así, buscamos estimadores con sesgo mínimo y máxima eficiencia (ie, mínima varianza).
• MCO cuenta con ambas propiedades bajo ciertas condiciones: los supuestos Gauss-Markov.
35
Supuestos Gauss-Markov: Insesgamiento de MCO/OLS
1. El modelo poblacional es lineal en sus parámetros: y = b0 + b1x + u
2. Muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, representativa de la población, de modo que el modelo muestral es: yi = b0 + b1xi + ui
3. Media condicional cero: E(u|x) = 0 y por tanto E(ui|xi) = 0
4. Varianza(xi ) > 0
36
Demostración: SST = SSE + SSR
SSE SSR
0 ˆˆ que sabemos comoy
SSE ˆˆ2 SSR
ˆˆˆ2ˆ
ˆˆ
ˆˆSST
22
2
22
yyu
yyu
yyyyuu
yyu
yyyyyy
ii
ii
iiii
ii
iiii
1. El modelo de regresión es lineal en los parámetros2. Los valores de X son fijos en muestreo repetido3. El valor medio de es igual a cero. 4. Homocedasticidad o igual varianza de . 5. No autocorrelación entre los .6. La covarianza entre y Xi es cero. 7. El número de observaciones debe ser mayor que el
de parámetros8. Variabilidad en los valores de X.9. El modelo de regresión está correctamente
especificado10. No hay multicolinealidad perfecta
Supuestos Clásicos de los MICO
i 0/ ii X
i 2/var sX ii
i 0,cov ji
i
i 0,cov ji X
Supuestos Clásicos de los MICO
1. El modelo de regresión es lineal en los parámetros
2. Los valores de X son fijos en muestreo repetido– Supone que las variables X no son aleatorias– Es posible mantener fijo el valor de X, y repetir el
experimento, obteniendo en cada observación un valor de la variable distinto aleatoria Y.
– El análisis de regresión es un análisis de regresión condicional, es decir, condicionado a los valores dados de los regresores X.
Supuestos Clásicos de los MICO
3. El valor medio de es igual a cero. – Los residuos no son más que las desviaciones de
la muestra aleatoria con respecto a la FRP.– Los factores que no están incluidos en el modelo,
no afectan sistemáticamente el valor esperado de Y.
– Los valores positivos de se cancelan con los valores negativos, de tal manera que su efecto promedio sobre Y es cero.
–
i
i
XXYE 21/
Supuestos Clásicos de los MICO
4. Homocedasticidad o igual varianza de .
– La variación alrededor de la recta de regresión es la misma para los valores de X, es decir, las perturbaciones se distribuyen con igual dispersión respecto a la media.
– y dado el supuesto 2 es equivalente a 22
iii EEV
i
2/var sX ii
22 iE
Homocedasticidad
Heterocestadisticidad
Supuestos Clásicos de los MICO
5. No autocorrelación entre los .
- No existe tendencia de que los errores asociados a una observación estén relacionados a los errores de otra.
- Si en un momento de tiempo o en un individuo de la muestra se genera un error positivo, esto no nos da información alguna sobre si el próximo error será positivo o negativo.
- Los errores no tienen un patrón de comportamiento sistemático.
- Si y están correlacionados, Yt no sólo depende de Xt, sino también de .
t
i 0,cov ji
1ˆ t1ˆ t
Supuestos Clásicos de los MICO
Supuestos Clásicos de los MICO
Supuestos Clásicos de los MICO
6. La covarianza entre y Xi es cero.
– Si hay correlación, no es posible saber como afecta individualmente y a la variable Y i.
– Este supuesto se cumple inmediatamente si X no es una variable aleatoria (sino que es fija).
7. El número de observaciones debe ser mayor que el de parámetros
i
i 0,cov ji X
iX
Supuestos Clásicos de los MICO
8. Variabilidad en los valores de X.– El modelo de MCO requiere que exista una
dispersión entre las X para poder calcular los valores de los coeficientes, pues si no, éstos serían una cantidad infinita.
– Ejemplo.
22ˆ
i
ii
x
yx
02 ix
XX i Si todos los valores de X son idénticos, entonces
Por lo cual
Y entonces,
Supuestos Clásicos de los MICO
9. El modelo de regresión está correctamente especificado– La forma de la FRM es igual a la FRP– El modelo posee las variables correctas: no se
incluyen variables irrelevante ni se excluyen relevantes.
– La forma funcional es la correcta
10. No hay multicolinealidad perfecta– No hay una relación perfectamente lineal entre las X