modelos de regresión lineal

Modelos de regresión linealInstructor: Favio Murillo García

Econometría

EconometríaModelos de regresión lineal

Referencias:• William Greene. Econometric Analysis. Ed.

Pearson (capítulo 2)• Jeffrey Wooldridge. Introductory Econometrics: A

Modern Approach. Ed. Thomson Learning (pp 22-40)

• Damodar Gujarati. Econometrics. Ed. McGraw-Hill (pp 38-84)

EconometríaModelos de regresión lineal

Objetivos de la sesión:• Identificar un modelo de regresión lineal.• Obtener los estimadores de un modelo de

regresión lineal simple con excel y con eviews.• Interpretar el signo de los coeficientes y el valor de

la bondad de ajuste.

Introducción

• El papel esencial de la econometría es la estimación y verificación de los modelos econométricos.

• Proceso:– Especificación del modelo en forma matemática.– Reunión de datos apropiados y relevantes de la

economía o sector que el modelo se propone describir.

– Con los datos se estima los parámetros del modelo– Realizar pruebas con el modelo para analizar si es

valido o si es necesario modificar la especificación.

Introducción

• Un modelo econométrico es una representación simplificada de la realidad, que recurre a un número limitado de conceptos formalizados.

Criticas

• Excesiva simplificación. • Supuestos poco realistas. Lo

importante no es lo realista o no de los supuestos, sino qué tan buena es la explicación y capacidad de predicción que el modelo tiene en la realidad.

• Datos. Para funcionar, el modelo requiere datos, que a veces son escasos.

Análisis de regresión

• El objetivo del análisis de regresión es modelar, estadísticamente, la contribución o impacto que una o más variables explicativas pudieran tener sobre alguna variable de interés.

La realidad bajo estudio

Metodología de análisis

a) Identificar las variables que pudieran estar relacionadas con nuestra variable de interés.

b) Proponer un modelo que capte la relación entre las variables.

c) Estimar los parámetros del modelo propuesto en función de la información muestral disponible.

d) Verificar la validez estadística del modelo construido y el cumplimiento de las propiedades de los errores.

e) Verificar que no existan variables redundantes o no significativas en el modelo.

Algunas aplicaciones

• Costo de Capital (CAPM, APT).• Tipo de cambio, tasas de interés,

inflación.• Relación entre el IPC e índices de

mercados financieros internacionales.• Modelación del Spread en función

volumen, tamaño de la empresa, sector industrial.

Algunas aplicaciones

• Interrelación entre variables económicas y financieras entre economías (Inflación en México vs. Inflación en Estados Unidos).

• Teoría de administración de portafolios (rendimiento esperado de un portafolio).

• Nivel de ventas, utilidades, etc.

Regresión Lineal Simpleyi = b0 + b1xi + ui

y = b0 + b1x + u • donde y es:

– Variable dependiente– Variable explicada– Regresando

• u es:– Residual– Término de error

• mientras que x es:– Variable independiente– Variable explicativa– Covariable– Variable de control– Regresor

b0 y b1: parámetros o coeficientes a estimar

Algunos supuestos

• El valor promedio de u, el término de error, en la población es = 0.

• Es decir, E(u) = 0

• Este supuesto no es muy restrictivo puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0

Media condicional = 0

• Hay un supuesto crucial sobre la relación entre el error y la variable explicativa:

cov(x, u)

• Queremos que la información contenida en x sea independiente de la información contenida en u (que no estén relacionados), de modo que:

E(u|x) = E(u) = 0, lo cual implica:

E(y|x) = b0 + b1x

17

Mínimos Cuadrados Ordinarios (MCO)

• La idea básica es estimar parámetros poblacionales a partir de una muestra.

• Sea {(xi,yi): i =1, …,n} una muestra aleatoria de tamaño n de una población.

• Para cada observación en la muestra, tenemos:

yi = b0 + b1xi + ui

.

..

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

u1

u2

u3

u4

x

y

Línea de regresión, observaciones y errores

E(y|x) = b0 + b1x

19

Estimador MCO / OLS: intercepto (β0)

• Tenemos:

xy

xy

10

bien o

10

ˆˆ

,ˆˆ

20

Estimador MCO / OLS: pendiente (β1)

0 : varianza tenga que veztoda

)var(

),cov(ˆ

1

2

1

2

11

n

ii

n

ii

n

iii

xxx

x

yx

xx

yyxx

El estimador MCO de b1

b1, es la covarianza muestral entre x y y, dividida entre la varianza muestral de x.

• Si x y y están correlacionados positivamente, b1 será positivo (pues la varianza del denominador siempre es positiva).

• Si x y y están correlacionados negativamente, b1 será negativo.

• Obviamente, requerimos que x tenga cierta varianza en la muestra.

24

MCO / OLS

• Intuitivamente, MCO ajusta una línea a través de los datos muéstrales, de modo que la suma de residuales al cuadrado (SSR) sea la mínima posible: de ahí el término “mínimos cuadrados”.

• El residual, û, es un estimado del término de error entre lo observado y lo predicho, es decir, la diferencia entre la línea de regresión (fitted line) y el dato observado.

25

.

..

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

û1

û2

û3

û4

x

y

Línea de regresión muestral, observaciones, y residuales

estimados

xy 10ˆˆˆ

26

Suma de cuadrados: Terminología

SSR SSE SST que implica cual Lo

SSR :cuadrados de Residual Suma la es ˆ

SSE :cuadrados de Explicada Suma la es ˆ

SST :cuadrados de Total Suma la es

:siguiente lodefinir podemos que modo De ˆˆ

:explicado no componenteun y co)(sistemáti explicado

componenteun en n observació cadaseparar Podemos

2

2

2

i

i

i

iii

u

yy

yy

uyy

27

Bondad de ajuste: R2

• ¿Cómo saber qué tan bueno es el ajuste entre la línea de regresión y los datos de la muestra?

• Podemos calcular la proporción de la suma de cuadrados totales (SST) que es “explicada” por el modelo.

• Esto es la llamada R-cuadrada de una regresión: R2 = SSE/SST = 1 – SSR/SST

Ejercicio

• La siguiente tabla presenta datos que se refieren al consumo de tazas de café por día y el precio al menudeo del café. En Estados Unidos de 1970 a 1980.

• Fuentes: Summary of National Coffee Drinking Study, 1981. Nielsen Food Index, 1981.

Año Tasas diarias por persona (Y)

Precio en dólares por libra (X)

1970 2.57 0.77

1971 2.5 0.74

1972 2.35 0.72

1973 2.3 0.73

1974 2.25 0.76

1975 2.2 0.75

1976 2.11 1.08

1977 1.94 1.81

1978 1.97 1.39

1979 2.06 1.2

1980 2.02 1.17

Contestea) ¿ Cómo es la relación existente entre estas dos

variables: directa o inversa ?

b) ¿ Qué tan ajustada es la correlación entre estas dos variables ?

c) Construya el siguiente modelo: 

d) Interprete intuitivamente el valor de los parámetros obtenidos

e) Estime las tasas diarias por persona si el precio es de 1.5 dólares por libra.

precioTCDP 10

Tarea

• Resolver el ejercicio 2.16• Revisar el ejemplo 7.2

(del texto de Gujarati)

32

Regresión Lineal Múltiple

yi = b0 + b1x1i + b2x2i + . . . bkxki + ui

33

Cálculo de estimadores

= (b Xt X)-1Xt Y

Sesgo y eficiencia de MCO

• Dos características deseables de cualquier estimador estadístico son:

• Insesgamiento (unbiasedness): que el parámetro estimado sea, en promedio, igual al “verdadero” parámetro poblacional.

• Eficiencia (efficiency): que la varianza del estimador sea mínima (ie, máxima precisión).

• Así, buscamos estimadores con sesgo mínimo y máxima eficiencia (ie, mínima varianza).

• MCO cuenta con ambas propiedades bajo ciertas condiciones: los supuestos Gauss-Markov.

35

Supuestos Gauss-Markov: Insesgamiento de MCO/OLS

1. El modelo poblacional es lineal en sus parámetros: y = b0 + b1x + u

2. Muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, representativa de la población, de modo que el modelo muestral es: yi = b0 + b1xi + ui

3. Media condicional cero: E(u|x) = 0 y por tanto E(ui|xi) = 0

4. Varianza(xi ) > 0

36

Demostración: SST = SSE + SSR

SSE SSR

0 ˆˆ que sabemos comoy

SSE ˆˆ2 SSR

ˆˆˆ2ˆ

ˆˆ

ˆˆSST

22

2

22

yyu

yyu

yyyyuu

yyu

yyyyyy

ii

ii

iiii

ii

iiii

1. El modelo de regresión es lineal en los parámetros2. Los valores de X son fijos en muestreo repetido3. El valor medio de es igual a cero. 4. Homocedasticidad o igual varianza de . 5. No autocorrelación entre los .6. La covarianza entre y Xi es cero. 7. El número de observaciones debe ser mayor que el

de parámetros8. Variabilidad en los valores de X.9. El modelo de regresión está correctamente

especificado10. No hay multicolinealidad perfecta

Supuestos Clásicos de los MICO

i 0/ ii X

i 2/var sX ii

i 0,cov ji

i

i 0,cov ji X

Supuestos Clásicos de los MICO

1. El modelo de regresión es lineal en los parámetros

2. Los valores de X son fijos en muestreo repetido– Supone que las variables X no son aleatorias– Es posible mantener fijo el valor de X, y repetir el

experimento, obteniendo en cada observación un valor de la variable distinto aleatoria Y.

– El análisis de regresión es un análisis de regresión condicional, es decir, condicionado a los valores dados de los regresores X.

Supuestos Clásicos de los MICO

3. El valor medio de es igual a cero. – Los residuos no son más que las desviaciones de

la muestra aleatoria con respecto a la FRP.– Los factores que no están incluidos en el modelo,

no afectan sistemáticamente el valor esperado de Y.

– Los valores positivos de se cancelan con los valores negativos, de tal manera que su efecto promedio sobre Y es cero.

–

i

i

XXYE 21/

Supuestos Clásicos de los MICO

4. Homocedasticidad o igual varianza de .

– La variación alrededor de la recta de regresión es la misma para los valores de X, es decir, las perturbaciones se distribuyen con igual dispersión respecto a la media.

– y dado el supuesto 2 es equivalente a 22

iii EEV

i

2/var sX ii

22 iE

Homocedasticidad

Heterocestadisticidad

Supuestos Clásicos de los MICO

5. No autocorrelación entre los .

- No existe tendencia de que los errores asociados a una observación estén relacionados a los errores de otra.

- Si en un momento de tiempo o en un individuo de la muestra se genera un error positivo, esto no nos da información alguna sobre si el próximo error será positivo o negativo.

- Los errores no tienen un patrón de comportamiento sistemático.

- Si y están correlacionados, Yt no sólo depende de Xt, sino también de .

t

i 0,cov ji

1ˆ t1ˆ t

Supuestos Clásicos de los MICO

Supuestos Clásicos de los MICO

Supuestos Clásicos de los MICO

6. La covarianza entre y Xi es cero.

– Si hay correlación, no es posible saber como afecta individualmente y a la variable Y i.

– Este supuesto se cumple inmediatamente si X no es una variable aleatoria (sino que es fija).

7. El número de observaciones debe ser mayor que el de parámetros

i

i 0,cov ji X

iX

Supuestos Clásicos de los MICO

8. Variabilidad en los valores de X.– El modelo de MCO requiere que exista una

dispersión entre las X para poder calcular los valores de los coeficientes, pues si no, éstos serían una cantidad infinita.

– Ejemplo.

22ˆ

i

ii

x

yx

02 ix

XX i Si todos los valores de X son idénticos, entonces

Por lo cual

Y entonces,

Supuestos Clásicos de los MICO

9. El modelo de regresión está correctamente especificado– La forma de la FRM es igual a la FRP– El modelo posee las variables correctas: no se

incluyen variables irrelevante ni se excluyen relevantes.

– La forma funcional es la correcta

10. No hay multicolinealidad perfecta– No hay una relación perfectamente lineal entre las X