REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
INGRESO
EXP
S
1
1
INGRESO = 1 + 2S + 3EXP + u
Esta presentación proporciona una interpretación geométrica de un modelo de regresión multiple con dos variables explicativas.
INGRESO
EXP
S
1
2
INGRESO = 1 + 2S + 3EXP + u
Especificamente, pondremos atención en una función del ingreso en la que el ingreso por hora, INGRESO, depende de los años de educación (el mayor grado alcanzado), S, y los años de experiencia laboral, EXP.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
INGRESO
EXP
S
1
3
INGRESO = 1 + 2S + 3EXP + u
El modelo tiene tres dimensiones, cada una correspondiente a INGRESO, S, y EXP. El punto inicial para averiguar la determinación del INGRESO es el intercepto, 1.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
INGRESO
EXP
S
1
4
Literalmente, el intercepto otorga un ingreso a aquellos entrevistados que no tienen educación, ni experiencia laboral. Sin embargo, no hubo entrevistados con menos de 6 años de educación. Por lo que una intepretación literal de 1 sería incorrecta.
INGRESO = 1 + 2S + 3EXP + u
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
5
INGRESO
EXP
El siguiente término del lado derecho de la ecuación proporciona el efecto de la variación en S. Un incremento de un año en S ocasiona un incremento de 2 dólares en el INGRESO, manteniendo EXP constante.
S
1
efecto puro de S 1 + 2S
INGRESO = 1 + 2S + 3EXP + u
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
Efecto puro de EXP
6
S
1
1 + 3EXP
INGRESO
EXP
INGRESO = 1 + 2S + 3EXP + u
De la misma manera, el tercer término proporciona el efecto de la variación en EXP. Un año de incremento en EXP produce un aumento de 3 dólares en el INGRESO, manteniendo S constante.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
pure EXP effect
pure S effect
7
S
1
1 + 3EXP
1 + 2S + 3EXP
INGRESO
EXP
1 + 2S
Efecto combinado de S y EXP
INGRESO = 1 + 2S + 3EXP + u
1 + 2S
Diferentes combinaciones de S y EXP producen un incremento en el valor de INGRESO, el cual se describe en el plano que se muestra en el diagrama, definido por la ecuación INGRESO = 1 + 2S + 3EXP. Este es el componente no-estocástico (no aleatorio) del modelo.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
pure EXP effect
pure S effect
8
S
1
1 + 3EXP
1 + 2S + 3EXP
1 + 2S + 3EXP + u
INGRESO
EXP
1 + 2S
Efecto combinado de S y EXP
u
INGRESO = 1 + 2S + 3EXP + u
1 + 2S
El elemento final del modelo es el término de error, u. Este término causa que el valor real de INGRESO se desvíe del plano. En esta observación, u tiene un valor positivo.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
pure EXP effect
pure S effect
9
S
1
1 + 3EXP
1 + 2S + 3EXP
1 + 2S + 3EXP + u
INGRESO
EXP
1 + 2S
Efecto combinado de S y EXP
u
INGRESO = 1 + 2S + 3EXP + u
1 + 2S
Una muestra consiste en un número de observaciones generadas de esta manera. Observe que la interpretación del modelo no depende de si S y EXP están correlacionadas o no.
pure EXP effect
pure S effect
10
S
1
1 + 3EXP
1 + 2S + 3EXP
1 + 2S + 3EXP + u
INGRESO
EXP
1 + 2S
efecto combinado de S y EXP
u
No obstante, sí asumimos que los efectos S y EXP en el INGRESO son aditivos. El impacto de una diferencia entre S e INGRESO no es afectada por el valor de EXP, o vice versa.
INGRESO = 1 + 2S + 3EXP + u
1 + 2S
iiii uXXY 33221
iii XbXbbY 33221ˆ
Los coeficientes de regresión se derivan utlizando el principio de mínimos cuadrados empleado en el análisis de regresión simple. El valor estimado de Y en la observación i depende de nuestra elección de b1, b2, y b3.
11
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
iiii uXXY 33221
iii XbXbbY 33221ˆ
iiiiii XbXbbYYYe 33221ˆ
El residual ei en la observación i es la diferencia entre los valores reales y los valores estimados de Y.
12
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
233221
2 )( iiii XbXbbYeRSS
Definimos RSS, la suma de los cuadrados de los residuales, y elegimos b1, b2, y b3 para minimizarlo.
13
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
233221
2 )( iiii XbXbbYeRSS
)2222
22(
323233122133
22123
23
22
22
21
2
iiiiii
iiiiii
XXbbXbbXbbYXb
YXbYbXbXbbY
iii
iiiii
iiii
XXbbXbb
XbbYXbYXb
YbXbXbnbY
3232331
2213322
123
23
22
22
21
2
22
222
2
01
bRSS
0
2
bRSS
0
3
bRSS
Primero expandimos la RSS como se muestra y después utilizamos las condiciones de primer orden para minimizarlo.
14
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
33221 XbXbYb
Como resultado, obtenemos tres ecuaciones con tres incógnita. Resolviendo para b1, b2, y b3, obtenemos la expresión que se muestra arriba. (La expresión para b3 es la misma que para b2, con los subíndices 2 y 3 intercambiados por todos lados)
15
23322 XXYYXX iii
23322
233
222
3322332
XXXXXXXX
XXXXYYXXb
iiii
iiii
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
33221 XbXbYb
16
23322 XXYYXX iii
23322
233
222
3322332
XXXXXXXX
XXXXYYXXb
iiii
iiii
La expresión para b1 es una extensión bastante directa de la expresión utilizada en el análisis de regresión simple.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
33221 XbXbYb
17
23322 XXYYXX iii
23322
233
222
3322332
XXXXXXXX
XXXXYYXXb
iiii
iiii
Sin embargo, la expresión de los coefiecientes de la pendiente son considerablemente más complejos que los coeficientes de la pendiente en el análisis de regresión simple.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
33221 XbXbYb
18
23322 XXYYXX iii
23322
233
222
3322332
XXXXXXXX
XXXXYYXXb
iiii
iiii
Para el caso general, cuando hay múltiples variables explicativas, el álgebra ordinaria es inadecuada. Es necesario usar algebra matricial.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540-------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010-------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91
------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213------------------------------------------------------------------------------
Este es el resultado de una regresión de la función del ingreso utilizando la base de datos 21.
19
EXPSINGSNEAR 56.068.249.26ˆ
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540-------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010-------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91
------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213------------------------------------------------------------------------------
20
EXPSINGSNEAR 56.068.249.26ˆ
La tabla indica que el ingreso aumenta $2.68 por cada año extra de educación y $0.56 por cada año extra de experiencia laboral.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540-------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010-------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91
------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213------------------------------------------------------------------------------
21
EXPSINGSNEAR 56.068.249.26ˆ
Literalmente, el intercepto indica que un individuo que no tenga educación o experiencia laboral tendrá un ingreso por hora de –$26.49.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540-------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010-------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91
------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213------------------------------------------------------------------------------
22
EXPSINGSNEAR 56.068.249.26ˆ
Obviamente, esto es imposible. El valor mínimo de S en la muestra era de 6. Obtuvimos una estimación que no tiene sentido debido a una inferencia que va más allá del rango de datos.
REGRESIÓN MULTIPLE CON DOS VARIABLES EXPLICATIVAS: EJEMPLO