Le modèle de regression simple
Le modèle de regression simple
Ahmed Tritah, Université du Maine
Septembre 2017
Le modèle de regression simple
Le modèle de regression simple
Définition
Le modèle de régression simpleI Relation entre une variable indépendante(exogène/explicative) x et une variable dépendante(andogène/expliquée) y issus d’une même population.
I On veut expliquer la variation de y par la variation de x
I Plusieurs questions :I le traitement des autres facteurs qui affectent yI le choix de la forme fonctionelleI la relation entre y et x est-elle évaluée toute chose égale parailleurs?
I Modèle de régression linéaire simple :
y = β0 + β1x + u (RLS)
I u appelé terme d’erreur, représente les variables non observées.
Le modèle de regression simple
Le modèle de regression simple
Définition
Le modèle de régression simpleI L’équation (RLS) postule une relation linéaire entre x et yI Sous l’hypothèse que tous les autres facteurs sont maintenusconstant (∆u = 0), alors :
∆y = β1∆x (1)
I β1 est la pente de la relation entre y et x , β0 dénote la valeurde y lorsque x = 0.
I Exemple avec une équation de salaire :
salaire = β0 + β1educ + u (2)
I β1 mesure le supplément de salaire associé a une année d’étudesupplémentaire. Les autres facteurs (expérience, aptitudes,ancienneté, origine sociale, etc.) étant supposés constants.
Le modèle de regression simple
Le modèle de regression simple
Définition
I L’équation (RLS) représente-t-elle une relation causale?I Il faut pour cela faire des hypothèses sur la relation entre lavariable aléatoire x et la variable aléatoire y .
I Dans tous les cas on peut normaliser β0 de sorte que :
E (u) = 0 (3)
I Hypothèse centrale :
E (u|x) = 0 Moyenne conditionelle des erreurs nulle(MCNE)
L’épérance des erreurs sachant x est nulle.
I Ex. : E (aptitude|educ = 8) = E (aptitude|educ = 16) = 0=⇒ Faux si les individus aux aptitudes plus élevés étudientplus longtemps.
Le modèle de regression simple
Le modèle de regression simple
Définition
I L’hypothèse (MCNE) suggère une autre interprétation de β1,
E (y |x) = β0 + β1x + E (u|x) = β0 + β1x (4)
I E (y |x) est la Fonction d’Espérance Conditionnelle apelléeencore Fonction de Régression sur la Population (FRP).
I Cette fonction est linéaire en x .I Elle implique que pour toute valeur donnée de x , ladistribution de y est centrée autour de E (y |x).
Le modèle de regression simple
Le modèle de regression simple
Définition
Le modèle de regression simple
Le modèle de regression simple
Définition
Dérivation de l’estimateur des MCO
I On considére un échantillon aléatoire de la population de taillen : {(xi , yi ) : i = 1, ..., n}
I Ces données sont générées par la relation RLS, on peut doncécrire pout tout i: yi = β0 + β1xi + ui
I ui dénote le terme d’erreur pour l’observation i .I Pour obtenir une estimation de β0 et β1 sur cet échantillon onutilise les restrictions imposées par (3) et (MCNE)
E (u) = 0 (5)
etCov(x , u) = E (xu) = 0 (6)
Le modèle de regression simple
Le modèle de regression simple
Définition
I Les conditions (5) et (6) impliquent
E (y − β0 − β1x) = 0 et, (7)
E [x(y − β0 − β1x)] = 0 (8)
Soit l’équivalent sur l’échantillon :
n−1n
∑i=1(yi − β0 + β1xi ) = 0 et, (FOC1)
n−1n
∑i=1xi (yi − β0 + β1xi ) = 0 (FOC2)
=⇒ Il s’agit de l’approche par la méthode des moments
Le modèle de regression simple
Le modèle de regression simple
Définition
I Résolution : 2 équations (restrictions) à 2 inconnues (β0 etβ1)
β0 = y − β1x et, (9)
β1 =
n∑i=1(xi − x)(yi − y)n∑i=1(xi − x)2
≡ cov(x , y)var(x)
(10)
Le modèle de regression simple
Le modèle de regression simple
Définition
I Les moindres carré ordinaires : soit yi la valeur estimée, et uile résidu d’estimation :
ui = yi − yi = yi − β0 − β1xi (11)
Attention : ui est différent du terme d’erreur dans (RLS)I On montre que β0 et β1 minimisent la somme des carrés desrésidus (Exo):
n
∑i=1u2i =
n
∑i=1
(yi − β0 − β1xi
)2(12)
I L’estimation de β0 et β1 donne la droite des MCO :
y = β0 + β1x (FRE)
Il s’agit de la fonction de régression sur l’échantillon(FRE) ⇔ version estimée de FRP E (Y |x) = β0 + β1x .
Le modèle de regression simple
Le modèle de regression simple
Quelques exemples
Salaire des dirigeants et rendement des actifsI Soit y le salaire annuel d’un dirigeant d’une entreprise côtéeen bourse et x le rendement de l’action (en %, dénotée roe) .
I On postule le modèle de regression simple suivant :
salaire = β0 + β1roe + u (13)
Notre prédiction en tant qu’économiste est que β1 > 0I Données sur 209 dirigeants d’entreprise, la droite de regressionestimée par les MCO est :
salaire = 963, 191+ 18, 501roe (14)
I La variation prédite de salaire en fonction de la variation desrendements est : ∆salaire = 18.501(∆roe).
I si roe augmente de 1%, le salaire augmente de 18500 €.
Le modèle de regression simple
Le modèle de regression simple
Quelques exemples
Salaire des dirigeants et rendement des actifs : droiteestimée et droite théorique
010
0020
0030
0040
00
0 20 40 60return on equity, 8890 avg
1990 salary, thousands $ Fitted values
Le modèle de regression simple
Le modèle de regression simple
Quelques exemples
Salaire et niveau d’étude
I Soit y le salaire horaire d’un travailleur et x son nombred’années d’étude.
I L’échantillon (n = 526), donne la droite des MCO suivante :
salaire = −0, 90+ 0, 54educ . (15)
I Interprétation de la constante?I Interprétation de la pente?I Gains de salaire d’un passage de 8 à 12 année d’étude :
(16)
I L’hypothèse de linéarité génère un gain élevé à étudier.I Peut-être judicieux de considérer les non linéarités.
Le modèle de regression simple
Le modèle de regression simple
Quelques exemples
Salaire et niveau d’étude0
510
1520
25
0 5 10 15 20years of education
average hourly earnings Fitted values
Le modèle de regression simple
Le modèle de regression simple
Quelques exemples
Dépenses de campagne et résultats aux élections.I Des dépenses de campagnes plus élevées que ses concurentsaugmentent-elles la probabilité de remporter les élections?
I Deux parties en lisse A et BI Soit voteA la part des suffrages obtenus par A et shareA lapart de A dans les dépenses totales
I n = 173, l’équation estimée par MCO est :
voteA = 26, 81+ 0, 464shareA. (17)
I Interprétation de la constante?I Interprétation de la pente?I Cela représente—t-il une relation causale?I Quels sont les suffrages prédits pour le candidat A si shareA =6?
Le modèle de regression simple
Propriétées des MCO vérifiées quel que soit l’échantillon
Valeures prédites et résidusI Par définition toutes les valeures prédites sont sur la droite deregression
I Le résidu pour l’observation i est la différence entre la valeurprédite et celle obervée : ui = yi − yi
I Exemple : salaire des dirigeants et rendement des actifs
Table: Dirigeants d’entreprise et rendement des actifs
obsno roe salaire salairehat uhat1 14,1 1095 1224,058 129,05812 10,9 1001 1164,854 163,85423 23,5 1122 1397,969 275,96924 5,9 578 1072,348 494,34845 13,8 1368 1218,508 149,49236 16,4 1078 1266,611 188,61087 16,3 1094 1264,761 170,76068 10,5 1237 1157,454 79,54626
Le modèle de regression simple
Propriétées des MCO vérifiées quel que soit l’échantillon
Propriétés algébriques des statistiques des MCO I
I La somme (et donc la moyenne) des résidus est nulle
n
∑i=1ui = 0
⇐⇒ condition du premier ordre FOC1 des MCOI La covariance empirique entre la variable explicative et lerésidu des MCO est nulle
n
∑i=1xi ui = 0 (18)
⇐⇒ condition du premier ordre FOC2 des MCO
Le modèle de regression simple
Propriétées des MCO vérifiées quel que soit l’échantillon
Propriétés algébriques des statistiques des MCO III (x , y) est toujours sur la droite de regression (cf Eq. (9))I Les MCO décomposent yi en 2 parties : prédiction + résidu
yi = yi + ui (19)
I la moyenne des résidus est égale à zero ⇔ ˆy = y
I Cov(yi , ui ) = 0
I Variation empirique de yi : SST =n∑i=1(yi − yi )2
I On montre que :
SCT = SCE + SCR (20)
⇔ variation totale = var . expliquee + var . r esiduelle
avec SCE ≡n∑i=1(yi − y)2 et SCR ≡
n∑i=1u2i (preuve en exo)
Le modèle de regression simple
Propriétées des MCO vérifiées quel que soit l’échantillon
Qualité de l’ajustement
I La droite de regression est-elle bien ajustée aux données?I Réponse : coeffi cient de détermination (ou R2)
R2 ≡ SSE/SST = 1− SSR/SST (21)
I R2 ⇐⇒ fraction de la variation empirique de y expliquée par xI R2 ⇐⇒ carré de la corrélation empirique entre yi et yi (exo)
I R2 n’indique rien de la relation de causalité entre x et y
Le modèle de regression simple
Unité de mesure et forme fonctionelle
Effets d’un changement d’unité de mesure sur lesstatistiques des MCO
I Si la variable dépendante est multipliée par une constante,alors la pente et l’ordonnée à l’origine de la regression simplesont multipliés par cette constante (exo)
I Considérez l’exemple du salaires des dirigeants en fonction durendement des actifs :
salaire = 963.191+ 18.501roe
n = 209, R2 = 0.0132
I Soit la variable roedec = roe/100I Quelle sera la valeur des paramètres de la régression de salairesur roedec?
I Quelle sera la valeur du R2?
Le modèle de regression simple
Unité de mesure et forme fonctionelle
Incorporer des non-linéarités
I Parfois la variable dépendante est sous forme logarithmiqueI Eq (15) =⇒ une année supplémentaire d’étude augmente lessalaires de 54 centimes: quel que soit le niveau initial.
I Plus cohérent que le gain varie en fonction du salaire initial.Pour cela on exprime le salaire en log:
log(salaire) = β0 + β1educ + u, et si ∆u = 0⇒ (22)
%∆salaire ≈ (100.β1)∆educ
I Ici le gain en valeur absolu est plus élevé pour les individusavec des salaires élevés.
I (22) implique des rendements de l’éducation croissants (exo)I Pour estimer (22), on transforme y de sorte que y = log(y).
Le modèle de regression simple
Unité de mesure et forme fonctionelle
Incorporer des non-linéarités I: exemple
I En utilisant les données sur les salaires on obtient :
log(salaire) = 0.584+ 0.083educ (23)
n = 526, R2 = 0.186 (24)
I Interprétez ces résultats...(exo)I Cette équation ne capte pas necessairement toutes les nonlinéarités (Ex. effets de pallier liés au diplôme).
Le modèle de regression simple
Unité de mesure et forme fonctionelle
Incorporer des non-linéarités II: exempleI La théorie peut suggérer une relation non-linéaire entre x et yI Exemple : taux de croissance linéaire ⇔ tendance lineaireCroissance exponentielle (population, revenus financiers) :y = A exp(rt)
log y = logA+ rt ⇔ y ∗ = A∗ + rt (25)
⇒transormation en log de la variable dépendante :r = ∂ log y/∂t
I La transformation log-log spécifie une relation à elasticitéconstante de type Cobb-Douglas
y = Axα ⇔ y ∗ = A∗ + αx∗ où (26)
y ∗ = log y , A∗ = logA et x∗ = log x
Elasticité de y à x : ηy ,x = ∂ log y/∂ log yI Formes polynomiales : y = a+ bx + cx2
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Les MCO sont sans biais II Hypothèse RLS1 (linéarité dans les paramètres)
y = β0 + β1x + u (27)
I Hypothèse RLS2 (échantillonnage aléatoire)Echantillon aléatoire de taille n, {(xi , yi ) : i = 1, ..., n}correspondant au modèle (27). On peut écrire l’équivalent de(27) pour un échantillon aléatoire :
yi = β0 + β1xi + ui (28)
Attention : ui terme d’erreur 6= du résidu ui(28) peut être représentée graphiquement pour un échantillondonné.
I Hypothèse RLS3 (x varie sur l’échantillon)La variable x , {xi , i = 1, ..., n} varie sur l’échantillon.
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Les MCO sont sans biais II
I Hypothèse RLS4 (éspérance conditionelle des erreurs nulle)
E (u/x) = 0 (29)
Pour un échantillon aléatoire, cette hypothèse impliqueE (ui |xi ) = 0, ∀i = 1, ..., n.Cette condition permet de dériver toutes les caractéristiquesstatistiques des MCO conditionnelle aux valeurs de xi dansnotre échantillon.Cela revient à considérer xi comme fixe sur des échantillonsrépétés.
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Les MCO sont sans biais IIII RLS1-RLS4 permettent de démontrer que l’estimateur desMCO est sans biais
I On réécrit l’estimateur des OLS comme (exo):
β1 =
n∑i=1(xi − x)yi
n∑i=1(xi − x)2
(30)
β1 est ici une variable aléatoire : conditionnelle à unéchantillon.
I Aprés développement on montre que (exo) :
β1 = β1 +
n∑i=1(xi − x)ui
SSTx= β1 + (1/SSTx )
n
∑i=1diui , (31)
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Les MCO sont sans biais IVI β1 = paramètre de la population + terme qui est unecombinaison linéaire des ui .
I Etant donné un échantillon, le caractére aléatoire de uiprovient des erreurs dans l’échantillon.
I Si, conditionnelle aux xi , l’éspérance des erreurs n’est égales àzéro : E (β1) 6= β.
I La représentation (31) permet de démontrer la principalepropriété des MCO :
Theorem (L’estimateur des MCO est sans biais.)
Sous les hypothèses SLR1-SLR4 :
E (β1) = β1 et E (β0) = β0 (32)
Démonstration. exo
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Quelques remarquesI Le caractère non biaisé dépend de la distribution de β0 et β1sur les échantillons
I Estimateurs non biaisés seulement si l’échantillon est"représentatif" de la population de départ.
I L’estimateur sera biaisé dés lors qu’une des 4 hypothèsesRLS1-RLS4 n’est vérifiée.
I Parfois sur-échantillon de certaines populations, problèmes desélectivité
I Pour le moment on se concentre sur l’hypothèse RLS4.I La corrélation entre x et u est fréquente dans le modèle RLSavec données non-expériementales.
I On obtient une corrélation naïve si dans le modèle RLS lavariable u inclu des facteurs qui affectent y et qui sontcorrélés avec x : la corrélation entre x et y est dûe aux autresfacteurs qui affectent y et qui sont corrélés avec x .
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Exemple : performance des élèves et aide alimentaireI Effet de la gratuité du déjeuner sur les résultats enmathématiques des élèves
I On s’attend à un effet positifI Soit math10, le % d’étudiants ayant obtenues de bonsrésultats au test et lnchprg le % d’éléves élibles aux aides(bourses) dans les écoles. Le modèle RLS postule :
math10 = β0 + β1lnchprg + u (33)
u contient les caractéristiques des étudiants et de l’école quiaffectent les performances d’une école.
I Echantillon de 408 lycées en 1992-1993, on obtient :
math10 = 32, 4− 0, 319lnchprg (34)
n = 408, R2 = 0, 171 (35)
I Interprétez ces résultats. (exo)
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Variance de l’estimateur MCOI Quelle est la précision de l’estimateur β1?I Pour la calculer on rajoute l’hypothèse :Hypothèse RLS5 (Homosédasticité)Quel que soit x , le terme d’erreur à une variance constante:
Var(u|x) = σ2 (36)
I RLS1-RLS4 necessaires pour avoir un estimateur sans biais.I RLS5 assure certaines propriétés d’effi cacité de l’estimateur.I RLS4⇒ Var(u|x) = E (u2) = Var(u) : σ2 est alors lavariance inconditionnelle de u.
I Il est utile de réécrire RLS4 et RLS5 comme :
E (y |x) = β0 + β1x et Var(y |x) = σ2 (37)
I Si Var(u|x) dépend de x ⇒hétérosédacticité et Var(y |x)dépend alors de x .
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Exemple : hétérosédasticité dans une équation de salaire
I Pour obtenir un estimateur sans biais des rendements del’éducation on doit supposer
E (u|educ) = 0⇒ E (salaire|educ) = β0 + β1educ
I Si on suppose que les erreurs sont homosédastique alors :
Var(u|educ) ≡ Var(salaire|educ) = σ2
I Le salaire augmente avec le niveau d’éducation mais avec unevariabilité autour de sa moyenne constante quelque soit leniveau d’éducation.
I Que pensez vous de cette hypothèse?
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
I L’hypothèse d’hétérosédasticité permet de démontrer lethéorème suivant :
Theorem (Variance empirique de l’estimateur MCO)
Sous les hypothèses RLS1-RLS5 et étant donnée l’échantillon{x1, ..., xn},
Var(β1) =σ2
n∑i=1(xi − x)2
=σ2
SSTx, (38)
et
Var(β0) =σ2
n∑i=1x2i
nn∑i=1(xi − x)2
, (39)
Démonstration. exo (suggestion : utiliser l’expression (31))
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Quelques remarques
I hétérosédasticité ⇒ (38) et (39) invalidesI (38) et (39) importantes pour estimer des intervalles deconfiance et tester des hypothèses.
I β1 estimé avec d’autant plus de précision que la variance deserreurs est faible et que la dispersion de la variables explicativeest élevée.
I Sur un échantillon de plus grande taille la précision sera plusélevée
I Les intervalles de confiances utilisent l’écartype de β1 et β0,sd(β1) et sd(β0), obtenu en prenant la racine carré del’expression de la variance dans (38) et (39)
I Question : montrez que l’estimation de β0 sera la plus précisesi x = 0. quel est dans ce cas Var(β0)?
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Estimation de la variance des erreursI (38) et (39) ne peuvent étre déterminés car σ2 est inconnu.I C’est là qu’intervient la différence entre les erreurs (jamaisobservés) et les résidus (estimés).
I A partir de (19) et (28), la relation entre les deux s’écrit :
ui = ui − (β0 − β0)− (β1 − β1)xi (40)
En éspérance la différence entre ui et ui est égale à zéro, maispour chaque observation ui 6= ui .
I Puisque σ2 = E (u2) un estimateur sans biais de σ2 serait
n−1n∑i=1u2i . Cet estimateur ne peut pas être calculé car ui est
inconnu.I On doit donc se servir d’un estimateur de ui qui est le résidudes MCO ui .
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
I Un estimateur sans biais doit satisfaire :
n
∑i=1ui = 0 et
n
∑i=1xi ui = 0 (restrictions des MCO)
I Pour un échantillon de taille n, les résidus ont donc n− 2degrés de liberté contre n pour les erreurs ui .
I L’estimateur sans biais de σ2 est donc :
σ2 =1
n− 2n
∑i=1u2i = SSR/(n− 2) (41)
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
Theorem (L’estimateur sans biais de σ2)Sous les hypothèses RLS1-RLS5
E (σ2) = σ2. (42)
Démonstration. exo (suggestion : utiliser l’expression (40))I Un estimateur sans biais de Var(β0) et Var(β1) est obtenu enremplacant σ2 par σ2 dans (38) et (39).
I L’estimateur de l’écartype de β1 et β0 fait appel à :
σ =√
σ2 (ecartype de la regression)
I σ est un estimateur de l’écartype des non-observables quiaffectent y . Un estimateur de l’écartype de β1 est :
se(β1) = σ/√SSTx (erreur-type de β1)
Rq : σ et donc se(β1) sont des VA. se(β1) necessaire pour lestests et le calcul des intervalles de confiance
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
RésuméI Introduction et propriétés du modèle RLSI A partir d’un échantillon aléatoire utilisation des MCO pourestimer des paramètres sur la population.
I Calculs des valeurs prédites, des résidus et effet d’une variationde la variable indépendante sur la variable dépendante.
I Importance des unités de mesure et de la forme fonctionnelle(modèles à élasticité ou semi-élasticité constante).
I Sous les hypothèses RLS1-RLS4 estimateur des MCO sansbiais : l’hypothèse clé est que le terme d’erreur u a unemoyenne nulle étant donné x .
I Hypothèse souvent trop réstrictive : les facteurs contenusdans u sont corrélés avec x .
I Variance des erreurs étant donné x est constante : utile pourcalculer la variance des estimateurs.
I On a dérivé un estimateur sans biais de σ2 = Var(u)
Le modèle de regression simple
Propriétés statistiques de l’estimateur des MCO
La suite
I Comment tester des hypothèses concernant les paramètres?I Comment procéder à des inférences sur notre population?I Les MCO sont-ils effi caces par rapport à d’autres procéduresd’estimation?
I Ces questions (tests, intervalles de confiance et effi cacité) seposent aussi dans le cas de la regression multiple.
I La regression simple permet de présenter et de s’initier defaçon simple aux problèmes essentiels en économétrie.
I Répondez à l’ensemble des "exo" contenus dans ce chapitre.I Abordons maintenant le cas de la regression multiple.