![Page 1: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/1.jpg)
Processus Stochastiques
Jean-Yves Tourneret(1)
(1) Université of Toulouse, ENSEEIHT-IRIT-TéSA
Thème 1 : Analyse et Synthèse de l’Information
Cours Mastère, 2010 – p. 1/29
![Page 2: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/2.jpg)
Plan du cours
Chapitre 1 : Chaînes de Markov à états discrets
Chapitre 2 : Chaînes de Markov à états continus
Chapitre 3 : Méthodes de Simulation
Chapitre 4 : Suites Stationnaires
Stationnarité, Autocorrélation, Densité Spectrale dePuissance
Filtrage linéaire invariant dans le temps
Suites ARMA, AR et MA
Innovations, Théorème de Wold, Prédiction
Cours Mastère, 2010 – p. 2/29
![Page 3: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/3.jpg)
Bibliographie
Peter J. Brockwell and Richard A. Davis, Time Series:Theory and Methods, Springer Verlag, 2nd edition, 1998.
Athanasios Papoulis and S. Unnikrishna Pillai, Probability,Random Variable and Stochastic Processes, McGraw HillHigher Education, 4th edition, 2002.
B. Porat, Digital Processing of Random Signal. Theoryand Methods, Prentice Hall, Englewood Cliffs, 1994.
Bernard Lacaze, Processus aléatoires pourcommunications numériques, Hermes SciencesPublications, 2000.
Cours Mastère, 2010 – p. 3/29
![Page 4: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/4.jpg)
Stationnarité
Définition
E [xn] = µ
E[xnx∗
n−m
]= rx (m) , r(m)
Moyenne et fonction d’autocorrélation indépendantesdu temps.
ExemplesBruit blancEchantillonnage périodique d’un processus aléatoirestationnaire à temps continu
Cours Mastère, 2010 – p. 4/29
![Page 5: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/5.jpg)
Propriétés de la fonction d’autocorrélation
Symétrie hermitienne
r∗(−m) = r(m)
Valeur à l’origine|r (m)| ≤ r (0)
Suite définie non négative
n∑
j,k=1
aja∗kr(j − k) ≥ 0, ∀n, aj , ak
Cours Mastère, 2010 – p. 5/29
![Page 6: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/6.jpg)
Propriétés de la densité spectrale de puissance
Théorème d’Erglotzr (m) définie non négative si et ssi
r (m) =
∫ 1/2
−1/2e2iπmfdS(f)
où S(.) est une fonction continue à droite, non décroissante, bornée sur [−1/2, 1/2]
et telle que S(−1/2) = 0.
Densité spectrale de puissance s(f)
Si S(f) =∫ f−1/2 s(u)du, on a
r (m) =
∫ 1/2
−1/2e2iπmfs(f)df et s(f) =
∞∑
m=−∞
r (m) e−2iπmf
Preuve : voir polycopié ou livre de Brockwell and Davis.Cours Mastère, 2010 – p. 6/29
![Page 7: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/7.jpg)
Filtrage linéaire invariant dans le temps
Définition
xn =∞∑
k=−∞
hken−k = hn ∗ en
CNS de Stabilité BIBO
∞∑
k=−∞
|hk| < ∞
Transmittance
H(f) =
∞∑
k=−∞
hke−j2πkf = TFD [hk] , −
1
2≤ f ≤
1
2
Cours Mastère, 2010 – p. 7/29
![Page 8: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/8.jpg)
Relations de Wiener-Lee
Densité spectrale de puissance
sx (f) = se (f) |H (f)|2 avec H(f) =∞∑
k=−∞
hke−j2πkf
Intercorrélation
rxe (k) = E[xne∗n−k
]= h(k) ∗ re(k)
Formule des Interférences
ryz (k) = E[ynz∗n−k
]
=
∫ 1
2
− 1
2
H (f) G∗ (f) ej2πkfse (f) df
Cours Mastère, 2010 – p. 8/29
![Page 9: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/9.jpg)
Preuve
Autocorrélation
rx (k) = E
∑
i∈Z
hien−i
∑
j∈Z
h∗je
∗n−k−j
=∑
i∈Z
∑
j∈Z
hih∗jE[en−ie
∗n−k−j
]
=∑
i∈Z
∑
j∈Z
hih∗jre (k + j − i)
Cours Mastère, 2010 – p. 9/29
![Page 10: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/10.jpg)
Preuve
Densité Spectrale de Puissance
sx (f) =∑
k∈Z
rx (k) e−j2πkf
=∑
i∈Z
∑
k∈Z
hih∗k
{∑
l∈Z
re (l + k − i) e−j2πlf
}
=∑
i∈Z
∑
k∈Z
hih∗k
{∑
m∈Z
re (m) e−j2π(m+i−k)f
}
=∑
i∈Z
∑
k∈Z
hih∗kse (f) e−j2π(i−k)f
= se (f) |H (f)|2
Cours Mastère, 2010 – p. 10/29
![Page 11: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/11.jpg)
Preuve
Intercorrélation
rxe (k) = E
[(∞∑
l=−∞
hlen−l
)e∗n−k
]
=∞∑
l=−∞
hlE[en−le
∗n−k
]
=∞∑
l=−∞
hlre(k − l)
= h(k) ∗ re(k)
Cours Mastère, 2010 – p. 11/29
![Page 12: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/12.jpg)
Retour sur les chaînes de Markov
Le spectre d’une chaîne de Markov est une fractionrationnelle en e−2iπf . En effet, pour k ≥ 0, on a
r(k) = E [xnxn+k]
=∑
a,b
abP [xn = a, xn+k = b]
=∑
a,b
abP [xn+k = b|xn = a] P [xn = a]
=∑
a,b
(aP [xn = a]) bp(k)ab = [...]P k[
...]
=l∑
i=1
aiλ|k|i
Cours Mastère, 2010 – p. 12/29
![Page 13: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/13.jpg)
Exemple
Chaîne de Markov stationnaire de matrice de transition
P =
1/3 2/3 0
1/3 0 2/3
2/3 0 1/3
associée à trois états {0, 1,−1} de probabilités initialeségales aux probabilités limites
[37 , 2
7 , 27
].
Cours Mastère, 2010 – p. 13/29
![Page 14: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/14.jpg)
Suite ARMA
Définition
p∑
k=0
akxn−k =
q∑
k=0
bken−k
où ak et bk, k = 0, ..., n sont des nombres réels et où en
est un bruit blanc (E(en) = 0 et E(e2n) = σ2
e ).
Remarquesa0 = b0 = 1
Suites AR et MAOn suppose que B(z) et A(z) n’ont pas de zéroscommuns, ou alors on simplifie.Approximation du spectre d’une suite stationnaire
Cours Mastère, 2010 – p. 14/29
![Page 15: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/15.jpg)
Densité spectrale de puissance
Transmittance
H(z) =X(z)
E(z)=
∑qk=0 bkz
−k
∑pk=0 akz−k
Wiener-Lee
sx(f) = σ2e
∣∣∣∣∣
∑qk=0 bke
−j2πkf
∑pk=0 ake−j2πkf
∣∣∣∣∣
2
La densité spectrale de puissance d’une suite ARMAest une fraction rationnelle en e−j2πf .
Cours Mastère, 2010 – p. 15/29
![Page 16: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/16.jpg)
La solution
Expression de xn en fonction de en
AR(1)xn = axn−1 + en avec |a| < 1
AR(1)xn = axn−1 + en avec |a| > 1
Cas généralOn montre qu’il existe une solution stationnaireinversible, i.e., x(n) =
∑∞k=0 hke(n − k) si et ssi H(z)
a tous ses pôles à l’intérieur du cercle unité.Lorsqu’il n’y a pas de pôle sur le cercle unité, ilexiste une solution stationnaire de la forme
x(n) =∞∑
k=−∞
hke(n − k)Cours Mastère, 2010 – p. 16/29
![Page 17: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/17.jpg)
Autocorrélations dans le cas causal
Équations de Yule-Walker
p∑
k=0
akr (i − k) =
q∑
k=0
bkE [xn−ien−k] ,
avec xn =∑∞
j=0 hjen−j.
i ≥ q + 1p∑
k=0
akr (i − k) = 0 ⇔ r(i) =
p∑
k=1
akr (i − k)
i ∈ {0, ..., q}
r(i) =
p∑
k=1
akr (i − k) + σ2e
q∑
k=i
bkhk−i
Cours Mastère, 2010 – p. 17/29
![Page 18: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/18.jpg)
Autocorrélations d’une suite AR causale
i ≥ 1
r(i) =
p∑
k=1
akr (i − k)
i = 0
r(0) =
p∑
k=1
akr (−k) + σ2e
=
p∑
k=1
akr (k) + σ2e
Cours Mastère, 2010 – p. 18/29
![Page 19: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/19.jpg)
Autocorrélations d’une suite MA causale
i ≥ q + 1
r(i) = 0
i ∈ {0, ..., q}
r(i) = σ2e
q∑
k=i
bkbk−i = σ2e (b0bi + b1bi+1 + ... + bq−ibq)
On notera en particulier que r(q + 1) = 0 et que
r(q) = b0bq = bq 6= 0
Ces deux dernières relations seront pratiques pourdéterminer l’ordre du modèle MA.
Cours Mastère, 2010 – p. 19/29
![Page 20: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/20.jpg)
Résumé Suites Stationnaires
Autocorrélation-Densité spectrale
r (m) =
∫ 1/2
−1/2e2iπmfs(f)df et s(f) =
∞∑
m=−∞
r (m) e−2iπmf
Filtrage LinéaireRelation entrée-sortie X(f) = H(f)E(f)
DSP sortie sx(f) = se(f)|H(f)|2
Intercorrélation rxe(k) = h(k) ∗ re(k)
Autocorrélations d’une chaîne de Markov
r(k) =l∑
i=1
aiλ|k|i
Cours Mastère, 2010 – p. 20/29
![Page 21: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/21.jpg)
Résumé Suites ARMA
Définitionp∑
k=0
akxn−k =
q∑
k=0
bken−k
Transmittance
H(z) =B(z)
A(z)
Densité spectrale de puissance
sx(f) = σ2e
∣∣∣∣∣
∑qk=0 bke
−j2πkf
∑pk=0 ake−j2πkf
∣∣∣∣∣
2
Cours Mastère, 2010 – p. 21/29
![Page 22: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/22.jpg)
Résumé Suites ARMA
Solutionpôles à l’intérieur du cercle unité ⇔ solutionstationnaire causalepôles à l’extérieur du cercle unité ⇔ solutionstationnaire anti causale
Autocorrélations dans le cas causalpeuvent se déterminer à l’aide des équations deYule-Walkerpermettent d’estimer les paramètres de la suiteARMA
Cours Mastère, 2010 – p. 22/29
![Page 23: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/23.jpg)
Innovations d’une suite stationnaire (E[xt] = 0)
DéfinitionHn le sous espace engendré par {xt,t ≤ n} (le passé etle présent de xn). L’ innovation de xn est définie par
un = xn − PHn−1(xn) = xn − x̂n.
Propriétésun ∈ Hn
La suite des innovations {un, n ∈ Z} est constituéede variables aléatoires non-corrélées (orthogonales)la suite {un, n ∈ Z} est une suite stationnaire demoyenne nulle et de variance finie
Cours Mastère, 2010 – p. 23/29
![Page 24: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/24.jpg)
Suites déterministes et régulières
Suites déterministes
σ2 = E[|xn − x̂n|
2]
= 0 ⇒ un = 0 p.s.
Suite parfaitement prédictible à partir de son passé
xn = x̂n = −∞∑
k=1
αkxn−k
Ex. : xn = A cos(2πf0n + θ) = 2 cos(2πf0)xn−1 − xn−2.
Suites régulières
σ2 = E[|xn − x̂n|
2]6= 0.
Normalisation : E[u2(n)] = 1, Exemple : suite ARMA.Cours Mastère, 2010 – p. 24/29
![Page 25: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/25.jpg)
Décomposition de Wold
Toute suite stationnaire de moyenne nulle s’écrit
xn = yn + vn =∞∑
s=0
βsun−s + vn, où
(a) un et vn sont des suites décorrélées
E [vmun] = 0, ∀n,m
(b) un est l’innovation appartenant à Hn
(c) vn est une variable aléatoire appartenant à H−∞,
(d) vn est une suite déterministe
(e) yn est une suite régulière
Cours Mastère, 2010 – p. 25/29
![Page 26: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/26.jpg)
Cas particuliers
Suites déterministes (xn = vn)xn = α ⇒ x̂n = E [xn| xn−1, xn−2, ...] = α = xn, i.e.,un = 0.xn = A cos (2πf0n + θ) = 2 cos (2πf0) xn−1 − xn−2, i.e.,un = 0.
Bruit blanc
x̂n = E [xn| xn−1, xn−2, ...] = E [xn] = 0 ⇒ un = xn−x̂n = xn
Cours Mastère, 2010 – p. 26/29
![Page 27: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/27.jpg)
Décomposition de Wold d’une suite ARMA
Résultat fondamental
xn =
∞∑
s=0
βsun−s
i.e., filtrage causal des innovations (donc les pôles deβ(z) sont tous à l’intérieur du cercle unité).
InversibilitéSi les pôles et zéros de β(z) ne sont pas sur le cercleunité, alors
un =∞∑
s=0
αsxn−s
avec pôles de α(z) (zéros de β(z)) à l’intérieur du cercleunité.
Cours Mastère, 2010 – p. 27/29
![Page 28: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/28.jpg)
Exemples de décompositions de Wold
Suites AR(1)xn = axn−1 + en avec |a| < 1
xn = axn−1 + en avec |a| > 1
Suites MA(1)xn = en − aen−1 avec |a| < 1
xn = en − aen−1 avec |a| > 1
Cours Mastère, 2010 – p. 28/29
![Page 29: Processus Stochastiques - ENSEEIHTtourneret.perso.enseeiht.fr/StochasticProcesses/slides_ARMA.pdf · Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, Springer](https://reader034.vdocuments.pub/reader034/viewer/2022050515/5f9f101435286279882d50f9/html5/thumbnails/29.jpg)
Prédiction
On observe une suite stationnaire aux instants t ≤ 0 et oncherche à estimer xn avec n > 0 à l’aide du meilleurestimateur linéaire à partir des éléments {x0, x−1, ...}. Lasolution de ce problème est immédiate dans le cas oùvn = 0 dans la décomposition de Wold (e.g., suites ARMA).En effet, à partir de
xn =
∞∑
s=0
βsun−s
puisque les innovations sont orthogonales, on a
x̃n = PH0(xn) =
∞∑
s=n
βsun−s.
Erreur de prédiction : σ2n = E
[|xn − x̃n|
2]
=∑n−1
s=0 β2s .
Cours Mastère, 2010 – p. 29/29