zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · centrale limietstelling als...
TRANSCRIPT
Zeldzame en extreme gebeurtenissen
Ruud H. Koning
19 March 2009
Outline
1 Extreme gebeurtenissen
2 Limietstellingen
3 Staarten
4 Het maximum
5 Kwantielen
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 2 / 37
Extreme gebeurtenissen
Vijf grootste rampen (verzekerd kapitaal)
1 Orkaan Katrina (2005).2 Orkaan Andrew (1992)3 11 sep 2001 (WTC).4 Northridge aardbeving (1994).5 Orkaan Ike (2008).
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 3 / 37
Extreme gebeurtenissen
Vijf grootste rampen (verzekerd kapitaal)
datum
verli
es (U
$ 10
e6)
0
20000
40000
60000
1980 1985 1990 1995 2000 2005 2010
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 4 / 37
Extreme gebeurtenissen
Vijf grootste rampen (verzekerd kapitaal)
verlies (U$ 10e6)
slach
toffe
rs
0
2000
4000
6000
0 20000 40000 60000
●
●
●
●●●●●●●●●●●●●●●
●
●
●
●●●●●●
●
●●●●●●●●●●
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 5 / 37
Extreme gebeurtenissen
Vijf grootste rampen (mensenlevens)
1 Overstromingen Bangladesh (1970) (300000).2 Aardbeving China (1976) (255000).3 Tsunami Indonesia, Thailand (2004) (220000).4 Cycloon Nargis Myanmar (2008) (138000).5 Cycloon Gorky Bangladesh (1991) (138000).
(Gegevens uit Sigma (2009-2), Swiss Re)
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 6 / 37
Extreme gebeurtenissen
Aandelen: S&P500
datum
SP500
0
500
1000
1500
1950 1960 1970 1980 1990 2000 2010
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 7 / 37
Extreme gebeurtenissen
Aandelen: S&P500
datum
dag
retu
rn S
P500
−0.2
−0.1
0.0
0.1
1950 1960 1970 1980 1990 2000 2010
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 8 / 37
Extreme gebeurtenissen
Aandelen: S&P500
datum
dag
retu
rn S
P500
−0.2
−0.1
0.0
0.1
1980 1985 1990 1995 2000 2005 2010
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 9 / 37
Extreme gebeurtenissen
Wiskunde, statistiek en extremen
Waarnemingen zijn uitkomsten van een (vaak impliciet)kansexperiment.
Weinig empirische informatie (gelukkig maar!).
Extrapoleer vanuit waarnemingen, gebaseerd op theorie.
Vandaag: maximum en hoog kwantiel.
Opzet: waarnemingen X1, . . . ,Xn
zijn waarnemingen met een bepaaldekansverdeling F (x). We willen graag uitspraken doen overM
n
= max(X1, . . . ,Xn
) (denk aan dijkhoogte). Ook willen we graag ietskunnen zeggen over q
p
in Pr(X q
p
) = F (qp
) = 1� p met p dicht bij 0.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 10 / 37
Limietstellingen
Limietstellingen
Beschouw het volgende kansexperiment: gooi n keer met een dobbelsteenen noteer het gemiddeld aantal ogen.
X
n
=1
n
XX
i
,
ook X
n
is een toevalsvariabele, met een kansverdeling. X
i
is uniformverdeeld op 1, . . . , 6.n = 1
x 1 2 3 4 5 6Pr(X1 = x) 1/6 1/6 1/6 1/6 1/6 1/6
n = 2x 1 1.5 2 2.5 3 3.5
Pr(X2 = x) 1/36 2/36 3/36 4/36 5/36 6/36x 4 4.5 53 5.5 6
Pr(X2 = x) 5/36 4/36 3/36 2/36 1/36
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 11 / 37
Limietstellingen
Limietstellingen
n=1
gemiddelde
kans
0.05
0.10
0.15
0.20
0.25
1 2 3 4 5 6
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 12 / 37
Limietstellingen
Limietstellingen
n=2
gemiddelde
kans
0.05
0.10
0.15
2 4 6 8 10 12
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 13 / 37
Limietstellingen
Limietstellingen
n=5
gemiddelde
kans
0.00
0.02
0.04
0.06
0.08
0.10
1 2 3 4 5 6
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 14 / 37
Limietstellingen
Limietstellingen
n=10
gemiddelde
kans
0.00
0.02
0.04
0.06
2 3 4 5
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 15 / 37
Limietstellingen
Limietstellingen
Als n toeneemt, convergeert verdeling van X
n
naar een normale verdeling.Is dit toeval? Volgende experiment: exponentiele verdeling.
Pr(X x) = 1� exp(�x).
(parameter � = 1). Wachttijden.
X
n
=1
n
XX
i
,
maar nu is X continu, dus histogram in plaats van discrete kansverdeling.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 16 / 37
Limietstellingen
Limietstellingen
exponentiele verdeling, n=1
gemiddelde
kans
0
10
20
30
40
0 5 10
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 17 / 37
Limietstellingen
Limietstellingen
exponentiele verdeling, n=5
gemiddelde
kans
0
5
10
15
20
0 1 2 3 4
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 18 / 37
Limietstellingen
Limietstellingen
exponentiele verdeling, n=10
gemiddelde
kans
0
5
10
15
20
0 1 2 3
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 19 / 37
Limietstellingen
Limietstellingen
exponentiele verdeling, n=50
gemiddelde
kans
0
5
10
15
20
0.5 1.0 1.5
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 20 / 37
Limietstellingen
Limietstellingen
exponentiele verdeling
gemiddelde
kans
020406080
0 5 10
n=1 n=5
n=10
0 5 10
020406080
n=50
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 21 / 37
Limietstellingen
Centrale limietstelling
Als X1, . . . ,Xn
onderling onafhankelijk zijn, met eindige verwachting µ eneindige variantie �2, dan
X
n
� µ
�/p
n
✓=
X
n
� a
n
b
n
◆asy⇠ N (0, 1).
Met andere woorden: we hoeven niet zo veel te weten over de verdelingvan X om toch iets te kunnen zeggen over de verdeling van X
n
. Let op:de centrering µ hangt niet van n af, de schaling �/
pn wel.
Kunnen we iets vergelijkbaars afleiden voor de verdeling van hetmaximum M
n
= max(X1, . . . ,Xn
)?
Wat is het maximum in het dobbelsteenvoorbeeld?
Wat is het maximum in het wachttijdenvoorbeeld?
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 22 / 37
Staarten
Gemiddelde?
Verrassing en grote impact.
Extrapolatie normale verdelingfout, dikke staarten.
Onbekende onbekenden.
Maak systemen robuust tegenonverwachte, negatievegebeurtenissen.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 23 / 37
Staarten
Dunne staarten en dikke staarten
Verliesmodel:S(t) = X1 + . . . + X
N(t).
Start met kapitaal u en vraag premie c , dan is kapitaal op tijdstip t
U(t) = u + ct � S(t).
Als nuEe
hX <1, 0 < h < h
danPr(U(t) < 0) e
�ku.
(k > 0). Kapitaal is een erg machtig middel om ruıne kans te beperken:verdubbel kapitaal, kwadrateer kans op ruıne.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 24 / 37
Staarten
Dunne staarten en dikke staarten
Praktijk:Ee
hX <1, 0 < h < h
geldt vaak niet! Gaat de staart van de kansverdeling exponentieel naar 0of niet? Dikstaartige verdelingen (Pareto):
Pr(X > x + y |X > x)! 1, x !1.
(wet van behoud van ellende).
Pr(Sn
� x) ⇠ Pr(Mn
� x), x !1.
(rampen bepalen totaalresultaat).
Pr(U(t) < 0) ⇠ ⇢
(1 + u)�↵+1.
Kwalitatief verschil: kans op ruıne gaat polynomiaal naar 0.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 25 / 37
Het maximum
Kansverdeling maximum
Algemeen raamwerk: X1, . . . ,Xn
onderling onafhankelijk en identiekverdeeld.
Pr(Mn
x) = Pr(X1 x , . . . ,Xn
x)
= Pr(X1 x) · · ·Pr(Xn
x) = F
n(x).
Dus:
limn!1
Pr(Mn
x)=
(0 F (x) < 1
1 F (x) = 1.
Dit werkt niet, maar de verdeling van X
n
is ook niet goed bepaald als desteekproef onbeperkt toeneemt. Laten we kijken naar
Pr
✓M
n
� c
n
d
n
x
◆
dus we centreren en schalen.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 26 / 37
Het maximum
Kansverdeling maximum
Voorbeeld: X1, . . . ,Xn
⇠ Exp(1):
Pr(X x) = 1� exp(�x).
Kies c
n
= log n en d
n
= 1 (voorkennis). Dan:
Pr(Mn
� log n x) = Pr(Mn
x + log n) = F
n(x + log n)
=�1� e
�x�log n
�n
=
✓1� e
�x
n
◆n
Dus
limn!1
Pr(Mn
� log n x) = limn!1
✓1� e
�x
n
◆n
= e
�e
�x
,
want
limn!1
⇣1� t
n
⌘n
= e
�t .
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 27 / 37
Het maximum
Kansverdeling maximum
Voorbeeld: X1, . . . ,Xn
Pareto verdeeld, X � 1:
Pr(X x) = 1� x
�↵.
(↵ > 0). Polynomiale staart, geen exponentiele staart.Kies c
n
= n
1/↵ en d
n
= 0. Dan:
Pr(n�1/↵M
n
x) = Pr(Mn
n
1/↵x) = F
n(n1/↵x)
=
✓1�
✓1
n
1/↵x
◆↵◆n
=
✓1� x
�↵
n
◆n
! e
�x
�↵
.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 28 / 37
Het maximum
Kansverdeling maximum
Als er reeksen c
n
en d
n
bestaan zodat
limn!1
Pr(Mn
� c
n
)/d
n
x) = G (x),
met G een ‘nette’ verdeling, dan is G van de vorm
G (x) = exp
(�
1 + ⇠
✓x � µ
�
◆��1/⇠)
.
Gegeneraliseerde extreme waarde verdeling. Vergelijkbare rol als normaleverdeling voor gemiddelde. Dus we kunnen iets zeggen over extremen ineen steekproef.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 29 / 37
Het maximum
Laurens de Haan
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 30 / 37
Kwantielen
Kwantielen: hoe erg kan het worden
Vaak willen we dingen weten als:
Welk verlies wordt met kans 1% overschreden?
Hoe hoog moeten de dijken zijn zodat ze eens in de 10000 jarenworden overspoeld?
Hoeveel verlies kunnen we verwachten als een hoog verlies wordtoverschreden?
Allemaal vragen die te maken hebben met de staart van de kansverdeling,met kwantielen:
Pr(X q
p
) = F (qp
) = 1� p,
met p dicht bij 0.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 31 / 37
Kwantielen
Kwantielen: eenvoudige aanpak
We gaan q
p
schatten.
Verzamel gegevens X1, . . . ,Xn
.
Orden gegevens en zoek juiste kwantiel zodat1n
Pi
I(�1,qp
](Xi
) = 1� p.
Probleem: n = 100 en 1� p = 0.999.
Schat parameters van de kansverdeling, ✓.
q
p
= F
�1(1� p; ✓).
Probleem: hoe goed wordt de staart gemodelleerd?
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 32 / 37
Kwantielen
Kwantielen: moeilijke aanpak
Theorie: we kijken naar Pr(X > x + u|X > u), dus ‘exceedances over ahigh level’, ook wel ‘POT’.
datum
verli
es (U
$ 10
e6)
0
20000
40000
60000
1980 1985 1990 1995 2000 2005 2010
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 33 / 37
Kwantielen
Kwantielen: moeilijke aanpak
Als er een ‘nette’ verdeling voor de overschrijdingen bestaat, geldt
Pr(X u + x |X > u) ⇡ 1�✓
1 +⇠(x + u)
�(u)
◆�1/⇠
.
(u hoog genoeg). Gegeneraliseerde Pareto verdeling.grootheid verdelingX
n
normale verdelingM
n
gegeneraliseerde extreme waarde verdelingX � u|X > u gegeneraliseerde Pareto verdeling
Gebruik dit theoretische model om een hoog kwantiel te schatten:
q
p
= u+�
⇠
"✓Pr(X > u)
p
◆⇠
� 1
#.
(hoge) afkapgrens plus extrapolatie van staart.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 34 / 37
Kwantielen
Kwantielen: voorbeeld I
Bekende eigenschap van de exponentiele verdeling: geen geheugen.Inderdaad:
Pr(X > x + u|X > u) =Pr(X > x + u,X > u)
Pr(X > u)
=Pr(X > x + u)
Pr(X > u)=
e
��(x+u)
e
��(u)
= e
��x = Pr(X > x).
De verdeling van X gegeven X > u is dezelfde als de verdeling van X
zelf. Deze verdeling is inderdaad limietgeval van GPD, met ⇠ ! 0. Hoogkwantiel:
q
p
= u + � logPr(X > u)
p
.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 35 / 37
Kwantielen
Kwantielen: toepassing
S& P rendementen vanaf 1980. Gebruik alleen 2000 om schatting temaken van kwantiel. p = 0.001, dus we willen het 99.9e percentiel weten.252 waarnemingen. Verliezen, dus negatieve rendementen.
datum
dag
retu
rn S
P500
−0.2
−0.1
0.0
0.1
1980 1985 1990 1995 2000 2005 2010Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 36 / 37
Kwantielen
Kwantielen: toepassing
Empirische 99e percentiel: 0.0308.
Normale benadering:µ + ��1(0.999)⇥ � = 0.000326 + 3.09⇥ 0.0139 ⇡ 0.0436.
GPD, u = q0.90 dus Pr(X > u) = 0.10, ⇠ = 0.34, � = 0.00415. Dan
q
p
= u +�
⇠
"✓Pr(X > u)
p
◆⇠
� 1
#⇡ 0.0653.
1950 tot en met 9 april 2009: 14912 handelsdagen. Empirisch 99.9epercentiel: 0.0585.
Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 37 / 37