valószín¶ségi el®rejelzésekweb.cs.elte.hu/~zempleni/probforecast.pdf · kalibráció szkrokó...

KalibrációSzkórok

Megjegyzések, irodalom

Valószín¶ségi el®rejelzések

Arató Miklós1

1ELTE TTK Valószín¶ségelméleti és Statisztika Tanszék

TÁMOP Kutatószeminárium, 2010. október 15.

Arató Miklós Valószín¶ségi el®rejelzések



Tartalom

1 KalibrációFeladatA kalibráció 3 fõ fajtájaHagyományos mérõszámokPélda

2 SzkórokMeghatározás és tulajdonságokNevezetes szkórokPélda

3 Megjegyzések, irodalomMegjegyzésekIrodalom




FeladatA kalibráció 3 fõ fajtájaHagyományos mérõszámokPélda

Outline








Mi is a valószín¶ségi el®rejelz®?

Legyenek (Ft)t=1,2,... és (Gt)t=1,2,... folytonos és szigorúanmonoton eloszlásfüggvények sorozatai, melyek függhetnekvéletlen paraméterekt®l is.

(Gt)t=1,2,...-re úgy gondolunk, mint a valódi, természet általgenerált háttérfolyamatra,

míg (Ft)t=1,2,...-re mint valószín¶ségi el®rejelzések sorozatára.





Követelmények

Legyen elfogadható az illeszkedés.

Ne "szóródjon� túlságosan!





Outline








Valószín¶ségi kalibrált

Az (Ft)t=1,2,... sorozat valószín¶ségi kalibrált a (Gt)t=1,2,...sorozathoz, ha

1T

T

∑t=1

Gt ◦F−1t (p)→ p ∀p ∈ (0,1)





Kvantilis (exceedance) kalibrált

Az (Ft)t=1,2,... sorozat exceedance kalibrált a (Gt)t=1,2,...sorozathoz, ha

1T

T

∑t=1

G−1t ◦Ft(x)→ x ∀x ∈ R





Marginálisan kalibrált

Az (Ft)t=1,2,... sorozat marginálisan kalibrált a (Gt)t=1,2,...sorozathoz, ha a következ® két határérték

G (x) = limT→∞

(1T

T

∑t=1

Gt(x)

)és F (x) = lim

T→∞

(1T

T

∑t=1

Ft(x)

)

létezik és egyenl® ∀x ∈ R és eloszlást határoznak meg.





Egyéb kalibrálások

Az (Ft)t=1,2,... sorozat er®sen kalibrált a (Gt)t=1,2,...sorozathoz, ha mind valószín¶ségi, exceedance és marginálisankalibrált hozzá.

Ha az (Ft)t=1,2,... sorozat minden részsorozata valószín¶ségikalibrált a (Gt)t=1,2,... megfelel® részsorozatához, akkor aztmondjuk hogy (Ft)t=1,2,... teljesen valószín¶ségi kalibrált(Gt)t=1,2,...-hez.

Hasonlóan beszélhetünk teljes exceedance, teljes marginális ésteljes er®s kalibráltságról is.





Outline








PIT (Probability Integral Transform)

A transzformáció azon alapszik, hogy egy x G folytonoseloszlású meg�gyelést visszahelyettesítünk az FGeloszlásfüggvényébe, akkor a (0,1)-n egyenletes eloszlásúvéletlen számot kapunk.

Így ha képezzük a pt = Ft(xt) úgynevezett PIT-értékeket,akkor ezek egyenletesen oszlanak el az ideális elõrejelzõesetében.





Diszkrét elõrejelzések esete

Abban az esetben, ha a prediktív eloszlás diszkrét, akkor aPIT-értékek nem lesznek már egyenletesek az ideális elõrejelzõhipotézise esetében sem.

Ezt orvoslandó sokan a következõ randomizált PIT-etjavasolják: legyen P a prediktív eloszlás és legyen x Peloszlású véletlen egész, valamint v legyen x-tõl független(0,1)-en egyenletes eloszlású szám.

Ekkoru = Px−1 + v(Px −Px−1), x ≥ 1

u = vP0, x = 0

szintén egyenletes eloszlású (0,1)-n.





Outline








Leírás

Gt az N (µt ,1) eloszlásnak felel meg, ahol µt ∼N (0,1).Azaz minden pillanatban a természet kisorsol egy N (0,1)eloszlású véletlen számot és a N(µt ,1) eloszlást vesziháttéreloszlásul.

Gt eloszlása kevert normális: Gt = G |µt ∼N (µt ,1).G feltétel nélküli eloszlása N (0,2).





Ideális elõrejelzõ

Az ideális előrejelző prediktív eloszlása minden egyesidőpontban megegyezik a természet eloszlásával.

Az ideális előrejelző természetesen erősen kalibrált.





Klimatológiai elõrejelzõ

A klimatológiai elõrejelzõ a feltétel nélküli N (0,2)eloszlástjelzi elõre.

Ez az előrejelző valószínűségi és marginálisan kalibrált,de nemexceedance,ugyanis

1T

T

∑t=1

G−1t ◦Ft(x) =1T

T

∑t=1

[Φ−1

{Φ

(x√2

)}+ µt

]→ x√

26= x

(1)

Klimatológiai előrejelzőnek nevezzük általában azokat azelőrejelzőket, amelyekre a prediktív eloszlás minden esetbenmegegyezik a feltétel nélküli eloszlással.A gyakorlatban a klimatológiai el®rejelzések történelmimeg�gyelések alapján készülnek és gyakran mint referenciaelel®rejelzések használatosak.





Nem-fókuszált elõrejelzõ

A nem-fókuszált el®rejelz® prediktív eloszlása a következ®keverék eloszlás: Ft ∼ 12{N (µt ,1) +N (µt + τt ,1)}, ahol τt12− 1

2valószín¶séggel a +1 és −1 értékeket veszi fel, µt-t®l

függetlenül.

Ekkor Ft(x) = 12{Φ+(x−µt) + Φ−(x−µt)}, aholΦ±(x) =

12{Φ(x) + Φ(x∓1)}.

Ez az el®rejelz® valószín¶ségi kalibrált, viszont se nemexceedance, se nem marginálisan kalibrált.





Átlag-torzított elõrejelzõ

Ez az elõrejelzõ a következõ torzított elõrejelzést bocsátja ki:Ft ∼N (µt + τt ,1), ahol τt ugyanaz mint az elõzõ példában.Ez az elõrejelzõ exceedance kalibrált, de se nem valószínûségi,se nem marginális kalibrált.





Elõjel-torzított elõrejelzõ

Ennek az elõrejelzõnek a prediktív eloszlása: Ft ∼N (−µt ,1).Ez az elõrejelzõ exceedance és marginálisan kalibrált, viszontnem valószínûségi kalibrált.





Kevert elõrejelzõ

A kevert elõrejelzõ minden t idõpontban a klimatológiai és azelõjel-torzított elõrejelzés közül választ 1

2− 1

2valószínûséggel,

µt-tõl függetlenül.Ez az elõrejelzõ valószínûségi és exceedance kalibrált, de nemmarginálisan kalibrált.





Hamill-elõrejelzõ

Ehhez az elõrejelzõhöz a következõ kevert prediktív eloszlástartozik: N (µt + δt ,σ2t ), ahol (δt ,σ2t ) =

(12,1),(−1

2,1)vagy(

0, 169100

)egyforma valószínûséggel.

Ekkor 1T ∑

Tt=1Gt ◦F−1t (p)→

13

[Φ{

Φ−1(p)− 12

}+ Φ

{1310

Φ−1(p)}

+ Φ{

Φ−1(p) + 12

}]= p+ ε(p),

ahol |ε(p)| ≤ 0.0032 minden p-re, de ε(p) 6= 0 általában. Avalószín¶ségi kalibráció feltétele tehát megsérült.

Az exceedance és marginális kalibráció feltétele sem teljesül.





Példák összefoglalása

A 3 kalibrációfogalom független egymástól.

Kalibráció El®rejelz®VEM ideális el®rejelz®VEM Gt = Ft = N (t,1)VEM klimatológiai el®rejelz®VEM átlag-torzított el®rejelz®VEM el®jel-torzított el®rejelz®VEM kevert el®rejelz®VEM nem-fókuszált el®rejelz®VEM Hamill-el®rejelz®

PIT nem tudja megkülönbeztetni ®ket.




Meghatározás és tulajdonságokNevezetes szkórokPélda

Outline








Meghatározás

Az (Ω,A ) mérhet® téren legyen adott valószín¶ségi mértékekegy P konvex családja.

Egy S : P×Ω→ R kiterjesztett valós érték¶ függvénytszkórnak vagy pontozó szabálynak nevezünk, ha S(P, ·)P-kváziintegrálható minden P ∈P esetén.Egy ilyen szkór úgy interpretálható, hogy ha egy el®rejelz® aP ∈P valószín¶ségi el®rejelzést adja és ω realizálódik, akkoraz el®rejelz® jutalma S(P,ω).A Q szerinti várható szkór a P el®rejelzés mellett:S(P,Q) =

∫S(P,ω)dQ(ω).

Ezt felfoghatjuk mint a P el®rejelzésünk várható jutalmát, haa valódi háttéreloszlás Q.





Tulajdonságok

Egy S szkórt lényegesnek nevezünk a P osztályon, haS(Q,Q)≥ S(P,Q) ∀P,Q ∈P.Azaz bármely háttéreloszlás esetén a várható szkór maximális,hogyha ezt a valódi eloszlást (a lehet® legjobbat) adjukel®rejelzésként.

Ha a maximum csak ekkor éretik el, és minden más esetbenszigorú egyenl®tlenség áll, akkor az S-t szigorúan lényegesneknevezzük.





Outline








Brier szkór

QS(p,ω) = 2p(ω)−‖p‖22Ez szigorúan lényeges az L2 osztályon.





Pszeudoszférikus szkór

PseudoSα (p,ω) = p(ω)α−1

‖p‖α−1αSzintén szigorúan lényeges az Lα osztályon.

Az α = 2 esetben a klasszikus szférikus szkórt kapjuk:PseudoS2(p,ω) = p(ω)‖p‖2 .





Logaritmikus szkór

LogS(p,ω) = logp(ω)Megkapható megfelel®en paraméterezett pszeudoszférikusszkór α → 1 határeseteként is.A hozzá tartozó várható szkór függvény a negatív Shannonentrópia, G (p) =

∫p(x) logp(x)µ(dx)

A divergencia függvény a klasszikus Kullback-Leiblerdivergencia: d(p‖q) =

∫p(x) log p(x)

q(x)µ(dx).

A logaritmikus szkór szigorúan lényeges az L1 osztályon.





CRPS (Continuous Ranked Probability Score)

Egy valószín¶ségi el®rejelzést, azaz P egy elemét identi�káljukF eloszlásfüggvényével.

CRPS(F ,x) =−∫ ∞−∞(F (y)−1{y ≥ x})2dy

CRPS(F ,x) = 12EF |X −X ′|−EF |X − x |, ahol X és X ′

független változók F eloszlásfüggvénnyel és véges els®momentummal.





Klasszikus mér®számok

Abszolút hiba szkór: AES(P,x) =−|x−µP |, ahol µP a Pprediktív eloszlás várható értéke.

Nem lényeges.

Négyzetes hiba szkór: SES(P,x) =−(x−µP)2.Lényeges, de nem szigorúan lényeges.

Normalizált négyzetes hiba szkór: NSES(P,x) =(x−µP

σP

)2, µP

és σP a P prediktív eloszlás várható értéke és szórása.





Outline








Példa

10.000 elemszámú minta alapján felírt átlag-szkórokat akövetkez® táblázat foglalja össze:

El®rejelz® LogS CRPS

Ideális 1.39 0.54Klimatológiai 1.77 0.77Nem-fókuszált 1.54 0.64Hamill 1.53 0.61




MegjegyzésekIrodalom

Outline








Megjegyzések

Az ismertet® Gneiting és Raftery cikkei alapján készült.

Köszönöm volt szakdolgozómnak, Szamoránsky Jánosnak,hogy rendelkezésemre bocsájtotta szakdolgozata �le-ját!

Saját munkámban jelenleg térbeli modellek és tartalékolásimódszerek összehasonlítására használom fel ezeket azeszközöket.





Outline








Irodalom

Tilmann Gneiting and Adrian E. Raftery. Strictly Proper ScoringRules, Prediction, and Estimation. Journal of the AmericanStatistical Association, 102(477): 359-378. March 1, 2007,http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.143.879&rep=rep1&type=pdfTilmann Gneiting, Fadoua Balabdaoui, Adrian E. Raftery.Probabilistic forecasts, calibration and sharpness. Journal of theRoyal Statistical Society: Series B (Statistical Methodology)Volume 69, Issue 2, pages 243�268, April 2007,http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.142.9002&rep=rep1&type=pdf





Irodalom (folytatás)

Claudia Czado, Tilmann Gneiting, Leonhard Held. Predictive ModelAssessment for Count Data. Biometrics Volume 65, Issue 4, pages1254�1261, December 2009, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.67.3696&rep=rep1&type=pdfSusanne Gschlöβ l, Claudia Czado. Spatial modelling of claimfrequency and claim size in non-life insurance. ScandinavianActuarial Journal, Volume 2007, Issue 3 2007 , pages 202 - 225,http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.147.1062&rep=rep1&type=pdfSzamoránsky János. Valószín¶ségi el®rejelzések. ELTE TTKdiplomamunka, 2009,http://www.cs.elte.hu/blobs/diplomamunkak/mat/2009/szamoransky_janos.pdf


KalibrációFeladatA kalibráció 3 fõ fajtája=2=3=Hagyományos mérõszámok =2=3=Példa =2=3=

Szkórok Meghatározás és tulajdonságok Nevezetes szkórok Példa

Megjegyzések, irodalomMegjegyzésekIrodalom

valószín¶ségi el®rejelzésekweb.cs.elte.hu/~zempleni/probforecast.pdf · kalibráció szkrokó...

Documents