7-8. ocenjivanje parametara raspodele...
TRANSCRIPT
7-8. OCENJIVANJE PARAMETARA
RASPODELE (SI)
Profesor Milan [email protected] milanmerkle.etf.rs
Verovatnoca i Statistika-prolece 2018
Milan Merkle Ocenjivanje parametara ETF Beograd 1 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Uvod u statistiku
Polazi se od podataka (uzorka) iz jedne ili vise raspodela (populacija)
Ocenjivanje parametara raspodele√
Ocenjivanje raspodele (funkcija raspodele, zakon raspodele...)√
Testiranje hipoteza o parametrima raspodele√
Testiranje neparametarskih hipoteza√
Regresija (fitovanje)
Klasifikacija ...
Milan Merkle Ocenjivanje parametara ETF Beograd 2 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Osnovni pojmovi
Definicija 6.2. Skup n nezavisnih slucajnih promenljivih sa istomraspodelom nazivamo uzorkom obima n iz te raspodele.
Parametri raspodele
Mogu biti i visedimenzionalni, na primer (µ, σ2).
U opstem slucaju: θ - parametar, Θ - skup mogucih vrednostiparametra
Parametri se ocenjuju pomocu uzorka
θ - ocena parametra θ, θ = S(X1, . . . ,Xn).
Funkcija koja zavisi samo od uzorka i ne sadrzi nepoznate parametre,zove se statistika.
Milan Merkle Ocenjivanje parametara ETF Beograd 3 / 17
Pozeljne osobine ocena
Ocena θ je centrirana ili nepristrasna ako je E θ = θ za svako θ ∈ Θ
Ocena θn (iz uzorka obima n) je stabilna ako θn → θ za svako θ ∈ Θ.√
Primer: µ
Milan Merkle Ocenjivanje parametara ETF Beograd 4 / 17
Pozeljne osobine ocena
Ocena θ je centrirana ili nepristrasna ako je E θ = θ za svako θ ∈ Θ
Ocena θn (iz uzorka obima n) je stabilna ako θn → θ za svako θ ∈ Θ.√
Primer: µ
Milan Merkle Ocenjivanje parametara ETF Beograd 4 / 17
Pozeljne osobine ocena
Ocena θ je centrirana ili nepristrasna ako je E θ = θ za svako θ ∈ Θ
Ocena θn (iz uzorka obima n) je stabilna ako θn → θ za svako θ ∈ Θ.√
Primer: µ
Milan Merkle Ocenjivanje parametara ETF Beograd 4 / 17
Poredenje ocena
Kriterijum srednjeg kvadratnog odstupanja.Od dve centrirane ocene parametra θ bolja je ona koja ima manjuvarijansu.
Milan Merkle Ocenjivanje parametara ETF Beograd 5 / 17
Intervali poverenja
Definicija 8.5 Sa uzorkom iz raspodele sa nepoznatim parametrom θ,interval poverenja za θ sa nivoom poverenja 1− α je interval koji saverovatnocom 1− α sadrzi θ.Standardne vrednosti su α = 0.1, 0.05, 0.01, odnosno 90%, 95%, 99%intervali poverenja.
Primer 138 Dat je uzorak X1, . . . ,Xn, n = 100 iz N (µ, σ2), σ2 = 1/4, µje nepoznato. Naci 90% i 95% interval poverenja za µ.
Polazimo od
Z =µ− µσ/√n∼ N (0, 1)
R: [µ− 0.08, µ+ 0.08], [µ− 0.1, µ+ 0.1]
Za µ = 3, dobija se interval [2.92, 3.08]. Da li je µ unutar ovog intervalasa verovatnocom 0.9?
Milan Merkle Ocenjivanje parametara ETF Beograd 6 / 17
Intervali poverenja
Definicija 8.5 Sa uzorkom iz raspodele sa nepoznatim parametrom θ,interval poverenja za θ sa nivoom poverenja 1− α je interval koji saverovatnocom 1− α sadrzi θ.Standardne vrednosti su α = 0.1, 0.05, 0.01, odnosno 90%, 95%, 99%intervali poverenja.
Primer 138 Dat je uzorak X1, . . . ,Xn, n = 100 iz N (µ, σ2), σ2 = 1/4, µje nepoznato. Naci 90% i 95% interval poverenja za µ.
Polazimo od
Z =µ− µσ/√n∼ N (0, 1)
R: [µ− 0.08, µ+ 0.08], [µ− 0.1, µ+ 0.1]
Za µ = 3, dobija se interval [2.92, 3.08]. Da li je µ unutar ovog intervalasa verovatnocom 0.9?
Milan Merkle Ocenjivanje parametara ETF Beograd 6 / 17
Intervali poverenja
Definicija 8.5 Sa uzorkom iz raspodele sa nepoznatim parametrom θ,interval poverenja za θ sa nivoom poverenja 1− α je interval koji saverovatnocom 1− α sadrzi θ.Standardne vrednosti su α = 0.1, 0.05, 0.01, odnosno 90%, 95%, 99%intervali poverenja.
Primer 138 Dat je uzorak X1, . . . ,Xn, n = 100 iz N (µ, σ2), σ2 = 1/4, µje nepoznato. Naci 90% i 95% interval poverenja za µ.
Polazimo od
Z =µ− µσ/√n∼ N (0, 1)
R: [µ− 0.08, µ+ 0.08], [µ− 0.1, µ+ 0.1]
Za µ = 3, dobija se interval [2.92, 3.08]. Da li je µ unutar ovog intervalasa verovatnocom 0.9?
Milan Merkle Ocenjivanje parametara ETF Beograd 6 / 17
Interval poverenja za µ
Za uzorak obima n iz N (µ, σ2) sa poznatim parametrom σ,
P
(µ ∈
[µ− ε1−α/2
σ√n, µ+ ε1−α/2
σ√n
])= 1− α .
Duzina intervala poverenja: 2ε1−α/2σ√n→ 0 kad n→ +∞
√
Interval poverenja je centriran u µ jer takav interval ima najmanju duzinuza fiksirano n i nivo 1− α.
√
Milan Merkle Ocenjivanje parametara ETF Beograd 7 / 17
Interval poverenja za µ
Za uzorak obima n iz N (µ, σ2) sa poznatim parametrom σ,
P
(µ ∈
[µ− ε1−α/2
σ√n, µ+ ε1−α/2
σ√n
])= 1− α .
Duzina intervala poverenja: 2ε1−α/2σ√n→ 0 kad n→ +∞
√
Interval poverenja je centriran u µ jer takav interval ima najmanju duzinuza fiksirano n i nivo 1− α.
√
Milan Merkle Ocenjivanje parametara ETF Beograd 7 / 17
Tri oblika intervala poverenja
Interval oblika [A,B] zove se dvostrani interval poverenja (A i B suslucajne promenljive).Jednostrani intervali su oblika [A,+∞) ili (−∞,B) (umesto ±∞ moguda budu i minimalna, odnosno maksimalna moguca vrednost parametraako ima smisla).Za jednostrane intervale parametra µ polazimo od cinjenice da slucajnepromenljive
µ− µσ/√n
iliµ− µσ/√n
imaju N (0, 1) raspodelu, i nalazimo kvantil ε1−α.
Milan Merkle Ocenjivanje parametara ETF Beograd 8 / 17
Ocene varijanse
Za poznato µ (redak slucaj) treba naci ocenu matematickog ocekivanjaslucajne promenljive Y = (X − µ)2:
s02 =
1
n
n∑k=1
(Xk − µ)2
Centrirana i stabilna ocena varijanse (u slucaju da je µ nepoznato)
s2 =1
n − 1
n∑k=1
(Xk − µ)2
Milan Merkle Ocenjivanje parametara ETF Beograd 9 / 17
Studentova t raspodela
Neka su X1, . . . ,Xn nezavisne slucajne promenljive sa N (µ, σ2)raspodelom. U slucaju kad su oba parametra nepoznata, za nalazenjeintervala poverenja koristi se statistika
tn =µ− µs/√n, s =
√√√√ 1
n − 1
n∑k=1
(Xk − µ)2
cija raspodela je poznata pod nazivom t raspodela, ili Studentovaraspodela (William Gosset)
Milan Merkle Ocenjivanje parametara ETF Beograd 10 / 17
Studentova raspodela
f (x) =Γ(n+12
)√nπ Γ
(n2
) (1 +x2
n
)− n+12
, x ∈ R, n > 0
-2 -1 o 2 x
Slika 34. Gustine t(n) raspodele za n = 2, 5, 15 u poredenju sa normalnomN (0, 1) raspodelom (isprekidana linija).
Milan Merkle Ocenjivanje parametara ETF Beograd 11 / 17
Intervali poverenja za µ sa nepoznatim σ2
Primenjuje se isti postupak kao i u slucaju poznate varijanse s tim da seumesto σ2 uzima s2, a kvantili se nalaze iz tablica Studentove raspodelet(n − 1)
Za n − 1 > 30 uzimaju se kvantili iz standardne normalne raspodele
Milan Merkle Ocenjivanje parametara ETF Beograd 12 / 17
Intervali poverenja za µ sa nepoznatim σ2
Primenjuje se isti postupak kao i u slucaju poznate varijanse s tim da seumesto σ2 uzima s2, a kvantili se nalaze iz tablica Studentove raspodelet(n − 1)
Za n − 1 > 30 uzimaju se kvantili iz standardne normalne raspodele
Milan Merkle Ocenjivanje parametara ETF Beograd 12 / 17
Hi kvadrat raspodela
Raspodela zbira kvadrata n nezavisnih slucajnih promenljivih sa N (0, 1)raspodelom zove se Hi kvadrat raspodela sa n stepeni slobode
Z 21 + · · ·+ Z 2
n ∼ χ2(n)
Teorema 7.5 Za nezavisne X1, . . . ,Xn ∼ N (µ, σ2):
1n · s02
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n),
2(n − 1) · s2
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n − 1).
Milan Merkle Ocenjivanje parametara ETF Beograd 13 / 17
Hi kvadrat raspodela
Raspodela zbira kvadrata n nezavisnih slucajnih promenljivih sa N (0, 1)raspodelom zove se Hi kvadrat raspodela sa n stepeni slobode
Z 21 + · · ·+ Z 2
n ∼ χ2(n)
Teorema 7.5 Za nezavisne X1, . . . ,Xn ∼ N (µ, σ2):
1n · s02
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n),
2(n − 1) · s2
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n − 1).
Milan Merkle Ocenjivanje parametara ETF Beograd 13 / 17
Hi kvadrat raspodela
Raspodela zbira kvadrata n nezavisnih slucajnih promenljivih sa N (0, 1)raspodelom zove se Hi kvadrat raspodela sa n stepeni slobode
Z 21 + · · ·+ Z 2
n ∼ χ2(n)
Teorema 7.5 Za nezavisne X1, . . . ,Xn ∼ N (µ, σ2):
1n · s02
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n),
2(n − 1) · s2
σ2=
1
σ2
n∑k=1
(Xk − µ)2 ∼ χ2(n − 1).
Milan Merkle Ocenjivanje parametara ETF Beograd 13 / 17
Hi kvadrat raspodela
f (x) =1
2n/2Γ(n2 )x
n2−1e−
x2 , (x > 0)
0.5
0.25
o 6 10 12 20
Slika 33. Gustine hi kvadrat raspodele
Milan Merkle Ocenjivanje parametara ETF Beograd 14 / 17
Intervali poverenja za varijansu
X1, . . . ,Xn - uzorak iz N (µ, σ2) sa nepoznatim µ i σ2.Dvostrani interval poverenja za σ2 (Teorema 7.5.-2)
P
(σ2 ∈
[(n − 1)s2
ε1−α/2,
(n − 1)s2
εα/2
])= 1− α,
gde je ε kvantil iz χ2(n − 1).Interval je simetrican u smislu da ”repovi”imaju istu verovatnocu, ε/2.
Ako je µ poznato, onda je, prema teoremi 7.5.-1:
P
(σ2 ∈
[ns0
2
ε1−α/2,ns0
2
εα/2
])= 1− α,
gde je ε kvantil iz χ2(n).
Milan Merkle Ocenjivanje parametara ETF Beograd 15 / 17
Intervali poverenja za varijansu
X1, . . . ,Xn - uzorak iz N (µ, σ2) sa nepoznatim µ i σ2.Dvostrani interval poverenja za σ2 (Teorema 7.5.-2)
P
(σ2 ∈
[(n − 1)s2
ε1−α/2,
(n − 1)s2
εα/2
])= 1− α,
gde je ε kvantil iz χ2(n − 1).Interval je simetrican u smislu da ”repovi”imaju istu verovatnocu, ε/2.
Ako je µ poznato, onda je, prema teoremi 7.5.-1:
P
(σ2 ∈
[ns0
2
ε1−α/2,ns0
2
εα/2
])= 1− α,
gde je ε kvantil iz χ2(n).
Milan Merkle Ocenjivanje parametara ETF Beograd 15 / 17
Sta ako raspodela nije normalna?
Za uzorke obima veceg od 30 - aproksimativni intervali poverenja za µ i σ2
koristeci iste formule kao za normalnu raspodelu (na osnovu CGT)
Jos dva parametra:
1 Verovatnoca dogadaja: Aproksimativni metod preko CGT (n > 30)-8.3.1 ili egzaktni metod 8.3.2-neobavezno
2 Parametar λ Puasonove raspodele: Aproksimativni metod preko CGT(n > 30, nλ > 10) 8.4.2 ili egzaktni metod - neobavezno
Milan Merkle Ocenjivanje parametara ETF Beograd 16 / 17
Sta ako raspodela nije normalna?
Za uzorke obima veceg od 30 - aproksimativni intervali poverenja za µ i σ2
koristeci iste formule kao za normalnu raspodelu (na osnovu CGT)
Jos dva parametra:
1 Verovatnoca dogadaja: Aproksimativni metod preko CGT (n > 30)-8.3.1 ili egzaktni metod 8.3.2-neobavezno
2 Parametar λ Puasonove raspodele: Aproksimativni metod preko CGT(n > 30, nλ > 10) 8.4.2 ili egzaktni metod - neobavezno
Milan Merkle Ocenjivanje parametara ETF Beograd 16 / 17
Sta ako raspodela nije normalna?
Za uzorke obima veceg od 30 - aproksimativni intervali poverenja za µ i σ2
koristeci iste formule kao za normalnu raspodelu (na osnovu CGT)
Jos dva parametra:
1 Verovatnoca dogadaja: Aproksimativni metod preko CGT (n > 30)-8.3.1 ili egzaktni metod 8.3.2-neobavezno
2 Parametar λ Puasonove raspodele: Aproksimativni metod preko CGT(n > 30, nλ > 10) 8.4.2 ili egzaktni metod - neobavezno
Milan Merkle Ocenjivanje parametara ETF Beograd 16 / 17
Sta ako raspodela nije normalna?
Za uzorke obima veceg od 30 - aproksimativni intervali poverenja za µ i σ2
koristeci iste formule kao za normalnu raspodelu (na osnovu CGT)
Jos dva parametra:
1 Verovatnoca dogadaja: Aproksimativni metod preko CGT (n > 30)-8.3.1 ili egzaktni metod 8.3.2-neobavezno
2 Parametar λ Puasonove raspodele: Aproksimativni metod preko CGT(n > 30, nλ > 10) 8.4.2 ili egzaktni metod - neobavezno
Milan Merkle Ocenjivanje parametara ETF Beograd 16 / 17