pravděpodobnost a statistika opakování základních pojmů
DESCRIPTION
Pravděpodobnost a statistika opakování základních pojmů. Václav Hlaváč katedra kybernetiky FEL Č VUT [email protected] pod ěkování: Martinovi Urbanovi za první verzi přednášky v říjnu 2005. Obsah. Pravěpodobnost - Definice, základní vztahy - Koncept náhodné veličiny - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/1.jpg)
Pravděpodobnost a statistikaopakování základních pojmů
Václav Hlaváčkatedra kybernetiky FEL Č[email protected]
poděkování: Martinovi Urbanovi za první verzi přednášky v říjnu 2005
![Page 2: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/2.jpg)
2
Obsah
1. Pravěpodobnost- Definice, základní vztahy- Koncept náhodné veličiny
2. Statistika- Náhodný výběr- Odhad parametrů
Literatura1. J. Novovičová, Pravděpodobnost a Matematiská
Statistika. ČVUT 20022. A. Papoulis, Probability, Random Variables and
Stochatic Processes, McGraw Hill, Edition 4, 2002.3. http://mathworld.wolfram.com/
![Page 3: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/3.jpg)
3
Úvod
• Pravděpodobnost - abstraktní matematický model neurčitosti- modeluje děje, v nichž hraje roli náhodnost
• Statistika- sběr a analýza dat - pracuje s omezenými / konečnými vzorky- odhad parametrů, testování hypotéz, atd.
![Page 4: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/4.jpg)
4
Část 1Pravděpodobnost
![Page 5: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/5.jpg)
5
Pravděpodobnost: definice, základní vztahy
Definice pravděpodobnosti:
• Klasická:
• Limitní (četnostní):
• Axiomatická (Andreje Kolmogorova)
N
NAP
A
N lim)(
N
NAP
A)(
![Page 6: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/6.jpg)
6
A ,A
),()()( then if 3.
1)( 2.
A ,0)( 1.
Ω) podmmnožin (systém pole jevové ...A
jevůích elementárnprostor ... Ω
BA
BPAPBAPBA
P
AAP
Axiomatická (Kolmogorova) definicepravděpodobnosti
![Page 7: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/7.jpg)
7
)(1)( 4.
)()()()( 3.
)()()( potom jestliže 2.
0)( 1.
APAP
BAPBPAPBAP
APBPABPBA
P
Odvozené vztahy
![Page 8: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/8.jpg)
8
0)( ,, , )(
)()|( BPBA
BP
BAPBAP
Příklad: Hod kostkou. Jaká je pravděpodobnost, že padnečíslo větší než 3 za podmínky, že padlo liché číslo.
}5,3,1{
}6,5,4{
}6,5,4,3,2,1{
B
A
5.0)(
5.0)(
BP
AP
3
1
5.0
6/1)|(
6/1})5({)(
BAP
PBAP
Podmíněná pravděpodobnost
![Page 9: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/9.jpg)
9
).()()( nezávisléjsou ,Jevy BPAPBAPBA
Nezávislé jevy:
)|()()|()()( BAPBPABPAPBAP
Příklad: Jsou jevy A a B nezavislé?
}5,3,1{
}6,5,4{
}6,5,4,3,2,1{
B
A 5.0)(
5.0)(
BP
AP
závisléjsou 6/1})5({)( PBAP
Sdružená pravděpodobnost
![Page 10: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/10.jpg)
10
Pojem náhodné veličiny
Náhodná veličina přiřazuje každému elementárnímu jevu reálné číslo
Proč se zavádí?Umožňuje zavést pojmy hustota pravděpodobnosti, distribuční funkce, střední hodnota atd.
Dva základní typy náhodných veličin• Spojité (nabývá spočetně mnoha hodnot)• Diskrétní (nabývá hodnoty z nějakého
intervalu R)
Rx
![Page 11: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/11.jpg)
11• Diskrétní náhodná veličina
- nabývá konečně/spočetně mnoha hodnot- příklady: hod kostkou, počet projetých aut za 1 hod.- rozdělení se popisuje pravděpodobnostní funkcí:
P(X=ai) = p(ai)
~ diskrétní rozdělení pravděpodobnosti
• Spojitá náhodná veličina
- může nabývá nespočetně mnoha hodnot- příklad: výška osob
- rozdělení se popisuje hustotou pravděpodobnosti
- P(X=a)=0, a 2 R
b
a
dxxfbXaP )()(
Koncept náhodné veličiny (2)
![Page 12: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/12.jpg)
12
(Kumulativní) Distribuční funkce:
Funkce náhodné veličiny definována vztahem
Příklady:
a) rovnoměrné rozdělení b) normální rozdělemí
1,0: RF
).()( xXPxF
Distribuční funkce
![Page 13: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/13.jpg)
13
nebo
Příklady:
a) rovnoměrné b) normální
dx
xdFxf
)()(
x
xxXxPxf
x
})({)( lim
0
Hustota pravděpodobnosti
![Page 14: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/14.jpg)
14
Příklad: Délka vlasů. Předpokládejme, že rozložení délky vlasů u dívek má normální (gaussovské) rozdělení N(15,25) a u chlapců N(6,4) a tedy, že rozdělení u všech dětí má charakter směsi dvou normálních rozdělení.
={děti} F(X) ... d.f. délky vlasů všech dětíA={dívky} F(X|A) ... d.f. délky vlasů u dívekB={chlapci} F(X|B) ... d.f. délky vlasů u chlapců
- náhodná veličina X ... délka vlasů
fděti = wd N(15,25) + whN(6,4) = wd f(x|A) + wh f(x|B)
dx
BxdFBxf
)|()|( , )|()|( BxXPBxF
Podmíněná distribuční funkcea hustota pravděpodobnosti
![Page 15: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/15.jpg)
15
• Střední hodnota (též očekávaná hodnota)
• K-tý obecný moment
• K-tý centrální moment
x
xxPxExxxfXE )()( , d )()(
x
kkkk xPxXExxfxXE )()( , d )()(
x
kx
kkx
kx xPxXExxfxXE )()()( , d )()())((
Základní charakteristiky náhodné veličiny
![Page 16: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/16.jpg)
16
Druhý centrální moment
x
xPxExxDxf(x)xExXD )())(()( , d ))(()( 22
Rozptyl, též disperze
![Page 17: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/17.jpg)
17
• Kovariance dvou veličin X, Y
• Kovarianční matice n veličin veličin X1,...,Xn
- symetrická, positivně definitní
))(( yxxy YXE
2
1
12
1
...
...
...
nn
n
Kovariance
![Page 18: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/18.jpg)
18
• p-kvantil Qp
• medián je p -kvantil pro p =0.5
pQXP p )(
Kvantily, medián
5,0)( p
QXP
![Page 19: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/19.jpg)
19
Diskrétní rovnoměrné rozdělení DU(m)- příklady: hodnota první číslice na SPZ
hod kostkou
mxP
1)(
2
1)(
mxE
12
1)(
2
mxD
Rovnoměrné rozdělení, diskrétní
![Page 20: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/20.jpg)
20
Binomické rozdělení B(n,p)
n nezávislých pokusů, při nichž může
nastat jev A s pravděp. pa nenastat s pravděp. (1-p)
x udává počet, kolikrát nastal jev A
při n pokusech
},...,2,1,0{ nxnx pp
x
nxP
)1()(
)1()( ,)( pnpXDnpXE
Binomické rozdělení, diskrétní
![Page 21: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/21.jpg)
21
Geometrické rozdělení G(p)
- opakujeme nezávislé pokusy, při nichž může nastat jev A s pravděp. p
- x udává počet neúspěšných pokusů, než poprvénastane jev A
,...}2,1,0{
xppxP )1()(
Geometrické rozdělení, diskrétní
![Page 22: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/22.jpg)
22
Rovnoměrné rozdělení U(a,b)
),( pro ,1
)(
),( pro ,0)(
baxab
xf
baxxf
2)(
baXE
12
)()(
2abXD
Rovnoměrné rozdělení, spojité
![Page 23: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/23.jpg)
23Normální rozdělení N(,)
Vícerozměrné normální rozdělení N(,)
)2
)(exp(
2
1)( 2
2
x
xf
)),()(2
1exp(
||)2(
1)( 1
2
1
2
xxxf td
Normální rozdělení, spojité
ddd RR ,
![Page 24: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/24.jpg)
24
Mějme n nezávislých náhodných veličin Xi. Jejich součet S=X1+…+Xn je také náhodná veličina se střední hodnotou =1 + … + n a rozptylem 2=1
2 + … + n2.
Centrální limitní věta: S rostoucím n se distribuce F(S) blíží normálnímurozdělení N(,).
Centrální limitní věta
![Page 25: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/25.jpg)
25
Pravděpodobnost: Koncept náhodné veličiny
![Page 26: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/26.jpg)
26
Předpokládejme, že hodnoty číslic na SPZjsou náhodné veličiny X1, X2, ... , X6, nabývající hodnot {0,1,…,9}. Výskyt každéčíslice má rovnoměrné rozložení.
Součet všech číslic na SPZ S = X1+X2+ ... +X6
je také náhodná veličina. Nabývá hodnot {0,1,…,54}a blíží se normálnímu rozložení.
.
.
.
x1 x2 x3 x4 x5 x6 S
13
23
16
Centrální limitní věta, příklad
![Page 27: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/27.jpg)
27
Část 2
Statistika
![Page 28: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/28.jpg)
28
Náhodný výběr rozsahu n
- n nezávislých opakování téhož pokusu- posloupnost n nezávislých náhodných veličin se stejným
rozdělením X1.,..., Xn
Výběrový průměr
Výběrové momenty
Výběrový rozptyl
Poznámka
n
iiX
nX
1
1
n
i
kik X
nM
1
1
n
ii XX
nS
1
22 )(1
1
)()( 2 xDSE
Náhodný výběr
![Page 29: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/29.jpg)
29
Formulace úlohy:
- mějme n nezávislých měření {x1,…,xn}
- známe parametrický model hustoty f(X)= f(x|), případně diskrétní p(xi|), až na neznámou hodnotu parametru
Cíl: Na základě naměřených {x1,…,xn} určit hodnotu
Příklad: Předpokládejme, že rozložení výšky lidí lze popsat normálním
rozdělením s neznámou střední hodnotou a rozptylem . Na základě náhodného vzorku 100 lidí chceme odhadnout ,2
f(x|) = N(,2), = {,2}
Odhad parametrů
![Page 30: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/30.jpg)
30ML-odhad (Maximal Likelihood) :
Hledáme takové , které maximalizuje P({x1,…,xn} )
Přesněji pro spojitý případ: hledáme , které maximalizuje sdruženou hustotu
L(,x) – věrohodnost:
)|},...({ maxarg 1*
nxxP
)|()...|()|( maxarg 21
nxPxPxP
)|()...|()|( maxarg 21
nxfxfxf
)|()...|()|( ),( 21 nxfxfxfxL
Odhad, metoda maxim. věrohodnosti
![Page 31: Pravděpodobnost a statistika opakování základních pojmů](https://reader033.vdocuments.pub/reader033/viewer/2022061618/56813518550346895d9c6db7/html5/thumbnails/31.jpg)
31
Hledá se :
a) analyticky
b) numericky
- metody gradientního sestupu- EM algoritmus
)|( maxarg* xL
0),(
xL
ML-odhad, možné postupy řešení