MATEMATICKÉ METODY VYHODNOCOVÁNÍ

EXPERIMENTŮ

Miroslav Pokorný

A. Statistika a pravděpodobnostVšechny lidské aktivity jsou provázeny a ovlivňovány výskytem jevů. S ohledem na

možnost jejich existence je dělíme na jevy:

- jisté - systémem podmínek je vždy zaručeno uskutečnění jevu

- nemožné - systémem podmínek je uskutečnění jevu zcela vyloučeno

- náhodné - za daného systému podmínek mohou, ale nemusí nastat

Procesy měření a šetření jsou spojeny se specifickou třídou jevů, nazývaných chybami měření. Ty lze dělit podle příčin jejich vzniku na:

1. Chyby systematické - jsou vázány na čas nebo parametry měřicího procesu. Jsou předvídatelné a zvyšují nebo snižují výsledek měření o konstantní hodnotu. Lze je ovlivnit volbou dokonalejší měřicí metody nebo přístroje.

2. Chyby nahodilé - mají pravděpodobnostní charakter, nedají se předvídat a jsou popsány statistickými charakteristikami. Jejich příčiny nelze odstranit, pouze omezit.

Náhodná veličina a náhodný jev

Náhodná veličina X – počet pracovníků, přítomných na pracovišti

v pondělí v 10hod dopoledne

Náhodný jev A - je přítomno 15 pracovníků

Pravděpodobnost náhodného jevu A 0 P(A) 1

Relativní četnost jevu n – celkový počet pokusů

m – počet pokusů, při nichž jev A nastal

Statistická pravděpodobnost jevu

n

mAP

n

mAp

nlim

Datové soubory náhodné veličiny X

Úplný soubor dat – vyhodnocením získáme číselné charakteristiky

Výběrový soubor dat – vyhodnocením získáme statistické odhady číselných charakteristik

Při instrumentálních měřeních získáváme náhodný výběr dat, jehož prvky (jednotlivá měření, pozorování) jsou uvažovány jako realizace náhodné veličiny X.

Podstatné je získat tzv. reprezentativní náhodný výběr (datový soubor), který je základním předpokladem korektnosti výsledků jeho vyhodnocení při použití statistických metod.

nxxx ,......,, 21

nxxx ,......,, 21n

n

Vlastnosti reprezentativního datového souboru

Vlastnosti reprezentativního výběru (výběrového datového souboru):

- vzájemná nezávislost jednotlivých prvků výběru

- homogenita výběru, podmíněná tím, že všechny prvky výběru pocházejí ze stejného typu rozdělení hustoty pravděpodobnosti

- stejná pravděpodobnost všech prvků, že budou do výběru zařazeny

Ověření předpokladů o datech

Ověření předpokladu nezávislosti prvků výběru - statistický test – viz dále

Ověření homogenity výběru – diagram rozptýlení, histogram

Stejná pravděpodobnost všech prvků – plán a organizace sběru dat

Ověření normality výběru - statistický test – viz dále

Funkční charakteristiky náhodné veličiny X

P x X x x F x x F x

P a X b f x dxa

b

P X f x dx

1

xfdx

xdF

)(

Distribuční funkce (spojité) náhodné veličiny X

Funkce rozložení hustoty pravděpodobnosti (spojité) náhodné veličiny X

Číselné charakteristiky náhodné veličiny

Funkční charakteristiky jsou často obtížně dosažitelné a navíc i málo přehledné. Pro

lepší představu o chování náhodné veličiny proto hledáme častěji její číselné

charakteristiky, které jsou významnými parametry jejích charakteristik funkčních.

1. Charakteristiky polohy nás informují o střední hodnotě (středu) rozdělení.

2. Charakteristiky rozptýlení (variability) udávají, v jak velké míře kolísají (jsou rozptýleny) hodnoty náhodné veličiny kolem střední hodnoty. Patří sem např. disperze (rozptyl) a směrodatná odchylka.

3. Charakteristiky tvaru, tedy šikmosti (asymetrie) - které udávají nesouměrnost hodnot náhodné veličiny vzhledem k její střední hodnotě - a špičatosti (excesu), které hodnotí, jak dalece je křivka funkce rozložení hustoty pravděpodobnosti ve střední hodnotě špičatá. Patři sem koeficient šikmosti (asymetrie) resp. koeficient špičatosti (excesu).

Obecná definice číselných parametrů (momentů)

Střední hodnota funkce

Rozptyl (disperze) funkce

Směrodatná (standardní) odchylka

dxxxf )(

dxxfx )()( 22

2

Kvantily

Kvantily jsou zvláštním druhem číselných charakteristik polohy.

p-procentní kvantil je taková hodnota náhodné veličiny X, která má tu vlastnost, že pod ní leží p% procent prvků náhodného výběrového souboru.

px~

5,0~x

p – (procentní) kvantil

0,5 - kvantil

B. Předsledná analýza dat

Cíle předběžné analýzy naměřených dat

Prvotním úkolem při statistickém rozboru výběrového souboru musí být etapy

ověření vlastností tohoto souboru a potvrzení, případně zajištění jeho reprezentativnosti.

Ověření vlastností výběrového souboru provádíme pomocí robustních metod, které jsou zahrnuty do tzv. průzkumové (předběžné, explorační, exploratorní) analýzy. Průzkumová analýza poskytuje také mnohé možnosti ke zlepšení vlastností výběrového datového souboru, což vede k získání lepších výsledků statistické analýzy.

Cílem předběžné průzkumové analýzy dat je prvotní zhodnocení jejich vlastností a stanovení předpokladů pro jejich korektní následné statistické zpracování.

Grafy identifikace vlastností výběrovéhosouboruDiagram rozptýlení

Krabicový graf

R F F x xF H D ~ ~, ,0 75 0 25

B F RH H F 15,

B F RD D F 15,

kvantilxmediánM 5,0~)( 5,0

n

RMI F

D 57,1

n

RMI F

H 57,1

Histogram

L n int ,,

2 46 10 4

Počet tříd (empiricky)

minx maxx

zde L = 8

Vybraná rozdělení hustoty pravděpodobnostiRovnoměrné (rektangulární) rozdělení

Normální (Gaussovo) rozdělení

hxf

2

1)( bxa

)(5,0 1xxx n

1

1)(5,0 1

2

n

nxxs n

2

2

2

)(exp

2

1)(

x

xf

n

iix

nx

1

1

n

ii xx

ns

1

22 )(1

1

Exponenciální jednostranné rozdělení

)(exp)( 1 x

xf

),...,min( 11 nxxxx

n

ii xx

ns

1

2 )(1

Umělá rozdělení

Studentovo t-rozděleníFischerovo F-rozděleníGama rozděleníChí-kvadrát rozdělení

jejich (tabelizované) kvantily jsou použity v proceduách statistické analýzy – viz dále

Ukázka histogramů vybraných rozdělení

a) rovnoměrné b) normální c) exponenciální d) Laplaceovo

Předsledná analýza v programovém systémuMATLAB – Statistic ToolBox

Příklady uvedeny v materiálech

Statistické výpočty v MATLABupříkazů a ukázky řešených úloh

Statistické výpočty v MATLABU – Statistic ToolBox stručný manuál

C. Vlastní statistická analýza datCíle statistické analýzy dat

– Statistickou analýzou rozumíme řadu procedur, kterým podrobujeme výběrový soubor, abychom stanovili odhady parametrů základního souboru, z něhož výběr pochází. Naším cílem je, aby odhady parametrů se co nejvíce blížily přesným (deterministickým) hodnotám parametrů (které bychom získali pouze statistickou analýzou úplného datového souboru s nekonečně velkým rozsahem).

– Pro správnost a přesnost výsledků statistické analýzy je podstatné odhalení všech zvláštností výběrového souboru a jeho případná úprava na základě výsledků předsledné (průzkumové, exploratorní) analýzy, kterou jsme se zabývali v minulé části. Bez této etapy vyhodnocení dat mohou být výsledky

statistické analýzy nekorektní, zcela bezcenné a zavádějící.

Bodové odhady - číselné parametry náhodné veličiny

Výběr je dostatečně podrobně charakterizován:

a) informací o střední hodnotě velikosti prvků (střední hodnota náhodné veličiny)

b) informaci o rozptýlení prvků kolem střední hodnoty (rozptyl náhodné veličiny)

c) tvarem výběrového rozdělení (koeficient šikmosti a špičatosti)

Normální (Gaussovo) rozložení hustoty pravděpodobnosti

62

2

2

2

)(exp

2

1)(

x

xf

n

iix

nx

1

1

n

ii xx

ns

1

22 )(1

1

952

% - interval, v něm leží hodnota náhodné veličiny X s pravděpodobností P(X) = 0,62

% - interval, v něm leží hodnota náhodné veličiny X s pravděpodobností P(X) = 0,95

Analytické vyjádření Gaussovy funkce

Odhad střední hodnoty

Odhad rozptylu

Stanovení minimální velikosti výběru

Např.při požadavku: chyba odhadu parametrů = 0,1 (tj.10%)

Typ rozložení

rovnoměrné 21

normální 51

exponenciální 126

Laplaceovo 176

logonormální 351

minn

Intervalové odhady číselných parametrů náhodné veličiny

Intervalový odhad definuje číselné rozmezí, ve kterém se bude se zadanou

pravděpodobností P = (1 - ) nacházet skutečná hodnota daného parametru .

V případě bodového odhadu byl neznámý parametr určen jedinou číselnou hodnotou;

v případě odhadu intervalového je určen dvěma hraničními hodnotami L1 a L2, které

tvoří meze tzv. konfidenčního intervalu (neboli intervalu spolehlivosti):

kde P je tzv. koeficient spolehlivosti (konfidenční koeficient, statistická jistota) a

parametr se nazývá hladina významnosti.

Rovnice tak představuje tvrzení, že pravděpodobnost, s níž se bude skutečná hodnota nacházet v mezích L1 a L2, je rovna právě ( 1 - ).

121 LLP 1,0

21 LL

95,005,0

9,01,0

P

P

Intervaly spolehlivosti se vyznačují těmito vlastnostmi:

a) čím je rozsah výběru n větší, tím je interval spolehlivosti užší

b) čím je odhad přesnější a má menší rozptyl, tím je interval užší

c) čím vyšší je statistická jistota (1-) tím je interval spolehlivosti širší

Pro konstrukci intervalu spolehlivosti musíme znát buď typ rozdělení daného náhodné

veličiny. Jako příklad uvedeme konstrukci konfidenčního intervalu střední hodnoty

normálního rozdělení.

Nejlepším bodovým odhadem střední hodnoty je výběrový aritmetický průměr

n

sux

n

sux

21

21

)1( V intervalu pak leží skutečná střední hodnota µ s pravděpodobností

x

D. Testování statistických hypotéz

Metoda statistických testů

V průběhu průzkumové i statistické analýzy vyslovujeme různé předpoklady o

vlastnostech a zvláštnostech jednoho výběrového souboru nebo vyslovujeme hypotézy

o vzájemných proporcích vlastností dvou souborů při jejich porovnávání. Takové

předpoklady nazýváme statistické hypotézy a jejich platnost ověřujeme tzv.

testy (platnosti/neplatnosti) vyslovených statistických hypotéz.

Při ověřování (testování) hypotézy postupujeme vždy standardním způsobem, který má tyto kroky:

1. Zformulujeme nulovou hypotézu H0 a alternativní hypotézu HA podle povahy problému.

2. Zvolíme hladinu významnosti testu .

3. Zvolíme testovací statistiku, (tj. funkci hodnot náhodného výběru) se známým rozdělením pravděpodobnosti.

4. Určíme kritický obor hodnot testové statistiky na základě jejího rozdělení pravděpodobnosti a zvolené hladiny významnosti .

5. Vytvoříme náhodný výběr, vypočítáme hodnotu testovací statistiky (tato hodnota se někdy nazývá testovací kritérium) a určíme její kvantily, které tvoří meze kritického oboru (tzv. kritické hodnoty).

6. Rozhodneme o zamítnutí H0 a přijetí HA v případě, že hodnota testovacího kritéria padne do kritického oboru.

7. Rozhodneme naopak, pokud hodnota testovacího kritéria do oboru kritického nepadne.

Testy o reprezentativnosti výběrového souboru

Ověření předpokladu nezávislosti prvků výběru

Nulová hypotéza:

Alternativní hypotéza:

Testovací statistika

tT n

Tn

1

1

1

1

4/12/1 221 nnTT

T

x x

x x

i ii

n

ii

n

1

2

1

1

2

1

0H

AH

prvky výběru jsou nezávisléprvky výběru jsou závislé

Stanovení a použití kritického oboru. Platí-li:

12

1

nttn

je nutno hypotézu o nezávislosti prvků výběru na hladině významnosti odmítnout (hypotéza o nezávislosti prvků výběru neplatí), přičemž

12

1

nt

je (1-α/2) kvantil Studentova t-rozdělení s (n-1) stupni volnosti (nalezneme ve statistických tabulkách).

Ověření normality výběru

Testovací statistika

xgD

gExg

xgD

xgC

22

2

222

21

21

1 ˆ)ˆ(ˆ

ˆ

ˆ

kde výběrové šikmosti a špičatosti resp. jejich rozptyly a jejich střední hodnota jsou dány vztahy:

2/3

1

2

1

3

1ˆ

n

ii

n

ii

xx

xxnxg

2

1

2

1

4

2ˆ

n

ii

n

ii

xx

xxnxg

0H

AH

výběr pochází z normálního rozložené

výběr nepochází z normálního rozložení

531

3224ˆ

22

nnn

nnnxgD

1

63)ˆ( 2

ngE

)2(21 c

Definice a použití kritického oboru. Je‑li

je nutno hypotézu o normalitě rozdělení výběru odmítnout a výběr nelze považovat jako soubor s Gaussovým rozdělením, přičemž.

)2(2

je kvantil 2 rozdělení se 2 stupni volnosti (nalezneme ve statistických tabulkách)

Testy hypotéz o statistických parametrechjednoho souboru

Testy hypotéz o parametrech a normálního rozdělení.

Nulová hypotéza:

Alternativní hypotéza

Testovací statistika

Kritický obor a jeho použití. Platí-li

je nutno nulovou hypotézu o velikosti střední hodnoty zamítnout.

tx

sn

0

12

1

ntt

0

0

2

202

11 2

21

22

2

nn

2

2

02

1

n s

Nulová hypotéza:Alternativní hypotéza:

20

2

Testovací statistika

Stanovení a použití kritického oboru. Platí-li

je nutno nulovou hypotézu o velikosti rozptylu zamítnout.

Testy hypotéz o statistických parametrechdvou souborů

yx

yx

:

:

A

o

H

H

21

2121

22

21

1

2*

11 nn

nnnn

snsn

yxT

yx

T t1 1 2 /

Hypotéza H0 je na hladině významnosti zamítnuta tehdy, pokud:

22yx a) v případě, že platí je testovací statistika rovna

Předem je třeba povést test hypotézy o shodě rozptylů obou

souborů – viz dále.

2

2

1

22

n

s

n

s

yxT

yx

11 222

4

121

4

2

2

2

1

2

nn

s

nn

s

n

s

n

s

yx

yx

2/12 tT

b) v případě, že platí

Kritický obor a jeho použití. Platí-li

je nutno nulovou hypotézu o shodě středních hodnot zamítnout.

22yx je testovací statistika rovna

22

22

:

:

yxA

yxA

H

H

Fs

s

s

sx

y

y

x

max ,

2

2

2

2

212/1 , FF

Platí-li

je nulová hypotéza H0 o shodě rozptylů na hladině významnosti zamítnuta, přičemž

1 1

2 2

1

1

n

n

Nulová hypotéza:Alternativní hypotéza:

Testovací statistika

212/1 ,F

Je (1-α/2) kvantil Fischerova rozdělení s 21, stupni volnosti (nalezneme ve statistických tabulkách)

Předsledný test hypotézy o shodě obou rozptylů

E. Robustní metody statistické analýzy

Robustní odhady parametrů

Při narušení předpokladu normality dat, což je obvykle způsobeno vybočujícími hodnotami měření, nebo nejistoty v rozložení dat, lze získat efektivní odhady parametrů s využitím tzv. robustních metod. neurčují běžně odhady rozptylů, ani meze intervalů spolehlivosti

Medián a jeho rozptylPříkladem robustního odhadu polohy je medián . Má přesnou interpretaci pro symetrická i nesymetrická rozdělení. Jde vždy o 50% kvantil, kdy polovina prvků leží pod a polovina nad jeho hodnotou.

ModusStřední prvek výběrového souboru

Vyhodnocení malých výběrůn=2

Pro ní konfidenční interval střední hodnoty je možno použít vztahu: 100 1 %

222221212121

xxT

xxxxT

xx

T

cotg2

T0 05 12 71, , T0 05 19 0, ,

n=3

Pro ní konfidenční interval střední hodnoty lze použít vztahu: 100 1 %

x Ts

x Ts

3 3

Ta

1 3

4

4<n<20

Jako odhad polohy se používá tzv. pivotová polosuma

P x xL D H 0 5,

a jako odhad parametru rozptýlení tzv. pivotové rozpětí

R x xL H D

H n int / /1 2 2

H n int / /1 2 1 2

podle toho, které z H bude celé číslo. Dolní a horní pivoty jsou pak

x x HD x x n HH 1

F. Zkoumání statistických závislostí

Závislost náhodných veličin X a Y

Zkoumáním stupně statistické závislosti mezi náhodnými veličinami se zabývá korelační analýza.

Stupeň těsnosti (lineární) vazby mezi dvěma náhodnými veličinami hodnotíme velikostí koeficientu korelace.

Uvažujme dvě náhodné veličiny X a Y, které jsou reprezentovány svými výběrovými soubory naměřených hodnot a , i = 1, …, n

Párový (Pearsonův) koeficient korelace RXY vypočteme podle vztahu:

Korelační koeficient RXY může nabývat hodnot z uzavřeného intervalu <-1, 1>. Čím je korelační koeficient bližší hodnotě 1, tím je závislost náhodných veličin vyšší.

ix iy

22 yyxx

yyxxR

ii

iiXY

)(t

)(t1

)(t2

)(tz

11U

)( 2t )( nt

2t1t nt

)( nt1

)( nz t

)( nt2

)( 1t

12U nU1

21U 22U

nU 2

znU2zU1zU

Náhodné procesy

Náhodný proces zohledňuje průběh velikosti vlastností náhodné veličiny v čase.Je charakterizován množinou svých realizací.

Chceme-li získat popis náhodného procesu, musíme uvažovat minimálně dva řezy ve zvolených okamžicích, např. t1 a t2. Pro tuto dvojici pak budeme definovat všechny pravděpodobnostní charakteristiky, které popisují systém dvou náhodných veličin

a) dvojrozměrnou (simultánní) integrální funkci:

b) dvojrozměrnou (simultánní) hustotu rozdělení:

22112121 ututPttuuF )(;)(),,,(

21

21212

2121 uu

ttuuFttuup

),,,(

),,,(

a) střední hodnota náhodného procesu ve zvoleném okamžiku tn

b) rozptyl (disperze) náhodného procesu ve zvoleném okamžiku tn

c) kovarianci můžeme definovat pro dva řezy v okamžicích t1 a t2

)()()( nnnnnn tdutuput

)(])()([)]([ nnnn ttttD 2

212121221121 ),,,()]([)]([),( duduttuuptututtK

Praktickou důležitost má střední hodnota ze součinů hodnot náhodného procesu ve zvolených okamžicích t1 a t2 – autokorelační funkce

21212121221121 ),,,()()(),( duduttuupuutututtR

Autokorelační funkce vyjadřuje vnitřní strukturu náhodného procesu, je mírou závislosti mezi okamžitými hodnotami náhodného procesu ve dvou řezech.

Korelační funkce je mírou závislosti mezi okamžitými hodnotami mezi dvěma různými náhodnými procesy.

)()(),( 221121, tututtR uu

)()(),( 221121, tvtuttR vu

Typy náhodných procesů

Stacionární náhodné procesy jsou takové náhodné procesy, jejichž funkce rozdělení libovolného řádu jsou časově invariantní (nezávislé na volbě počátku času). Funkce rozdělení jsou shodné pro libovolnou hodnotu .

Ergodické náhodné procesy jsou pak takové stacionární náhodné procesy, u nichž při sledování jednoho řezu dostatečně velkého množství realizací se projeví všechny možné stavy tohoto procesu téměř ve stejných poměrech, v jakých se projeví při pozorování jediné, dostatečně dlouhé realizace tohoto procesu.

Pravděpodobnostní charakteristiky ergodického náhodného procesu lze tedy určit z jediné dostatečně dlouhé realizace tohoto procesu.

a) střední hodnota ergodického náhodného procesu:

12 tt

)( nzzo tUu

b) rozptyl ergodického náhodného procesu u(t):

c) autokorelační funkce ergodického náhodného procesu u(t):

d) vzájemnou korelační funkci ergodických procesů u(t) a v(t):

22

2 ])([][ onzzz utUU

)()()(, tvtuR vu

)()()(, tutuR uu

G. Ekonomická statistikaStatistika a ekonomie

Aplikací statistických metod na ekonomická a sociálně ekonomická data vznikla samostatná statistická disciplína – ekonomická statistika.

Předmětem ekonomické statistiky je analýza stavu a vývoje jevů v hospodářské oblasti jako východiska k hospodářskému rozhodování či stanovení hospodářské politiky.

Statistickými jednotkami mohou být například:

osoby - např. pracovníci firmy, studenti, voliči,organizace - např. podniky, obce, školy,věci - např. stroje, výrobky, budovy,události - např. úrazy, meteorologické jevy, poruchy.

Statistické jednotky se obvykle vymezují z hlediska:

věcného - např. osoba mužského pohlavíprostorového - např. občan České republikyčasového - např. jedinec, který letos dosáhne alespoň 18 let.

Ve statistickém zjišťování rozlišujeme dva typy objektů:

úplný objekt (populace) – obsahuje všechny existující vymezené statistické jednotky,

výběrový objekt (vzorek) – vybraná část populace, která se podrobuje statistickému šetření.

Výběrový objekt (vzorek):

- výběrové šetření je méně náročné na čas i finanční prostředky- úplný objekt nemusí být vždy celý dostupný- některé průzkumy mohou testované jednotky znehodnotit (např. degustace).

Podle způsobu zobrazení hodnot statistické znaky dělíme na:

znaky kvalitativní – jsou vyjádřeny slovně a obvykle představují určitou vlastnost (např. pohlaví, typ podnikání, apod.)

znaky kvantitativní – jsou vyjádřeny číselně (číselná data) a obvykle představují množství nebo velikost (např. počet studentů v ročníku, cena výrobku, apod.).

Podle způsobu zpracování dělíme statistické znaky na:

znaky nominální – obvykle jsou vyjádřeny kvalitativně, znaky jsou rovnocenné, tj. nelze je navzájem porovnávat ani seřadit do hodnotové stupnice (např. rodinný stav nebo typ podnikání),

znaky ordinální – bývají rovněž vyjádřeny kvalitativně, jednotlivým znakům lze přiřadit pořadí a navzájem je porovnávat nebo seřadit (např. dosažené vzdělání nebo jakostní třída výrobku),

znaky metrické – jsou vyjádřeny výhradně kvantitativně, jejich varianty jsou plnohodnotná výška osoby nebo počet prodaných výrobků za týden.

Podle počtu variant rozlišujeme statistické znaky:

alternativní – mohou nabývat pouze dvou různých hodnot(např. muž – žena, ano – ne),

množné – nabývají více než dvou hodnot, jsou variantní.

Statistické ukazatele a šetření

Podle charakteru rozlišujeme ukazatele:

přímo zjistitelné – jde o statistické znaky, které daná statistická jednotka přímo vykazuje, například ze svého účetnictví,

odvozené (agregované) – tyto ukazatele lze vypočítat na základě daných pokynů z jiných ukazatelů - např. průměrný plat, úhrnná produkce apod.

Podle typu měrových jednotek můžeme členit ukazatele na:

naturální – jsou vyjádřeny v množstevních či objemových jednotkách – např. kusech, kilogramech, hektolitrech apod.,

hodnotové – jsou vyjádřeny v peněžních jednotkách - korunách, eurech, dolarech apod.

Podle periodicity zjišťování dělíme ekonomické ukazatele na:

krátkodobé – měsíční a čtvrtletní (kvartální),dlouhodobé – roční.

Základní formy statistického zjišťování jsou:

pozorovánídotazování (včetně výkaznictví)experimentsekundární výzkum.

H.Organizace statistických experimentů a šetření

Přípravná etapa – definice problému

Etapa sběru dat – vytvoření výběrového souboru dat cestou statistických šetření

Kontrolní etapa – ověřování správnosti použité metodiky sběru dat

Etapa přípravy dat ke zpracování – předsledná statistická analýza

Etapa zpracování dat - vlastní statistická analýza

Etapa interpretace výsledků – závěry z provedeného šetření