Statistické metody a hodnocení morfologických dat

Pavel Trávníček

BÚ AV ČR, PřF UK

pavel.travnicek@ibot.cas.cz

Fenetické metody

Zpravidla mnohorozměrná data sestávající z předem definovaných znaků

Studované objekty jsou posuzovány na základě podobnosti (resp. vzdálenosti) těchto znaků

Všechny znaky mají stejnou váhu a nejsou rozlišovány homologické a nehomologické znaky

Zpracování mnohorozměrných dat

Shlukové analýzy (UPGMA, SL, WARD) Ordinační metody (PCA, PCoA) Diskriminační analýzy (CDA, Klasifikační

DA)

Znaky

Kvalitativní binární vícestavové

Semikvantitativní (odhadové stupnice)

Kvantitativní nespojité (počty) spojité (metriky)

Znaky – jaké zahrnout?

Čím více tím lépe Všechny diagnostické Pokud možno kvantitativní či binární Nezávislé na prostředí Znaky s normálním rozdělením

Transformace dat

Logaritmická transformace (logarithmic transformation):

Naměřené hodnoty se nahrazují jejich logaritmem

x’ij = logc xij nebo x’ij = logc (xij + konst.)

Standardizace dat Centrování (centring, standardizace na průměr rovný nule)

x’ij = xij – xi

Centrování nemění jednotky, ve kterých jsou znaky měřené, mění se jen poloha nulového bodu v soustavě souřadnic.

Standardizace směrodatnou odchylkou (standardization by standard deviation)

kde si je směrodatná odchylka znaku i

doporučuje se použít v případech, kdy jsou znaky měřené v odlišných škálách a jednotkách

Standardizace rozpětím (standardization by range, ranging)

pro měření ve stejném měřítku, ale s velkými rozdíly hodnot (převod do intervalu [0,1])

i

iijij s

xxx

ijjijj

ijjijij xx

xxx

minmax

min

Koeficienty vyjadřující vztahy mezi objekty nebo znaky (resemblance coefficients)

koeficienty vzdálenosti pro kvantitativní a binární znaky (metric distances)

koeficienty podobnosti pro binární znaky (binary similarity coefficients)

koeficienty pro smíšená data (coefficients for mixed data)

korelační koeficienty (correlation coefficients)

Metriky (vzdálenosti)

Euklidovská vzdálenost (Euclidean distance):

EU=c

kde xij je hodnota znaku i pro objekt j, xik je hodnota znaku i pro objekt k, n je celkový

počet znaků

n

iikjikj xxEU

1

2

Manhattanská metrika(City block)

CB=a+b

n

iikijkj xxCB

1

Koeficienty podobnosti pro binární data

Koeficient jednoduché shody (simple matching):

Jaccardův koeficient:

Nei & Li (1979): Link et al. (1995):

genetické vzdálenosti podle Nei & Li (1979), Link et al. (1995) využívané při NJ, PCoA odpovídají také tomuto typu koeficientů

object 2

object 1

1 0

1 a b

0 c d

dcba

daSM

cba

aJAC

cba

aNL

2

21

acb

cbL

Koeficienty pro smíšená data

Gowerův koeficient:

a) pro binární znaky:wijk = 1 a sijk = 0 pokud xik xjk (hodnoty znaku k pro objekty i a j)wijk = sijk = 1 pokud xik = xjk = 1 nebo pokud xik = xjk = 0 a negativní shoda se bere do úvahy (odpovídá koeficientu jednoduché shody)wijk = sijk = 0 pokud xik = xjk = 0 a negativní shoda se nebere do úvahy (odpovídá Jaccardovu koeficientu)

b) pro nominální znaky:wijk = 1 pokud xik a xjk jsou známé; paksijk = 0 pokud xik xjk; sijk = 1 pokud xik = xjk (počet stavů se nebere do úvahy)

c) pro kvantitativní znaky:wijk = 1 pokud xik a xjk jsou oba známé, a sijk = 1 – {|xik - xjk| / (rozpětí znaku k)}(odpovídá Manhattanské metrice s daty stadardizovanými na rozpětí)

n

kijk

n

kijkijk

w

swGOWjk

1

1

i,j – objekty charakterizované znakem k, n – celkový počet znaků,wijk – váha – (1,0) je-li možné srovnat hodnoty znaku k u objektů i,j sijk – skóre pro znak k

Korelační koeficienty Pearsonův korelační koeficient

n počet objektů, xi1 hodnota znaku 1 pro objekt i

lineární korelace, předpokládá normální rozdělení dat

Spearmanův korelační koeficient (rank koeficient, koeficient pořadí):

do úvahy se neberou konkrétní hodnoty znaků ale pořadí objektů, kde di je rozdíl v pořadí mezi objekty

Kovariance

kovariance je podobná korelačnímu koeficientu, ale není standardizovaná vzhledem k rozdílným měřítkům znaků

n

ii

n

ii

n

iii

xxxx

xxxxr

1

222

1

211

12211

12

)()(

))((

nn

d

r

n

ii

3

1

2

12

6

1

))((1

),( 221

1121 xxxxn

xxCov i

n

ii

Shluková analýza

Shluk (klastr, cluster) je skupina objektů, které uvnitř nějaké větší skupiny nemají ani nahodilý ani rovnoměrný výskyt a jejich vzájemná vzdálenost resp. nepodobnost je menší než vzdálenost resp. nepodobnost s objekty, které patří do jiných shluků.

Těžiště (centroid) shluku je hypotetický (nikoliv nutně existující) prvek, jehož souřadnice ve znakovém prostoru jsou dány průměrnými hodnotami souřadnic jednotlivých objektů.

Metody (SAHN – sekvenční/simultánní, aglomerativní/divizivní, hierarchické/nehierarchické, nepřekrývající/překrývající se) Minimalizace vzdáleností mezi shluky (SL, UPGMA) Optimalizace homogenity shluků (Ward)

SL (single linkage), metoda nejbližšího souseda

Vzdálenost skupin (na počátku objektů) je definována jako vzdálenost mezi jejich nejbližšími objekty

UPGMA (unweighted pair-group method using arithmetic averages), metoda průměrné vzdálenosti

Vzdálenost skupin (na počátku objektů) je definována jako průměr vzdáleností mezi všemi páry OTU ve skupinách

Wardova metoda (Ward’s method)

Metoda založená na optimalizaci homogenity shluků – minimalizace přírůstku celkového vnitroskupinového součtu čtverců odchylek od shlukového průměru (centroidu)

SL – m. nejbližšího souseda

UPGMA – m. průměrné vzdálenosti

Wardova metoda

A BA

A

AB

B

Ordinační metody

Objekty (OTU) jsou charakterizované p znaky a jejich vzájemnou polohu (blízkost / podobnost) lze odvodit z jejich vzájemné polohy v p rozměrném prostoru (každý rozměr prostoru je dán jedním znakem)

Je-li znaků p > 3, pak je pro

vizualizaci a interpretaci dat nutné

snížit počet rozměrů p s co nejnižší

ztrátou informace

Ordinace v novém,

redukovaném prostoru

PCA – Principal Component(s) Analysis, Analýza hlavních komponent

Původní soubor pozorovaných znaků je nahrazen souborem nových, vzájemně nekorelovaných znaků

První hlavní komponenta (PC1) je vedena ve směru největší variability mezi OTU, druhá (PC2) pak ve směru největší variability ve směru kolmém k PC1, třetí …

Vzájemná pozice objektů (OTU) je v původním i novém prostoru stejná – jsou zachovány Euklidovské distance

PCA – požadavky a typy Lze použít kvantitativní, semikvantitativní i binární data Jakkoli je lepší zajistit mnohorozměrné normální rozdělení,

metoda je natolik robustní, že není striktně vyžadováno Počet objektů (OTU) vždy alespoň o 1 větší než je počet znaků,

obvykle se doporučuje aby počet OTU byl větší než druhá mocnina počtu znaků není-li splněno je lépe použít PCoA

Centrovaná PCA – vychází z kovarianční matice znaků (vyžaduje měření ve stejných jednotkách)

Standardizovaná PCA – vychází z korelační matice znaků (přeškálování původních znaků na jednotkový rozptyl = standardizace)

Necentrovaná PCA – vychází ze skalárních součinů – používá se v některých ekologických aplikacích nikoli v taxonomii

PCA – výstupy Komponentní skóre – souřadnice objektů v novém prostoru – lze je

interpretovat z ordinačního diagramu, nebo použít pro další analýzy (např. shlukové)

Vlastní vektory – směr vektorů vyjadřující vliv původních znaků na hlavní komponenty (viz Biploty)

Vlastní čísla (eigenvalues) – míra variability původního souboru vyjádřená danou hlavní komponentou. Důležitější je procentní vyjádření – ukazuje na procento vyjádřené variability původního souboru danou komponentní osou (též kumulativní % pro více hlavních komponent)

Ordinace objektů – grafický výstup znázorňující OTU v novém prostoru z hlavních komponent

Biploty – společné znázornění objektů i vektorů původních znaků – čím ostřejší úhel a větší délka vektoru k hlavní komponentě, tím větší vliv daného znaku na variabilitu vysvětlenou touto komponentou

Odlehlé objekty (outliers) - PCA je dobré v prvním sledu využít k odhalení odlehlých, v souboru atypických objektů a zvážit jejich vyloučení (určit příčinu jejich odlehlosti)

PCoA – Principal Coordinate(s) Analysis, Analýza hlavních koordinát

Rozmístění objektů v novém prostoru je definováno hlavními koordinátami a jejich souřadnice v tomto prostoru nejsou lineárně závislé na původních znacích (na rozdíl od PCA)

Vzájemné (eulidovské) vzdálenosti objektů odrážejí vztahy mezi původními objekty, které jsou měřené libovolným koeficinetem podobnosti nebo vzdálenosti

Metodu je možné použít pro binární znaky, vícestavové kvalitativní znaky a smíšená data (nejčastější případ v taxonomii)

Lze použít i tehdy, převyšuje-li počet znaků počet objektů Postup: primární matice dat sekundární matice vzdáleností

symetrická matice (podobná kovarianční či korelační z PCA)

výpočet vlastních čísel, vektorů a komponentních skóre

Diskriminační analýza (DA)

Zatímco ordinační a shlukovací metody jsou vhodné k vytváření hypotéz, diskriminační analýza umožňuje jejich testování

Interpretace rozdílů – kanonická DA (CDA) Zda a jak dobře je možné předem stanovené skupiny odlišit na

základě znaků, které máme k dispozici Které znaky přispívají k tomuto odlišení největší mírou

Identifikace objektů – klasifikační DA Odvození jedné či více rovnic za účelem identifikace objektů

Zjištění znaků odlišujících skupiny, a nebo zařazení OTU do skupin

DA - požadavky

Kvantitativní nebo binární znaky (vícestavové nutné převést na binární)

Žádný ze znaků nesmí být lineární kombinací jiného či jiných znaků Nelze současně použít 2 nebo více silně korelovaných znaků Kovarianční matice pro jednotlivé skupiny musí být přibližně

shodné Znaky charakterizující každou skupinu by měly splňovat kritérium

mnohorozměrného normálního rozdělení (nicméně lze použít i data kvalitativní, tj. binární či kvantitativní, které tento požadavek nesplňují – jen výsledky statistických testů je nutné brát s rezervou)

Počet dat: minimálně 2 skupiny, v každé skupině minimálně 2 objekty, počet znaků menší než počet objektů (nejlépe v každé skupině)

Žádný znak by neměl být v některé skupině konstantní

CDA – Canonical Discriminant Analysis, Kanonická diskriminační analýza Umožňuje sledovat vztahy mezi objekty v prostoru definovaném

kanonickými osami Ordinační metoda, která maximalizuje rozdíly mezi skupinami

PCA, PCoA DAPředem stanovené skupiny ne anoVysvětlení maximální variability celkové meziskupinovéVážení znaků ne ano

CDA – Interpretace výstupů Relativní pozice objektů

CDA – Interpretace výstupů Celkové strukturní koeficienty (Total canonical structure)

The CANDISC Procedure  Total Canonical Structure  Variable Can1  v4 0.117885 v5 0.346662 v6 -0.287614 v8 0.052686 v9 0.050521 v10 0.112037 v11 0.283950 v12 0.091190 v13 0.155711 v14 0.557724 v15 0.204874 v16 0.653946 v17 0.610899 v18 0.446755 v23 0.569472

v24 0.771032 v25 -0.340242 v26 -0.686944 v27 -0.746051 v28 -0.280575 v31 0.492997 v32 0.354392 v33 0.475133 v34 0.255562 v35 0.454197 v36 0.232812 v38 0.497403 v40 0.113318 v41 0.545646

CDA – Úskalí Pozor na nejednoznačně zařaditelné objekty

A

B

C

A

C

B

A

B

C

Klasifikační DA

Hledání identifikačního (klasifikačního) kritéria Skupina objektů známého zařazení (training set) odvození klasifikačního

kritéria (klas. funkce) zařazení objektů neznámého postavení

Zjištění účinnosti klasifikačního kritéria Testuje se na stejném souboru dat jaký sloužil k odvození klasifikační funkce =

resubstituce (resubstitution) Máme-li menší počet objektů je vhodnější použití křížového ověření (cross-

validation) – ze souboru o n objektech se vybere n-1 objektů, které použijeme jako tréninkový soubor klasifikační funkce se použije na zařazení vypuštěného případu. Celé se opakuje n-krát

Klasifikační DA – odvození klasifikačního pravidla

Kanonická diskriminační funkce Objekty se klasifikují na základě jejich skóre na kanonické diskriminační funkci,

nebo na základě jejich projekce do kanonického prostoru

Klasifikační funkce:

12LFT + 2DFT-2LTW-23

kladné hodnoty = B. pendula

záporné hodnoty = B. pubescens

Klasifikovaný objekt se zobrazí do kanonického prostoru, který je vymezen na základě DA objektůo známé příslušnosti

Klasifikační DA – odvození klasifikačního pravidla

Výpočet lineární klasifikační funkce pro každou skupinu Pro každou skupinu objektů se vypočítá samostatná lineární klasifikační funkce. Dále se vypočítá klasifikační skóre neznámého (klasifikovaného) objektu pro

každou z těchto funkcí. Objekt bude zařazen do skupiny, pro kterou klasifikační skóre dosáhne nejvyšší

hodnoty.

Klasifikační pravidla založená na pravděpodobnostních modelech Lineární diskriminační funkce Kvadratické diskriminační funkce Neparametrické metody – např. k-nejbližších sousedů (k-nearest neighbors)