3. componentes principales introducción componentes principales componentes principales...

3. COMPONENTES PRINCIPALES

Introducción Componentes principales Componentes principales muestrales Comportamiento asintótico de autovalores y autovectores

1

COMPONENTES PRINCIPALES

Introducción

2

Reducir la dimensión manteniendo la máxima información posible.

Interpretación.

Paso previo al uso de otras técnicas.

Componentes principales

Consiste en construir combinaciones lineales

de las variables originales.

Media:

Varianza:

Covarianza:

COMPONENTES PRINCIPALES3

XaXaXaY

XaXaXaY

pppppp

pp

'

'

11

111111

')( aYE

aaYV ')(

jiji aaYY '),cov(


Primera componente principal: combinación lineal de X tal que


Segunda componente principal: combinación lineal de X tal que

1 1

11

11

111 'max)'(max

aaaa

ppaaXaV

0)','cov(

1 1

21

22

22

222 'max)'(max

XaXa

aa

aapp

aaXaV



...

i-ésima componente principal: combinación lineal de X tal que

ijjiXaXaCov

aa

aa

ji

ii

pi

pi

iii aaXaV

,,0)','(

1 1

'max)'(max


Teorema


Sea con matriz de covarianzas

y autovalores y autovectores

pX

X

X 1

.),(,),,( 111 ppp conee



Entonces las componentes principales son:

'

''

11

212122

111111

pppppp

pp

pp

XeXeXeY

XeXeXeYXeXeXeY

Además,

.'),cov()( jijiii eeYYyYV


Teorema


Sea con matriz de covarianzas y pares de autovalores y autovectores

1pxX

.0),(,),,( 111 ppp conee



Sean las componentes principales:

.'

'

'

22

11

XeY

XeY

XeY

pp

Entonces

.)()( 11

111

p

p

iipp

p

ii YVXV


Consecuencia


La proporción de varianza explicada por la componente es:iY

.1 p

i

Proposición

.),(jj

iijji

eXYcorr


Teorema


Sean X, , , , y los pares de autovaloresy autovectores de ,

.),(,),,( 111 ppp conee

Entonces las componentes principales de Z = (V1/2)-1 (X – μ) son:

).()('' 12/1 XVeZeY iii

Nota: No es lo mismo hacer componentesprincipales con que con



Además,

y se cumple que.),cov(

)()(111

iijji

p

ii

p

ii

p

ii

eZY

pYVZV

Nota: No es lo mismo hacer componentesprincipales con que con

Componentes principales muestrales

Teorema


Sea la matriz de datos y los pares de autovaloresy autovectores de Sn

.0ˆˆ)ˆ,ˆ(,),ˆ,ˆ( 111 ppp conee Entonces la i-ésima componente principal muestrales: .ˆˆ'ˆˆ

11 pipiii XeXeXeY

nxpX

La varianza muestral de es

Varianza total muestral:

Covarianza muestral de e es 0.

Correlación muestral:

iY

.ˆˆ)ˆ()ˆ( 11 ppYVYV

iY kY

.ˆi

.ˆˆ),ˆ( jjiijji seXYr


Teorema


Sea la matriz de datos y los pares de autovaloresy autovectores de R

.0ˆˆ)ˆ,ˆ(,),ˆ,ˆ( 111 ppp conee

Entonces la i-ésima componente principal muestrales:

.ˆˆ'ˆˆ11 pipiii XeXeXeY

nxpX



Varianza muestral de es

Varianza total muestral:

Covarianza muestral de e es 0

Correlación:

iY kY

iijji eZYr ˆ),ˆ(

iY i

ki

pp ˆˆ1


Ejemplo


1523,0426,0322,0462,0

523,01436,0389,0387,0

426,0436,01599,0589,0

322,0389,0599,01577,0

462,0387,0509,0577,01

R


Autovalores y autovectores


)385,0176,04,0676,0451,0('ˆ343,0ˆ)382,0472,0662,02,0387,0('ˆ452,0ˆ)435,0541,0335,0178,0612,0('ˆ540,0ˆ)582,0526,0260,0509,0240,0('ˆ809,0ˆ

)421,0421,0470,0457,0464,0('ˆ857,2ˆ

55

44

33

22

11

e

e

e

e

e

Calcular componentes principales sobre las variablestipificadas.


Diagrama del precipicio


Sirve para determinar cuántas componentesprincipales utilizar.Incluye el número de posibles componentes principales y los autovalores ordenados en los ejes x e y, respectivamente. Autovalores p

1

2

i

n.

1 2 i n nº c.p.

Nota:Cuando el gráfico se hacehorizontal, no se utilizanmás componentes principales

Se toman icomponentes principales

Comportamiento asintótico de autovalores y autovectores


Dada , sean autovalores de con (no se repiten).

.ˆ,,ˆ,ˆˆˆˆ2121 pp eeey

Sean X1, X2,..., Xn i.i.d. y los siguientes autovalores y autovectores muestrales

),(~ pNXp ,,1

01 pλλ



pp

y

0

0

ˆ

ˆ11

(i) Comportamiento asintótico de los autovalores

)2,0()ˆ( 22/1 Nn d

(ii) Comportamiento asintótico de los autovectores

p

ikk

ipiikkik

kii ENeeneeE

1

2/12

),0()ˆ(')(

d

(iii) Cada es independiente de los elementos de

i.ie



Ejemplo

Construir un intervalo con 1- = 0,95 para 1, siendo:

100857,21

n

22EJEMPLOS

24

Componentes principales con la matriz de correlaciones

25EJEMPLOS

26EJEMPLOS

27EJEMPLOS

29EJEMPLOS

33EJEMPLOS

34EJEMPLOS

35EJEMPLOS

36EJEMPLOS

37EJEMPLOS

38EJEMPLOS

39EJEMPLOS

40EJEMPLOS

41EJEMPLOS

42EJEMPLOS

3. componentes principales introducción componentes principales componentes principales...

Documents