3. componentes principales introducción componentes principales componentes principales...

3. COMPONENTES PRINCIPALES

Introducción Componentes principales Componentes principales muestrales Comportamiento asintótico de autovalores y autovectores

1

COMPONENTES PRINCIPALES

Introducción

2

Reducir la dimensión manteniendo la máxima información posible.

Interpretación.

Paso previo al uso de otras técnicas.

Componentes principales

Consiste en construir combinaciones lineales

de las variables originales.

Media:

Varianza:

Covarianza:

COMPONENTES PRINCIPALES3

XaXaXaY

XaXaXaY

pppppp

pp

'

'

11

111111

')( aYE

aaYV ')(

jiji aaYY '),cov(

Componentes principales

Primera componente principal: combinación lineal de X tal que

COMPONENTES PRINCIPALES4

Segunda componente principal: combinación lineal de X tal que

1 1

11

11

111 'max)'(max

aaaa

ppaaXaV

0)','cov(

1 1

21

22

22

222 'max)'(max

XaXa

aa

aapp

aaXaV

Componentes principales

COMPONENTES PRINCIPALES5

...

i-ésima componente principal: combinación lineal de X tal que

ijjiXaXaCov

aa

aa

ji

ii

pi

pi

iii aaXaV

,,0)','(

1 1

'max)'(max

Componentes principales

Teorema

COMPONENTES PRINCIPALES6

Sea con matriz de covarianzas

y autovalores y autovectores

pX

X

X 1

.),(,),,( 111 ppp conee

Componentes principales

COMPONENTES PRINCIPALES7

Entonces las componentes principales son:

'

''

11

212122

111111

pppppp

pp

pp

XeXeXeY

XeXeXeYXeXeXeY

Además,

.'),cov()( jijiii eeYYyYV

Componentes principales

Teorema

COMPONENTES PRINCIPALES8

Sea con matriz de covarianzas y pares de autovalores y autovectores

1pxX

.0),(,),,( 111 ppp conee

Componentes principales

COMPONENTES PRINCIPALES9

Sean las componentes principales:

.'

'

'

22

11

XeY

XeY

XeY

pp

Entonces

.)()( 11

111

p

p

iipp

p

ii YVXV

Componentes principales

Consecuencia

COMPONENTES PRINCIPALES10

La proporción de varianza explicada por la componente es:iY

.1 p

i

Proposición

.),(jj

iijji

eXYcorr

Componentes principales

Teorema

COMPONENTES PRINCIPALES11

Sean X, , , , y los pares de autovaloresy autovectores de ,

.),(,),,( 111 ppp conee

Entonces las componentes principales de Z = (V1/2)-1 (X – μ) son:

).()('' 12/1 XVeZeY iii

Nota: No es lo mismo hacer componentesprincipales con que con

Componentes principales

COMPONENTES PRINCIPALES12

Además,

y se cumple que.),cov(

)()(111

iijji

p

ii

p

ii

p

ii

eZY

pYVZV

Nota: No es lo mismo hacer componentesprincipales con que con

Componentes principales muestrales

Teorema

COMPONENTES PRINCIPALES13

Sea la matriz de datos y los pares de autovaloresy autovectores de Sn

.0ˆˆ)ˆ,ˆ(,),ˆ,ˆ( 111 ppp conee Entonces la i-ésima componente principal muestrales: .ˆˆ'ˆˆ

11 pipiii XeXeXeY

nxpX

La varianza muestral de es

Varianza total muestral:

Covarianza muestral de e es 0.

Correlación muestral:

iY

.ˆˆ)ˆ()ˆ( 11 ppYVYV

iY kY

.ˆi

.ˆˆ),ˆ( jjiijji seXYr

Componentes principales muestrales

Teorema

COMPONENTES PRINCIPALES14

Sea la matriz de datos y los pares de autovaloresy autovectores de R

.0ˆˆ)ˆ,ˆ(,),ˆ,ˆ( 111 ppp conee

Entonces la i-ésima componente principal muestrales:

.ˆˆ'ˆˆ11 pipiii XeXeXeY

nxpX

Componentes principales muestrales

COMPONENTES PRINCIPALES15

Varianza muestral de es

Varianza total muestral:

Covarianza muestral de e es 0

Correlación:

iY kY

iijji eZYr ˆ),ˆ(

iY i

ki

pp ˆˆ1

Componentes principales muestrales

Ejemplo

COMPONENTES PRINCIPALES16

1523,0426,0322,0462,0

523,01436,0389,0387,0

426,0436,01599,0589,0

322,0389,0599,01577,0

462,0387,0509,0577,01

R

Componentes principales muestrales

Autovalores y autovectores

COMPONENTES PRINCIPALES17

)385,0176,04,0676,0451,0('ˆ343,0ˆ)382,0472,0662,02,0387,0('ˆ452,0ˆ)435,0541,0335,0178,0612,0('ˆ540,0ˆ)582,0526,0260,0509,0240,0('ˆ809,0ˆ

)421,0421,0470,0457,0464,0('ˆ857,2ˆ

55

44

33

22

11

e

e

e

e

e

Calcular componentes principales sobre las variablestipificadas.

Componentes principales muestrales

Diagrama del precipicio

COMPONENTES PRINCIPALES18

Sirve para determinar cuántas componentesprincipales utilizar.Incluye el número de posibles componentes principales y los autovalores ordenados en los ejes x e y, respectivamente. Autovalores p

1

2

i

n.

1 2 i n nº c.p.

Nota:Cuando el gráfico se hacehorizontal, no se utilizanmás componentes principales

Se toman icomponentes principales

Comportamiento asintótico de autovalores y autovectores

COMPONENTES PRINCIPALES19

Dada , sean autovalores de con (no se repiten).

.ˆ,,ˆ,ˆˆˆˆ2121 pp eeey

Sean X1, X2,..., Xn i.i.d. y los siguientes autovalores y autovectores muestrales

),(~ pNXp ,,1

01 pλλ

Comportamiento asintótico de autovalores y autovectores

COMPONENTES PRINCIPALES20

pp

y

0

0

ˆ

ˆ11

(i) Comportamiento asintótico de los autovalores

)2,0()ˆ( 22/1 Nn d

(ii) Comportamiento asintótico de los autovectores

p

ikk

ipiikkik

kii ENeeneeE

1

2/12

),0()ˆ(')(

d

(iii) Cada es independiente de los elementos de

i.ie

Comportamiento asintótico de autovalores y autovectores

COMPONENTES PRINCIPALES21

Ejemplo

Construir un intervalo con 1- = 0,95 para 1, siendo:

100857,21

n

22EJEMPLOS

24

Componentes principales con la matriz de correlaciones

25EJEMPLOS

26EJEMPLOS

27EJEMPLOS

29EJEMPLOS

33EJEMPLOS

34EJEMPLOS

35EJEMPLOS

36EJEMPLOS

37EJEMPLOS

38EJEMPLOS

39EJEMPLOS

40EJEMPLOS

41EJEMPLOS

42EJEMPLOS