esempio di estrazione delle componenti principali cinque domande di un questionario (scala di likert...

Esempio di estrazione delle componenti principali

• Cinque domande di un questionario (scala di Likert da 1 molto contrario a 5 molto d’accordo)

• 1559 studenti delle scuole medie hanno risposto al questionario

• SPSS calcola le statistiche univariate e la matrice delle correlazioni

Statistiche descrittive

4,15 1,077 15593,80 1,144 15592,46 1,445 15592,84 1,268 15592,77 ,927 1559

w1 I miei genitori sono bravi genitori, e ne sono orgogliosow2 Mia madre è affettuosa con mew3 Vorrei avere un’altra costituzione fisicaw4 Penso di avere un bel fisico anche senza vestitiw5 Gli insegnanti apprezzano il mio impegno

MediaDeviazione std.

Analisifattoriale

N

Le medie ci informano che le risposte non sono estreme, ma variano e si collocano abbastanza al centro dell’ambito delle risposte

Matrice di correlazionea

1,00 ,472 -,114 ,107 ,147,472 1,00 -,099 ,109 ,186-,114 -,099 1,00 -,567 -,013,107 ,109 -,567 1,00 ,031,147 ,186 -,013 ,031 1,00

,000 ,000 ,000 ,000,000 ,000 ,000 ,000,000 ,000 ,000 ,301,000 ,000 ,000 ,114,000 ,000 ,301 ,114

w1 I miei genitori sono bravi genitori, e ne sono orgogliosow2 Mia madre è affettuosa con mew3 Vorrei avere un’altra costituzione fisicaw4 Penso di avere un bel fisico anche senza vestitiw5 Gli insegnanti apprezzano il mio impegnow1 I miei genitori sono bravi genitori, e ne sono orgogliosow2 Mia madre è affettuosa con mew3 Vorrei avere un’altra costituzione fisicaw4 Penso di avere un bel fisico anche senza vestitiw5 Gli insegnanti apprezzano il mio impegno

w1 Imieigenitorison

obrav

igenitori,e neson

oorgoglioso

w2 Miamadre èaffettuos

aconme

w3 Vorrei

avere

un’altra

costituzionefisic

a

w4 Pensodi

avere unbelfisic

oanche

senza

vestiti

w5 Gli

insegnanti

apprezzano ilmioimpegn

o

Determinante = ,496a.

Alcune correlazioni sono elevate

Sono un buon inizio per un’analisi fattoriale

Definizione e calcolo delle comunanze

• Le comunanze sono, per ogni variabile osservata, la somma delle varianze comuni fra fattori e variabili osservate.

• La somma di queste varianze (standardizzate) vale 1, per ogni variabile

Comunalità

1,000 1,0001,000 1,0001,000 1,0001,000 1,0001,000 1,000


InizialeEstrazione

Metodo di estrazione: Analisi componenti principali.

Con un numero di fattori estratti uguale al numero delle variabili, le comunanze (somma dei quadrati delle

saturazioni) sono uguali all’unità

Estrazione delle comunanze

Matrice di componentia

,629 ,500 -,317 -,503 ,037,631 ,528 -,228 ,519 -,034

-,665 ,583 -,044 ,036 ,464,670 -,573 ,076 ,041 ,463,306 ,405 ,860 -,050 -,012


1 2 3 4 5Componente

Metodo estrazione: analisi componenti principali.5 componenti estrattia.

La terza frase ha una correlazione negativa con il

primo fattore

Matrice fattoriale (correlazioni fra variabili osservate e variabili latenti)


,629 ,500 -,317 -,503 ,037,631 ,528 -,228 ,519 -,034

-,665 ,583 -,044 ,036 ,464,670 -,573 ,076 ,041 ,463,306 ,405 ,860 -,050 -,012


1 2 3 4 5Componente


La somma dei quadrati delle saturazioni (1,780) è uguale

alla varianza del fattore o autovalore

Matrice fattoriale (correlazioni fra variabili osservate e variabili latenti)

Varianza totale spiegata

1,780 35,595 35,595 1,780 35,595 35,5951,361 27,222 62,817 1,361 27,222 62,817

,900 18,001 80,817 ,900 18,001 80,817,527 10,543 91,361 ,527 10,543 91,361,432 8,639 100,0 ,432 8,639 100,0

Componente12345

Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata

Autovalori inizialiPesi dei fattori non

ruotati


Con un numero di fattori estratti uguale al numero delle variabili, la somma degli autovalori è uguale alla varianza

standardizzata delle variabili osservate (=N)


,629 ,500 -,317 -,503 ,037,631 ,528 -,228 ,519 -,034

-,665 ,583 -,044 ,036 ,464,670 -,573 ,076 ,041 ,463,306 ,405 ,860 -,050 -,012


1 2 3 4 5Componente


La somma dei prodotti delle saturazioni è uguale a zero

Che relazione c’è fra le componenti?

La matrice di saturazioni fattoriali ha queste caratteristiche:

• Le n variabili osservate sono scomposte in n componenti (inferite o latenti)

• La somma dei loro quadrati per riga è uguale a 1 (= comunanza)

• La somma dei loro quadrati per colonna è uguale all’autovalore (o varianza del fattore)

• La prima componente è più elevata (e importante della sua seguente - forma canonica.

• La somma dei prodotti della riga r per la riga s è uguale al coefficiente di correlazione fra la variabile r e la variabile s

• La somma dei prodotti di una colonna s per una colonna r è uguale a zero (i fattori sono indipendenti)


,629 ,500 -,317 -,503 ,037,631 ,528 -,228 ,519 -,034

-,665 ,583 -,044 ,036 ,464,670 -,573 ,076 ,041 ,463,306 ,405 ,860 -,050 -,012


1 2 3 4 5Componente


La somma dei prodotti delle saturazioni della riga r e della riga s è uguale al coefficiente di correlazione fra le variabili r

e s

w1 I miei genitori sono bravi genitori, e ne sono orgoglioso0,629 0,500 -0,317 -0,503 0,037x x x x x

w3 Vorrei avere un’altra costituzione fisica-0,665 0,583 -0,044 0,036 0,464= = = = =-0,418 0,291 0,014 -0,018 0,017

somma -0,114

Questo valore è la correlazione della variabile w1 e w3

0

0,2

0,4

0,6

0,8

1

1,2

1 2 3 4 5

Serie5

Serie4

Serie3

Serie2

Serie1

Grafico delle cinque comunanze, suddivise secondo la ripartizione in

cinque fattori (serie= fattore)

Grazie alla caratteristica degli autovalori (in forma canonica o ordine decrescente), si possono

conservare solo le prime componenti principali, (per

esempio, due) e trascurare le altre

Estrazione di un numero inferiori di fattori, per

esempio due


1,780 35,595 35,595 1,780 35,595 35,5951,361 27,222 62,817 1,361 27,222 62,817

,900 18,001 80,817,527 10,543 91,361,432 8,639 100,0

Componente12345

Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata


ruotati


Comunalità

1,000 ,6451,000 ,6781,000 ,7821,000 ,7781,000 ,258


InizialeEstrazione


• Con due fattori estratti…

le comunanze sono inferiori a 1, poiché si trascura la varianza associata con i fattori di minore importanza


,629 ,500,631 ,528

-,665 ,583,670 -,573,306 ,405


1 2Componente


Con due fattori estratti, si conserva l’informazione rilevante sulle prime due

componenti

Con due fattori estratti, si possono rappresentare

graficamente le saturazioni sui primi due fattori

Vedere parte 2a

I due fattori non sono molto comprensibili. Però possono

essere modificati, per renderli interpretabili

I fattori possono essere trasformati ,

senza perdita di informazione

… In questa direzione, per rendere le

saturazioni fattoriali alte su un fattore e nulle

sugli altri

Ecco il risultato finale

La trasformazione imposta ai due fattori si chiama rotazione ortogonale

• I valori della trasformazione hanno raramente senso per l’interpretazione. Sono però stampati da SPSS

Matrice di trasformazionedei componenti

,725 ,689-,689 ,725

Componente12

1 2

Metodo estrazione: analisicomponenti principali. Metodo rotazione: Varimaxcon normalizzazione di Kaiser.


,725 ,689-,689 ,725

Componente12

1 2


La matrice di trasformazione contiene i seni e coseni degli

angoli di rotazione

coseno

senoVetto

re unitario

Angolo di rotazione

Kaiser è l’autore che ha proposto la rotazione Varimax (variance

Maaximum)


,629 ,500,631 ,528

-,665 ,583,670 -,573,306 ,405


1 2Componente



,725 ,689-,689 ,725

Componente12

1 2


1 2 1 2 1 2

w1 I miei genitori sono bravi genitori, e ne sono orgoglioso0,63 0,50 1 0,73 0,69 0,11 0,80w2 Mia madre è affettuosa con me0,63 0,53 2 -0,69 0,73 0,09 0,82w3 Vorrei avere un’altra costituzione fisica-0,67 0,58 -0,88 -0,04w4 Penso di avere un bel fisico anche senza vestiti0,67 -0,57 0,88 0,05w5 Gli insegnanti apprezzano il mio impegno0,31 0,40 -0,06 0,50

per esempio:

0,67 x 0,73 +0,58x(-0,69)= -0,880,31 x 0,69 +0,40 x0,73 = 0,50

riga 3a x colonna 1a= coeff riga 3a, colonna 1ariga 5 x colonna 2a = coeff riga 5a colonna 2a

Matrice fattoriale ruotata

Matrice di trasformazione

Componenti non ruotati

Si moltiplica la matrice non ruotata per la matrice di trasformazione

Matrice dei componenti ruotataa

,112 ,796,094 ,818

-,884 -,035,881 ,046

-,057 ,504


1 2Componente

Metodo estrazione: analisi componenti principali. Metodo rotazione: Varimax con normalizzazione di Kaiser.

La rotazione ha raggiunto i criteri di convergenza in 3 iterazioni.a.

• Accettazione del proprio corpo• Armonia coi familiare (o adulti)

Ecco il risultato finale i due fattori sono semplici e comprensibili

0

0,2

0,4

0,6

0,8

1

1,2

1 2 3 4 5

Serie5

Serie4

Serie3

Serie2

Serie1

Grafico delle comunanze con i fattori ruotati (in azzurro le varianze dei fattori

abbandonati)

0

0,2

0,4

0,6

0,8

1

1,2

1 2 3 4 5

Serie5

Serie4

Serie3

Serie2

Serie1

Comunanze originali

0

0,2

0,4

0,6

0,8

1

1,2

1 2 3 4 5

Serie5

Serie4

Serie3

Serie2

Serie1

Grafico delle cinque comunanze, suddivise secondo la ripartizione in

cinque fattori (serie= fattore)

Criterio per la rotazione ortogonale (Varimax, Kaiser,

1958)• Si cerca la soluzione semplice:

Una variabile dovrebbe 1. essere molto satura di un solo

fattore (r >|0,40|)

2. avere saturazioni nulle sugli altri fattori (r 0)

Rotazione obliqua

• Quando la rotazione degli assi non mantiene rigidi (ortogonali) gli assi di riferimento dei fattori, si ottengono le rotazioni oblique

• Gli assi non restano ortogonali, i fattori non sono indipendenti fra di loro, ma le saturazioni fattoriali sono più grandi e facilitano l’interpretazione dei fattori

Esempio

• Revisionando il questionario sulla depressione di Beck (BDI II), si scoprì che c’erano due aspetti che partecipavano del fenomeno: il versante cognitivo-affettivo e il versante comportamentale.

• Non aveva senso cercare una soluzione ortogonale, (non esiste un aspetto affettivo della depressione indipendente dall’aspetto comportamentale della depressione). La soluzione è stata trovata con due fattori obliqui.

Testo del Beck Depression Inventory II

Perché si chiama rotazione obliqua?

Ecco un esempio di sette variabili su i primi due fattori

La rotazione ortogonale non

produrrebbe una soluzione ottimale, le

variabili sono troppo simili

fra di loro

Le variabili sono sature di entrambi i fattori, ma i due fattori sono ora

obliqui, cioè correlati fra di

loro, ma si adattano meglio ai

punti dei fattori

La rotazione Promax produce i fattori correlati (qui r12= 0,66)

La rotazione Promax è quella più utile e consigliabile, perché si basa sulla

rotazione Varimax

Spss produce anche la correlazione fra i fattori obliqui

Matrice di correlazionedei fattori

1,000 ,205,205 1,000

Fattore12

1 2

Metodo estrazione: fattorizzazionedell'asse principale. Metodo rotazione: Promax connormalizzazione di Kaiser.

• Tuttavia, in questo caso la correlazione fra i due fattori è veramente trascurabile e la soluzione fattoriale non differisce molto da quella ortogonale

Esempio iniziale, con fattori iterati e rotazione promax

Matrice di struttura

,150 ,627,142 ,751

-,759 -,146,747 ,154,030 ,242


1 2Fattore

Metodo estrazione: fattorizzazione dell'asse principale. Metodo rotazione: Promax con normalizzazione di Kaiser.

Il metodo di estrazione dei fattori

Metodo di estrazione: Fattori iterati

• Il metodo delle componenti principali è matematicamente corretto, ma statisticamente improbabile.

• E’ opportuno usare un altro metodo, detto dei fattori principali o iterati.

Il metodo si basa su iterazioni:

• Al posto delle comunanze, si inserisce il coefficiente di correlazione multiplo di ogni variabile.

• Si calcolano gli autovalori e le saturazioni

• Si calcolano le comunanze• Si sostituiscono alle stime iniziali • Si ripete il ciclo, finche le saturazioni

osservate sono uguali a quelle ottenute con la soluzione precedente.

Esempio applicativo

• Le stesse cinque variabili dell’esempio iniziale, con due fattori estratte e ruotati


1,780 35,595 35,595 1,298 25,965 25,965 1,139 22,783 22,7831,361 27,222 62,817 ,853 17,068 43,033 1,012 20,249 43,033

,900 18,001 80,817,527 10,543 91,361,432 8,639 100,0

Fattore12345

Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata


ruotati Pesi dei fattori ruotati

Metodo di estrazione: Fattorizzazione dell'asse principale.

• Gli autovalori iniziali sono uguali alla soluzione delle componenti principali, ma quelli dei fattori sono più piccoli.

• Il metodo di estrazione tende a eliminare la varianza delle variabili solitarie.

Matrice fattorialea

,445 ,443,504 ,556

-,644 ,402,639 -,388,151 ,190


1 2Fattore

Metodo estrazione: fattorizzazione dell'asse principale.Tentativo di estrazione di 2 fattori. Sono richieste più di 25 iterazioni.(Convergenza=,002). L'estrazione è stata interrotta.

a.

Matrice fattoriale ruotataa

,092 ,621,072 ,748

-,756 -,063,744 ,072,007 ,243


1 2Fattore

Metodo estrazione: fattorizzazione dell'asse principale. Metodo rotazione: Varimax con normalizzazione di Kaiser.

La rotazione ha raggiunto i criteri di convergenza in 3 iterazioni.a.

Il metodo dei fattori iterati (o asse principale) evidenzia la scarsa covariazione della

variabile w5 con le altre variabili dell’analisi, e per questo è più realistico (saturazioni basse)

Comunalità

,231 ,394,240 ,564,325 ,576,325 ,559,039 ,059


InizialeEstrazione


• Con due fattori estratti, cambiano molto le comunanze, soprattutto per la domanda 5


1,780 35,595 35,595 1,298 25,965 25,965 1,139 22,783 22,7831,361 27,222 62,817 ,853 17,068 43,033 1,012 20,249 43,033

,900 18,001 80,817,527 10,543 91,361,432 8,639 100,0

Fattore12345

Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata Totale% di

varianza

%cumul

ata


ruotati Pesi dei fattori ruotati


AvvisiImpossibile richiedere un numero di fattori pari aquello delle variabili con qualsiasi metodo diestrazione ad eccezione di PC. Il numero di fattoriverrà ridotto di uno.

• Con i Fattori iterati, non si possono ottenere tanti fattori quante sono le variabili osservate, poiché vi è una riduzione della covariazione (la matrice perde il suo rango). Ma dal punto di vista statistico è più realistico questo approccio. SPSS stampa un avviso per avvisare che l’estrazione chiederà un numero più basso di fattori

Comunalità

,231 ,394,240 ,564,325 ,576,325 ,559,039 ,059


InizialeEstrazione


La comunanza della variabile 5 (solitaria) è sparita: non fa riferimento a nessun’altra variabile

• Il metodo dei Fattori principali è da consigliare, in sostituzione di quello delle componenti principali

• Le differenze sono tanto più elevate quanto più piccolo è il numero di variabili osservate. A al di là delle 35 variabili osservate, le differenze fra i metodi sono minime.

Il problema del numero di fattori da estrarre

Criteri validi:1. Scree test2. Analisi parallela

Lo scree-test

• È la rappresentazione grafica degli autovalori in forma canonica (i primi, più importanti, sono sulla sinistra del grafico)

• Secondo Cattell, gli autovalori connessi con i fattori reali e non casuali hanno un andamento caratteristico a caduta

• Quelli casuali degradano lentamente

Lo scree-test

• Si estraggono solo quei fattori che sono sulla linea di caduta, e si trascurano quelli che degradano lentamente

Validità dello scree-test

• È molto usato, è facile da utilizzare, ma non sempre è efficace e veritiero. A volte il pendìo non è individuabile con facilità

L’analisi parallela

• Consiste nel generare dei numeri causali, uno per ogni variabile osservata e per ogni partecipante.

• Si estraggono gli autovalori• Si ripete la simulazione molte volte• La media del primo, secondo …

ennesimo autovalore servono da confronto per gli autovalori della matrice reale

Esempio con cinque simulazioni

• Si estraggono i 14 autovalori da una matrice di 14 variabili osservate, e si riportano sul grafico, insieme a quelli corrispondenti di cinque simulazioni, ottenute sostituendo a ciascuna risposta R di un soggetto S un dato casuale (per esempio un punto zeta. Si estraggono i fattori e si tiene conto degli autovalori. Si ripete la simulazione cinque volte, ottenendo così cinque primi, cinque secondi , cinque terzi …autovalori, da confrontare con il primo, secondo, terzo… reale.

Esempio con cinque simulazioni

00,250,5

0,751

1,251,5

1,752

2,252,5

2,753

1 2 3 4 5 6 7 8 9 10 11 12 13 14

veri

s1

s2

s3

s4

s5

Autovalori fuori scala nel grafico, perché sicuramente da

conservare

Ambito dell’incertezza

Autovalori reali più piccoli di quelli casuali, sicuramente

da scartare

Validità dell’analisi parallela

• Funziona molto bene, anche se non è entrata completamente nell’uso.

• Un software (Monte Carlo PCA di Marley Watkins) è disponibile gratuitamente in rete.

Grafico degli autovalori dei dati reali e simulati

Real and Randomly generated eigenvalues

3,77

2,66

2,16

1,87

1,391,471,29 1,28 1,14 1,10 1,04

0,0

1,0

2,0

3,0

4,0

1 2 3 4 5 6 7 8 9 10 11 12

Real

Random

In questo grafico la linea fucsia indica la

media degli autovalori casuali

4,0

3,1

2,82,6

2,3 2,21,9 1,8

1,6 1,5 1,4 1,3 1,3 1,2 1,2 1,2

0,0

0,5

1,0

1,5

2,0

2,5

3,0

3,5

4,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Reali

Casuali

Secondo esempio Valori reale e medie degli autovalori

casuali

In questo grafico la linea fucsia indica la

media degli autovalori casuali

Output del programmino di Watkins

• Monte Carlo PCA for Parallel Analysis• Version .

• 08/11/2011 15.57.03• Number of variables: 5• Number of subjects: 1559• Number of replications: 100

• ++++++++++++++++++++++++++++++++++++++++++++++++++++++

• Eigenvalue # Random Eigenvalue Standard Dev• +++++++++++++++++++++++++++++++++++++++++++

+++++++++++• 1 1,0723 ,0157• 2 1,0323 ,0147• 3 0,9984 ,0102 • 4 0,9681 ,0112• 5 0,9289 ,0176• +++++++++++++++++++++++++++++++++++++++++++

+++++++++++• 08/12/2011 15.57.04

• ******************************************************

I primi due autovalori

dell’esempio sono superiori ai due

autovalori dei dati casuali (1,78 e

1,36) ma il terzo è inferiore (0,90), Si

sceglie la soluzione a due

fattori (da estrarre e ruotare)

Il 95° percentile

• Il software di Witkins permette di trasformare il k-esimo autovalore tratto dai dati con il k-esimo autovalore dei dati simulati. L’autovalore dei dati reali dovrebbe essere superiore al 95% degli autovalori casuali per essere considerato rappresentativo di una dimensione latente da prendere in considerazione.

Istruzione del software

• Select the number of variables (3-300), subjects (100-2500), and replications (1-1000). The program then: (1) generates random normal numbers for the quantity of variables and subjects selected, (2) computes the correlation matrix, (3) performs Principal Components Analyses and calculates the eigenvalues for those variables, (4) repeats the process as many times as specified in the replications field, and (5) calculates the average and standard deviation of the eigenvalues across all replications.

• For stable results, replicate at least 50-100 times. Use these eigenvalues as the criteria for Horn's Parallel Analysis for the number of factors or components to retain for rotation.

SEGUE…

Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, 179-185.

Lautenschlager, G. J. (1989). A comparison of alternatives to conducting monte carlo analyses for determining parallel analysis criteria. Multivariate Behavioral Research, 24, 365-395.

Velicer, W. F., Eaton, C. A., & Fava, J. L. (2000). Construct explication through factor or component analysis: A review and evaluation of alternative procedures for determining the number of factors or components. In R. D. Goffin & E. Helmes (Eds.), Problems and solutions in human assessment: Honoring Douglas N. Jackson at seventy (pp. 41-71). Boston: Kluwer Academic Publishers.

Zwick, W. R., & Velicer, W. F. (1986). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 99, 432-442.

Riferimento bibliografico

Include this reference in publications which determined the number of factors to retain using this software:

Watkins, M. W. (2000). Monte Carlo PCA for Parallel Analysis [computer software]. State College, PA: Ed & Psych Associates.

esempio di estrazione delle componenti principali cinque domande di un questionario (scala di likert...

Documents