l oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico,...
TRANSCRIPT
![Page 1: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/1.jpg)
Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, …
Rappresenta l’unità statistica oggetto dell’analisi ed è definito attraverso un insieme di attributi (variabili statistiche)
Pattern
![Page 2: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/2.jpg)
Variabile multimensionale insieme delle variabili statistiche qualitative e quantitative che descrivono i pattern
Spazio multimensionale ha dimensione pari al numero di variabili e contiene i pattern rappresentabili come punti
Fenomeni multidimensionali
![Page 3: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/3.jpg)
Pattern recognition Si traduce in italiano con
“Riconoscimento di configurazioni”, ma è preferibile non tradurre “Pattern”
Individuazione (classificazione) di insiemi o gruppi di pattern con caratteristiche omogenee cluster
Riguarda metodi di apprendimento supervisionato e non supervisionato
![Page 4: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/4.jpg)
Riconoscimento e classificazione
Riconoscimento del pattern e suo assegnamento a una classe o cluster
Classe o cluster insieme di oggetti (unità statistiche) aventi proprietà comuni, descritte dai loro pattern: p.es. classe dei pazienti malati, cluster dei segnali cardiaci, classe delle auto d’epoca, cluster dei denti cariati, …
![Page 5: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/5.jpg)
Valutazione del valore prognostico di test clinici
Scelta di opportune strategie sanitarie
Valutazione del significato diagnostico di un insieme di variabili cliniche
Individuazione di aspetti patologici …
Applicazioni biomediche e sanitarie
![Page 6: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/6.jpg)
Cluster analysis La cluster analisi è il nome generico
attribuito a un largo insieme di metodi statistici orientati ad individuare gruppi in un campione di oggetti. Di solito i gruppi sono chiamati cluster.
Nella cluster analysis non è necessario conoscere a priori la struttura dei gruppi, cosicché essa rappresenta un attrattivo strumento esplorativo
![Page 7: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/7.jpg)
Metodi di cluster analysis
Supervisionati il tipo dei cluster e il loro numero è definito dall’analista o progettista del modello
Non Supervisionati i cluster sono identificati nello spazio delle variabili con procedure statistiche e/o algoritmi di raggruppamento basati sull’apprendimento da campioni
![Page 8: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/8.jpg)
Problemi da affrontare
I. Definizione delle classi Imporre uno schema di classificazione agli oggetti
II. Classificazione Trovare una regola di classificazione sulla base di campioni di oggetti precedentemente classificati
![Page 9: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/9.jpg)
Soluzione del I problemaDEFINIZIONE DELLE CLASSI
• Il problema è immediatamente risolto se è disponibile una divisione degli oggetti in classi o le classi sono determinabili in modo empirico
• Viceversa, si possono usare tecniche di cluster analysis non supervisionata: consentono di raggruppare oggetti in classi basandosi su misure di distanza o di similarità
![Page 10: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/10.jpg)
Soluzione del II problema
CLASSIFICAZIONE
• L’esistenza di campioni classificati implica che esiste un possibile schema di classificazione
• E’ quindi necessario estrarre questo schema e trasformarlo in una regola pratica di classificazione; giocano un ruolo fondamentale la scelta delle variabili in base al loro potere discriminante
![Page 11: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/11.jpg)
Obiettivo matematico
Per alcuni problemi di classificazione la percezione umana può essere migliore dei classificatori quantitativi: p.es. riconoscimento del sesso dal volto
o diagnosi di malignità di un neo In generale i classificatori quantitativi sono superiori all’uomo, specialmente quando gli oggetti non possono essere percepiti direttamente e sono rappresentati da dati numerici in forma tabellare
Trovare una funzione o una regola che rappresenti gli oggetti in un insieme di indici
identificativi delle diverse classi
![Page 12: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/12.jpg)
Pre-processing e
feature extraction
Classificazione
Assegnazionealla classe
Informazioni: variabili, classi e dati empirici
(campione di progetto)
Decisione
Schema di un sistema di classificazione
PATTERN
![Page 13: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/13.jpg)
Metodi statistici e regole di classificazione
VANTAGGI
1. Sono oggettivi e possono essere ripetuti da altri
2. Permettono di valutare le performance della regola di classificazione
3. Permettono di misurare formalmente la dimensione relativa di ogni singola classe
![Page 14: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/14.jpg)
Metodi statistici e regole di classificazione
VANTAGGI
4. Permettono di determinare quanto un particolare esempio sia rappresentativo della sua classe
5. Permettono di stabilire quali sono gli aspetti di un oggetto che risultano più importanti per la sua classificazione
6. Permettono di descrivere e testare le differenze fra le classi
![Page 15: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/15.jpg)
Metodi statistici e regole di classificazione
PROBLEMATICHE1. Scelta delle variabili (feature selection):
standardizzazione, componenti principali, ...
2. Scelta della misura di distanza o di similarità: distanza Euclidea, distanza di Mahalanobis, coefficiente di similarità di Gower, …
3. Scelta del metodo di cluster: gerarchico o non gerarchico
![Page 16: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/16.jpg)
Metodi statistici e regole di classificazione
PROBLEMATICHE4. Analisi del potere di separazione della
scelta finale delle variabili
5. Scelta del metodo di classificazione: classificatore bayesiano, parametrico, non parametrico, logistico, rete neurale …
6. Valutazione del classificatore: scelta del testing set, scelta del metodo di valutazione.
![Page 17: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/17.jpg)
Misure di associazione tra oggettiMETRICHE
Possono essere adottate diverse misure di distanza o coefficienti di similarità dipendentemente dal tipo di
variabili con cui i pattern sono definiti
Le funzioni distanza più sofisticate dal punto di vista matematico sono chiamate metriche. Le proprietà formali di una metrica sono:Sia Sia EE una rappresentazione simbolica di uno una rappresentazione simbolica di uno spazio di misura e siano spazio di misura e siano XX, , YY e e ZZ tre punti tre punti qualsiasi in qualsiasi in EE. Allora la funzione distanza . Allora la funzione distanza DD è è una metrica se e solo se soddisfa le seguenti una metrica se e solo se soddisfa le seguenti condizioni:condizioni:
1.1.D(X,Y) = 0D(X,Y) = 0 se e solo se X=Yse e solo se X=Y2.2.DD((XX,,YY) ) 0 0 per tutti gli per tutti gli XX e e YY in in EE3.3.DD((XX,,YY) = D() = D(YY,,XX)) per tutti gli per tutti gli XX e e YY in in EE4.4.DD((XX,,YY) ) D( D(XX,,ZZ)+D()+D(YY,,ZZ)) per tutti gli per tutti gli XX, , YY e e ZZ in in EE
![Page 18: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/18.jpg)
Distanze euclidea e di Mahalanobis
][][=
][][=
)()(1T)()(M
)()(T)()(E
kiki
kiki
D
D
x-xΣx-x
x-xx-x
-
Le metriche più utilizzate sono la distanza euclidea DE
e la distanza di Mahalanobis DM
x(i), x(k) = vettori delle osservazioni i e k = matrice di covarianza delle osservazioniT = operazione di trasposizione
N.B. DM tiene conto delle mutue correlazioni tra variabili
![Page 19: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/19.jpg)
Altre distanze o metricheLa norma-p o distanza-p, Dp, tra due
punti x(i) e x(k), detta anche distanza di Minkowski, è:
N.B. La norma-2 coincide con la distanza euclidea D2=DE
∑1
)()(1 -
d
j
kj
ij xxD
Norma-1, detta di
Manhattan
Norma-, detta di Chebyshev
pd
j
pkj
ijp
xxD ∑1
)()(
∞→∞ -lim
pd
j
pkj
ijp xxD ∑
1
)()( -
![Page 20: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/20.jpg)
Coefficiente di similarità di Gower
∑∑
)(
)(
)(
)(=
)(
jki
j
jki
j
xw
xcG
ki
,
,,
È una misura generale di associazione valida per variabili qualitative e
quantitative
G(i,k) = coefficiente di similarità di Gower tra i pattern i e k
c(xj)(i,k) = misura di somiglianza tra i e k per la variabile xj
w(xj)(i,k) = peso dicotomico: 0/1 = confronto insensato/sensato
![Page 21: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/21.jpg)
Coefficiente di similarità di Gower
TIPI DI VARIABILI
xj dicotomica
xj(i) xj
(k) c w
1 1 1 1
1 0 0 1
0 1 0 1
0 0 0/1 0/1
xj politomica
xj(i) xj
(k) c w
a a 1 1
b 0 0
c a 0 1
b b 1 1se xj
(i) = 0 e xj(k) = 0,
c e w possono essere posti a 0 o a 1 w=0, solo se xj(i) o xj
(k) mancante
j
kj
ijki
j R
xxxc
)()()(
1=)(
--,
G(i,k) = coefficiente di similarità di Gower tra i pattern i e kRj = campo di variazione
Rj = xj(max) - xj
(min)
xj quantitativa
![Page 22: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/22.jpg)
Cluster analysis senza supervisore
Tecniche gerarchiche Si suddividono in agglomerative o divisive: la fusione/divisione tra gruppi avviene a diversi livelli dando luogo a una struttura ad albero
Tecniche non gerarchiche Il numero di gruppi è deciso a priori
![Page 23: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/23.jpg)
Dendogramma Rappresentazione grafica ad albero
dei raggruppamenti gerarchici
![Page 24: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/24.jpg)
Metodi gerarchici agglomerativiData una misura di distanza D(i-j) tra due punti generici i e j,
due cluster, p e q, sono aggregati considerando la loro distanza D(p-q), valutata con diversi metodi:
)-()( min pp jiq-p DD Metodo single-link
)-()( max pp jiq-p DD Metodo complete-link
∑ ∑1 1
)()( min
p
p
q
q
n
i
n
j qp
j-iq-p
nn
DDMetodo average-link
Metodo Ward (m = punto medio) (minimo incremento degli scarti
quadratici entro gruppi)
∑
,
)(2
)( minqp
qp
nn
i
m-iq-p DD
)-()( min qp mmq-p DD Metodo del baricentro o centroide
(mp,mq = baricentri dei due cluster)
![Page 25: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/25.jpg)
Metodo gerarchico del legame singolo
1. Ordinamento delle osservazioni in ordine crescente: ogni osservazione è trattata come un gruppo con un solo membro
2. Esame di tutte le coppie di gruppi adiacenti per trovare i due più vicini tra loro, considerando la distanza tra i loro membri più vicini
3. Ripetizione del passo 2 fino a quando non vi è un solo gruppo
In un contesto unidimensionale il metodo agglomerativo del single-link è molto semplice e
può essere descritto come segue:
![Page 26: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/26.jpg)
Metodo gerarchico del legame singolo
3125467 Nodi terminali
Distanza tra gruppi
31
2
5
4
6
7
* *
*
**
*
*Dendrogramma
x1
x2
ESEMPIO IN 2 DIMENSIONI
![Page 27: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/27.jpg)
Metodo non gerarchico k-means
Il numero k di gruppi deve essere noto a prioriI cluster si formano con la seguente procedura
iterativa, non lineare:
1. Scelta di un punto iniziale per ognuno dei k cluster
2. Attribuzione di ogni caso al cluster più vicino
3. Calcolo del vettore delle medie (centroide) per ciascuno dei cluster formati al passo 2
4. Ripetizione dei passi 2 e 3 finché i centroidi non cambiano più
N.B. Il metodo è influenzato dalla scelta dei punti iniziali
![Page 28: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/28.jpg)
Metodo non gerarchico k-means
∑ ∑ T-k
1j
n
1ijijjij
j
mxmxE
-
Scegliendo una metrica euclidea il metodo converge Minimizza la seguente funzione (errore entro-cluster):
xij = caso i-mo del j-mo clustermj, nj = media, numerosità del j-mo cluster
N.B. Sebbene I non possa essere stabilito a priori, in pratica
l’algoritmo converge dopo pochissimi passi, tipicamente < 5-6
L’algoritmo ha complessità O(n*k*I*d)n = numero dei punti I = numero iterazionid = numero variabili (dimensione)
![Page 29: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/29.jpg)
Metodo non gerarchico k-means
Esempio con n = 10, d = 2 e k = 2
Passo 1.Gruppo A
Gruppo B
*
*
Passo 2.Passo 4.Passo 3.
![Page 30: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/30.jpg)
Tecniche di partizioneSiano W e B le matrici di covarianza, rispettivamente, entro e tra gruppi e sia T la loro somma:
BWT +=
La maggioranza delle tecniche di partizione individua gruppi che minimizzano varie funzioni di tali matrici.I tre criteri più usati sono:
1. Minimizzazione determinante |W|, equivalente alla massimizzazione del rapporto |T|/|W|
2. Minimizzazione della traccia (varianza totale) di W, equivalente alla massimizzazione della traccia di B
3. Massimizzazione della traccia di BW-1
![Page 31: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/31.jpg)
Metodi non supervisionatiCONSIDERAZIONI FINALI
La prima tecnica di partizione (minimo di |W|) isola gruppi con variabili molto correlate al loro interno autovalori bassi
I metodi basati sulla traccia di W dipendono dall’unità di misura delle variabili.
Il numero di cluster può essere scelto a priori o cambiato durante l’analisi
Tecniche iterative non lineari molti minimi, la soluzione dipende dalla condizione iniziale
Si arriva a una partizione in gruppi del set iniziale anche se esso ha una distribuzione multinormale
![Page 32: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/32.jpg)
Metodi non supervisionatiCONSIDERAZIONI FINALI
La forma dei cluster dipende dalla tecnica usata: p.es. il La forma dei cluster dipende dalla tecnica usata: p.es. il single-link trova cluster a catena, i metodi di partizione single-link trova cluster a catena, i metodi di partizione basati sulla traccia di W formano cluster ipersferici, basati sulla traccia di W formano cluster ipersferici, quelli basati sul determinante formano cluster tutti della quelli basati sul determinante formano cluster tutti della stessa forma stessa forma esistono perciò molti aggiustamenti esistono perciò molti aggiustamenti
È bene eseguire più tipi di cluster analisi, studiarne la È bene eseguire più tipi di cluster analisi, studiarne la stabilità, confrontare i risultati, decidere quali stabilità, confrontare i risultati, decidere quali scartare/conservare scartare/conservare analisi esplorativa analisi esplorativa
In generale, le tecniche di cluster devono essere In generale, le tecniche di cluster devono essere accompagnate da un’analisi esperta in grado di giudicare accompagnate da un’analisi esperta in grado di giudicare criticamente i risultati alla luce della competenza ed criticamente i risultati alla luce della competenza ed esperienza nel campo in cui l’analisi è condotta. esperienza nel campo in cui l’analisi è condotta.
È utile studiare statisticamente i gruppi formati per È utile studiare statisticamente i gruppi formati per esempio tramite analisi descrittive esempio tramite analisi descrittive
![Page 33: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/33.jpg)
Classificatori supervisionati
Metodi statistici, modelli matematici, algoritmi, alberi decisionali, ecc., che assegnano pattern a classi predeterminate, cioè definite a priori
Effettuano pattern recognition ed eventualmente prendono una decisione
Il problema centrale è quello di assegnare un oggetto (caratterizzato da un insieme di n variabili) in una classe nota
![Page 34: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/34.jpg)
Classificazione di lesioni cutanee attraverso dermoscopia digitale
Neo benigno
Melanoma
Lo scopo è quello di diagnosticare le
lesioni cutanee come nei o melanomi
Classificazione con supervisore: 2 classi
![Page 35: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/35.jpg)
Scelta variabili e acquisizione dati
Geometria: area, perimetro, diametri massimo e minimo, circolarità, frattalità dei bordi …
Colore: quantità di rosso/blu/verde lesione e cute … Tessitura: contrasto, entropia … Isole di colore: disomogeneità, sbilanciamenti
e concentrazioni locali o periferiche di colore …
nkxxxk
dkkk ,...,2,1=],...,,[=
)()(2
)(1
)(x
Informazioni a priori: scelta di d variabili utili a fini diagnostici Dati empirici: campione di n esempi utilizzato per costruire il classificatore
![Page 36: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/36.jpg)
Pre-processing e feature extraction
Invece di utilizzare le variabili nella loro forma originale, esse possono essere convenientemente trasformate per:
introdurre importanti informazioni a priori;codificare variabili qualitative e discrete;rendere adimensionali le variabili quantitative per poterle confrontare tra loro;trattare i dati parzialmente mancanti;sceglierne un sottinsieme ottimale per ridurre la dimensionalità del fenomeno e filtrare gli errori statistici.
![Page 37: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/37.jpg)
Codifica variabili qualitativeIn generale, la codifica di variabili qualitative deve tener conto del
problema in esame, ma ricorrendo a una codifica di tipo binario si risolvono
molti dei problemi connessi con la natura delle variabili
Codifica dummy: n categorie n-1 bit Es.: variabile = gruppo sanguigno (n=4)
Categorie della variabile b1 b2 b3
A 1 0 0
B 0 1 0
AB 0 0 1
ZERO 0 0 0
![Page 38: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/38.jpg)
Standardizzazione
Njx
zi
ij
iji ..., 1,2,per
-)()(
Rende le variabili quantitative adimensionali in modo da poterle gestire nell’ambito multivariato
N.B. Le nuove variabili zi (i=1,2,…,d) hanno media nulla
e varianza (deviazione standard) unitaria
i = media campionaria della variabile xi i = deviazione standard campionaria della variabile xi N = numerosità campionaria
![Page 39: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/39.jpg)
Feature extraction
Scelta sottinsieme ottimo di variabili Riduzione della dimensionalità
Aumento della generalizzazione
)](),...,(),([~21 zzzy hfff
d
j
kjiji
ki zafy )()( )(z
Trasformazione e scelta delle variabili più informative
Tecniche per la riduzione della varianza Componenti principali
dhzzz h <],...,,[=~21z
Tecniche stepwise
Criteri statistici di scelta delle variabili più discriminanti: F di Fisher, lambda di Wilks, divergenza di Kullback, area sotto la curva ROC, …
Criteri di ingresso/uscita e fermata: livello di significatività, decremento non significativo dell’errore, …
Tecniche con controllo del potere discriminante Fukunaga-Koontz
![Page 40: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/40.jpg)
La sciagura della dimensionalità
La dimensione dello spazio delle variabili influenza fortemente le prestazioni del classificatore poiché:
i dati di addestramento sono campioni di dimensione N finita;N è spesso limitato da ragioni pratiche, economiche o connaturate col fenomeno studiato (p.es. numero di melanomi);l’aumento di dimensione comporta un aumento anche cospicuo del numero di parametri Np del modello;
Se il rapporto N/Np è troppo basso le stime di alcuni parametri sono molto incerte e perdono di significato, compromettendo le prestazioni del classificatore.
![Page 41: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/41.jpg)
Progetto del modello di classificazione
)z~/(MP
Stima del rischio sanitarioProbabilità di evento sanitario sfavorevole (p.es. diagnosi di
melanoma, M) condizionata alle informazioni contenute nelle variabili scelte e nei dati
campionari
Metodi non bayesiani
Stima diretta della probabilità diagnostica
Regressione logisticaReti neurali artificialiK-nearest-neighbour
Algoritmi genetici
Uso del teorema di Bayes
Metodi bayesiani
)~(
)/~()(~/(z
z)z
p
MpMPMP
![Page 42: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/42.jpg)
Classificatori a punteggio intero Scoring model
Invece di stimare la probabilità dell’evento sanitario sfavorevole valutano il rischio attraverso una scala discreta di n valori interi positivi si (i = 0, 1, 2, ..., n) che includono lo zero per rappresentare il rischio nullo
Utili in ambiente clinico: pratici, non richiedono computer; non distolgono medici e operatori sanitari da diagnosi e cura.
d
iii ss
1
d = numero di variabilisi = punteggio intero associato all’i-ma
variabile xi
λi = coefficiente binario 0/1 rischio
basso/alto (cut-off su xi)
Alcuni derivano dalla semplificazione di modelli probabilistici arrotondando i loro parametri all’intero più vicino
![Page 43: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/43.jpg)
Addestramento classificatore
DATI CLINICI
MELANOMINEI LEARNING
SET
TESTING SET
![Page 44: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/44.jpg)
Bias e varianzaERRORE DI MODELLO ERRORE STATISTICO
Learning setTesting setBias elevato Varianza elevataBias e varianza minimizzate
x2
x1
![Page 45: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/45.jpg)
Complessità e Generalizzazione
Generalizzazione: capacità del classificatore di mantenere le stesse prestazioni anche su nuovi dati
Compromesso ottimo tra bias e varianza Modello né troppo semplice, né troppo
complesso Principio del rasoio di Occam
(William of Occam, XIV sec.): la metafora del rasoio esprime l’idea dell’opportunità metodologica di eliminare con tagli di lama e mediante approssimazioni successive le ipotesi troppo complesse ed inutili per la spiegazione del fenomeno
![Page 46: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/46.jpg)
melanomi neiBlue
content
Area (mm2)
x
Tipi di modelli e generalizzazione
overfitting
underfitting
good fit
![Page 47: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/47.jpg)
Underfitting e Overfitting
Underfitting: l’errore di modello (bias) può essere ridotto, utilizzando modelli di tipo più sofisticato o aumentando la complessità degli stessi, p.es. con un aumento del numero di parametri
Overfitting: il modello è troppo complesso, stima anche gli errori campionari, memorizza i dati del learning set invece di apprendere le regole sottostanti, perde capacità predittiva, aumenta la varianza
![Page 48: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/48.jpg)
Minimizzazione errore
NM
n
i
in
i
i
nn
NPMP
RMSE
NM
∑∑1
2)(
1
2)( ]/([1]-/([ )z)z
Funzioni erroreLe principali funzioni errore sono il root mean
square error (RMSE) e la probabilità media di errata
classificazione Pmec
NM
n
i
in
i
i
ec nn
NPMP
Pm
NM
∑∑1
)(
1
)( ]/([]/(-1[ )z)z
![Page 49: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/49.jpg)
Controllo dell’overfitting
Tecniche di cross-validazioneUna parte dei dati viene efficientemente usata per
controllare il potere di generalizzazione del modello
Testing set
Trainingset
Trainingset
Trainingset
Trainingsetk=
5
Testing set
Trainingset
Trainingset
Trainingset
Trainingset
Testing set
Trainingset
Trainingset
Trainingset
Trainingset
Testing set
Trainingset
Trainingset
Trainingset
Trainingset
Testing set
Trainingset
Trainingset
Trainingset
Trainingset
Metodo di rotazione k-fold
Metodo leave-one-out
Training = N-1k=N
Testing = 1Testing = 1
Il miglior modello è quello che minimizza l’errore sui dati di learning, mantenendo lo stesso errore sui dati di testing
![Page 50: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/50.jpg)
Regolarizzazione Un diverso tipo di approccio per controllare complessità e generalizzazione è quello di introdurre un termine
di penalizzazione all’errore da minimizzare
Ω+=~
νEE
dx
dx
yd2
2
2
Ω
= parametro di controllo del termine di regolarizzazione
L’overfitting introduce forti oscillazioni, con regioni di ampia curvatura. Conviene allora introdurre una penalizzazione sulla derivata seconda (smoothing). P.es., nel caso semplice dellafunzione di regressione y(x) si ha:
0 25 50 75-1
0
1
2
3
4
x
y
![Page 51: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/51.jpg)
Early stopping Un approccio per limitare l’overfitting utilizzato con
modelli a molti parametri, stimati con tecniche iterative, è quello di arrestare l’addestramento del classificatore quando comincia a perdere in generalizzazione
0 2 4 6 8 10 12 14 16 18 20
training setvalidation set
Iterazioni
Errore
Learning Stop
Overfitting
![Page 52: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/52.jpg)
Divergenza di Kullback-LeiblerPer valutare la bontà di un classificatore
è utile avere una misura della separazione tra le classi
zz
zz ~
)/~(
)/~(ln)/~()→( d
Cp
CpCpCCD
i
jiijKL
N.B. N.B. La DKL non è simmetrica quindi a rigore non può essere considerata una metrica
)→(≠)→( jiKLijKL CCDCCD
![Page 53: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/53.jpg)
Divergenza di Kullback-LeiblerDISTRIBUZIONI GAUSSIANE
Nel caso in cui le distribuzioni delle classi siano gaussiane, la DKL simmetrica e diventa quindi una metrica, semplificandosi in:
)2(2
1
))(()(2
1)↔(
11
11T
I-ΣΣΣΣ
μ-μΣΣμ-μ
--
--
ijji
jijijiijKL
tr
CCD
i = vettore delle medie associato alla classe i i = matrice di covarianza associato alla classe i
![Page 54: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/54.jpg)
Valutazione delle prestazioni del classificatore
MELANOMACon due sole classi possiamo concepire la probabilità a posteriori di melanoma Pm stimata dal classificatore come un test diagnostico la cui soglia decisionale Pd individua la seguente matrice di classificazione:
VERI
POSITIVI
FALSI
POSITIVI
FALSI
NEGATIVI
VERI
NEGATIVI
NeiMelanomi
Pm > Pd
Pm Pd
![Page 55: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/55.jpg)
Ad ogni soglia Pd corrisponde una coppia (SE, SP)
Riportando in ascisse 1-SP e in ordinate SE si traccia una curva i cui punti rappresentano le prestazioni del classificatore per ogni Pd
Curva ROCReceiver Operating Characteristic
0
)()/~( NPNP z
0.6 0.80.4 10.2 dP
SE
1-SP
*
)()/~( MPMP z
Area di errore
AUC Area
Under ROC Curve
![Page 56: L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità](https://reader035.vdocuments.pub/reader035/viewer/2022070312/5542eb4a497959361e8b591b/html5/thumbnails/56.jpg)
SE
SP
Pd
SE
=0.
9 S
P=
0.5
SE
=0.
75 S
P=
0.75
SE
=0.
5 S
P=
0.89
SENSIBILITÀ TROPPO BASSA
SPECIFICITÀ TROPPOBASSA
SPSE
Sensibilità, specificità e soglia di decisione
P1 P2 P3
SE
Pd