metodi non parametrici per la combinazione di...
Post on 15-Feb-2019
215 Views
Preview:
TRANSCRIPT
METODI NON PARAMETRICI PER LA
COMBINAZIONE DI TEST DIAGNOSTICI
Università degli studi di Padova
Corso di Laurea Magistrale in Scienze Statistiche
23 Marzo 2018
Relatore: Ch.mo Monica Chiogna Laureando: Davide Bonanno Consiglio
Anno accademico 2017/2018
23/03/2018 Davide Bonanno Consiglio 1
Obiettivo della tesi
• Individuare la combinazione ottimale di test diagnostici
massimizzando la curva ROC, utilizzando una stima non
parametrica del risk score, regola decisionale ottima nonché
trasformazione monotona crescente del rapporto di verosimiglianza;
23/03/2018 Davide Bonanno Consiglio 2
Background
• Dato un insieme di n soggetti:
• 𝐷𝑖 = 1 → L′ i−esimo paziente è malato
0 → L′ i−esimo paziente è sano 𝑖 = 1,… , 𝑛
• 𝕋𝑖 = 𝑇𝑖1, … , 𝑇𝑖𝑝 : vettore dei risultati di p test diagnostici (su scala continua) per l’i-
esimo paziente.
• Curva ROC (Receiver Operating
Chacteristic): strumento grafico che mette
in relazione la sensibilità e la proporzione di
falsi positivi (1-Specificità) e valuta la
capacità di un test diagnostico per tutti i
valori soglia assumibili.
• AUC (Area Under the Curve): misura di
sintesi della precisione di un test
diagnostico.
23/03/2018 Davide Bonanno Consiglio 3
Combinazione di test diagnostici
Massimizzazione
dell’AUC
Dato un vettore di p parametri, 𝛽,
che determina la combinazione
ottimale lineare di test diagnostici,
si individua la stima 𝛽 tale per cui
l’AUC è massimizzato.
• Su e Liu (1993);
• Pepe e Thompson (2000);
• Ma e Huang (2007);
• Liu e Halabi (2011);
• Kang et al. (2016).
Massimizzazione della curva ROC • Rapporto di verosimiglianza (Green e Swets (1966)):
𝐿𝑅 𝕋 =Pr 𝕋 𝐷=1
Pr 𝕋 𝐷=0
• regola ottima poiché vale il lemma di Neyman-
Pearson;
• differenti approcci di stima (parametrica, semi-
parametrica (Chen et al. (2016)) e non
parametrica (Hansen (2004));
• difficoltà interpretative da un punto di vista
medico e poca efficacia se le densità non sono
ben specificate (per approcci parametrici).
• Risk score (Pepe (2003)): 𝑅𝑆 𝕋 = Pr 𝐷 = 1 𝕋
• è una funzione monotona crescente di 𝐿𝑅 𝕋
per cui anch’essa è una regola ottima;
• maggiore semplicità interpretativa rispetto a
𝐿𝑅 𝕋 .
23/03/2018 Davide Bonanno Consiglio 4
Modellazione del risk score
• In McIntosh e Pepe (2002) è modellato per mezzo di un modello logistico con funzione
link di tipo logit
𝑔 𝜂 =exp 𝜂
1 + exp 𝜂; 𝜂 = 𝛽0 + 𝛽𝑗𝑇𝑗
𝑝
𝑗=1
• In questa tesi si vogliono utilizzare due classi di modelli non parametrici: GAM
(Generalized Additive Model) (Wood (2006)) e MARS (Multivariate Adaptive Regression
Spline) (Friedman (1991))
𝑔 𝜂 =exp 𝜂
1 + exp 𝜂; 𝜂 = 𝑠 𝕋 =
GAM → 𝛽0 + 𝑓𝑗 𝑇𝑗
𝑝
𝑗=1
MARS → 𝛽0 + 𝛽𝑘𝑘 𝕋
𝐾
𝑘=1
• 𝑓𝑗 . è un generico lisciatore univariato; 𝑘 . è una generica base di funzione.
23/03/2018 Davide Bonanno Consiglio 5
Modellazione non
parametrica del risk score • I modelli GAM e MARS si presentano come generalizzazioni dei GLM (Generalized Linear Model);
• Il GAM è costruito utilizzando lisciatori univariati per ogni covariata, mentre il MARS è costruito
attraverso coppie di basi di funzioni di grado 1 opposte tra loro;
• Un modello GAM è stimato secondo i P-IRLS (Penalized-Iterative Reweighted Least Square);
• Il MARS è stimato secondo l’approccio descritto in Leathwick et al. (2005):
• Passo 1: modellando il risk score come un modello lineare, si selezionano le basi di funzioni
(ed eventuali prodotti) che hanno un contributo incisivo sulla precisione del modello;
• Passo 2: date le basi di funzioni, si considerano come nuove covariate e i parametri sono
stimati secondo l’approccio di stima dei GLM.
• Il MARS identifica automaticamente eventuali effetti di interazioni rilevanti per costruzione. Nel
GAM, invece, le interazioni sono inserite manualmente attraverso lisciatori multivariati;
• Relazioni forti tra covariate possono incidere negativamente nella stima di entrambi i modelli (Morlini
(2006)).
23/03/2018 Davide Bonanno Consiglio 6
Le simulazioni
• Sono stati condotti degli studi di simulazione per:
• verificare che le curve ROC ottenute dalla stima non parametrica del risk score
siano vicine alla curva ROC relativa al vero risk score;
• valutare l’adeguatezza di un approccio bootstrap per la costruzione di intervalli di
confidenza per l’AUC costruito a partire dalle curve ROC precedentemente
ottenute.
• 5 scenari considerati:
1. 2 test da distribuzione normale bivariata;
2. 2 test da distribuzione esponenziale bivariata;
3. 4 test da distribuzione normale quadrivariata omoschedastica;
4. 4 test da distribuzione normale quadrivariata eteroschedastica;
5. 2 test indipendenti di cui il primo proviene da una distribuzione normale standard,
mentre il secondo da una distribuzione uniforme nell’intervallo (-1, +1);
23/03/2018 Davide Bonanno Consiglio 7
Le simulazioni
• Per ciascun scenario sono state considerate 3 errate specificazioni dei modelli per studiare
la sensibilità dei modelli non parametrici rispetto a questi fenomeni;
• Differenti dimensioni campionarie;
• Stima del modello GAM: • Pacchetto mgcv(Wood (2011));
• Spline cubica di regressione per ogni test (10 nodi per ciascuna).
• Stima del modello MARS: • Pacchetto earth(Milborrow (2017));
• Per alcuni scenari si usa un MARS con effetti lineari solo. In altri si usa
quest’ultimo (indicato come MARS (d=1)) e un MARS con effetti di interazione di
primo ordine (MARS (d=2)).
23/03/2018 Davide Bonanno Consiglio 8
Le simulazioni – Scenario 1
23/03/2018 Davide Bonanno Consiglio 9
Le simulazioni – Scenario 4
23/03/2018 Davide Bonanno Consiglio 10
Le simulazioni – Scenario 3
Errata specificazione
23/03/2018 Davide Bonanno Consiglio 11
Le simulazioni – Scenario 3
Errata specificazione
23/03/2018 Davide Bonanno Consiglio 12
Le simulazioni – Scenario 4
Errata specificazione
23/03/2018 Davide Bonanno Consiglio 13
Le simulazioni – Intervalli bootstrap
AUC Monte
Carlo
Dev. Standard
Monte Carlo
Dev. Standard
bootstrap
GAM (k=5) 0.9539 0.0243 0.0198
GAM (k=10) 0.9656 0.0218 0.0126
MARS (d=1) 0.9522 0.0283 0.0225
MARS (d=2) 0.9533 0.0272 0.0222
GAM (k=10) 0.9527 0.0174 0.0141
MARS (d=1) 0.949 0.0185 0.0163
MARS (d=2) 0.9521 0.0190 0.0166
(45, 35)
(90, 70)
Scenario 1
𝑛1, 𝑛0
• 𝑛1 indica il numero di malati e 𝑛0 il numero di sani;
• k indica il numero di nodi per spline per il GAM;
• d indica se il MARS ammette solo effetti lineari (d=1), o effetti di interazione (d=2).
23/03/2018 Davide Bonanno Consiglio 14
Analisi dei dati reali
• 3 dataset analizzati:
• Pima Indians Diabetes;
• Hearth Disease Cleveland;
• Studio su pazienti ADNI (Alzheimer’s Disease Neuroimaging Initiative).
• 2 approcci di stima dell’AUC:
• Senza convalida incrociata (intervalli di confidenza bootstrap di tipo percentile al 95%
con stratificazione su status di malattia);
• Con convalida incrociata secondo il protocollo descritto in Ma e Huang (2007).
23/03/2018 Davide Bonanno Consiglio 15
Analisi dei dati reali
• Dataset Pima Indians Diabetes:
• L’obiettivo è identificare quelle variabili che meglio determinano la condizione di
diabete;
• 768 pazienti donna di almeno 21 anni degli Indiani Pima, di cui 268 con il diabete;
• Come descritto in Ma e Huang (2007), i dati sono stati prima standardizzati;
• L’età è stata utilizzata come covariata per aggiustare la stima dei modelli.
• Dataset Hearth Disease Cleveland:
• Attraverso variabili biomediche, si vuole identificare la presenza di malattia cardiaca;
• Variabile di risposta riclassificata perché fosse dicotomica;
• 297 pazienti di cui 160 non presentano la malattia e 137 la presentano;
• L’età anche qui è stata utilizzata come covariata per aggiustare la stima dei modelli.
• Dataset studio ADNI:
• Attraverso 3 marker, si vuole diagnosticare l’AD (Alzheimer’s Disease) o l’MCI (Mild
Cognitive Impairment) su un paziente;
• 846 pazienti di cui 618 MCI e 228 AD;
23/03/2018 Davide Bonanno Consiglio 16
Analisi dei dati reali - Cleveland
AUC no CV AUC con CV
0.8007 0.7846
(0.7548, 0.8542) (0.0377)
0.8212 0.7711
(0.7972 0.8872) (0.0387)
0.8170 0.7791
(0.7959, 0.8930) (0.0413)
0.8210 0.7716
(0.8154, 0.9124) (0.0431)
GLM (1)
GLM (2)
GAM
MARS (1)
• Modelli usati per stimare il risk score:
• Modelli parametrici: modello logistico con effetti lineari (GLM(1)) e con effetti di
interazione (GLM(2));
• Modelli non parametrici: modello GAM (k=5), MARS con effetti lineari (MARS(1))
e MARS con effetti di interazione di primo ordine (MARS(2)).
23/03/2018 Davide Bonanno Consiglio 17
Analisi dei dati reali - ADNI
• Modelli usati per stimare il risk score:
• Modelli parametrici: modello logistico con
effetti lineari (GLM(1)) e con effetti di
interazione (GLM(2));
• Modelli non parametrici: modello GAM (k=5),
MARS con effetti lineari (MARS(1)) e MARS
con effetti di interazione di primo ordine
(MARS(2)).
AUC no CV AUC con CV AUC no CV AUC con CV AUC no CV AUC con CV
0.7504 0.7498 0.7411 0.7374 0.7482 0.7431
(0.7149, 0.7843) (0.0244) (0.7052, 0.7785) (0.0263) (0.7168, 0.7861) (0.0251)
0.7460 0.7411 0.7631 0.7520
(0.7136, 0.7850) (0.0259) (0.7338, 0.7996) (0.0250)
0.7503 0.7482 0.7529 0.7432 0.7628 0.7507
(0.7157, 0.7848) (0.0244) (0.7254, 0.7925) (0.0256) (0.7360, 0.8046) (0.0250)
0.7504 0.7436 0.7520 0.7334 0.7632 0.7318
(0.7178, 0.7946) (0.0244) (0.7511, 0.8190) (0.0268) (0.7582, 0.8257) (0.0280)
0.7694 0.7347
(0.7505, 0.8281) (0.0273)MARS (2)
(1) (2) (3)
GLM (1)
GLM (2)
GAM
MARS (1)
• Tre specificazioni del regressore:
1. T =tτ
Aβ1−42;
2. tτ + Aβ1−42;
3. tτ + Aβ1−42 + pτ.
23/03/2018 Davide Bonanno Consiglio 18
Considerazioni finali
• Risultati raggiunti:
• L’approccio non parametrico per stimare il risk score ha il pregio di cogliere effetti
non lineari dei tests e cogliere specificazioni complesse del modello;
• Le simulazioni effettuate hanno portato alla luce un’elevata flessibilità dell’approccio.
Il sovra-adattamento ai dati può essere gestito.
• L’analisi dei dati reali non ha portato alla luce differenze rilevanti nel stimare per via
parametrica o non parametrica il risk score. Ciò lascia intendere che verosimilmente
nei casi considerati la vera combinazione fosse di tipo lineare.
• Sviluppi futuri:
• Effettuare ulteriori studi di simulazione per verificare la copertura degli intervalli di
confidenza bootstrap per l’AUC ottenuto stimando il risk score con i modelli proposti;
• Valutare l’adeguatezza dei modelli GAM e MARS per la stima del risk score
ponendosi nel caso in cui si verifichi il verification bias (assenza del gold standard per
alcuni pazienti).
Grazie
per
l’attenzione!
top related