0 metodi quantitativi per il marketing – anno accademico 2013-2014 liuc i modelli predittivi...
TRANSCRIPT
1Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
I modelli Predittivi
Modelli predittivi: insieme di tecniche il cui obiettivo è costruire modelli di dati al fine di predire il comportamento di nuovi insiemi di dati;
Caratteristiche
1. Prevedere nuovi casi:
Classificazione (DECISIONS), variabile target categorica (binaria, nominale o ordinale)
Ordinamento (RANKINGS), obiettivo “ordinare” rispetto alle variabili input le osservazioni (es credit score), può essere ricondotto ad un modello di classificazione definendo una soglia e dividendo le osservazioni in due gruppi > e <
Previsionale (ESTIMATES), approssimazione della variabile target in funzione dei valori delle variabili input
2. Selezione variabili Input: in funzione della Ridondanza e dell’Irrilevanza
3. Ottimizzazione del modello: trovare un giusto equilibrio tra underfitting e overfitting dividendo il data set in due partizioni - traning e validation set
2Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
I modelli Predittivi: Traning e Validation data set
Considerando il progetto precedentemente deifinito selezionare da Sample Data Partition ed
eseguire il nodo (analizzare il risultato)
Nella determinazione delle dimensioni dei dataset si consideri che un
traning ampio implica un modello più stabile ma ne diminuisce la
capacità di generalizzare i risultati
Un buon compromesso può essere
Traning 50%
Validation 50%
Test 0%
I dataset Test viene usato per valutare uno specifico modello
3Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
I modelli Predittivi
49
Primary
Predictive Modeling Tools
Primary
Specialty
Multiple
...50
Specialty
Predictive Modeling Tools
Primary
Specialty
Multiple
...51
Predictive Modeling Tools
Primary
Specialty
Multiple
...
Più comuni
Specifici per talune applicazioni
Per sviluppare più modelli predittivi
4Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Modello di previsione
Gli alberi di decisione costituiscono il modo più semplice di classificare degli “oggetti”
in un numero finito di classi.
Essi vengono costruiti suddividendo ripetutamente i records in sottoinsiemi omogenei
rispetto alla variabile target.
La suddivisione produce una gerarchia ad albero, dove i sottoinsiemi (di records)
vengono chiamati nodi e, quelli finali, foglie.
In particolare, i nodi sono etichettati con il nome delle variabili indipendenti, gli archi (i
rami dell’albero) sono etichettati con i possibili valori della variabile, mentre le foglie
dell’albero sono etichettate con le differenti modalità della variabile target.
5Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero esempio
6Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Modello di previsione
56
Decision Tree Prediction Rules
0.0 0.50.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
40%
60%55%
70%
x1<0.52 ≥0.52 <0.51 ≥0.51
x1
x2
<0.63 ≥0.63
root node
interior node
leaf node
...
Per effettuare previsioni si identificano “regole” legate ai
valori delle variabili di input
Dato un valore iniziale Root node si sviluppa
gerarchicamente un albero che si dirama in funzione delle
variabili input rispetto alle quali la variabile target muta di
valore in modo significativo
Ogni nodo interno effettua un test su un attributo;
Un nodo (finale) foglia ha una sola connessione
7Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Selezione variabili
Il modello inizialmente seleziona una variabile di input rispetto alla quale divide il data
set in due rami, a sinistra i casi il cui valore della variabile target è più basso e a destra
quelli per i quali è più alto.
Così facendo si ottiene una tabella a doppia entrata dove le colonne indicano la direzione
(destra/sinistra) e le righe specificano il target (0 1 se categoria o >< se continua)
Per valutarne la significatività si ricorre al test del Chi-quadro,
in particolare per database molto numerosi è preferibile Logworth=-log(p value)
Per default la soglia è Logworth >=0.70
Si procede poi in modo analogo da ciascuno nodo creato
Vedi pagina 147- 154 file LWAAEM71.pdf per approfondimenti
8Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Selezione variabili - esempio
95 5
55 45
AcquistaNo Yes
MASCHIO
FEMMINA
ORIGINALI
75 25
75 25
INDEPENDENTI
AcquistaNo Yes
allcells ected
ected)(observedχ
exp
exp 22
67,4225
)2545(
75
)7555(
25
)255(
75
)7595( 22222
Gradi di libertà = (r-1)*(c-1)=1
Pr {c2>42.67}= 6.47985E-11 numerosi
Logworth = -log10(p-value) = 10.19
9Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero costruzione
E’ possibile utilizzare il modello sia in versione autonoma (è sufficiente eseguire il nodo
Decision Tree) che interattiva, quest’ultima permette di gestire le diverse opzioni del
modello
Model Decision Tree e connettere Data Partition con nodo Decision Tree
10Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo
11Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo
Con il tasto destro del mouse
selezionare il nodo origine (blu) e
“Suddividi nodo - Split Node “
Variabili input ordinate in modo
decrescente rispetto al logworth
12Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo
E’ possibile decidere di modificare le
soglie rispetto alle quali l’algoritmo ha
deciso di suddividere il data set
Selezionare l’editor delle regole (Edit
Rule) sulla prima variabile Gift Count
36 Months
La soglia identificata è 2.5, cioè i casi
con 0,1,2 Gift negli ultimi mesi sono
nel ramo di sinistra, casi con >=3 Gift
nel ramo di destra
13Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo
Supponiamo di lasciare invariata la soglia Applied
Il modello assegna a tutti i casi nel ramo sinistro un valore previsto per il Target B
uguale a 0.43 e uguale a 0.56 per tutti i casi nel ramo destro
14Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo
Operiamo in modo analogo sui due rami.
Cosa emerge dalla nuova classificazione ?
15Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: interattivo - modifica soglie split
Supponiamo di voler cambiare il valore in corrispondenza
del quale effettuare lo split di una variabile
Selezioniamo il ramo di sinistra della variabile Gift Count
36 Months, tasto destro Split Node, selezioniamo la
variabilie Median Home Value Region Edit Rule.
Si provi a modificare le soglie oppure le regole relative ai
dati mancanti
Inserire 70.000 in New split point Add Branch selezionare Branch 1
Remove Branch
In generale: inserire la nuova soglia e quindi rimuovere la soglia che non si desidera
considerare
16Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: automatico – Maximal Tree
Dal nodo origine selezionare Train Node , l’albero è creato fino al raggiungimento
delle regole stabilite ( vedi slide 34)
17Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Maximal Tree – valutazione
Si evidenzia come il data set
trainer evidenzi una situazione
di Overfitting, il modello a 15
foglie sembra riclassificare al
meglio il data set ma nella
realtà risulta inaffidabile
considerando il data set di
validazione
Selezionare View quindi Subtree Assessment PlotTrain Node
18Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Ottimizzazione Modello
Il processo attraverso il quale si procede, al fine di ottenere un modello ottimale, è
definito di “pruning” (sfogliamento)
86
6
5
4
3
2
Predictive Model SequenceTraining Data Validation Data
ModelComplexity
inputs target inputs target
1
Create a sequence of models with increasing complexity.
...
106
Subsequent Pruning
...
Training Data Validation Datainputs target inputs target
ModelComplexity
Continue pruning until all subtrees are considered.
Si procede costruendo dei modelli via via più complessi considerando il dataset di addestramento e usando quello di validazione per identificare il modello ottimale
In particolare si procede togliendo una “foglia” all’albero, ottenendo dei modelli che dovranno essere tra loro confrontati (model fit statistic vedi slide 18). Quello migliore è scelto e si procede al suo “sfogliamento”. Il processo si arresta quando sono stati considerati tutti i sotto-alberi possibili.A questo punto viene scelto la sequenza con il rating migliore
Il modello più semplice con la valutazione più alta
19Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Ottimizzazione Modello - rating
E’ quindi necessario definire cosa si intende per rating dei modelli
Il grado di Validation Assestment è funzione:
della scala rispetto alla quale è misurata la variabile obiettivo
del tipo di previsione
Nel nostro caso, variabile target binaria in funzione del tipo ti previsione si ha:
Classificazione: minimizzazione dei falsi positivi, falsi negativi
Ranking: minimizzare discordanza (valore 1 con ranking minore di valore 0)
Stima: minimizzare l’errore quadrato, differenza tra obiettivo e previsione
N
iii yy
NerrorsquareAverage
1
2ˆ1
20Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Ottimizzazione del Modello
Partendo dal modello ottenuto con la classificazione automatica si selezioni Use Frozen
Tree su Yes (“congeliamo” il Maximal tree), si valuti quindi il risultato
21Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Ottimizzazione del Modello
View Model Subtree
Assessment Plot.
Average Square Error
Per ciascuna foglia è calcolato la
discordanza tra valore stimato e
reale
E’ evidente l’effetto overfitting
dopo il 4/5 livello
La precisione del modello
diminuisce al crescere della sua
complessità a partire da tali livelli
Obiettivo è quello di valutare il modello a 15 foglie così ottenuto con riferimento al dataset di validazione
22Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Ottimizzazione del Modello
View Model
Misclassification Rate.
Anche in questo caso si
evidenzia come la minor
errata classificazione si ha
con 4 o 5 livelli
23Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: automatico – Maximal Tree
Un albero a 4 foglie può essere ottenuto con diferenti combinazioni, si provi ad identificarle sull’abero totale
24Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello
Rinominiamo come Maximal Tree il modello calcolato e inseriamo un altro nodo per
la costruzione di modelli ad Albero
25Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello
Method, specifica come costruire il sottoalbero in
termini di metodi di selezione.
Si possono utilizzare i seguenti metodi:
Valutazione = viene scelto il sottoalbero più
piccolo con il migliore indice di valutazione
Più grande = seleziona l'albero completo –
Maximall Tree
N = seleziona il sottoalbero più grande con al
massimo n foglie
Nel nuovo nodo consideriamo le opzioni SubTree per il controllo dell’attività di pruning
26Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello
Assessment Measure: definisce la regola rispetto alla quale selezionare l’albero
migliore.
Decisione, impostazione predefinita seleziona l'albero che ha il profitto medio più alto e
la perdita media più bassa se è definita una matrice di profitto o di perdita. Altrimenti è
scelto l’albero con la minore errata classificazione
Average Square Error, se il target è continuo
Errata classificazione, se il target è categorico
Il metodo Lift valuta l'albero in base alla previsione delle prime n% osservazioni
classificate. E’ necessario utilizzare la proprietà Frazione per specificare la percentuale
per il primo n% dei casi.
27Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello
Considerando il grafico Misclassification Rate, l’albero a 5 foglie è quello che presenta
il tasso di errata classificazione migliore
28Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello
Il processo parte dall’albero a 15 foglie e prova a “sfogliare” identificando il miglior albero
14-foglia, e così via. Migliore è definita in ogni punto, per esempio, otto, nella sequenza
come l'albero a otto foglia con il più basso livello di errata classificazione.
Miglior Albero a 5 foglie
29Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modelloaltre misurazioni di Assessment
Supponendo di voler classificare non in donatori e non donatori ma stimando la probailità
di essere donatore o meno, si tratta di una modello previsionale di Stima quindi
Assessment Measure=Average Square Error
Inseriamo un nuovo modello ad Albero e rinominiamolo
Probaility Tree con Assessment Measure=Average
Square Error
30Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello altre misurazioni di Assessment
Anche in questo caso l’albero
migliore è quello con 5 foglie
31Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Pruning del Modello altre misurazioni di Assessment
L’albero ottenuto è diverso……
Infatti la logica di costruzione del’albero totale è la stessa (massimo logworth) quello che
cambia è la misurazione con la quale si selezionano i modelli in fase di sfogliamento
32Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Criteri di valutazione del modello
Trre Map, indica la misura relativa
di ciascuna foglia
Tree Map, permette di confrontare i
dati di Traning con quelli di
Validation, ideale a coppie
dovrebbero essere uguali.
Altezze diverse indicano diverse
numerosità nelle foglie
33Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Criteri di valutazione del modello
Variable Importance, il grado di
importanza è legato alla varibilità nella
variabile target riconducibile (spiegata)
a (da) ciascuna variabile input
relativamente alla variabile con
maggiore logworth.
Gift Amount Last spiega il 52,4%
della varianza spiegata da Gift Count
36 Months
34Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Criteri di valutazione del modello
Cumulative Lift, tutte le osservazioni vengono ordinate in modo decrescente rispetto al
valore previsto, viene selezionata una frazione dei dati (i decili).
La proporzione di casi appartenenti al target 1 è confrontata con l’analoga proporzione
overall.
Un buon modello avrà valori alti nei primi decili sia per il dataset target che validation
Nel caso specifico il primo 20% dei
casi selezionati come probabilità più
alta di essere donatori hanno una
probabilità del 26% in più di essere
donatori rispetto ad un qualunque
altro 20% scelto casualmente
35Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Criteri di valutazione del modello
Fit Statistcs, queste misure
sono utili per confrontare fra di
loro diversi modelli. Solitamente
le due misure più utilizzate sono
Average Square Error e
Misclassification
Output, fornisce informazioni relativamente al
modello creato, nel caso di modelli ad Albero:
varable importance, tree leaf report, model fit
statistics, classification information and score
rankiings
36Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Opzioni costruzione Albero
La costruzione dell’Albero può essere opportunamente guidata considerando alcuni
parametri:
Il numero di divisione da fare per ogni split (numero rami) Maximum Branch
Le metriche per confrontare le diverse divisioni Splitting Rule Criterion
Il metodo per sfogliare l’albero (vedi slide 24-25) Sub Tree Method
Le regole per interrompere la crescita dell’albero Tree size Option
37Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Opzioni costruzione Albero
Se si modifica il numero di rami per ciascun livello, al fine di limitare il numero di
possibili split che dovrebbero essere considerati si pone un limite con Exhaustive
property . Quando tale numero è superato un algoritmo euristico viene implementato al
posto del criterio esaustivo precedentemente descritto
141
Tree Variations: Maximum Branches
Maximum branches in split
Exhaustive search size limit
...
L’algoritmo parte considerando tutti gli
split possibili anche se superiori al limite
indicato, considera poi tutti gli
accorpamenti che abbiano una valore di
logworth migliore così da ricondurre a
binari i vari split, si arresta quando non
possono essere effettuati nuovi
raggruppamenti
Maximum Branches
38Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Opzioni costruzione Albero
E’ possibile modificare anche il criterio con cui vengono confrontati i diversi split.
Per target categorici, Chi quadro, Entropia e Gini
Per Target continui, Variance and ProbF logworth
Splitting Rule Criterion
143
Tree Variations: Splitting Rule CriterionSplit Criterion
Logworth adjustments
Chi-square logworthEntropyGini
VarianceProb-F logworth
Categorical Criteria
Interval Criteria
...
classes
classclass ppI 2log)( Entropy
classes
classpI 21)( Gini
cases
casenode
YYN
I21
)( Variance
39Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Opzioni costruzione Albero
Vedi slide 22-23
Subtree Method
145
AssessmentLargestN
Tree Variations: Subtree Method
Pruning metrics Pruning options
DecisionAverage Square ErrorMisclassificationLift
...
40Metodi Quantitativi per il Marketing – Anno Accademico 2013-2014 LIUC
Modelli ad Albero: Opzioni costruzione Albero
Tree size Options
147
Tree Variations: Tree Size Options
Minimum leaf size
Logworth threshold
Maximum tree depth
Threshold depth adjustment
Cambia il valore minimo di logworth da considerare
Utile con database molto grandi
Aumentandolo si evitano i nodi orfani
Se si vogliono alberi grandi utilizzando il
chi quadro come criterio di split