Download - Macchine di Percezione
![Page 1: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/1.jpg)
1 [email protected]@imm.cnr.it
Macchine di Percezione
• Costruire una macchina in grado di riconoscere pattern:
– Riconoscimento vocale
– Identificazione delle impronte digitali
– OCR (Optical Character Recognition)
– DNA identificazione delle sequenze
Pattern Classification 2° Edizione
![Page 2: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/2.jpg)
2 [email protected]@imm.cnr.it
Esempio
• “Ordinamento di specie di pesci mediante un sistema di visione che acquisisce immagini di oggeti che scorrono su un nastro trasportatore”
BranzinoSpecie
Salmone
![Page 3: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/3.jpg)
3 [email protected]@imm.cnr.it
• Analisi del problema
– Configura una telecamera ed ottieni qualche immagine campione per estrarre caratteristiche degli oggetti (features)
•Lunghezza
•Luminosità
•Larghezza
•Numero e forma delle pinne
•Posizione della bocca, ecc…
Questo è l’insieme di tutte le features suggerite per essere usate nel nostro classificatore al fine di discriminare le due specie!
![Page 4: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/4.jpg)
4 [email protected]@imm.cnr.it
• Preprocessing
– Utilizza l’operazione di segmentazione per isolare i singoli pesci presenti nell’immagine e per isolarli dallo sfondo
• L’informazione del singolo pesce viene inviata ad un estrattore di feature il cui proposito è quello di ridurre la dimensione dei dati, misurando lunghezza, larghezza luminosità ecc.
• Le features vengono inviate ad un classificatore
![Page 6: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/6.jpg)
6 [email protected]@imm.cnr.it
• Classificazione
– Seleziona la lunghezza del pesce come possibile feature (caratteristica) per la discriminazione.
![Page 8: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/8.jpg)
8 [email protected]@imm.cnr.it
La sola lunghezza è una debole feature!
Seleziona la luminosità come possibile feature.
![Page 10: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/10.jpg)
10 [email protected]@imm.cnr.it
• Soglia decisionale e relazione costo
– Muovere il nostro intorno decisionale verso valori più piccoli di luminosità in modo da minimizzare una funzione costo (ridurre il numero di branzini che vengono classificati come salmone!)
Task della teoria decisionale
![Page 11: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/11.jpg)
11 [email protected]@imm.cnr.it
• Adotta la luminosità e aggiungi la larghezza del pesce
Pesce xT = [x1, x2]
LarghezzaLuminosità
![Page 13: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/13.jpg)
13 [email protected]@imm.cnr.it
• Possiamo aggiungere altre feature non correlate con quelle che abbiamo selezionato. Una precauzione va presa nel non ridurre le performance del sistema aggiungendo “feature rumorose”
• Idealmente, il migliore intervallo di decisione sarebbe quello che fornisce performance ottimali come nella figura seguente:
![Page 15: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/15.jpg)
15 [email protected]@imm.cnr.it
• Tuttavia, la nostra soddisfazione è ancora prematura poiché lo scopo principale nel disegnare un classificatore è quello di classificare correttamente pattern nuovi (mai visti prima!)
Generalizzazione!
![Page 17: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/17.jpg)
17 [email protected]@imm.cnr.it
Sistema di Pattern Recognition• Sensing
– Utilizzo di un trasduttore (telecamera, sensori di gas microfono ecc.)
– I sistemi di PR dipendono dalla larghezza di banda, dalla risoluzione, sensitività, distorsione ecc del trasduttore
• Segmentazione e raggruppamento
– I Pattern dovrebbero essere ben separati e non sovrapposti
![Page 18: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/18.jpg)
18 [email protected]@imm.cnr.it
Sistema di Pattern Recognition
Sensing
Input
Segmentazione
Feature Extraction
Classificazione
Post-processing
Separazione del dato di interesse dal background
Caratterizza un oggetto da riconoscere in modo tale da avere misurazioni con valori simili per oggetti nella stessa categoria. Invarianti da trasformazioni irrilevanti dell’input (scala, rotazione ecc.).•Wavelet Analysis•Fourier Analysis•Principal Component analysis
Assegna il vettore delle feature estratte e selezionate ad una classe, dopo essere stato opportunamente addestrato.L’Addestramento serve a trovare l’iperpiano di separazione tra le classi di appartenenza delle features.Attenua i problemi derivanti dal rumore dei sensori.•Tecniche statistiche: Bayes, Linear discriminant analysis…•Tecniche neurali: SOM, ART, Backprop., Radial Basis Functions…•Soft-Computing: Neuro-Fuzzy classifier....
Decisione
![Page 19: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/19.jpg)
19 [email protected]@imm.cnr.it
Estrazione delle FeaturesObbiettivo: estrarre componenti significative (o attributi), meno
ridondanti di quelle contenute nel segnale originario (es. colore, forme, tessitura ecc.).
Scopo:
• Riduzione dello spazio dei segnali in modo da contenere sufficiente informazione per discriminare le sotto-popolazioni in questione.
• Rimozione di informazione ridondante e rumorosa (features fortemente correlate).• Devono essere significative all’uomo.
![Page 20: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/20.jpg)
20 [email protected]@imm.cnr.it
SPAZIO DELLE CARATTERISTICHE
Nello spazio delle caratteristiche si possono accumulare diverse classi (corrispondenti a tipologie diverse di oggetti) che potranno essere separate mediante opportune funzioni discriminanti.
Tali funzioni discriminanti, rappresentano nello spazio delle caratteristiche a n-dimensioni, le ipersuperfici di separazione dei cluster, che caratterizzano in modo dominante il processo di classificazione.
1 3
2
1
4
x1
x2
1x
2x
1111
1
11
1
11
4
4
444
4
44
4 4
2222
22
2
2
2
22
333 3
33
3
Dominio spaziale Dominio delle caratteristiche
![Page 21: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/21.jpg)
21 [email protected]@imm.cnr.it
SPAZIO DELLE CARATTERISTICHE
Le ipersuperfici si possono semplificare con iperpiani ed in tal caso si parla di funzioni discriminanti linearmente separabili. L’abilità del processo di classificazione si basa sulla capacità di separare senza errori i vari cluster, che in diverse applicazioni sono localizzati molto vicini tra loro, oppure risultano sovrapposti generando una non corretta classificazione.
1x
2x 2x
1x
![Page 22: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/22.jpg)
22 [email protected]@imm.cnr.it
Disegno di un Classificatore
• Collezionare i dati
• Scelta delle features
• Scelta del modello
• Addestramento (Training)
• Valutazione
• Complessità computazionale
![Page 23: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/23.jpg)
23 [email protected]@imm.cnr.it
Collezionare dati
Start
Scelta delle features
Scelta del modello
AddestramentoDel classificatore
Valutazione delclassificatore
Fine
Conoscenza a priori(invarianze)
![Page 24: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/24.jpg)
24 [email protected]@imm.cnr.it
• Collezionare Dati
– Come facciamo a sapere quando abbiamo collezionato un adeguato e rappresentativo insieme di esempi di training e testing per il nostro sistema?
![Page 25: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/25.jpg)
25 [email protected]@imm.cnr.it
• Scelta delle feature
– Dipende dalle caratteristiche del dominio del problema. Semplici da estrarre, invarianti a trasformazioni irrilevanti e insensibili al rumore.
![Page 26: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/26.jpg)
26 [email protected]@imm.cnr.it
• Scelta del modello
– Se non siamo soddisfatti delle performance del nostro classificatore di pesci possiamo scegliere di saltare ad un’altra classe di modello.
![Page 27: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/27.jpg)
27 [email protected]@imm.cnr.it
• Training
– Usare i dati per determinare il classificatore più appropriato. Vi sono molte procedure differenti per addrestrare classificatori e scegliere diversi modelli
![Page 28: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/28.jpg)
28 [email protected]@imm.cnr.it
• Valutazione
– Misura l’errore (o le performance) e si può scegliere di passare da un insieme di feature ad un altro.
![Page 29: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/29.jpg)
29 [email protected]@imm.cnr.it
• Complessità computazionale
– Qual’é il trade-off tra facilità di calcolo e performance?
– (Quanto un algoritmo è scalabile in base al numero di features, pattern o categorie?)
![Page 30: Macchine di Percezione](https://reader033.vdocuments.pub/reader033/viewer/2022051019/56815810550346895dc57dd1/html5/thumbnails/30.jpg)
30 [email protected]@imm.cnr.it
Apprendimento e Adattamento
• Supervised learning
– Un teacher fornisce l’etichetta della categoria o il costo per ciascun pattern nell’insieme di training (training set)
• Unsupervised learning
– Il sistema forma clusters o “raggruppamenti naturali” dei pattern di input