sisteme inteligente de suport decizional · 2. cuprins rna pentru aproximare de funcții...
TRANSCRIPT
SISTEME INTELIGENTEDE SUPORT DECIZIONAL
Ș.l.dr.ing. Laura-Nicoleta IVANCIU
Curs 7 – Sisteme inteligente de suportdecizional bazate pe RNA
2
Cuprins
RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
3
Să ne aducem aminte...
RNA este complet determinată prin: tipul unităților funcționale (elemente de procesare numite neuroni)
arhitectură (amplasare unități funcționale)
algoritm de funcționare (transformare semnal intrare în semnal ieșire)
algoritm de învățare (cum achiziționează rețeaua noicunoștințe pe bază de exemple)
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
4
Să ne aducem aminte...Neuronul artificialModelul de bază McCulloch-Pitts (1943) Modelul derivat
w – ponderi sinapticef – funcție de integrare/agregare/activare
Θ – bias (polarizare)
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
5
Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)
unistrat
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
6
Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)
multistrat
- mai lente decât cele unistrat- pot implementa funcții mai complexe
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
7
Să ne aducem aminte...
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
Instruirea RNA = procesul adaptării ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistică a vectorilor de intrare
Algoritm de instruire = modul în care se modifică ponderile
wkj(n+1) = wkj(n) + Δwkj(n)
unde: k – neuron de la care “pleacă” ponderea,j – neuron spre care “vine” ponderea,n – momentul de timp
Δwkj(n) - algoritm de instruire
8
RNA pentru aproximare de funcțiiObiectiv?Care sunt etapele aproximării de funcții folosind RNA?
Curs 7 – SISD bazate pe RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
9
Aproximare de funcții (function fitting)
Obiectiv: dezvoltarea unui sistem (model) care să ofere o aproximare suficient de bună a unei funcții cunoscute
Etape:
pregătire date selectare arhitectură rețea antrenarea rețelei testare (validare) utilizarea propriu-zisă
Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
10
Aproximare de funcții
- Antrenare supervizată- Perechi de date intrare-ieșire
Exemple: la proiect- aprox. preț case- aprox. % grăsime din organism- aprox. preț acțiuni, valută, petrol
Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
11
Considerente de proiectare
Alegerea setului de date de intrare
antrenare – 50% - minim 5*nr.ponderi – previne supra-potrivirea
validare – 20%-40%
testare – 10% - 30%
Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
12
Considerente de proiectare
Număr de neuroni
Rețea cu 3 straturi:
mout > 1 - rezultate inferioare față de mout = 1
Observație: pentru aplicații de clasificare, mout = nr. clase
Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA
outinhidden mnp *=
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
13
Considerente de proiectare
Inițializare ponderi
Valori random, într-un interval simetric față de 0Ex: [-0.5; 0.5]
Rule of thumb:
#ponderi – numărul de conexiuni (ponderi) care intră într-un nod
Valori mai mici pentru nodurile în care intră mai multe conexiuni
Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA
−
ponderiponderi #1;
#1
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
14
Considerente de proiectare
Pregătirea setului de date (data preparation)
Tipuri de date:
Simbolice: A, da/nu, mic/mare/mediuNumerice discrete: -2, 5, 34Numerice continue: -3.421, 98.02
eliminare excepții vizibile (outliers) eliminare date redundante transformare și codare
Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA
. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.
11
Clasificatori cu RNA Care sunt etapele proiectării unui clasificator cu RNA? Ce înseamnă clasificare liniară? Ce este perceptronul? Cum se face recunoașterea de forme?
Curs 7 – SISD bazate pe RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
12
Clasificare liniarăPerceptronul
- clasificator binar (2 clase)
- clase liniar separabile
- hiperplan de separație
funcție de activare binară
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
>≤
==0,10,0
)(uu
ufy
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
13
Clasificare liniarăPerceptronul
clase convexe clase concave
2 straturi de neuroni 3 straturi de neuroni
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
14
Clasificare liniarăSeparabilitate
XOR nu se poate implementa cu perceptron!
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
X1 X2 AND OR XOR
0 0 0 0 0
0 1 0 1 1
1 0 0 1 1
1 1 1 1 0
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
15
Alte structuri
ADALINE (Widrow, 1960)Adaptive Linear Neuron/Element
- RNA cu un singur strat- adaptare supervizată
Adaptarea ponderilor se face pe baza sumei ponderate a intrărilor.
La perceptron, adaptarea se face pe baza ieșirii funcției de activare.
MADALINE – mai multe elemente de tip ADALINE
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
16
Recunoaștere forme (pattern recognition)
Etape:1. extragere trăsături2. stabilire prototip clasă3. alocare obiect - clasă
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
17
Recunoaștere forme human vs. computer
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
18
Structura unui sistem de recunoaștere a formelor
• Cum se face citirea?• Ce înseamnă segmentare?• Cum se extrag trăsăturile?• Clasificare – valori tranșante sau probabilități?• Ce înseamnă postprocesare?• Ce reprezintă săgețile inverse?
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
19
Proiectarea unui sistem de recunoaștere a formelor
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
Schema bloc
Oj = 1 – obiectul este încadrat în clasa jOj = 0 – obiectul nu este încadrat în clasa j
Ce funcție de activare au neuronii de pe stratul de ieșire?
20
Curs 7 – SISD bazate pe RNA Clasificatori cu RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
21
Studii de caz Clasificarea crabilor Pentagonul și Rețelele Neuronale
Curs 7 – SISD bazate pe RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
22
Clasificarea crabilor cu RNA
formularea problemei
pregătirea datelor
proiectarea clasificatorului cu RNA
testare
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
23
Clasificarea crabilor cu RNAFormularea problemei
Să se proiecteze un clasificator cu RNA, care să identifice sexul unui crab, folosind caracteristicile sale fizice:
speciesfrontal liprear widthlengthwidth depth
Intrare: cele 6 caracteristiciIeșire dorită(target): sexul crabului (M/F)
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
24
Clasificarea crabilor cu RNAPregătirea datelor
- Transformarea valorilor non-numerice (sex M/F) în valori numerice
F: [1 0]M: [0 1]
sau F = 1M = 2
sauF: [0 0]M: [0 1]
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
25
Clasificarea crabilor cu RNAProiectarea clasificatorului
Inițializare ponderi cu valori aleatoare
Rețea feed-forward cu 20 de neuroni pe stratul ascuns
Antrenare – 10 epoci
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
26
Clasificarea crabilor cu RNATestare - grafic
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
27
Clasificarea crabilor cu RNATestare - matricea de clasificare
f_f % Female crabs classified as Female f_m % Female crabs classified as Male m_m % Male crabs classified as Male m_f % Male crabs classified as Female cm = [f_f f_m;
m_f m_m] % classification matrix
Total testing samples: 40
cm =
18 01 21
Percentage Correct classification : 97.500000%Percentage Incorrect classification : 2.500000%
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
30
Pentagonul și Rețelele Neuronale
Problema: Anii ’80, Pentagon, boom tehnologic, protecție armatăPlanul:Detecție tancuri din imaginiSoluția:Prelucrare de imagini folosind RNA
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
31
Pentagonul și Rețelele Neuronale
Implementare: 100 poze copaci + tancuri100 poze copaci fără tancuriAntrenare rețea cu 50 poze copaci + tancuri, 50 poze copaci fărătancuri
Validare:Detecție corectă pentru restul de 50+50 poze
Testare:Poze noi, rezultate complet aleatoare și incorecte
Care să fie problema?
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
32
Pentagonul și Rețelele Neuronale
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
33
Pentagonul și Rețelele Neuronale
cer senin cer noros
“The military was now the proud owner of a multi-million dollar mainframe computer that could tell you if it was sunny or not.”
Curs 7 – SISD bazate pe RNA Studii de caz
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional
34
Sumar
RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz
În episodul următor: Sisteme cu logică fuzzy.
Curs 7 – SISD bazate pe RNA
Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional