fusion de sistemas fuzzy y redes neuronales tomado de kwang h. lee, division of computer science,...

Fusion de sistemas fuzzy y redes neuronales

Tomado de Kwang H. Lee, Division of Computer Science, KAIST

FS y NNs: metodos complementarios

Sistemas fuzzy Facil de representar conocimiento humano:

usan terminos linguisticos y reglas if-then no tienen algoritmos de aprendizaje

Redes neuronales capacidad de aprendizaje a partir de datos dificultad para la representacion de conocimiento

Tipos de fusion de FS y NNs

Concatenacion de NNs y FS

Redes neuronales que usan sistemas fuzzy

Sistemas fuzzy que usan NNs

Modificacion de FS con NNs (sistemas neuro-fuzzy)

Construccion de funciones de pertenencia con NNs

CONCATENACION DE REDES NEURONALES Y SISTEMAS FUZZY

Combinacion en paralelo Correccion de las salida de un FS con una NN

FS

NN

+

Combinacion en paralelo: ejemplo Mecanismo de correccion para una lavadora

FuzzySystem

Clothes mass(3 values)

Clothes quality(4 values)

NeuralNetwork

Clothes mass(3 values)

Clothes quality(4 values)

Electrical conductivity(5 values)

Water flow speed

Washing time

Rinsing time

Spinning time

Correction values

Combinacion en cascada La salida de un sistema es la entrada del

otro sistema

NN

FS

FS

NN

Combinacion en cascada: ejemplo Ventilador electrico japones

Fan

body

Remote controller

Center sensor(C)

Right sensor (R)

Left sensor (L)

(a) the angle between remote controller and fan

Fuzzy System

NN

),,max(

),,(mid

CRL

CRL

),,max( CRL

),min(RC

C

LC

C

Ratio of sensor output

estimate

(b) cascade combination of NN and FS

Value corresponding to distance

REDES NEURONALES QUE USAN SISTEMAS FUZZY

Construccion de NNs con particion fuzzy del espacio de entrada

Los metodos en esta categoria usan un FS o una estructura de reglas fuzzy para diseñar la red neuronal

En lugar de entrenar una sola NN para todos los datos de entrada-salida, . . . .

este modelo construye varias redes


Construye un clasificador fuzzy que agrupa (clusters) los dados de entrada-salida dados en varias clases


Construye una NN por clase

NNs sobre las particiones fuzzy

If X is C1 Then NN1

NN2

NN3

If X is C2 Then

If X is C3 Then

Entrena las NNs con los dados I/O en la clase correspondiente

C1C2

C3

Fuzzy partitions

NN1

NN2

NN3

C1

C2

C3

Training NNs for each class

Input Space

If X is … Then C1

If X is … Then C2

If X is … Then C3

NNiIf X is Ci Then

Modelo de Takagi y Hayashi Un ejemplo de este modelo fue propuesto por

Takagi y Hayashi

En este modelo se usa una NN para construir un clasificador fuzzy

y se propone un metodo para reducir el numero de reglas o de variables de entrada redundantes

El modelo se resume a continuacion

Modelo de Takagi y Hayashi1. Preparacion de los datos

Los datos se dividen en dos grupos:

Conjunto de entrenamiento (ntr) : Se usa para construir la NN

Conjunto de prueba (nts): Se usa para reducir el # de variables de entrda m

1 2, , ,i mx x x x

Modelo de Takagi y Hayashi2. Particion crisp del espacio de entrada

Los datos en el conjunto de entrenamiento se agrupan en r clases mediante un metodo de clustering crisp: Cs( s = 1, 2, …, r )

Los datos pertenecientes a un grupo se denotan:

str

ssi

si niCy ,,2,1,),( x

Modelo de Takagi y Hayashi3. Desarrollo del clasificador fuzzy

Se construye un clasificador fuzzy usando una red neuronal, NNmem

NNmem se entrena usando los nuevos datos,

NNmem cambia las fronteras crisp a fuzzy

rsniC

C strs

i

sis

i ,,1;,,1 0

1

x

x

Modelo de Takagi y Hayashi

4. Desarrollo de las redes neuronales

Se construyen las NNs para cada Cs

NNs aproxima a los datos dados

que pertenecen a Cs

Obteniendose la estructura de reglas fuzzy con redes neuronales

str

ssi

si niCy ,,2,1,),( x

5. Reduccion de las variables de entrada1. Se evalua NNs

usando el conjunto de prueba (suma de los errores)

2. Se elimina una variable de entrada arbitraria xp

3. Se entrena NNs con los datos sin xp

4. Se evalua el desempeño de la nueva NNsp (suma de los errores)

5. Si , xp puede descartarse

6. Las mismas operaciones se mantienen para las m-1 variables de entrada restante

tsn

iimemisi

sm NNNNyE 2)}()({ xx

tsn

iimemi

psi

spm NNNNyE 2

1 )}()({ xx

spm

sm EE 1



Las redes neuronales construyen una estructura de reglas fuzzy

CONSTRUCCION DE FUNCIONES DE PERTENENCIA CON REDES NEURONALES

Construccion de funciones de pertenencia con NNs En este metodo se usa una red neuronal para

generar unas reglas fuzzy compactas

Las reglas fuzzy

Se generan hipercubos fuzzy k-dimensionales en el espacio de entrada

Se construyen NNs cuyas salidas son los grados que una entrada pertenece a cada regla

Construccion de funciones de pertenencia con NNs

C1

C2 C3

Input Space

R1: If X is C1 then Y=F1



+NeuralNetworkX

)(1

XC

)(2

XC

)(3

XC

F1

F2

F3

Reglas fuzzy sobre hiper-espacios fuzzy

MFs con NNs: Ejemplo Controlador Hitachi para un rodillo

El sistema produce laminas planas de hierro, system making flat plates of iron, acero o aluminio

20 reglas fuzzy con 20 plantillas estandar de perfiles de superficie

Una NN produce el grado en que superficie arbitraria pertenece a cada regla

MFs con NNs: Ejemplo

If scanned shape is Then control A

If scanned shape is Then control B

If scanned shape is Then control C

Controlling 20 roles

Surface shape

time

NN

Controlador Hitachi de un molino

SISTEMAS FUZZY QUE USAN REDES NEURONALES

Modificacion de FS con NNs

En las redes neuronales ordinarias: Los nodos tienen la misma funcionalidad y estan conectados completamente con los nodos de

capas vecinas

En la representacion de un FS con una estructura de NN feedforward multicapa: Los nodos tienen diferente funcionalidad y no estan conectados completamente con los nodos de

capas vecinas


Las diferencias surgen del hecho de que:

Algunos nodos representan los terminos linguisticos de las variables de entrada

Algunos nodos representan los terminos linguisticos de las variables de salida

Algunos nodos y conecciones se usan para representar reglas fuzzy


Los meritos surgen del hecho de que: Es facil añadir conocimiento experto antes del

aprendizaje

Tiene capacidad de aprendizaje con backpropagation y otros algoritmos

Por lo tanto, la convergencia a un minimo local puede no ser tan serio acomo en el caso de NNs ordinarias

Red neuronal fuzzy

X1

X2

Xm

.

.

.

.

.

L1

Input var.L2

Input var’s termL3

RuleL4

Output var.

I11

I12

I13

I21

I22

Im1

Im2

R1

R2

R3

Rr

n m l k j

Wmn Wlm

Wkl

Wjk

.

.

Y

.

.

T1

T2

Tt

Cinco capas 1: nodos de entrada

2: terminos linguisticos de las

entradas

3: antecedentes de las reglas

4: consecuente de las reglas

5: nodo de salida con la de-

fuzificacion

Propuesta por Kwak y Lee (‘94)

Red neuronal fuzzy

otherwise ,0

],[ ,1

],( ,1

)(

)()(2

jjj

j

j

jjj

j

j

j

j

AAAiA

Ai

AAAiA

Ai

A

Aj

cslcxsl

cx

srccxsr

cx

x

xxf

Segunda capa (terminos linguisticos de entrada)

Red neuronal fuzzy Tercera capa (antecedentes de las reglas)

“IF X1 is I11 and ··· and Xm is Im1 THEN”

usedproduct if )(

used minimum if )(min),,,( 1

213

p

i i

ipi

pj x

xxxxf

Red neuronal fuzzy Cuarta capa (consecuentes de las reglas)

“IF consecuent part THEN Y is Tt ”

}{max)(1

4iji

q

ij xwxf

un nodo representa un termino linguistico de la variable de salida.

Red neuronal fuzzy Quinta capa (Defuzificacion)

n

i iiB

n

i iiBiii

xy

xyyxBCentroid

i

i

)),(min(

)),(min(),(

Bi es el conjunto fuzzy representado por el nodo ijen la cuarta capa

xi es la salida del nodo

Red neuronal fuzzy Quinta capa

Red neuronal fuzzy

Algoritmo de aprendizaje

basado en backpropagation

Se encuentran: Los pesos de las conexiones entre las capas 3 y 4

Los parametros en los nodos de las capas 2 y 4

SISTEMA DE INFERENCIA ADAPTIVO NEURO DIFUSO (ANFIS)

Estructura de la red anfis

A11

A22

A21

A12

Π

Π

N

N

y*

x1

x2

11

1( )A

x

21

1( )A

x

12

2( )A

x

22

2( )A

x

µ1

µ2

1

2

x1 x2

x1 x2

1 1f

2 2f


Layer 1 : Each node in this layer is an input node that just passes external signal to the next layer .


Layer 2 : Each node in this layer acts as a membership fun. , and its output specifies the degree to which the given xi satisfies the parameters in this layer are referred to as precondition parameters.

( )ji

iAx

m2,...,n 1,n i para (y),μO

n2,..., 1, i para (x),μO

n-i

i

Bi1,

Ai1,


Layer 3 : Each node in this layer performs

Each node output represents the firing strength of a rule. In fact, other t-norm operators can be used as the node function for the generalized AND function.

1 2

1 2 = j jj A Ax x

1,2i (y)μ(x)μwOii BAii2,


Layer 4 : Each node in this layer calculates the normalized firing strength of a rule

1 2

jj

1,2iww

wwO

21

iii3,


Layer 5 : Each node j in this layer calculates the weighted consequent value

Parameters , and are to be tuned .

Parameters in this layer are referred to as consequent parameters.

0 1 1 2 2j j j

j a a x a x

0ja 1

ja 2ja

0 1 1 2 2j j j

j a a x a x

1,2i)rqyx(pwfwO iiiiii4,


Layer 6 : The node in this layer sums all incoming signal to obtain the final

inferred result for the whole system .

ii

i

iii

ii5,1 w

fwfwO

Las reglas en la red anfis

R1 : IF x1 is A11 AND x2 is A2

1 , THEN y = f1 = ao1+a1

1x1+a21x2

R2 : IF x1 is A12 AND x2 is A2

2 , THEN y = f2 = ao2+a1

2x1+a22x2.

* 1 1 2 2

1 2

f fy

Inferencia en la red anfis

j1 2

1 2A = ( ) ( )jj A

x x

Aprendizaje en la red anfis

~ tuning of , , , ( 1) 0 ~ , 1 ~j j j ji i i ia m b i n j M

~ ( 1) ( ) ,j ji i j

i

Ea t a t

a

*0

1

( ) , where 1jdiMj

i kk

Ey y x x

a



~ 1 ,j ji i j

i

Em t m t

m

2

1

2

( )

ji ijd

jMj ji i

kk

x mf yEy y

m



~ ( 1) = ( ) ,j ji i j

i

Et t

23

1

2 =

( )

ji ijd

jMj ji i

kk

x mf yEy y



11 1 1 1 1 1 1 1 1 1 10

1 1 1 1 2 2 2 1 2 2 112 2 2 2 2 2 2 2 2 2 2

1 1 1 1 2 2 2 1 2 2 12202121 1 1 1 2 2 2 1 2 22

p p p p p p p p p p p

ax x x x d

ax x x x d

a

a

ax x x x da

where are the kth training pair , k = 1 , 2 , … P . 1 2, ,k k kx x d

Aprendizaje en la red anfis Takagi Sugeno FIS Input partitioning LSE + gradient descent training

A1

A2

B1

B2

S

S

/

x

y

w1

w4

w1*z1

w4*z4

Swi*zi

Swi

z

P

P

P

P

nonlinearparameters

linearparameters

fixed

least-squares

steepest descent

fixed

Forward pass Backward passMF parameter

(nonlinear)Coefficient parameter

(linear)

Fuente Kwang-Hyung Lee, Fuzzy Theory,Textbook

http://if.kaist.ac.kr/lecture/cs670/2001/index.html

fusion de sistemas fuzzy y redes neuronales tomado de kwang h. lee, division of computer science,...

Documents