©2000 germano vasconcelos redes de funções de base radial radial basis functions (rbfs) germano...
Post on 17-Apr-2015
111 Views
Preview:
TRANSCRIPT
©2000 Germano Vasconcelos
Redes de Funções de Base Radial Radial Basis Functions (RBFs)
Germano C. Vasconcelos
Centro de Informática - UFPE
©2000 Germano Vasconcelos
Introdução“Em uma RBF, a rede é definida do ponto de vista
de um problema de aproximação de funções”
Uma superfície F no espaço multidimensional é definida como uma combinação linear de funções
de base radial
F comb. linear de funções de base radial
©2000 Germano Vasconcelos
Estrutura de uma RBF
x1
Y=F(X)
x2
xn
2|X-C2|
1|X-C1|
3|X-C3|
k|X-Cn|
bias
camadade entrada
camada intermediária
camadade saída
Cj w1
w3
wk
w2
w0
F(X)=jwj.j|X-Cj|
©2000 Germano Vasconcelos
Características das RBFs
• Estrutura do tipo feedforward com uma mistura de treinamento supervisionado e não-supervisionado
• Normalmente uma camada de neurônios que computam as funções de base radial
• Os pesos na camada intermediária representam centroids
• Os pesos na camada de saída ponderam as saídas da camada intermediária
©2000 Germano Vasconcelos
Características das RBFs
• São aproximadores universais de funções
• Estimam a probabilidade a posteriori do ponto de vista Bayesiano
• Apresentam requerimentos de memória em geral mais altos que redes do tipo MLP
©2000 Germano Vasconcelos
Características das RBFs
• Estratégias de treinamento diferentes para as funções radiais, os centroids e os pesos da camada de saída
• Regra de propagação = função radial
Ex: Distância Euclideana netj = |X-C| = (xi - ci)2
• Função de ativação = função local
Ex: Gaussiana oj = f(netj) = exp(- netj2/cj
2)
©2000 Germano Vasconcelos
Trabalhos com RBFs
• Broomhead & Lowe (1988)
• Moody & Darken (1989)
• Poggio & Girosi (1990)
• Niranjan & Fallside (1990)
E muitos outros ...
©2000 Germano Vasconcelos
Treinamento
• Três conjuntos de parâmetros a serem estimados
• As larguras d das funções básicas• Os centros Cj
• Os pesos Wji da camada de saída
©2000 Germano Vasconcelos
As Larguras d
• Valor definido a priori
• Técnica de gradiente descendente
• Heurística do vizinho mais próximo
©2000 Germano Vasconcelos
Os Centros Cj
• Distribuir uniformemente ou aleatoriamente
• Tomar uma amostra do conjunto de treinamento
• Método não supervisionado de agrupamento (clustering)
• Gradiente descendente
©2000 Germano Vasconcelos
Pesos Wji na Camada de Saída
• Processo de otimização linear
• Solução de mínimo global
Esquema de Correçãode Erros
Mínimo ErroQuadrado (LMS)
Newton-likeMethod
Procedimento direto Manipulação dematrizes
©2000 Germano Vasconcelos
Manipulação de Matrizes(Pseudo-inverse method)
E[f] = np (yp – f(xp ))2
\
f(xp) = wj. (|xp – cj|)
W = (GT . G + Go )-1 . GT. Y
onde...
©2000 Germano Vasconcelos
(|x1 – c1|) (|x1 – c2|) ... (|x1 – c3|) (|x2 – c1|) (|x2 – c2|) ... (|x2 – ck|)
(|xp – c1|) (|xp – c2|) ... (|xp – ck|)
G=
(|c1 – c1|) (|c1 – c2|) ... (|c1 – c3|) (|c2 – c1|) (|c2 – c2|) ... (|c2 – ck|)
(|cp – c1|) (|cp – c2|) ... (|cp – ck|)
Go=
©2000 Germano Vasconcelos
Treinamento por Gradiente Descendente
ej = dj – F (X)
= dj - wi. (||xi – ti||ci)
1. Camada de saida
E(n)/ Wi(n) = ej(n). (||xi – ti(n)||ci)
Wi (n+1) = Wi(n) - 1 E(n)/ Wi(n) i=1,2…,M
©2000 Germano Vasconcelos
Treinamento por Gradiente Descendente
2. Centros
E(n)/ ti(n) = 2 Wi ej(n). ’(||xj – tj(n)||ci) -1 [xj – tj(n)]
ti (n+1) = ti(n) - 2 E(n)/ ti(n) i=1,2…,M
©2000 Germano Vasconcelos
Treinamento por Gradiente Descendente
3. Larguras das funções
E(n)/ -1 i(n) = -Wi ej(n). ’(||xj – tj(n)||ci) Qji(n)
Qji(n) = [xj – ti(n)] [xj – ti(n)] T
ci-1i (n+1) = -1
i (n) - 3 E(n)/ -1i (n) i=1,2…,M
©2000 Germano Vasconcelos
RBFs Construtivas• Um conjunto de modelos RBFs tem sido
desenvolvidos dentro do paradigma construtivo...
• DDA (Dynamic Decay Adjustment)– Berthold & Diamond (1995)
©2000 Germano Vasconcelos
Princípio de Funcionamento do Algoritmo DDA
B
A+
-
novo padrãode entrada - classe A
Ver Berthold & Diamond - NIPS’7
©2000 Germano Vasconcelos
Funcionamento do Algoritmo DDAVer Berthold & Diamond - NIPS’7
©2000 Germano Vasconcelos
Aplicações• Reconhecimento de voz• Diagnose médica• Reconhecimento de caracteres• Análise de crédito• Reconhecimento de alvos• Classificação de fonemas• Análise de crédito• Previsão e controle
©2000 Germano Vasconcelos
Um Problema Potencial com uma RBF
Considere a figura abaixo:
Mostre que é possível para uma RBF com duas entradas, duas unidades intermediárias e duas saídas definir superfícies de decisão como mostradas. Uma superfície fechada é definida para uma das classes; para a outra classe a superfície é aberta.
top related