psi-5796 algoritmos processamento anÁlise sÍntese imagens
TRANSCRIPT
PSI-5796
ALGORITMOS
PROCESSAMENTO
ANÁLISE
SÍNTESE
IMAGENS
PROF. DR. HAE YONG KIM
ALUNO
RICARDO ACERBI
3
REDES NEURAIS TALÂMICAS
• Introdução
• Aprendizado Hebbiano
• Aprendizado Hebbiano modificado
• Sinápses modeladas com base no Teorema de Bayes
• Modelo computacional do tálamo humano
• Métodos
4
Redes Talâmicas
• Fundamentos da Ortogonalização Talâmica
• Função Sigmoidal Modificada
• Vantagens das Redes Talâmicas
• Auto Organização Interna
• Recomposição de Padrões
• Bibliografia
5
Introdução
• Tálamo: processador eficiente de informações sensoriais, vindas do meio externo, através dos sentidos
• Tálamo: processador mais complexo que, juntamente com a estrutura do cortex cerebral, é capaz de recompor padrões diversos, fragmentados ou incompletos
• [2-3]
6
Triângulo de Kanizsa
Fig. 1
7
Introdução
• O triângulo de Kanizsa mostra um triângulo branco no centro da figura
• O triângulo branco obstrui as figuras pretas (círculos) e a figura verde (triângulo)
• O cérebro é capaz de recompor as imagens do triângulo verde e dos círculos pretos, uma vez que já tenha antes aprendido os padrões de círculo e triângulo [2]
8
Aprendizado Hebbiano
• Pesquisador neurologista, Donald Hebb descobriu como as células neuronais funcionam, em 1.949
• Hebb partiu das descobertas anteriores do médico fisiologísta Santiago Ramon y Cajal sobre redes neurais biológicas, 1.912
• Konorski, em 1.948, postulou sobre a memória seria constituída por mudanças de plasticidades sinápticas entre neurônios
9
Aprendizado Hebbiano
• Em 1.949, Hebb postulou que a aprendizagem depende do reforço das conexões sinápticas
• O reforço se deve às atividades correlacionadas entre os neurônios pré-sinápticos e os pós-sinápticos
• Formulação matemática: w(n)=.A(n).B(n) ( 1 )
10
Aprendizado Hebbiano
• O incremento do peso sináptico w, no passo n, é proporcional a atividade pré-sináptica A(n), no passo n, e a atividade pós-sináptica B(n), no passo n
• o fator é chamado de coeficiente de aprendizagem [2]
11
Modelo BCM (Bienestock, Copper e Munro)
• Os modelos de Sejnowiski (covariância) e BCM apresentam um ponto crítico de atividade chamado “Long Term Potentiation Threshold ou LTP (limiar de potenciação sináptica)
• O modelo BCM apresenta um ponto de limiar mais baixo chamado LTD (Long Term Depression)
12
Eficiência sinápticaA
lter
ação
da
efic
iênc
ia s
ináp
tica regra de covarância
atividade pó-sináptica
LTD
LTP
regra BCMFig. 2
13
Aprendizado Hebbiano Modificado
• O novo modelo de aprendizado baseado no modelo de Hebb leva em conta a plasticidade e a metaplasticidade entre neurônios
• O novo modelo propõe que a plasticidade entre neurônios possa ser modelada por: [6]
n(A)
B)n(AP(B/A)wAB
( 2 )
14
Aprendizado Hebbiano Modificado
• Aprendizado: pode ser modelado por uma probabilidade condicional
• B: ativação pós-sináptica
• A: ativação pré-sináptica
• Se ocorre atividade pós-sinática, dado que ocorreu antes atividade pré-sináptica, ocorre um reforço ou incremento do peso w
• Caso contrário: ocorre um decremento do peso w
15
Aprendizado Hebbiano Modificado
• Se ocorre uma atividade pós-sináptica, sem que tenha ocorrido uma atividade pré-sináptica antes, não há alteração do peso w
Potencial deação pré-sináptico A
Atividadepós-sináptica B
Peso w
Peso incial:0.5
Incremento/decremento
1 1 0.54 incremento
0 1 0.54 Não altera
1 0 0.50 decremento
16
Sinápses - Modelo Bayesiano
• As sinápses no modelo talâmico podem ser dadas pela regra Bayesiana: [2]
P(y/a1)
P(y/a2)
P(y/a3)
P(a1)
P(a2)
P(a3)
P( y ) 1
P(y)=P(y/a1).P(a1)+P(y/a2).P(a2)+P(y/a3).P(a3)( 3 )
Fig. 3
17
Modelo Computacional do Tálamo
• Interpretação geométrica dos valores dos pesos sinápticos em termos de probabilidades condicionadas [2]
P(y/a1)
P(y/a2)
P(y/a3)
a1
a2
y
a3
Fig.4
18
Métodos
• Métodos principais:
• método axiomático (baseado em axiomas)
• método experimental ou hipotético
• método escolhido: axiomático, seguido do experimental (a parte experimental verifica a parte axiomática proposicional)
• composição: três níveis fundamentais
19
Métodos
• Nível matemático (baseado na teoria de Bayes)
• Nível programacional (programação em MatLab)
• Nível fisiológico-experimental (verificação através de experimentos já realizados por pesquisadores de renome)
20
Fundamentos da Ortogonalização Talâmica
• Reforço Hebbiano: único tipo de reforço plausível ao nível biológico do cérebro humano [2-3]
• Tálamo: ortogonaliza a informação que vem do meio externo
• canais semicirculares do ouvido interno • (anatomicamente ortogonais)• cones da retina do olho humano
21
Fundamentos da ortogonalização talâmica
• Captam cores cromáticas ortogonais
• Sinais de entrada pelos cinco sentidos: não formam bases ortogonais (base qualquer)
• Tálamo: constroi internamente uma base de vetores ortogonais entre si, a partir de uma base de vetores não ortogonais
• Representação resumida em componentes principais do sinal de entrada
22
Método Matemático de Gram-Schmidt
• Base de vetores yi a partir de uma base de vetores não ortogonais bi
• O tálamo realizaria um processos similar ao processo de Gram-Schmidt para achar um sistema de eixos ortogonais entre si
• Etapas:
• sinal externo em uma base bi qualquer [2]
23
Processo de Gram-Schmidt
• Base bi:
b1 b2
b3
Fig. 5
24
Processo de Gram-Schmidt
• Ortogonalização:
y1b1
Etapa a:
Etapa b:y1
b2
y2b2y1
Fig. 6
25
Processo de Gram-Schmidt
• Ortogonalização
y1
y2
y2
y1y3
Fig. 7
26
Processo de Gram-Schmidt
1-ij
1ji
jybyi = bi - ( 4 )
[2]
27
Processo de Gram-Schmidt para m padrões de entrada
• O padrão externo na base bi será dado por:
• Cada componente da base ortogonal será calculado por: [2]
) 5 ( ).yy/P(bb jjkkjy
) 6 ( y /y b P - b ym
1 k
1-i j
1 jj j k k i
28
Componentes Principais
• Equação ( 6 ): natureza vetorial • Significado: cada componente y ( para i entre 1 e
n) significa uma componente principal do padrão de entrada, representado na rede talâmica na forma de probabilidade condicionada
• A componente y1 tem uma direção que coincide com a direção de maior variabilidade do conjunto de padrões
29
Componentes Principais
• As demais componentes fornecem a segunda, terceira, quarta, ..., e-nésima componente principal
• Os padrões ficam armazenados na memória da rede na forma de componentes principais sem a necessidade de um processamento prévio de imagens para separar as componentes principais [2]
30
Função Sigmoidal Modificada
• Modelo computacional do neurônio: [1]
x1
x2
x3
xn
.
.
.
wo
w1
w2
wn
() y
Fig. 8
31
Função Sigmoidal Modificada
• Função de ativação: a mais usada é a função sigmoidal dada por:
) 7 ( )exp(-a.1
1 )(
()
1
1/2
Fig. 9
32
Função Sigmoidal Modificada
• Coeficiente de deslocamento: dado por
) 8 ( sh(n))(1
sh(n))(sh(n).y1)sh(n
[2]
33
Função Sigmoidal Modificada
• Sigmóide modificada:
) 9 ( sh)-a.exp(1
1)(
[2]
34
Função Sigmoidal Modificada
• Deslocamentos: [5]()
1
1/2
deslocamentos
Fig. 10
35
Função Sigmoidal Modificada
• Objetivo: uniformizar a distribuição de neurônios vencedores na grade neural de saída, impedindo que dado que um neurônio Nx tenha ganho a competição inicialmente, não possa depois continuar ganhando sempre
• Problema: impede a formação de uma vizinhança de neurônios próxima daquele vencedor
36
Sigmoidal Modificada
• Vantagens: permite que os demais neurônios de saída tenham oportunidade de vencer também em outras épocas ( iterações), num mesmo treinamento
• Não necessitam de pré processamento para aprender um dado padrão de imagem
• São imunes a ruídos leves
• O treinamento é mais rápido que em outras redes
37
Auto Organização Interna
• Rede talâmica: modelo de associação de padrão
• Matriz de pesos sinápticos: transforma um conjunto de vetores de entrada, em uma base qualquer bem um conjunto de saídas ortogonais entre si.
38
Auto Organização interna
• As componentes principais de um padrão ficam representadas na memória de pesos w, na forma de vetores ortogonais
• Padrão P: representado por um conjunto finito de n-tuplas A1, A2, A3, ..., Am, formando uma base universal (qualquer)
• Representação talâmica: cada componente yi é da forma:
39
Auto Organização Interna
• Base ortogonal y: [5]
) 11 ( ,...,0]A,[0,0,0,...y
) 10 ( ]A,...,A,[A Bkii
m21
40
Auto Organização Interna
Fig. 11
41
Componentes Principais
• Na imagem anterior: as componentes principais de maior relevância seriam aquelas associadas com: parte do cabelo, sombrancelhas, olhos, nariz, boca, queixo, formato de rosto
• Cada componente do vetor y agrega valores de cada um desses componentes principais da imagem
42
Recomposição de Padrões
• Tálamo: funciona em conjunto com o cortex cerebral
• Composto de duas camadas: camada sensora que recebe entradas excitatórias do meio externo, assim como sinais inibitórios da segunda camada, camada inibitória que recebe sinais inibitórios da camada reticular cerebral
43
Recomposição de Padrões
• Camadas reticulares (tálamo): [4]
N1 N2 Np camada cortical
y1 y2 y3 ynsegunda camada reticular
b1 b2 b3 bmprimeira camada reticular
. . .
...
...
excitação
inibição
Fig. 12
44
Recomposição de Padrões
• Padrão incompleto e sua recomposição:[2]
Fig. 13
45
Bibliografia
• [1] - Haykin, S. - Neural Networks: A Comprehensive Foundation - P.Hall-1.999
• [2] - Pelaez, F.J.R. - Aprendizagem em um modelo computacional do Tálamo - U.S.P.- 2.003 - tese doutorado
• [3] - Pelaez,F.J.R. - A Formal Representation of Thalamus and Cortex Computation - Proceedings of the International Conference Brain Processes
46
Bibliografia
• 1.996• [4] - Pelaez,F.J.R. - Plato’s Theory of Ideas
Revised - Neural Networks - 1.997• [5] - Piqueira, J.R.C.;Pelaez,F.J.R. -
Ortogonality for Hebbian Learning in the Brain - E.P.USP. - 2.005
• [6] - Shepherd, G.M.- The Synaptic Organization of the Brain - O.U.Press. 1.998