aula 01 modelos de redes neurais
TRANSCRIPT
-
7/25/2019 Aula 01 Modelos de redes neurais
1/57
MINICURSO DE
REDES NEURAIS
ARTIFICIAIS
Eng. Alosio Fernandes Dias
Aula 1 Fundamentos de uma RNA
Alosio Fernandes Dias [email protected]
Universidade Federal do Cear - UFCCentro de Tecnologia - CTDepartamento de Engenharia Eltrica - DEESemana de Engenharia Eltrica - UFC
-
7/25/2019 Aula 01 Modelos de redes neurais
2/57
Nome: Alosio Fernandes Dias
Formao: Engenheiro Eletricista
Tem experincia na rea de Inteligncia ComputacionalAplicada e Controle, com nfase em Modelagem de Controlespara Sistemas Dinmicos No Lineares a partir deControladores Hbridos Inteligentes.
Possui tambm experincia na rea de Eficincia Energtica,Automao e Instalaes Eltricas, tendo ministrado cursoslivres nestas reas.
Atualmente trabalha com anlise de Sistemas Robustosmodelados por tcnicas modernas de Inteligncia
Computacional Aplicada no Programa de Ps Graduao daUniversidade Federal do Cear e atua profissionalmente comoconsultor nas reas de Automao, Eficincia Energtica eEnergias Renovveis, pela empresa Light Energy Group(http:
//lightenergygroup.com.br)
Alosio Fernandes Dias [email protected]
http://lightenergygroup.com.br/http://lightenergygroup.com.br/http://lightenergygroup.com.br/ -
7/25/2019 Aula 01 Modelos de redes neurais
3/57
1. Introduo: Conceitos de Abstrao e Inteligncia.
2. Aprendizado Supervisionado, no Supervisionado e por Reforo.
3. Redes Neurais Artificiais.
4. O Perceptron.
5. Aprendizado (Treinamento) do Perceptron.
6. Limitao: Problemas linearmente separveis (O problema da XOR).
Sumrio
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
4/57
O Engenheiro Eletricista, para trabalhar com algum sistema,parte da premissa de conhecer seu modelo. Entretanto, hsistemas por demais custosos de serem modelados, seja pela
elevadacomplexidade matemtica do mesmo, pelasvariveisaleatrias envolvidas ou pelo simples fato de que no possvelestabelecer uma fronteira segura a partir da metodologiaclssicaentre as mudanasde estado envolvidas no processo.
A necessidade de aplicar metodologias de controle einterpretao em sistemas supervisionados uma das maisimportantes justificativas do desenvolvimento de um sistemadotado deinteligncia artificial(IA).
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
5/57
De modo geral, o objetivo da inteligncia artificial (IA) desenvolverparadigmasoualgoritmosa partir da capacidadedo encadeamento de trs grandes faculdades; a primeira que
consiste emarmazenar conhecimento; a segunda na qual a IAaplica este conhecimento armazenado para resolver problemas;e a terceira e mais notvel caracterstica, que consiste emadquirir novos conhecimentos atravs de experincias. Nessaperspectiva, a Inteligncia Artificial consiste num intelecto capaz
de gerar e compreender uma srie de algoritmos e paradigmasque, por sua vez, permitem a realizao de tarefas que apenasseriam realizadas pelo intelecto humano.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
6/57
Uma IA dotada de trs componentes chaves, as quais so arepresentao, oraciocnioe oaprendizado, conforme ilustradona figura a seguir.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
7/57
Representao: A caracterstica mais marcante da IA ,provavelmente, o uso generalizado de uma linguagem simblicapara representar tanto o conhecimento geral, quanto para
representar um conhecimento especfico para solucionar umproblema de interesse local. Tais smbolos geralmente soformulados em termos familiares, tornando fcil a compreensopor parte do usurio humano. Assim, fica evidenciado que asimplicidade da simbologia numa IA facilita a comunicao
homem-mquina.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
8/57
Raciocnio: Numa definio simplista, raciocnio a faculdadeque permite que um dado intelecto seja capaz de solucionarproblemas e o mesmo deve ter as seguintes condies:
O intelecto deve ter a habilidade de inferir solues para umamplo conjunto de problemas para o qual no foi projetado; O intelecto deve ter a habilidade de explicitar informaes
implcitas, sendo capaz de compreender com plenitude asituao qual est submetido;
O intelecto deve ser dotado de uma habilidade seletiva quedetermine as modificaes a serem feitas numa dadainformao, bem como a capacidade de classificar se umainformao ou alguma ao oriunda de certa informao intil.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
9/57
Obviamente, a primeira exigncia extremamente difcil de seratendida, no que diz respeito aos problemas para os quais ointelecto no foi projetado. Assim, seria mais fcil inferir que a
soluo de problemas um problema de busca; baseado nasinformaes que possui, um intelecto busca determinar qual acombinao de informaes mais adequada para solucionareste problema. Logo, tal exigncia diz respeito combinao deinformaes e no criatividade.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
10/57
Aprendizado: Um intelecto dito capaz de aprender se omesmo capaz de incrementar ou alterar suas competncias,habilidades, conhecimentos, comportamento ou valores, como
resultado de estudo, experincia, formao, raciocnio eobservao. Um diagrama simplificado apresentado na figuraa seguir e exemplifica bem o que seria uma mquina capaz deaprender.
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
11/57
Introduo: Conceitos de Abstrao e Inteligncia.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
12/57
Aprendizado Supervisionado, no Supervisionado epor Reforo.
H trs paradigmas bsicos no que diz respeito ao mtodo deaprendizado:
Aprendizado Supervisionado;
Aprendizado no Supervisionado;
Aprendizado por Reforo.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
13/57
Aprendizado Supervisionado, no Supervisionado epor Reforo.
Aprendizado Supervisionado: Neste tipo de aprendizagem existeum "professor" que avalia a resposta do intelecto ao padroatual de estmulos (entradas). As alteraes no processamentoso calculadas de forma a que a resposta do intelecto tenda acoincidir com a do professor. Neste tipo de aprendizagem relativamente fcil avaliar o desempenho do intelecto para umdeterminado estado do nosso sistema e, consequentemente,implementar um "professor".
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
14/57
Aprendizado Supervisionado, no Supervisionado epor Reforo.
Aprendizado Supervisionado: Neste tipo de aprendizagem existeum "professor" que avalia a resposta do intelecto ao padroatual de estmulos (entradas). As alteraes no processamentoso calculadas de forma a que a resposta do intelecto tenda acoincidir com a do professor. Neste tipo de aprendizagem relativamente fcil avaliar o desempenho do intelecto para umdeterminado estado do nosso sistema e, consequentemente,implementar um "professor".
Alosio Fernandes Dias [email protected]
O aprendizado supervisionado o nosso objetivo de estudo.
-
7/25/2019 Aula 01 Modelos de redes neurais
15/57
Aprendizado Supervisionado, no Supervisionado epor Reforo.
Aprendizado no Supervisionado: Nesta outra forma deaprendizagem no existe "professor". O intelecto tem dedescobrir sozinho relaes, padres, regularidades ou categoriasnos dados que lhe vo sendo apresentados e codific-los nassadas. Neste tipo de aprendizagem mais complicado avaliar odesempenho da rede para um determinado estado do nossosistema, visto que no h a figura educadora do "professor".
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
16/57
Aprendizado Supervisionado, no Supervisionado epor Reforo.
Aprendizado por Reforo: Esta forma de aprendizagem requerum conjunto de experincias para que o intelecto defina quaisdelas determinam o resultado esperado. Alguns autores noconsideram a aprendizado por reforo.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
17/57
O estudo das Redes Neurais Artificiais (RNA) dependeprincipalmente da modelagem da unidade de aprendizado, ouseja, do neurnio. Sendo assim, o desafio da RNA simular em
processadores computacionais o funcionamento do crebrohumano. Atualmente possvel, com RNAs, reconhecer padres,extrair regularidades e detectar relaes subjacentes em umconjunto de dados aparentemente desconexos. Tambm, j seconsegue analisar dados ruidosos, incompletos e imprecisos,
alm de prever sistemas no lineares, que podem ser usados emsistemas caticos e no mercado bolsas de valores.
Redes Neurais Artificiais.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
18/57
Assim, a rede neural se assemelha ao crebro em dois aspectos:
A capacidade de adquirir conhecimento a partir de umprocesso de aprendizagem;
A capacidade dearmazenar conhecimentoadquirido atravsdasconexesentre osneurnios, isto ,pesossinpticos.
Redes Neurais Artificiais.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
19/57
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
20/57
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
21/57
PROCESSAINFORMAO
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
22/57
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
23/57
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
24/57
Note que o neurnio artificial compila em si as habilidadesfuncionais do neurnio biolgico. A esta unidade neural(apresentada na figura) que encerra artificialmente as faculdades
cognitivas de um neurnio biolgico d-se o nome dePerceptron.
Agora, vamos nos aprofundar na modelagem matemtica do
Perceptron.
O Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
25/57
-
7/25/2019 Aula 01 Modelos de redes neurais
26/57
-
7/25/2019 Aula 01 Modelos de redes neurais
27/57
-
7/25/2019 Aula 01 Modelos de redes neurais
28/57
-
7/25/2019 Aula 01 Modelos de redes neurais
29/57
O Perceptron.
Alosio Fernandes Dias [email protected]
A tomada de deciso (sada, objetivo oualvo) do neurnio depende da funoque o neurnio aplica na ativao.
-
7/25/2019 Aula 01 Modelos de redes neurais
30/57
O Perceptron.
Alosio Fernandes Dias [email protected]
Tomada de deciso (sada, objetivo oualvo) do neurnio.
-
7/25/2019 Aula 01 Modelos de redes neurais
31/57
-
7/25/2019 Aula 01 Modelos de redes neurais
32/57
Entretanto, como o Perceptron efetua o procedimento ao qualpodemos chamar de aprendizado?
A presena de um tutor, na prtica, significa o que para oneurnio artificial?
O Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
33/57
O grande trunfo das redes neurais est na sua capacidade deaprendizado. Isto significa dizer que deve haver alguma formade fazer com que a rede seja capaz de evoluir seus pesos at
uma condio que permita que a mesmaacerteo resultado.
Os primeiros neurnios artificiais utilizavam a funo limiar comoforma de tratar a ativao. Isto se deve, em boa parte, ao fato
de a funo limiar ser a mesma utilizada pelo neurniobiolgico.
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
34/57
-
7/25/2019 Aula 01 Modelos de redes neurais
35/57
Redes com este tipo de ativao possuem forte caractersticaclassificatria, isto , capacidade de agrupar padres em grupos.
Entretanto ainda temos o problema do treinamento: como fazercom que os pesos evoluam ao longo do tempo? A respostadesta pergunta est na atuao doprofessor.
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
36/57
-
7/25/2019 Aula 01 Modelos de redes neurais
37/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
Note que agora para um conjunto
nulo, o valor de
no necessariamente nulo.
Funo Limiar:
= 0, se < 01, caso contrrio
= + ++
-
7/25/2019 Aula 01 Modelos de redes neurais
38/57
interessante inserir sempre o bias na rede que estamosvisando treinar, pois, mesmo na hiptese deste parmetro serirrelevante, o treinamento tratar de torna-lo nulo.
Redes com este tipo de ativao possuem forte caractersticaclassificatria, isto , capacidade de agrupar padres em grupos.
Entretanto ainda temos o problema do treinamento: como fazercom que os pesos evoluam ao longo do tempo? A respostadesta pergunta est na atuao da entidade abstrata professor,como ser visto no exemplo a seguir.
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
39/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Vamos classificar um sistema de duas entradas (X1 e X2) e masada Y que corresponde ao operador booleano AND. Suatabela verdade est expressa a seguir.
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
X1 X2 Y
1 0 0 0
2 0 1 0
3 1 0 0
4 1 1 1
-
7/25/2019 Aula 01 Modelos de redes neurais
40/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Desse modo, um conjunto de pesos aleatoriamente
inicializado e sadas so obtidas (consideremos um neurniocom 2 pesos e um bias). O erro entre desejado e obtido definido por = .
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
X1 X2
1
2
b Y
desejado
Y
calculado
Erro
1 0 0 0,5 0,3 0,4 0 1 -1
-
7/25/2019 Aula 01 Modelos de redes neurais
41/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Os pesos so ajustados a partir de correo com base no erro:
= +
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
X1 X2
1
2
b Y
desejado
Y
calculado
Erro
1 0 0 0,5 0,3 0,4 0 1 -1
-
7/25/2019 Aula 01 Modelos de redes neurais
42/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Os pesos so ajustados a partir de correo com base no erro:
= +
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
X1 X2
1
2
b Y
desejado
Y
calculado
Erro
1 0 0 0,5 0,3 0,4 0 1 -1
Taxa de aprendizado
Erro (+1 ou -1)
Padro (Estmulo ou Entrada)
-
7/25/2019 Aula 01 Modelos de redes neurais
43/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Para o exemplo citado (taxa de aprendizado de 0,5):= 0,5 + 0,5 1 0 = 0,5
= 0,3 + 0,5 1 0 = 0,3 = 0,4 + 0,5 1 = 0,1 (bias = entrada unitria)
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
44/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
O segundo conjunto de padres apresentado e novamente
tem-se uma atualizao dos pesos.
E continua...
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
X1 X2
1
2
b Y
desejado
Y
calculado
Erro
2 0 1 0,5 0,3 -0,1 0 1 -1
-
7/25/2019 Aula 01 Modelos de redes neurais
45/57
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Aps algumas etapas de treinamento possvel determinar umconjunto de pesos que definem (classificam) adequadamente ospadres apresentados ao Perceptron, conforme mostrado aseguir.
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
46/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
Treinamento AND (Perceptron)
Taxa de Aprendizado (0;1): 0,5 ATIVAO DO TIPO LIMIAR
STATUS
X1 X2 bias w1 w2 Y D erro bias_novo w1_novo w2_novo
1
0 0 0,4 0,5 0,3 1 0 -1 -0,1 0,5 0,3
1
0 1 -0,1 0,5 0,3 1 0 -1 -0,6 0,5 -0,2
1 0 -0,6 0,5 -0,2 0 0 0 -0,6 0,5 -0,2
1 1 -0,6 0,5 -0,2 0 1 1 -0,1 1,0 0,3
2
0 0 -0,1 1,0 0,3 0 0 0 -0,1 1,0 0,3
1
0 1 -0,1 1,0 0,3 1 0 -1 -0,6 1,0 -0,2
1 0 -0,6 1,0 -0,2 1 0 -1 -1,1 0,5 -0,2
1 1 -1,1 0,5 -0,2 0 1 1 -0,6 1,0 0,3
3
0 0 -0,6 1,0 0,3 0 0 0 -0,6 1,0 0,3
1
0 1 -0,6 1,0 0,3 0 0 0 -0,6 1,0 0,3
1 0 -0,6 1,0 0,3 1 0 -1 -1,1 0,5 0,3
1 1 -1,1 0,5 0,3 0 1 1 -0,6 1,0 0,8
4
0 0 -0,6 1,0 0,8 0 0 0 -0,6 1,0 0,8
1
0 1 -0,6 1,0 0,8 1 0 -1 -1,1 1,0 0,31 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3
1 1 -1,1 1,0 0,3 1 1 0 -1,1 1,0 0,3
5
0 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3
0
0 1 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3
1 0 -1,1 1,0 0,3 0 0 0 -1,1 1,0 0,3
1 1 -1,1 1,0 0,3 1 1 0 -1,1 1,0 0,3
-
7/25/2019 Aula 01 Modelos de redes neurais
47/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Os pesos que garantem a soluo foram encontrados. Contudo,ter isto relao com os pesos iniciais? Vamos ver com oexemplo apresentado a seguir.
-
7/25/2019 Aula 01 Modelos de redes neurais
48/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Os pesos que garantem a soluo foram encontrados. Contudo,ter isto relao com os pesos iniciais? Vamos ver com oexemplo apresentado a seguir.
Exemplo
Computacional:
Microsoft Excel
-
7/25/2019 Aula 01 Modelos de redes neurais
49/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
EXEMPLO: APRENDENDO A PORTA LGICAAND (E).
Agora vamos implementar o referido exemplo utilizando oMATLAB.
Exemplo
Computacional:
MATLAB
-
7/25/2019 Aula 01 Modelos de redes neurais
50/57
Aprendizado (Treinamento) do Perceptron.
Alosio Fernandes Dias [email protected]
Exerccio Proposto: Implemente no MATLAB uma redeperceptron de 1 camada (com dois perceptrons,1 e2 ,conforme figure abaixo), considerando a Tabela abaixo como
Conjunto de Treinamento. ENTRADAS SADASX3 X2 X1 D1 D2
0 0 0 0 1
0 0 1 1 1
0 1 0 0 1
0 1 1 1 1
1 0 0 0 0
1 0 1 0 1
1 1 0 0 0
1 1 1 0 1
= ; =
-
7/25/2019 Aula 01 Modelos de redes neurais
51/57
-
7/25/2019 Aula 01 Modelos de redes neurais
52/57
Limitao: Problemas linearmente separveis (O
problema da XOR).
Alosio Fernandes Dias [email protected]
?
-
7/25/2019 Aula 01 Modelos de redes neurais
53/57
Limitao: Problemas linearmente separveis (O
problema da XOR).
Provavelmente uma associao de camadas de Perceptronssolucionar o problema facilmente. Contudo, como efetuar o
treinamento sem conhecer as sadas desejadas de camadasocultas?
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
54/57
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
55/57
PRXIMA
AULA
Alosio Fernandes Dias [email protected]
-
7/25/2019 Aula 01 Modelos de redes neurais
56/57
As aulas e os cdigos apresentados
esto disponveis em
www.professoraloisiodias.wix.com/site
Alosio Fernandes Dias [email protected]
http://www.professoraloisiodias.wix.com/sitehttp://www.professoraloisiodias.wix.com/site -
7/25/2019 Aula 01 Modelos de redes neurais
57/57