meta-aprendizado para otimização de parâmetros de redes neurais
DESCRIPTION
Objetivo: Investigar o uso de meta-aprendizado para otimização de parâmetros de redes neurais.TRANSCRIPT
![Page 1: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/1.jpg)
Meta-aprendizado para otimização de parâmetros de redes neuraisAndré Ricardo FredericoOrlando da Silva Junior
![Page 2: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/2.jpg)
O Artigo• Título• Meta-aprendizado para otimização de parâmetros de redes
neurais
• Autores• Tarcísio D. P. Lucas, Teresa B. Ludermir, Ricardo B. C. Prudêncio
(UFPE)• Carlos Soares (Univ. Porto, Portugal)
• Publicação• Encontro Nacional de Inteligência Artificial (ENIA 2011)
![Page 3: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/3.jpg)
Problema• Problema• Como otimizar os parâmetros de uma rede neural artificial
(RNA)?
• Hipótese• O meta-aprendizado pode ser utilizado para a otimização de
parâmetros de RNAs.
![Page 4: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/4.jpg)
Objetivo• Investigar o uso de meta-aprendizado para otimização de
parâmetros de redes neurais
• Justificativa: a otimização de RNAs é uma tarefa importante para o sucesso do uso desses modelos em aplicações reais.
![Page 5: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/5.jpg)
Conceitos – RNAs• RNAs são utilizadas para resolver problemas em diferentes áreas do
conhecimento
• O desempenho de uma RNA depende da escolha de seus parâmetros de treinamento e arquitetura
• A definição dos parâmetros depende do problema ou tarefa de aprendizagem sendo resolvida
• A otimização dos parâmetros é um problema complexo e várias soluções já foram propostas:• Tentativa e erro (experiência do usuário)• Algoritmos genéticos• Enxame de partículas• Têmpera simulada• Etc.
![Page 6: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/6.jpg)
Conceitos – Meta-aprendizado
• Meta-aprendizado é um processo de aquisição automática de conhecimento que relaciona o desempenho dos algoritmos de aprendizado com as características dos problemas.
• No meta-aprendizado, há uma BD com diversos meta-exemplos, onde cada um é composto por:• Um conjunto de meta-atributos: estatísticas que descrevem o
conjunto de dados (número de exemplos, número de atributos, entropia, etc.)
• Um meta-rótulo: melhor algoritmo aplicado ao problema
![Page 7: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/7.jpg)
Metodologia• Desenvolvimento de um estudo de caso que aplica meta-aprendizado para a escolha
da quantidade de neurônios escondidos em uma rede perceptron multi-camadas (MLP).
• Avaliação de 93 bases de dados de dados para a construção da base de meta-exemplos, variando o número de neurônios escondidos
• Cada meta-exemplo é associado a um problema de regressão e armazena:• 16 características descrevendo os dados do problema;• O melhor número de neurônios para a rede MLP do problema
• Um algoritmo de regressão é usado como meta-aprendiz para predizer o melhor número de neurônios para um novo problema a partir de suas características. Quatro algoritmos são testados:• Regressão linear• kNN• M5• SVM
![Page 8: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/8.jpg)
Experimentos• A otimização é realizada em cima de um dos parâmetros de
uma rede MLP com uma camada escondida
• Por ser veloz no treinamento e só possuir 2 parâmetros, o algoritmo de treinamento escolhido foi o Extreme Learning Machine (ELM)• Parâmetro escolhido: quantidade de neurônios escondidos
• A função de ativação sigmoidal foi fixada e foram testadas as quantidades de neurônios escondidos entre 1 e 300 para cada uma das 93 bases
![Page 9: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/9.jpg)
Experimentos• Cada experimento foi repetido 10 vezes, com diferentes pesos
e bias
• O número de neurônios ideal é o menor erro médio no conjunto de teste nas 10 repetições, calculado com a raiz quadrada média dos erros
![Page 10: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/10.jpg)
Experimentos
![Page 11: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/11.jpg)
Experimentos• Com a meta-base pronta, os meta-exemplos foram
submetidos a 4 algoritmos de meta-aprendizado:• kNN: com 1 vizinho mais próximo• M5 (indução de árvores de regressão)• Regressão linear• SVM: polinomial e RBF
• Todos eles foram testados nos parâmetros default do WEKA, exceto a SVM
![Page 12: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/12.jpg)
Resultados• A validação cruzada leave-one-out foi utilizada para testar a
precisão dos meta-aprendizes, resultando em 93 treinamentos
• Em seguida, foi observado o erro médio absoluto (RAE) e a correlação entre as respostas dos meta-aprendizes e as saídas desejadas• Um RAE próximo de 100% indica que o algoritmo não é um
regressor útil• A correlação indica a regularidade nos meta-atributos,
informando que podem ser utilizados para predizer o número de neurônios ocultos
![Page 13: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/13.jpg)
Resultados
![Page 14: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/14.jpg)
Conclusão• O melhor erro foi obtido tendo o SVM como meta-aprendiz
(52,85%)
• O meta-aprendizado ainda é menos custoso que abordagens com algoritmos de busca
• Trabalhos futuros• Melhorar a precisão do meta-aprendizado através de uma melhor
seleção de meta-atributos• Aplicação em MLP treinada com backpropagation
![Page 15: Meta-aprendizado para otimização de parâmetros de redes neurais](https://reader035.vdocuments.pub/reader035/viewer/2022062514/557ccbb9d8b42aa2298b45fa/html5/thumbnails/15.jpg)
Referências• LUCAS, T. D. P. ; PRUDENCIO, R. B. C. ; LUDERMIR, T. B. ;
SOARES, C. . Meta-aprendizado para otimização de parâmetros de redes neurais. In: VIII Encontro Nacional de Inteligência Artificial (ENIA), 2011, Natal. Anais do Encontro Nacional de Inteligência Artificial 2011, 2011.
• http://www.lbd.dcc.ufmg.br/colecoes/enia/2011/0061.pdf