Meta-Aprendizado(Meta-Learning)

Prof. Renê Rodrigues VelosoDepartamento de Ciências da Computação – DCCUniversidade Estadual de Montes Claros – UNIMONTES

Equipe:Jader GabrielNilton Rodrigues Pereira

Aprendizado e Tomada de Decisões

O que é tomar decisões?

Cada opinião tem um peso ou relevância...

Qual Confiar??

Um Exemplo de Conjuntos ou EBS!

Qual as métricas de separação, e qual o melhor classificador?

Introdução - Meta-LearningEm Meta-Aprendizado, cada exemplo de treinamento (meta-exemplo) armazena a experiência obtida com a aplicação de um ou mais algoritmos de aprendizado em um problema resolvido no passado. Mais especificamente, cada meta-exemplo armazena:

● Os meta-atributos do problema, características descritivas do problema, como número de exemplos e número de atributos;

● As informações sobre o desempenho obtido pelos algoritmos para o problema, como as taxas de erro obtidas.

Introdução - Meta-LearningUm modelo de aprendizado (meta-aprendiz) é então aplicado sobre um conjunto de meta-exemplos, e adquire conhecimento de forma automática capaz de predizer o desempenho dos algoritmos de aprendizado a partir das características dos problemas.

Obs:● Ocorre não somente no nível de exemplos, mas também no nível de

tarefas.● Não somente refinar as hipóteses

Meta-Aprendizado(Meta-Learning)

Por que uma “maquina” aprender?Quando se trabalha com Redes Neurais ou classificadores automatizados:● Um bom desempenho no conjunto de treinamento não prediz um bom

desempenho de generalização;● Um conjunto de classificadores com desempenhos similares no

conjunto de classificação podem ter diferentes desempenhos de generalização;

● Mesmo classificadores com desempenhos de generalização similares podem trabalhar diferentemente;

● A combinação das saídas produzidas pelos classificadores reduz o risco de uma escolha infeliz por um classificador com um pobre desempenho

● Não seguir apenas a “recomendação”de um único especialista

Grandes volumes de dados● A quantidade de dados a serem analisados pode ser muito grande

para serem efetivamente manipulados por um único classificador;● DNA● Mais apropriados particionar os dados em sub-conjuntos e treinar

diferentes classificadores com diferentes partições dos dados e então combinar as saídas com uma inteligente regra de combinação

● Geralmente tal estratégia tem se mostrado a mais eficaz.

Dividir para Conquistar

Criando um Ensemble● Como os classificadores serão gerados?● Como tais classificadores irão diferir entre eles?● Respostas -> determinarão a diversidade dos classificadores =

performance final do EBS;● Uma estratégia para geração dos membros de um EBS DEVE

buscar uma melhora da diversidade;● Não existe uma única medida de diversidade aceita uniformemente;

Bagging● O primeiro algoritmo para a construção de EBS;● Possui uma implementação simples e intuitiva;● A diversidade é obtida com o uso de diferentes subconjuntos de

dados aleatoriamente criados com reposição;● Cada subconjunto é usado para treinar um classificador do mesmo

tipo;● As saídas dos classificadores são combinadas por meio do voto

majoritário com base em suas decisões;● Para uma dada instância, a classe que obtiver o maior número de

votos será então a resposta.

BoostingGeração e combinação de classificadores fracos (rules of thumb)● Os dados de treinamento são amostrados de acordo

com uma dada distribuição modificada ao longo do tempo;

● Mais atenção aos exemplos incorretamente classificados pela hipótese mais recente;

Suponha uma base de artigos de notícias...

Boosting – Ideia Geral

Boosting – Ideia Geral

Boosting

Conclusão

Experiência = meta-conhecimento

ReferênciasVELOSO, R. R. Meta-Learning, Universidade Federal de Minas Gerais

LOPES, S. N Modelos de classificação de risco de crédito para finaciamentos imobiliários: Regressão logisticam análise discriminante, árvore de decisão, bagging e boosting. Disponível em:<http://tede.mackenzie.com.br/tde_busca/arquivo.php?codArquivo=2341> Acessado em: 11 de Junho. de 2014.

Sistemas baseados em ensembles de classificadores. Disponível em:<http://professor.ufabc.edu.br/~ronaldo.prati/MachineLearning/ensemples.pdf> Acessado em: 11 de Junho. de 2014.

L. Kuncheva, Combining pattern classifiers: methods and algorithms. Wiley-Interscience, 2004.