probabilistic svm algorithm

Probabilistic SVM Algorithm

Laércio Nascimento Mesquita

2015.2 Picos – PI 18/02/2016

Roteiro

--- Introdução

--- Aprendizado de Máquina (AM)

-- Aprendizado não-supervisonado (descritivo)

-- Aprendizado Supervisonado (preditivo)

--- Support Vector Machine (SVM)

--- Aplicações

--- Referências

Introdução

l Até os anos 70 a Inteligência Artificial era vista como uma disciplina

meramente teórica;

l Dificuldade de aquisição do conhecimento por parte de especialistas;

l Dificuldade na resolução de problemas complexos;

l Necessidade de ferramentas sofisticadas;

O que é Aprendizado de

Máquina?

fonte: http://migre.me/t15Mw

Aprendizado de Máquina

“A capacidade de melhorar o desempenho na realização de de alguma tarefa por meio da experiência (MITCHELL 1997).”

fonte:http://migre.me/t15We

Aprendizado de Máquina

Algumas áreas de pesquisa têm dado contribuições diretas e significativas no avanço a AM, como Probabilidade, Estatística Teoria da Computação Neurociência, Teoria da Informação.

Aprendizado de Máquina

Aprendizado Indutivo

SupervisionadoNão

supervisionado

Classificação Regressão

Sumarização Agrupamento Associação

Hierarquia de aprendizado.

Aprendizado Não - supervisionado

Algoritmo KNN

Aprendizado Supervisionado

Modelo de Estimação de Função

Modelo de Estimação de Função, Santos(2002) p. 20.

Modelo de Estimação de Função

l Seja (x 1 , y 1 ),... , (x i , y i ) , tal que x R n e y {− ∈ ∈1, 1 }, i = 1, ..., N, onde N é o número de instâncias do treinamento, x é o vetor de entrada e y é a classificação desejada. O objetivo é estimar uma função F: R n -> {-1 ou 1}, usando os exemplos de treinamento, e aplicá-la nos exemplos de teste, não utilizados anteriormente, com o objetivo de que sejam classificados corretamente.

Modelo de Estimação de Função

l Problemas:l Overfitting → onde a complexidade da função

obtida é superior a necessidade do problema; l Underfitting → onde a complexidade da função

obtida é inferior a necessidade do problema.

Modelo de Estimação de Função

l

(a) sobre-ajuste, (b) sub-ajuste, (c) função de aproximação maisadequada.

Support Vector Machine - (SVM)

Support Vector Machine

The original SVM algorithm was invented by Vladimir N. Vapnik and Alexey Ya. Chervonenkis in 1963. In 1992, Bernhard E. Boser, Isabelle M. Guyon and Vladimir N. Vapnik suggested a way to create nonlinear classifiers by applying the kernel trick to maximum-margin hyperplanes (VAPNIK 1998).

Support Vector Machine

l Valores discretos e valores contínuos;l Ex1: Sexo { masculino, feminino} – Problema de

Classificação;l Ex2: Peso { 80.4, 50.2, 93.5 … } - Problema de

Regressão ou em classicação em caso de pesado ou leve;

l Em classificação se k = 2, diz-se ser um problema binário, para k>2 problema multiclasse.

Support Vector Machine

l Máquinas de vetor de suporte (SVM)(VAPNIK, 1998) têm obtido sucesso em um grande número de aplicações.

l A SVM constrói um hiperplano com várias dimensões que separa de forma otimizada os dados em duas categorias.

Support Vector Machine

Hiperplano de separação Ótimo, Lima(2014), p. 06.

Teoria de Aprendizado Estatístico

Teoria de Aprendizado Estatístico

Que a mágica comece!

Teoria de Aprendizado Estatístico

Minimização do risco. Sousa (2002).

Teoria de Aprendizado Estatístico

Risco empírico da função R (f). Oliveira Junior (2010), p. 07.

Teoria de Aprendizado Estatístico

l Na equação, h denota a dimensão VC (Vapnik-Chervonenkis) da classe de funções a qual f pertence e n representa a quantidade de instâncias de treinamento. A dimensão VC, mede a capacidade das funções contidas em F. Quanto maior for o valor de VC, mais complexas são as funções de classificação.

Representação da dimensão VC(Vapnik-Chervonenkis) . Oliveira Junior (2010), p. 07.

Teoria de Aprendizado Estatístico

Funções Kernel

Funções Kernel

As funções de kernel têm a finalidade de projetar os vetores de características de entrada em um espaço de características de alta dimensão para classificação de problemas que se encontram em espaços não linearmente separáveis.

Funções Kernel

Transformação de um problema linear mente separável.

Funções Kernel

Funções Kernels mais utilizadas.

Funções kernels mais utilizados.

Funções Kernel

Separação usando função de kernel linear

D(x) = w T x + b

Funções Kernel

Aplicação de uma função RBF em clusters .Oliveira Junior (2010), p. 11.

Aplicações

Aplicações de Aprendizado de Máquina

-- Reconhecimento de palavras faladas;

-- Predição de taxas de cura de pacientes com diferentes

doenças;

-- Detecção do uso fraudulento de cartões de crédito;

-- Condução de automóveis de forma autônoma em rodovias;

-- Diagnóstico de câncer por meio de análise de dados de

expressão gênica.

Referência

Lima, B. V. A. de .Rotulação de Dados com Aprendizado Semi-Supervisionado. Dissertação de Mestrado na área de Ciência da Computação. (Programa de Pós-Graduação em Ciência da Computação) – Universidade Federal do Piauí, Teresina, 2014.

Oliveira Junior, G. M. de. Máquina de Vetores Suporte: estudo e análise de parâmetros para otimização de resultado. Trabalho de graduação na área de Ciência da Computação. Universidade Federal de Pernambuco, Recife, 2010.

Santos, E. M. dos. Teoria e Aplicação de Support Vector Machines à Aprendizagem e Reconhecimento de Objetos Baseado na Aparência. Dissertação de Mestrado na área de Modelos Computacionais e Cognitivos. (Programa de Pós-Graduação em Informática da Universidade Federal da Paraíba) - Universidade Federal da Paraíba, Paraíba, 2002.

VAPNIK. N, Statistical Learning Theory. New York: John Wiley & Sons, 1998.

Dúvidas?Obrigado!