reconhecimento de padrões teoria da decisão bayesiana david menotti, ph.d. universidade federal...
TRANSCRIPT
![Page 1: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/1.jpg)
Reconhecimento de Padrões
Teoria da Decisão Bayesiana
David Menotti, Ph.D.www.decom.ufop.br/menotti
Universidade Federal de Ouro Preto (UFOP)Programa de Pós-Graduação em Ciência da Computação (PPGCC)
![Page 2: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/2.jpg)
Teoria da Decisão Bayesiana
• Abordagem estatística fundamental em problemas de classificação.
• Quantificar o custo/benefício entre diferentes decisões de classificação usando probabilidades e custos associados à classificação.– Cada ação tem um custo associado.– O risco mais simples é o erro de classificação– Construir classificadores que minimizem o risco.
![Page 3: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/3.jpg)
Terminologia
• Classes ω (variável aleatória)– ω1 para robalo, ω2 para salmão.
• Probabilidades a priori P(ω1) and P(ω2 ) – Conhecimento a priori de pescar robalo ou
salmão.
• Função de densidade probabilidade p(x)– Frequência com a qual encontramos uma
determinada característica– Evidências.
![Page 4: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/4.jpg)
Terminologia• Densidade de probabilidade condicional
– p(x/ωj) (Likelihood)– Frequência com que encontramos uma determinada
característica dado que a mesma pertence a classe ωj
![Page 5: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/5.jpg)
Terminologia
• Probabilidade a posteriori P(ωj /x)
– Probabilidade que o peixe pertença a classe ωj dado a característica x.
• Regra de decisão usando somente priors– ω1 Se P(ω1) > P(ω2); Senão ω2 .
– Essa regra nos faria tomar a mesma decisão todas as vezes.
![Page 6: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/6.jpg)
Regra de Decisão usando Bayes
( / ) ( )( / )
( )j j
j
p x P likelihood priorP x
p x evidence
onde2
1
( ) ( / ) ( )j jj
p x p x P
Escolha ω1 Se P(ω1 |x) > P(ω2|x); Senão escolha ω2 or
Escolha ω1 Se p(x|ω1)P(ω1) > p(x/ω2)P(ω2); Senão ω2
![Page 7: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/7.jpg)
Regra de Decisão usando Bayes
1 2
2 1( ) ( )
3 3P P
![Page 8: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/8.jpg)
Probabilidade de Erro
• A probabilidade de erro usando Bayes é dada por– P(error/x) = min[P(ω1|x), P(ω2|x)]
![Page 9: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/9.jpg)
Obtendo as probabilidades
• Essa teoria funciona somente quando conhecemos as funções.
• Abordagem objetiva– As probabilidades são obtidas através de
experimentos
• Abordagem subjetiva– As probabilidades refletem um grau de
confiança baseada em opinião ou conhecimento prévio.
![Page 10: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/10.jpg)
Exemplo
• Faça uma pesquisa no campus da UFOP, perguntando valor e altura do carro que a pessoa possui– C1: preço > 50k– C2: preço < 50k– Característica X: Altura do carro.
• Usando Bayes, podemos calcular a probabilidade a posteriori.
( / ) ( )( / )
( )i i
i
p x C P CP C x
p x
![Page 11: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/11.jpg)
Exemplo (cont)
• Determinando priors• Para cada carro, perguntar o preço e altura.
– Por exemplo, 1209 carros• C1 = 221 e C2 = 988
1
2
221( ) 0.183
1209988
( ) 0.8171209
P C
P C
![Page 12: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/12.jpg)
Exemplo (cont)
• Determinar a distribuição de probabilidade
![Page 13: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/13.jpg)
Exemplo (cont)
• Para cada barra do histrograma discretizado, calcular a probabilidade a posteriori.
1 11
1 1 2 2
( 1.0 / ) ( )( / 1.0)
( 1.0 / ) ( ) ( 1.0 / ) ( )
0.2081*0.1830.438
0.2081*0.183 0.0597*0.817
p x C P CP C x
p x C P C p x C P C
Note que deve Somar 1
![Page 14: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/14.jpg)
Teoria Generalizada
• Uso de mais de uma característica
• Mais de duas classes
• Possibilita outras ações além da classificação (rejeição)
• Introduz uma função de erro mais genérica (loss function)– Associa custos com cada ação.
![Page 15: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/15.jpg)
Terminologia
• Características formam um vetor
• Conjunto finito de classes ω1, ω2, …, ωc
• Conjunto finito de ações α1, α2, …, αl
• Loss function λ(αi / ωj)
• A perda por tomar uma ação αi quando a classificação for ωj
• Bayes
dRx
( / ) ( )( / )
( )j j
j
p PP
p
xx
x
1
( ) ( / ) ( )c
j jj
where p p P scale factor
x xonde
![Page 16: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/16.jpg)
Minimização do Risco
• Risco condicional (Expected loss) de tomar uma ação αi
• Esse risco pode ser minimizado selecionando-se uma ação que minimiza o risco condicional.
1
( / ) ( / ) ( / )c
i i j jj
R a a P
x x
![Page 17: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/17.jpg)
Minimização do Risco
• A regra de Bayes que minimiza R– Computando R(αi / x) para cada αi dado um x.
– Escolher uma ação αi com o mínimo R(αi /x)
![Page 18: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/18.jpg)
ExemploProblema com duas Classes
• Duas possíveis ações– α1 corresponde a decidir por ω1
– α2 corresponde a decidir por ω2
• Notaçãoλij=λ(αi,ωj)
• Os riscos condicionais são
onde
![Page 19: Reconhecimento de Padrões Teoria da Decisão Bayesiana David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa](https://reader035.vdocuments.pub/reader035/viewer/2022081421/552fc10b497959413d8c20c6/html5/thumbnails/19.jpg)
Referências
• (ML 3.1) Decision theory (Basic Framework)
– http://www.youtube.com/watch?v=KYRAO8f5rXA• (ML 3.2) Minimizing conditional expected loss
– http://www.youtube.com/watch?v=NC_cTB1PHyQ• (ML 3.3) Choosing f to minimize expected loss
– http://www.youtube.com/watch?v=--nMFiqwoZA• (ML 3.4) Square loss
– http://www.youtube.com/watch?v=AihhnWyl-J0• (ML 3.5, 3.6 and 3.7) The Big Picture (parts 1, 2, and 3)
– http://www.youtube.com/watch?v=frbX2JH-_Aw
– http://www.youtube.com/watch?v=Ih4R42qPRWo
– http://www.youtube.com/watch?v=VP3DxMxXw3Q