Download - Clp Teoria 2.1 Map Pri2015 (2)
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
1/52
1
Tema 2Teora de la decisin
Some Figures in these slides were taken fromPattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John
Wiley & Sons, 2000with the permission of the authors
Primavera 2015
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
2/52
2
2.1. Decisin bayesiana (MAP)
2.2. Estimacin de mxima verosimilitud (ML) y estimacinBayesiana de parmetros
Contenidos del tema 2
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
3/52
3
INDICE
2.1 Decisin bayesiana (MAP)2.1.1 Introduccin
2.1.2 Regla de decisin de Bayes
2.1.3 Clasificadores de mnimo riesgo
2.1.4 Discriminantes y regiones de decisin
2.1.5 Funcin de densidad de probabilidad Gaussiana
2.1.6 Funciones discriminantes para el caso Gaussiano
2.1.7 Caracterstica de operacin del receptor (ROC)
2.1.8 Vector de caractersticas discretas
2.1.9 Conclusiones
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
4/52
4
2.1.1 INTRODUCCIN
Porqu un marco probabilstico para la toma de decisiones?
1. Por tener representaciones incompletas de la realidad(p.e. no disponemos del ADN de los peces capturados)
2. Por abordar problemas intrnsecamente aleatorios
(p.e. en un problema de identificacin de caracteresescritos manualmente)
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
5/52
5
2.1.1 INTRODUCCIN
Datos medidos: vector dedimensin d
Estado de la naturaleza (v.a.de C categoras): Salmn oLubina
Probabilidades a priori
F.d.p. condicionadas por laclase
Probabilidades a posteriori
1
2
Luminosidad
Longitudd
x
x
= =
x
1 22 ,C =
1 2Pr( ) Pr( ) ( )1
Pr 1C
i
i
=
=
( ) ( )1 2f f x xx x
( ) ( ) ( )
( )
PrPr
j j
j
f
f
=
x
x
xx
x( ) ( ) ( )
1
PrC
j j
i
f f =
= x xx x
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
6/52
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
7/52
7
Qu estamos calculando?
Modelo de la
naturaleza
Estado de lanaturaleza
fx(x/j)
Prejuicios/a prioris
( )Pr j
( )Pr j x
j
( ) ( ) ( )
( )
PrPr
j j
j
f
f
=
x
x
xx
x
sntesis entre racionalismo (Descartes) y empirismo (Hume),es quien construye el conocimiento del objeto.
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
8/52
8
2.1.2 REGLA DE DECISIN DE BAYES (MAP)
Regla de decisin, dado elvector x
Probabilidad de errorcondicionada a x
Probabilidad de error promedio
( ) ( )1
2
1 2Pr Pr
>
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
11/52
11
Caso general:
- Vector de medidas es de dimensin d
- Nmero de clases es c
( ) ( ) ( ) arg max Pr arg max Pr i i
i i i ifxx x
= =
Si una observacin x0no proporciona informacin sobre el
estado de la naturaleza
Si los priores tienen el mismo valor, la decisin est basadaunicamente en el likelihood
( ) ( ) ( ) ( )0 1 0 2 0Pr Pr i if f = =x x x
( ) ( )1
2
1 2 1 2Pr( ) Pr( ) f f
>
=
0
1ij
i j
i j
==
Umbral (threshold)independiente de x
( ) ( ) ( )
( ) ( )
1
1
Pr
Pr 1 Pr
C
i i j j
j
C
j i
jj i
R
=
=
=
= =
x x
x x
( )( )
1
2
f
f
x
x
x
x
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
18/52
18
Otros criterios
NEYMAN-PEARSON
- Se minimiza el riesgo total sujeto a alguna restriccin.
MINIMAX Tiene sentido cuando no se conocen las probabilidades a priori.
Minimiza el peorriesgo total, eligiendo las regiones de decisinpara que la funcin de riesgo no dependa de las probabilidades apriori.
Ejemplo para c=2 categoras
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
19/52
19
1mini-max 22 12 22 2( ) ( )
RR f d = + x x x
( ) ( ) ( ) ( )
( ) ( )( )
( ) ( )( )
( ) ( ) ( )( )
1 2
1
2
1
2 1
1 2
11 1 1 12 2 2
21 1 1 22 2 2
22 12 22 2
1 11 22 21 11 1 22 12 2
Pr ( ) Pr ( )
Pr ( ) Pr ( )
( ) ( )
Pr ( ) ( )
R R
R
R
R
R R
R R f d R f d
f f d
f f d
f d
f d f d
= +
= + +
+ =
= + +
+ + +
x x
x x
x
x x
x x x x x x
x x x
x x x
x x
x x x x
Si escogemos adecuadamente las regionesR
1yR
2podemos anular el segundo trmino
yRno depende de Pr(1)
R1: regin en la que decidimos 1
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
20/52
20
2.4 FUNCIONES DISCRIMINANTES YREGIONES DE DECISIN
Definicin de funcin discriminante (gi): El clasificador asigna una clase ia un vector de
caractersticas x.
Criterio de clasificacin: ( ) ( )i jg g j i> x x
Caso de mltiples categoras
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
21/52
21
Casos particulares: Mnimo Riesgo
MAP (de mnima probabilidad de error) ( )( ) Pr i ig =x x
( )( )i ig R = x x
Un mismo criterio puede realizarse mediante diferentesfunciones discriminantes:
( )( ) Pr i ig =x x
( )( ) ln ( ) ln Pr i i ih f = +xx x
ln(.) es una funcincreciente
-
7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)
22/52
22
Si c=2 categoras: DICOTOMIZADOR
1
2
1 2( ) ( ) ( ) 0g g g
>