clp teoria 2.1 map pri2015 (2)

7/23/2019 Clp Teoria 2.1 Map Pri2015 (2)

1/52

1

Tema 2Teora de la decisin

Some Figures in these slides were taken fromPattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John

Wiley & Sons, 2000with the permission of the authors

Primavera 2015


2/52

2

2.1. Decisin bayesiana (MAP)

2.2. Estimacin de mxima verosimilitud (ML) y estimacinBayesiana de parmetros

Contenidos del tema 2


3/52

3

INDICE

2.1 Decisin bayesiana (MAP)2.1.1 Introduccin

2.1.2 Regla de decisin de Bayes

2.1.3 Clasificadores de mnimo riesgo

2.1.4 Discriminantes y regiones de decisin

2.1.5 Funcin de densidad de probabilidad Gaussiana

2.1.6 Funciones discriminantes para el caso Gaussiano

2.1.7 Caracterstica de operacin del receptor (ROC)

2.1.8 Vector de caractersticas discretas

2.1.9 Conclusiones


4/52

4

2.1.1 INTRODUCCIN

Porqu un marco probabilstico para la toma de decisiones?

1. Por tener representaciones incompletas de la realidad(p.e. no disponemos del ADN de los peces capturados)

2. Por abordar problemas intrnsecamente aleatorios

(p.e. en un problema de identificacin de caracteresescritos manualmente)


5/52

5

2.1.1 INTRODUCCIN

Datos medidos: vector dedimensin d

Estado de la naturaleza (v.a.de C categoras): Salmn oLubina

Probabilidades a priori

F.d.p. condicionadas por laclase

Probabilidades a posteriori

1

2

Luminosidad

Longitudd

x

x

= =

x

1 22 ,C =

1 2Pr( ) Pr( ) ( )1

Pr 1C

i

i

=

=

( ) ( )1 2f f x xx x

( ) ( ) ( )

( )

PrPr

j j

j

f

f

=

x

x

xx

x( ) ( ) ( )

1

PrC

j j

i

f f =

= x xx x


6/52


7/52

7

Qu estamos calculando?

Modelo de la

naturaleza

Estado de lanaturaleza

fx(x/j)

Prejuicios/a prioris

( )Pr j

( )Pr j x

j

( ) ( ) ( )

( )

PrPr

j j

j

f

f

=

x

x

xx

x

sntesis entre racionalismo (Descartes) y empirismo (Hume),es quien construye el conocimiento del objeto.


8/52

8

2.1.2 REGLA DE DECISIN DE BAYES (MAP)

Regla de decisin, dado elvector x

Probabilidad de errorcondicionada a x

Probabilidad de error promedio

( ) ( )1

2

1 2Pr Pr

>


11/52

11

Caso general:

- Vector de medidas es de dimensin d

- Nmero de clases es c

( ) ( ) ( ) arg max Pr arg max Pr i i

i i i ifxx x

= =

Si una observacin x0no proporciona informacin sobre el

estado de la naturaleza

Si los priores tienen el mismo valor, la decisin est basadaunicamente en el likelihood

( ) ( ) ( ) ( )0 1 0 2 0Pr Pr i if f = =x x x

( ) ( )1

2

1 2 1 2Pr( ) Pr( ) f f

>

=

0

1ij

i j

i j

==

Umbral (threshold)independiente de x

( ) ( ) ( )

( ) ( )

1

1

Pr

Pr 1 Pr

C

i i j j

j

C

j i

jj i

R

=

=

=

= =

x x

x x

( )( )

1

2

f

f

x

x

x

x


18/52

18

Otros criterios

NEYMAN-PEARSON

- Se minimiza el riesgo total sujeto a alguna restriccin.

MINIMAX Tiene sentido cuando no se conocen las probabilidades a priori.

Minimiza el peorriesgo total, eligiendo las regiones de decisinpara que la funcin de riesgo no dependa de las probabilidades apriori.

Ejemplo para c=2 categoras


19/52

19

1mini-max 22 12 22 2( ) ( )

RR f d = + x x x

( ) ( ) ( ) ( )

( ) ( )( )

( ) ( )( )

( ) ( ) ( )( )

1 2

1

2

1

2 1

1 2

11 1 1 12 2 2

21 1 1 22 2 2

22 12 22 2

1 11 22 21 11 1 22 12 2

Pr ( ) Pr ( )

Pr ( ) Pr ( )

( ) ( )

Pr ( ) ( )

R R

R

R

R

R R

R R f d R f d

f f d

f f d

f d

f d f d

= +

= + +

+ =

= + +

+ + +

x x

x x

x

x x

x x x x x x

x x x

x x x

x x

x x x x

Si escogemos adecuadamente las regionesR

1yR

2podemos anular el segundo trmino

yRno depende de Pr(1)

R1: regin en la que decidimos 1


20/52

20

2.4 FUNCIONES DISCRIMINANTES YREGIONES DE DECISIN

Definicin de funcin discriminante (gi): El clasificador asigna una clase ia un vector de

caractersticas x.

Criterio de clasificacin: ( ) ( )i jg g j i> x x

Caso de mltiples categoras


21/52

21

Casos particulares: Mnimo Riesgo

MAP (de mnima probabilidad de error) ( )( ) Pr i ig =x x

( )( )i ig R = x x

Un mismo criterio puede realizarse mediante diferentesfunciones discriminantes:

( )( ) Pr i ig =x x

( )( ) ln ( ) ln Pr i i ih f = +xx x

ln(.) es una funcincreciente


22/52

22

Si c=2 categoras: DICOTOMIZADOR

1

2

1 2( ) ( ) ( ) 0g g g

>

clp teoria 2.1 map pri2015 (2)

Documents