Seminario de Probabilidades y Estadstica

Entropa

Yanela Mndez GonzlezPatricia Gutirrez Zayas-Bazn

Relacin entre Probabilidad, Entropa e Informacin

Estas propiedades se cumplen si proponemos:

Informacin:

1) 2) 3)

Relacin entre Probabilidad, Entropa e Informacin

La entropa es la encargada de medir la aleatoriedad en una cadena de caracteres. Su clculo se realiza mediante la siguiente frmula:

La entropa constituye una medida del grado de desorden o de desorganizacin de un sistema.

Algunas propiedades de la Entropa son:

Relacin entre Probabilidad, Entropa e Informacin

, si y solo si para cada i

, donde es el cardinal del espacio muestral.

, la Entropa es mxima si p es uniforme,

Por convencin, para , se usa:

1. 2. 3.

4.

5.

Entropa Conjunta. Propiedades

La entropa conjunta H(X,Y) de un par de variables aleatorias con distribucin p(x,y) es:

Propiedades de la entropa conjunta

Propiedad aditiva: Si X y Y son independientes entonces:

Entropa Conjunta. Propiedades

Demostracin de esta propiedad:

Entropa Condicional. Propiedades

Se define la entropa condicional, de X dado Y, como la incertidumbre sobre X una vez que conocemos Y. Esto se expresa matemticamente por:

Se usan tambin estas expresiones:

Entropa Condicional. Propiedades

Propiedades de la entropa condicional

Demostracin de ltima propiedad

Como por propiedad de probabilidad conjunta Como tenemos:

entonces,

Clculo de la Entropa en un texto codificado como una cadena de caracteres.

Espaol

Ingls

Slide 1Slide 2Slide 3Slide 4Slide 5Slide 6Slide 7Slide 8Slide 9Slide 10Slide 11Slide 12