teoria de la informacion - …ecaths1.s3.amazonaws.com/ticunse/942566735.tic introduccion.pdf ·...

22/08/2012

1

TEORIA DE LA INFORMACION

Introducción

Después de que Einstein demostrara la equivalencia entre “masa” y “energia” los dos parametros que la civilizazcion utiliza son INFORMACION y ENERGIA relacionado por la formula de Shanonn

22/08/2012

2

ORIGEN

Teoría de la Información 1948 Snannon “Una

1948: Wiener: Cibérnetica

1953:McMillan‐ Fuenete d I f ió l d teoría Matemática de la

Comunicación”

1929 L. Szilar: Información‐Paradoja Física

1928: Hartlye: Método de comparación de los

de Información , canal de transmisión

1956: Khintchine‐Tratamiento completo T.I. para caneles ergódicos.

Resumen 1953: Winograd:

Estableció un lazo entre distintos métodos de transmisores de la información

Estableció un lazo entre T.C. de Shannon y la teoría de autómatas

Documento de Shannon

Escrito por Shannon en 1948.

E él d ll b t d l t l En él se desarrolla buena parte de la actualteoría llamada de la información

Concepto de información

Medida de "cantidad de información".

Tratamiento matemático de la informaciónata e to ate át co de a o ac ó

22/08/2012

3

Comunicación

Quizás Fourier fue el primero en dar unateoría matemática para un problema decomunicación. Aunque su descubrimiento fuedebido a unos trabajos sobre transmisión decalor, su teoría es tan general queprácticamente se puede aplicar a cualquierárea.

INFORMACION

Terminología Señal

manifestación física ( de orden electromagnética , onda sonora...) capaz de propagarse en un medio dado. Es la definición más amplia del concepto de señal.

22/08/2012

4

Terminología

M j S ñ l

Fuente:proceso por el cual, entre todos los mensajes posibles es escogido de una Mensaje:Señal que

corresponde a una realización particular del conjunto de señales dadas

posibles, es escogido de una manera imprevisible un mensaje particular, destinado a ser transmitido a un receptor (observador

Terminología

Observador Observador :Destinatario final del mensaje.

Canal Totalidad de los medios destinados a la transmisión de la ñ lseñal.

22/08/2012

5

Terminología

ModulaciónTransformación de un mensaje en una señal, al efecto de facilitar y aumentar la eficacia de la transmisión y reducir los errores de la misma.

DemulaciónOperación inversa de la DemulaciónOperación inversa de la modulación.

Terminología

Codificación: Transformación de un mensaje enuna señal discreta cuya principal objetivo esuna señal discreta, cuya principal objetivo esaumentar la eficacia de la transmisión

Decodificación Operación inversa de lacodificación

Perturbación: Señal que modifica una señalaleatoria útil, disminuyendo la cantidad deinformación que circula por ella.

22/08/2012

6

INFORMACION‐CONOCIMIENTO

Teoría Teoría de la Informaciónde la Información

•• Información:Información:–– Conjunto de datos o mensajes inteligibles creados conConjunto de datos o mensajes inteligibles creados conConjunto de datos o mensajes inteligibles creados con Conjunto de datos o mensajes inteligibles creados con

un lenguaje de representación y que debemos un lenguaje de representación y que debemos proteger antes las amenazas del entorno, durante su proteger antes las amenazas del entorno, durante su transmisión o almacenamiento, con técnicas transmisión o almacenamiento, con técnicas criptográficas.criptográficas.

•• La La Teoría de la InformaciónTeoría de la Información mide la mide la cantidad de cantidad de informacióninformación que contiene un mensaje a travésque contiene un mensaje a travésinformacióninformación que contiene un mensaje a través que contiene un mensaje a través del número medio de bits necesario para del número medio de bits necesario para codificar todos los posibles mensajes con un codificar todos los posibles mensajes con un codificador óptimocodificador óptimo..

22/08/2012

7

CLASES DE INFORMACION

Voz: Mecanismo primario para la comunicación phumana. Es de naturaleza acústica.

Imágenes:mecanismo primario eca s o p a opara la comunicación humana. Es de naturaleza óptica.

Datos: Información f é i

CLASES DE INFORMACION

en forma numérica. Es de naturaleza electromagnética.

22/08/2012

8

DATOS‐INFORMACIÓN Y CONOCIMIENTO

DATOS: Secuencias de números letras etc DATOS: Secuencias de números, letras, etc. presentados sin un contexto

INFORMACIÓN. Datos organizados, tablas , estadísticas de ventas, una charla (chat) bien presentada (Conjunto coherente de datos que transmite un mensaje)transmite un mensaje)

CONOCIMIENTO. Información organizada junto con la comprensión de lo que significa dentro de un contexto, que se puede utilizar

INFORMACION‐CONOCIMIENTO

Conocimiento: Información integrada en las estructuras cognitivas de un en las estructuras cognitivas de un individuo ( es personal e intransferible)

N d t iti i i tNo podemos transmitir conocimiento, sólo información que el receptor puede

o no convertirla en conocimiento

22/08/2012

9

Representación de la InformaciónRepresentación de la Información

Numérica, alfabética, simbólica, Numérica, alfabética, simbólica, lenguajelenguaje..24/01/03 2424/01/03 24--0101--03 2403 24--11--03 24/01/200303 24/01/2003

01/24/03 0101/24/03 01--2424--03 103 1--2424--03 0103 01--2424--2003 ... 2003 ...

-- Todos son el día 24 de enero del año 2003 Todos son el día 24 de enero del año 2003 --

Vitaminas: BVitaminas: B1212, C, ..., C, ...

Grupo sanguíneo: A2 Rh+Grupo sanguíneo: A2 Rh+

Elementos: Fe, Si, HgElementos: Fe, Si, Hg

Compuestos químicos: HCompuestos químicos: H22O, COO, CO22

Más común Lenguaje con código: “Más común Lenguaje con código: “Hoy hace calor”Hoy hace calor”

¿Qué información entrega el mensaje “Hace calor”?

Cantidad de Información (I)Cantidad de Información (I)

En función de la extensión del mensajeEn función de la extensión del mensaje–– Ante una pregunta cualquiera, una respuesta concreta Ante una pregunta cualquiera, una respuesta concreta

yy extensaextensa nos entregará mayor información sobre elnos entregará mayor información sobre ely y extensaextensa nos entregará mayor información sobre el nos entregará mayor información sobre el tema en particular, y diremos que estamos ante una tema en particular, y diremos que estamos ante una mayor “cantidad de información”.mayor “cantidad de información”.

•• Pregunta: ¿Hace calor allí?Pregunta: ¿Hace calor allí? ((una playa en particularuna playa en particular))

–– Respuesta 1: Sí, hace mucho calor.Respuesta 1: Sí, hace mucho calor.

–– Respuesta 2: Cuando no sopla el viento el calor allí esRespuesta 2: Cuando no sopla el viento el calor allí esRespuesta 2: Cuando no sopla el viento, el calor allí es Respuesta 2: Cuando no sopla el viento, el calor allí es inaguantable pues supera los 42 grados a la sombra.inaguantable pues supera los 42 grados a la sombra.

– Respuesta 2: Cuando no sopla el viento, el calor allí es inaguantable pues supera los 42 grados a la sombra.

¿Dónde hay una mayor cantidad de información?

22/08/2012

10

¿Qué es la información?¿Qué es la información?

Veremos qué información nos entrega un mensaje dependiendo del contexto en que nos encontremos:

a) En función de la extensión del mensaje recibido.

b) En función de la utilidad del mensaje recibido.

c) En función de la sorpresa del mensaje recibido.

d) Dependiendo del entorno de esa sorpresa.

) E f ió d l b bilid d d ibi je) En función de la probabilidad de recibir un mensaje.

Cantidad de información (Caso 1)Cantidad de información (Caso 1)En función de la extensión del mensaje

Ante una pregunta cualquiera, una respuesta concreta y extensa nos entregará mayor información sobre el tema en particular, y diremos que estamos ante una mayor “cantidad de información”.

Pregunta: ¿Hace calor allí? (una playa en particular)

Respuesta 1: Sí, hace mucho calor.

Respuesta 2: Cuando no sopla el viento, el calor allí es inaguantable pues supera los 42 grados a la sombra.


– Respuesta 2: Cuando no sopla el viento, el calor allí es inaguantable pues supera los 42 grados a la sombra.

22/08/2012

11

Cantidad de información (Caso 2)Cantidad de información (Caso 2)

En función de la utilidad del mensaje Ante una pregunta cualquiera una respuesta más útil Ante una pregunta cualquiera, una respuesta más útil

y clara nos dejará con la sensación de haber recibido una mayor “cantidad de información”.

Pregunta: ¿Hace calor allí? (una playa en particular)

Respuesta 1: Sí, bastante calor.

Respuesta 2: Si no hay viento de poniente, es normal Respuesta 2: Si no hay viento de poniente, es normal que la temperatura suba.


– Respuesta 1: Sí, bastante calor.


En función de la sorpresa del mensaje Ante una pregunta cualquiera una respuesta más Ante una pregunta cualquiera, una respuesta más

inesperada y sorprendente, nos dará la sensación de contener una mayor “cantidad de información”.

Pregunta: ¿Hace calor allí? (Finlandia en primavera)

Respuesta 1: Sí, muchísimo. Es insoportable.

Respuesta 2: En esta época del año, la temperatura es más suave y el tiempo muy agradablemás suave y el tiempo muy agradable.


– Respuesta 1: Sí, muchísimo. Es insoportable.

22/08/2012

12


Dependencia del entorno (sorpresa) Ante una pregunta cualquiera una respuesta más Ante una pregunta cualquiera, una respuesta más

inesperada y sorprendente, nos dará la sensación de contener una mayor “cantidad de información”.

Pregunta: ¿Hace calor allí? (ahora las mismas respuestas hablan de la temperatura en un horno)

Respuesta 1: Sí, muchísimo. Es insoportable.Respuesta 1: Sí, muchísimo. Es insoportable.

Respuesta 2: En esta época del año, la temperatura es más suave y el tiempo muy agradable.


– Respuesta 2: En esta época del año, la temperatura es más suave y el tiempo muy agradable. ?


En función de la probabilidad de recibir un mensaje Este enfoque probabilístico es el que nos interesará en

cuanto a la definición de Cantidad de Informacióncuanto a la definición de Cantidad de Información.

¿Dónde le da alegría a su cuerpo Macarena? Respuesta 1: En un país de Europa.

Respuesta 2: En una capital de provincia de España.

Respuesta 3: En el número 7 de la calle de la Sierpes de Sevilla.


– Respuesta 3: En el número 7 de la calle de la Sierpes de Sevilla.

22/08/2012

13

Incertidumbre e informaciónIncertidumbre e información

Ante varios mensajes posibles, en principio todos equiprobables aquel que tenga una todos equiprobables, aquel que tenga una menor probabilidad será el que contenga

una mayor cantidad de información. En un ejemplo anterior:

Al ser más extenso el número de calles en una ciudad que el número de provincias en España y, esto último mayor que el número de países en Europa, el primero de ellos tendrá una mayor incertidumbre. Suponiendo todos los estados equiprobables, la cantidad de información será la mayor.

INFORMACION

¿Cuánta información obtenemos cuando nos dicen que cierta persona tiene el pelo oscuro, o que es un hombre o una mujer? hombre o una mujer?

Lo primero que debe quedarnos claro es que el hecho de obtener información es equivalente al de disminuir la indeterminación con respecto a algo, de tal forma que se obtiene tanta más información

á d l d d d bcuanto más disminuya el grado de incertidumbre que tenemos de cierto fenómeno.

22/08/2012

14

INFORMACION(continuación)

Si se nos dicen las siguientes frases

‐La persona que describo tiene el pelo oscuro.

La persona que describo es mujer.


En la primera frase se nos da un dato de todos los posibles (claro, castaño, pelirrojo, rubio,canoso, ...), al igual que en la segunda, pero en esta última el abanico de posibilidades no es tan grande (solo dos posibilidades), por tanto la primera nos da más información, al disminuir mucho más la incertidumbre que teníamos con respecto a la persona.

22/08/2012

15


La cantidad de información que obtenemos con un mensaje es directamente proporcional al número de estados posibles de la cuestión planteada.


Algunas veces es conveniente expresar estaincertidumbre con relación a la que teníamosantes de conocer la información:

la/ld Siendo la la incertidumbre antes de conocer elmensaje e ld la que tenemos después demensaje, e ld la que tenemos después dedicho conocimiento.

22/08/2012

16

Grado de incertidumbre

Grado de incertidumbre previo IaG ado de ce t du b e p e o a

Grado de incertidumbre posterior Idci =

Combinación nº 1 Combinación nº 5Combinación nº 2 Combinación nº 6

Ejemplo : En una bolsa hay un círculo, un cuadrado y un triángulo: negros o blancos.

Si hay equiprobabilidad entonces p(xi) = 1/8

Esta será la combinación elegida

Combinación n 2 Combinación n 6Combinación nº 3 Combinación nº 7Combinación nº 4 Combinación nº 8

¿Qué cantidad de información tiene cada uno de los estados?

Solución


Incertidumbre inicial Ia = 8Daremos algunas pistas : Las figuras no son del mismo color: Ia baja de 8 a 6 al

descartarse las combinaciones 1 y 8

Veamos esto ahora matemáticamente ...


Los 8 estados serán equiprobables: p(xi) = 1/8

descartarse las combinaciones 1 y 8. El círculo es blanco: Ia baja de 6 a 3 (descarte 5, 6 y 7). Hay dos figuras blancas: Ia baja de 3 a 2 (descarte 4). El cuadrado es negro: Ia baja de 2 a 1 (descarte 2.)

Se acaba la incertidumbre pues la solución es la combinación 3.

22/08/2012

17

Solución matemática

Las figuras no son del mismo color. Ia baja de 8 a 6:

ci1 = log (8/6) = log 8 ‐ log 6ci1 log (8/6) log 8 log 6

El círculo es blanco. Ia baja de 6 a 3:

ci2 = log (6/3) = log 6 ‐ log 3

Hay dos figuras blancas. Ia baja de 3 a 2:

ci3 = log (3/2) = log 3 ‐ log 2

El cuadrado es negro. Ia baja de 2 a 1:

ci4 = log (2/1) = log 2 ‐ log 1

Todas las magnitudes se pueden sumar como escalares:

ci = ci1 + ci2 + ci3 + ci4 = log 8 - log 1 = log 8

Base del logaritmo

Sean: Ia la incertidumbre inicial

I l i tid b fi lId la incertidumbre final

ci = log (Ia / Id) = log Ia ‐ log IdLa cantidad de información tiene como unidad de medida la de un fenómeno de sólo dos estados, un fenómeno binario. Luego:

ci = logb (2/1) = logb 2 ‐ logb 1i gb ( / ) gb gb

Si logb 2 debe ser igual a 1 entonces la base b = 2.

Precisamente a esta unidad se le llama bit (binary digit)

Ejemplo anterior: ci = log2 8 = 3 ¡Sólo 3 preguntas!

22/08/2012

18

Con sólo tres preguntas “más o menos inteligentes”

Con sólo tres preguntas...

Con sólo tres preguntas más o menos inteligentes podemos pasar de la incertidumbre total a la certeza:

Pregunta 1: ¿Está entre la opción 1 y la 4? Sí

Pregunta 2: ¿Está entre la opción 1 y la 2? No

Pregunta 3: ¿Es la opción 4? No Se acaba la indeterminación

Combinación nº 1 Combinación nº 5Combinación nº 2 Combinación nº 6Combinación nº 3 Combinación nº 7Combinación nº 4 Combinación nº 8


Ejemplos: ‐Cuando nos dicen que una persona es mujer, la incertidumbre antes era persona es mujer, la incertidumbre antes era de 2 (número posible de estados), siendo la incertidumbre posterior 1 (ya sabemos que es mujer)

Si el ordenador que genera letras al azar nos dice que ha salido una vocal la dice que ha salido una vocal, la incertidumbre antes del dato era 27 (número de letras), y ahora es 5 (número de vocales)

22/08/2012

19


Definición: Sea un suceso A que puede presentarse con probabilidad p(A), cuando dicho p p psuceso tiene lugar se ha recibido una información I(A) = log 1/p(A)

Unidades

Bit (base 2)

Dit (base 10) Esto es Dit (base 10)

Nit (base n) cantidad

de información

continuación

BIT =0.30 DIT =0.69 NIT

DIT 0 3.32 BIT= 2.3 NIT

NIT =1.44 BIT =0.43 DIT

22/08/2012

20


La información más elemental quea o ac ó ás e e e ta quepuede recibirse es la que indica laverificación entre dos sucesosigualmente probables. En este caso sedice que se ha recibido un bit deqinformación.


Es muy importante distinguir entre bitcomo unidad de información y loscomo unidad de información y lossímbolos 0 y 1 que representa lasseñales binarias. Estos símbolos sesuelen llamar impropiamente bits, peropueden contener o no 1 bit deinformación Para distinguir a losinformación. Para distinguir, a lossímbolos 0 y 1 se denominan binits.

22/08/2012

21


Si la fuente dispone de 10 símbolosigualmente probables, la emisión deuno de ellos proporciona una cantidadde información de un Hartley o Dit (decimal digit ).

Si se elige un símbolo entre e (baseg (de logaritmos neperianos )equiprobables, la información recibidaserá de 1 Nit.

ejemplo

Consideremos una imagen de televisión. Esuna estructura de niveles de grises de pixelsde 500 filas por 600 columnas. Admitiremosque de los 600*500 = 30.0000 puntospodemos escoger 10 niveles de grises, demanera que puede haber 10 30.000 imágenesdistintas.

22/08/2012

22

Si todas son igualmente probables, la probabilidad de una imagen es dede una imagen es de

p(s) = 1

10300.000

y la cantidad deinformación es:

y por lo tanto la cantidad I(A) = 300.000 log2

10 ~106 Bits Supongamos que un

locutor de radio tiene unvocabulario de 10.000palabras y utiliza connormalidad 1.000

I(A) = - 1

10.000 = 1.3 10 Bits2 1.000

4log

y por lo tanto la cantidad

de información es

normalidad 1.000palabras elegidas al azar.

La probabilidad de unasecuencia de 1.000palabras es de

Así pues una imagen de T.V. equivale a 100 palabras de

radio.

22/08/2012

23

CODIFICACION DE LA INFORMACION Dígito decimal=> Representación binaria

Características:

Posibilidad de descodificar .

Asignación a las palabras‐código la menor longitud los mensajes de mayor probabilidad.

DIGITO-DECIMALREPRESENTACION BINARIA

Fuente Palabras-código

0 0 0 0 00 0 0 0 0

1 0 0 0 1

2 0 0 1 0

3 0 0 1 1

4 0 1 0 0

5 0 1 0 1

6 0 1 1 0

7 0 1 1 1

8 1 0 0 0

22/08/2012

24

CODIGO A

SIMBOLO

Sea la secuencia binaria1 1 1 0 0 1

d i d l SIMBOLO

S1

S2

S3

PALABRAS

CODIGO

0

01

011

puede provenir de la secuencia S4 S3 o bien de S4 S1 S2por la tanto es un código que no se puede descifrar, cosa que no ocurriría con el siguiente

S4 111

siguiente

CODIGO B

SIMBOLO SIMBOLO

S1

S2

S3

S4

PALABRAS-CODIGO

0

10

110

11104 1110

22/08/2012

25

Otro problema que se nos plantea es el latransmisión de la información.

Supongamos que tenemos quetransmitir la información del tiempo entreMadrid y Las Palmas con un equipo detodo-nada.todo nada.

Supongamos que los cuatro estadosdel tiempo en madrid sonequiprobables.

ESTADO DEL TIEMPO EN MADRID

MENSAJES PROBABILIDADES MENSAJES

Soleado

Nublado

Lluvia

Niebla

PROBABILIDADES

1/2

1/2

1/2

1/2

22/08/2012

26

Código para el tiempo en Madrid

SIMBOLO PALABRAS CODIGO SIMBOLO

S1

S2

S3

S4

PALABRAS-CODIGO

00

01

10

1111

CODIGO A

SIMBOLO

S1

S2

S3

PALABRAS-CODIGO

00

01

10 S3

S4

10

11

22/08/2012

27

Por ejemplo :

"soleado, niebla, niebla, nublado" secodificaría

0 0 1 1 1 1 0 1

Si quisiéramos transmitir la mismainformación de Las Palmas a Madrid esinformación de Las Palmas a Madrid, esevidente que no utilizaríamos el mismocódigo. Tendríamos que asignarleprobabilidades diferentes.

ESTADO DEL TIEMPO EN LAS PALMAS

MENSAJES PROBABILIDADES MENSAJES

Soleado

Nublado

Lluvia

Niebla

PROBABILIDADES

1/2

1/4

1/8

1/8

Si utilizamos el código A enviamos dos binits por mensaje independiente del estado del tiempo

22/08/2012

28

CODIGO TIEMPO EN LAS PALMAS

SIMBOLO PALABRAS-CODIGO SIMBOLO S1

S2

S3

S4

PALABRAS CODIGO

0

1 0

1 1 0

1 1 1 0

Podemos tomar el 0 como final de la palabra‐código. Entonces el mensaje

"nublado, soleado, soleado, lluvia"1 0 0 0 1 1 0

ENTROPIA

Como vemos, la incertidumbre está

El hecho de que la fórmula de la cantidad de información, como incertidumbre está

relacionada con el número de estados posibles de un fenómeno. Por ejemplo el número de estados posibles de disponer 8 bits, es 256=28.

El ú d l b

cantidad de información, como veremos, presente el Lg (logaritmo en base 2) es para contrarrestar este carácter exponencial de los estados posibles y hacer las operaciones más fáciles. La base del logaritmo se toma 2, por comodidad, pero es igualmente

El número de palabras ‐con o sin sentido‐ que se pueden formar con 4 letras es 274.

válido cualquier otra base, ya que solo cambiaría por una constante. Recuérdese la fórmula:

•LogaX= LogbX/logba

22/08/2012

29

Entropía (continuación)

Las cosas no son tan idealizadas, ya que casi cualquier fuente de información (una persona hablando, un ordenador "conversando" con otro, o un libro) tiene ponderados sus mensajes, es decir, algunos aparecen con más probabilidad que otros.


Siempre hay mas apariciones de una letra del alfabeto en un texto suficientemente grande, y es más probable que en nuestro país una persona sea morena.

Por tanto esto también hay que tenerlo en cuenta.

22/08/2012

30


Se obtiene más información si en untexto español la siguiente letra queleemos es una W, que si nosencontramos con una E, ya que laprimera es menos frecuente enpnuestro idioma, y su ocurrencia tienemayor incertidumbre.


Se le asocia a cada estado posible suprobabilidad es decir a una variableprobabilidad, es decir, a una variablealeatoria se le asocia su espacio deprobabilidades.

Se define entonces la Cantidad deInformación de un estado i como:

I[ai] = ‐log p(ai)

Siendo p(ai) la probabilidad asociada alestado (ai).

22/08/2012

31


Existen aquí dos casos extremos queExisten aquí dos casos extremos queconcuerdan con la idea intuitiva: Cuando laprobabilidad de que algo suceda es 1,elsuceso es seguro que ocurre, y la cantidadde información que obtenemos es nula, yaque ‐Lg(1)=0. Por el contrario cuando el

i b bilid d l i f iósuceso tiene probabilidad 0, la informaciónobtenida es +infinito , ya que tiene lamáxima incertidumbre posible.

ENTROPIA

La cantidad de información total del sistema.Promedio de las informaciones de cada elemento ponderado por su probabilidad.

H[X] = E[I(X)] = p(ai) I(ai)

22/08/2012

32

Definición de entropía

La entropía de un mensaje X, que se representa por H(X), es el valor medio ponderado de la cantidad de información d l di t d d l jde los diversos estados del mensaje.

Es una medida de la incertidumbre media acerca de una variable aleatoria y el número de bits de información.

k

H(X) = - p(ai) log2 p(ai)i = 1

Esto lo veremos más adelante en

fuentes de información

El concepto de incertidumbre en H puede aceptarse. Es evidente que la función entropía representa una medida de la incertidumbre, no obstante se suele considerar la entropía como la información media suministrada por cada símbolo de la fuente

Entropía (continuación)Entropía (continuación)

MENSAJE

M1 M2 M3

PROBABILIDADES

DEL MENSAJE

1/2

1/3

1/6

CONTENIDO INFORMATIVO DEL

MENSAJE

-log2 1/2 = 1

-log2 1/3 = 1.58

-log2 1/6 = 2.5


TOTAL DEL MENSAJE

1/2*1 + 1/3*1.58 +

1/6*2.58 = 1.46 Bits

22/08/2012

33


MENSAJE M1 M2 M3

Cambio de ocurrencia

PROBABILIDADES

DEL MENSAJE

2/3 1/4 1/12


MENSAJE

-log2 2/3 = 0.58 -log2 1/4 = 2 -log2 1/12 = 3.5


TOTAL DEL MENSAJE

2/3*058 + 1/4*2 +

1/12*3.5 = 1.18 Bits

En base a todo lo anterior podemos dar unapdefinición del concepto de entropía.

Sea una variable aleatoria (X) que tomavalores de un conjunto

A = [ a1, a2, .....an ]

d t d d f ió d b bilid d dotado de una función de probabilidades

p(ai) = Prob [X=ai] para p(ai) = 1

22/08/2012

34

Si I(ai) es el grado de incertidumbre sobre larealización de un suceso X definimos laentropía de la variable X como la esperanzamatemática de I(x) relativa al conjuntoA.

H[X] = E[I(X)] = p(ai) I(ai)

H[X] = E[I(X)] = ‐ p(ai) log p(ai) H[X] = E[I(X)] = ‐ p(ai) log p(ai)


Caso 1 ----------> 1 bola negra (N) y 1 bola banca (B)

Caso 2 ----------> 9 bolas negras (N) y 1 bola banca (B)

Caso 3 ----------> 99 bolas negras (N) y 1 bola banca (B)

Caso 1

N -----> p(x1) = 1/2

B ----> p(x2) = 1/2 B ----> p(x2) 1/2

H[x1] = -[1/2 log2 1/2 + 1/2 log2 1/2] = 1 Bits

22/08/2012

35

continuación

Caso 1 Caso 2

N ‐‐‐‐‐> p(x1) = 1/2

B ‐‐‐‐> p(x2) = 1/2

H[x1] = ‐[1/2 log2 1/+ 1/2 log2 1/2] = 1 Bits

N ‐‐> p(x1) = 9/10

B ‐‐> p(x2) = 1/10

H[x1] =[1/10 log2 1/10 +9/10 log 9/10] = 0 67 B9/10 log2 9/10] = 0.67 B


Caso 3

N ‐‐> p(x ) = 99/100 N ‐‐> p(x1) = 99/100

B ‐‐> p(x2) = 1/100

H[x1] = [1/100 log2 1/100 + 99/100 log2

99/100] = 0.08 Bits

El primer caso es más incierto que el segundo y este más que el tercero, en el cual se tiene la certeza de obtener la bola negra. O sea que la entropía aumenta cuando aumenta la incertidumbre

teoria de la informacion - …ecaths1.s3.amazonaws.com/ticunse/942566735.tic introduccion.pdf ·...

Documents