Подходы к измерению количества аинформации

Долинин А.А., учитель информатики и ИКТ МБОУ «Уренская СОШ № 1»

Подходы к измерению информации.

Количество информации

Подходы к измерению информации

Содержательный подход

Алфавитный (кибернетический) подход

Количество информации связано с содержанием (смыслом) полученного человеком сообщения. Количество информации тем больше, чем больше оно пополняет наши знания, т.е. информацию можно считать мерой уменьшения неопределённости знания.

СОДЕРЖАТЕЛЬНЫЙ ПОДХОД

Пример 1В третьем классе на уроке естествознания учитель говорит, что Россия –самая большая страна в мире. Её площадь 17 075 тыс. км²

Пример 2Сестра говорит своему двухлетнему братику, что 15×2=30.

Пример 3Ученик 5 класса прочитал в учебнике правило: «Жи, Ши пиши с буквой И».

Информация и знание

Знаниепервоклассника

получение информации Знание

выпускника

Неопределенность – недостаток знаний (незнание). при получении информации знания увеличиваются,

неопределенность уменьшается чем больше получено информации, тем больше

уменьшается неопределенность

информация – мера уменьшения неопределенности

Нез

нан

ие Н

езнан

ие

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

Возможные события

Произошедшее событие События равновероятны, если

при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно

сближаются.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность.

С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка».

Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость.

Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события.

При бросании шестигранного игрального кубика существует 6 равновероятных событий.

1 бит – это количество информации, которое мы получаем при выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?)

Примеры:Эта стена – зеленая? Да.Дверь открыта? Нет.Сегодня выходной? Нет.Это новый автомобиль? Новый.Ты будешь чай или кофе? Кофе.

Единица измерения

Код, в котором используются только два знака, называется двоичным. В компьютерах применяется двоичный код.

1 бит – это количество информации, которое можно передать с помощью одного знака в двоичном коде («0» или «1»).

bit = binary digit, двоичная цифра

Единица измерения

1 бит:2 бита:

3 бита:

4 бита: 16 вариантов!

0 100 0110 11

000 001010 011

100 101110 111

Сколько вариантов

Количество вариантов, N

2 4 8 16 32 64 128 256 512 1024

Количество бит информации,I

1 2 3 4 5 6 7 8 9 10

6 вариантов – между 4 (2 бита) и 8 (3 бита)

Ответ: количество информации между

2 и 3 битами

Если вариантов больше…

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Количество i информации, содержащееся в сообщении о том, что произошло одно из N

равновероятностных событий, определяется из решения показательного уравнения

2i = N

Если известно количество информации i, то количество возможных событий N легко определить.

Например, если i = 5, то N = 2i = 32.

Если известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно i.

1 бит – количество информации, уменьшающее

неопределенность знания в 2 раза

N = 2I

N – количество равновероятных событийI – количество информации, бит

формула Хартли, 1928 г.

I = log2N

I – количество информации в битах

N – количество вариантов равновероятных событий

NI 2log

Пример: В аэропорту стоит 6 самолетов, из них один летит в Москву. Сколько информации в сообщении «В Москву летит второй самолет»?

6log2I бит585,22lg

6lg

2ln

6ln

IN 2

событие Неопределен-ность знаний

Количество информации,

битБросание монеты

Бросание 4-гранной пирамидкиНаправление ветраОценка за урокПервый ход в крестики-нолики на поле 4х4

2 1

4 2

8 3

4 2

16 4

N = 2I

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ

Возможные события

Произошедшее событие

Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации.

1 байт = 23 битов = 8 битов

Бит – минимальная единица измерения

информации.

1 Кбайт = 210 байт = 1024 байт

1 Мбайт = 210 Кбайт = 1024 Кбайт

1 Гбайт = 210 Мбайт = 1024 Мбайт

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Полученное количество информации

16

Число больше 8? Нет 8 1 бит

Число больше 4? Нет 4 1 бит

Число больше 2? Да 2 1 бит

Это число 3? Да 1 1 бит

СТРАТЕГИЯ ИГРЫ «Угадай число»

Какое количество вопросов необходимо задать собеседнику, чтобы угадать

месяц, в котором он родился?

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Полученное количество информации

Какое количество вопросов необходимо задать собеседнику, чтобы угадать

число, в которое он родился?

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Полученное количество информации

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

N = 128

i - ?

Дано: Решение:

2i = N

2i = 128

27 = 128

i = 7 бит

Ответ: i = 7 бит

ПРАКТИКУМ

Выполнить перевод единиц измерения количества информации .

Перевод единиц измерения количества информации

а) 5 Кбайт = _ байт = _ бит;

б) _ Кбайт = _ байт = 12 288 бит;

в) _ Кбайт = _ байт = 213 бит;

г) _ Гбайт = 1536 Мбайт = _ Кбайт;

д) 512 Кбайт = 2_ байт = 2_ бит.

Решение:

Т.к. N = 2i =>

N = 8×8=64(возможных события) =>

64 = 2i => i = 6 (бит)

Ответ: количество информации, полученное вторым игроком, составит 6 битов.

Задача. Какое количество информации получит второй игрок после первого хода первого игрока в игре «Крестики-нолики» на поле 8×8.

ПРАКТИКУМ

Самоконтроль

а) 5 Кбайт = 5 120 байт = 40 960 бит;

б) 1,5 Кбайт = 1 536 байт = 12 288 бит;

в) 1 Кбайт = 1024 байт = 213 бит;

г) 1,5 Гбайт = 1536 Мбайт = 1572864 Кбайт;

д) 512 Кбайт = 219 байт = 222 бит.

Вопросы:

1. Объясните, в чём состоит суть содержательного подхода. Приведите примеры.

2. Что такое неопределённость знаний? Примеры.3. Что такое бит? Назовите другие единицы

измерения информации.4. По какой формуле происходит измерение

количества информации?

ВОПРОСЫ

1. Несет ли данное сообщение информацию, если применять содержательный подход к её измерению? Почему, в каких случаях?

; Москва – столица России.

2. Сколько битов информации несёт сообщение о том, что из колоды в 32 карты достали короля крестей?

- это способ измерения информационного объёма текста, составленного из символов некоторого алфавита, не связанного с его содержанием.

Это единственный способ измерения информации, применимый в компьютерной технике.

АЛФАВИТНЫЙ ПОДХОД

- всё множество символов, используемых в некотором языке для представления информации, т. е. весь набор букв, цифр, знаков препинания, скобок и других символов, используемых в тексте.

Например:русский или английский алфавиты;восьмеричный алфавит

АЛФАВИТ

Знаковая система Символы алфавитаМощность алфавита,

N

Информа-ционная ёмкость

символа, I

Двоичная система счисления

0, 1 2

Восьмеричная система счисления

0, 1, 2, 3, 4, 5, 6, 7 8 3

Десятичная система счисления

0, 1, 2, 3, 4, 5, 6, 7, 8, 910 3,32

Шестнадцатеричная система счисления

0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, С, D, E, F 16 4

1

Знаковая система Символы алфавитаМощность алфавита,

N

Информа- ционная ёмкость

символа, I

Русский алфавит

Аа, Бб, Вв, Гг, Дд, Ее, Ёё, Жж, Зз, Ии, Йй, Кк, Лл, Мм, Нн, Оо, Пп, Рр, Сс, Тт, Уу, Фф, Хх, Цц, Чч, Шш, Щщ, ь, ы, ъ, Ээ, Юю, Яя

63 5,97

Английский алфавит

Aa, Bb, Cc, Dd, Ee, Ff, Gg, Hh, Ii, Jj, Kk, Ll, Mm, Nn, Oo, Pp, Qq, Rr, Ss, Tt, Uu, Vv, Ww, Xx, Yy, Zz

52 5,7

Азбука Морзе . - 2 1

Химический алфавит

H, He, Li, Be, B, C, N, O, F, Ne, Na, Mg, Al … Rg

111 6,79

- это полное число символов в алфавите.

, гдеN – мощность алфавита;i – информационный вес символа*.

, гдеK – количество символов в тексте;I – количество информации во всём тексте**.

* количество информации, которое несёт 1 символ** информационный объём текста

I = i × K

N = 2i

МОЩНОСТЬ АЛФАВИТА

Какое количество информации несёт 1 буква в русском алфавите, если не использовать букву ё.

Решение:

т.к. N = 2b ; N=33-1=32(мощность алфавита)32 = 2b b = 5 (бит)

Ответ: каждый символ несёт 5 битов информации.

ПРИМЕР 1

Оценим информационный объём слова«информатика», если вес одного символа равен 1 байт.

Дано: И н ф о р м а т и к а

Решение:

т. к. I = i × K ;

K = 11 символов => I = 1×11 = 11(байт) = 11 × 8 = 88 (бит)

Ответ: информационный объём слова равен 11 байтам или 88 битам.

ПРИМЕР 2

- минимальная мощность алфавита, пригодная для передачи информации.

Алфавит состоит из 0 и 1.

2 = 2i => i = 1 бит =>

1 символ двоичного алфавита несёт 1 бит информации

ДВОИЧНЫЙ АЛФАВИТ

1. Объясните, в чём состоит суть алфавитного подхода. Приведите примеры.

2. Что такое алфавит, мощность алфавита? Приведите примеры.

3. Как определяется мощность алфавита?4. Как определяется информационный объём

текста при использовании алфавитного подхода?

ВОПРОСЫ

1. Получено сообщение, информационный объём которого равен 32 битам (88 битам, 200 битам). Чему равен этот объём в байтах?

2. Каждый символ закодирован 1 байтом. Оцените информационный объём следующего предложения: В одном килограмме 1000 грамм.

3. Текст составлен с использованием алфавита мощностью 64 символа и содержит 100 символов. Каков информационный объём текста?

4. Каждое показание датчика, фиксируемое в памяти компьютера, занимает 10 бит. Записано 100 показателей этого датчика. Каков информационный объём снятых значений в битах (в байтах)?

ВЫПОЛНИТЕ ЗАДАНИЕ

Вероятность события – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов.

p = 0 событие никогда не происходит (нет неопределенности)

p = 0,5 событие происходит в половине случаев (есть неопределенность)

p = 1 событие происходит всегда (нет неопределенности)

Полная система событий: одно из N событий обязательно произойдет (и только одно!).

1,10 21 Ni pppp pi – вероятность выбора i-ого варианта (i=1,…,N)

ВЕРОЯТНОСТНЫЙ ПОДХОД

N

np i

i

Вычисление вероятностиЗадача. В пруду живут 100 рыб, из них 20 карасей, 30

пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны?

Формула: число «нужных» событийчисло «нужных» событий

общее число событийобщее число событий

Решение:

караси 2,0100

2011

N

np

пескари 3,0100

3022

N

np

окуни 5,0100

50

100

)3020100(33

N

np

Как иначе посчитать p3? Как иначе посчитать p3??5,01 213 ppp

ВЕРОЯТНОСТНЫЙ ПОДХОД

ii p

I1

log2

Как посчитать информацию, если варианты не равновероятны?

– вероятность выбора i-ого варианта (i=1,…,N)10 ip

Идея: если случается менее вероятное событие, мы получаем больше информации.

Если произошло событие i, мы получаем информацию

Клод Шеннон (1916 —2001) американский математик и электротехник, один из создателей математической теории информации и криптографии.

ВЕРОЯТНОСТНЫЙ ПОДХОД

Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны?

ii p

I1

log2Формула:

Решение:

карась 2,0100

201 p

пескарь 3,0100

302 p

окунь 5,0100

503 p

32,25log2,0log 221 I бита

74,133,3log3,0log 222 I бита

12log5,0log 223 I бит

ВЕРОЯТНОСТНЫЙ ПОДХОД

I = pi – вероятность i-го событияI – количество информации, бит

формула Шеннона,1948 г.

Логарифмом данного числа называется показатель степени, в которую нужно возвести другое число, называемое основанием логарифма, чтобы получить данное число.

РАЗНОВЕРОЯТНЫЕ СОБЫТИЯ

P1 = ½, P2 = 4, P3 = 8, P4 = 8.

I = -(1/2*log21/2 + 1/4*log21/4 + 2*(1/8*log21/8) == (1/2*log22 + 1/4*log24 + 2*(1/8*log28) == 1/2 + 2/4 + 2*3/8 = 14/8 битов = 1,75 битов.

БРОСАНИЕ НЕСИММЕТРИЧНОЙ ПИРАМИДКИ

Задача 3. Отличник Вася Пупкин получил такие оценки по истории за I четверть:

4 5 5 3 5 Сколько информации получили в этом сообщении

родители?

Алфавитный подход: возможны 4 разные оценки: 2, 3, 4 и 5 каждая оценка несет 2 бита информации (все

одинаково!)

Ответ: 5·2 бит = 10 бит

Содержание информации не учитывается! Содержание информации не учитывается!!

СРАВНЕНИЕ ДВУХ ПОДХОДОВ К ИЗМЕРЕНИЮ ИНФОРМАЦИИ

Вероятностный подход: задаем вероятности

получения всех оценок

информация при получении 5, 4 и 3:

Могло быть > 10 бит? Могло быть > 10 бит??

.01,0;04,0;2,0;75,0 2345 pppp

42,075,0log25 I бит

32,22,0log24 I бит

64,404,0log23 I бит

21,83 345 IIII бит < 10 бит< 10 бит

Ответ: информации в сообщении 4 5 5 3 5

Что еще нужно для решения? Что еще нужно для решения?

?

СРАВНЕНИЕ ДВУХ ПОДХОДОВ К ИЗМЕРЕНИЮ ИНФОРМАЦИИ