Теория информации: сигналы, данные, информация

Теория информации: сигналы, данные,

информация

Информатика («Сomputer science») =

Information + automatique информация + автоматика

Инфоpматика как НАУКА изучает процессы передачи и обработки информации.

Практическое использование результатов информатики как фундаментальной науки (смысловое ударение на слове automatique) воплощается в информатике

как в отрасли производства, яркими представителями которой, например, являются два гиганта и вечных конкурента IBM и Apple.

• Информатика как учебная ДИСЦИПЛИНА, основана на

использовании компьютера, изучает способы создания, поиска,

преобразования, передачи и использования информации в

различных сферах человеческой деятельности.

Прародительницами информатики

считаются математика, кибернетика,

электроника, логика и лингвистика

Отцы-основатели информатики

Готфрид Лейбниц1646 - 1716,немецкий философ, математик, юрист, дипломат

Джодж Буль1815 — 1864 английский математик и логик

Чарльз Бэббидж1791 — 1871, английский математик, изобретатель первой вычислительной машины

Алан Тьюринг1912 — 1954, английский математик, логик, криптограф, пионер кибернетики и первый хакер

Норберт Винер1894 — 1964, американский учёный, основоположник кибернетики и теории искусственного интеллекта

Клод Шеннон1916 — 2001, американский инженер-связист и математик, основатель теории информации

Джон фон Нейман1903 — 1957, математик, сделавший важный вклад в квантовую физику, квантовую логику

Алексей Ляпунов1911 — 1973, основоположник кибернетики, программист

Андрей Ершов1931 – 1988, советский учёный, один из пионеров теоретического и системного программирования

Исаак Брук1902 — 1974, советский учёный в области электротехники и вычислительной техники

Математик, изменивший ход войны…

Трёхроторная военная немецкая шифровальная машина Энигма и и Бомба Тьюринга

4 декабря в России отмечается День информатики

В этот день Государственный комитет Совета министров СССР по внедрению

передовой техники в народное хозяйство зарегистрировал за номером 10475 изобретение И.С.Бруком цифровой

электронной вычислительной машины.

Состав информатики. Информатику обычно представляют

состоящей из трёх, неразрывно связанных частей (трех

«китов»):

•Hardware + Software + Brainware

ИНФОРМАТИКА

Инфоpматика — научная дисциплина с широчайшим

диапазоном применения●pазpаботка вычислительных систем и пpогpаммного обеспечения,●теория информации,●методы искусственного интеллекта,●методы машинной графики, анимации, средства мультимедиа;●средства телекоммуникации, в том числе, глобальные компьютерные сети, объединяющие все человечество в единое информационное

сообщество.

Различные уровни представлений об информации

Понятие «информация» (от латинского слова «informatio» — сведения, данные, знания) рассматривается в качестве важнейшей сущности мира, являющейся отражением реального мира и охватывающую всю жизнь, Вселенную и всё, что есть в жизни.

Информация и теория «всего»:

.

Джон Арчибальд Уилер (1911 - 2008) — американский физик-теоретик и фантазия на тему

черных дыр.

• В теории информации под информацией понимают динамический объект,

образующийся в момент взаимодействия объективных данных и адекватных им

субъективных методов• В практической информатике термин

информация – это сведения, которые

необходимо обработать с помощью

компьютера.

Информация и данные

777—333—555 : Спросить Ивана Ивановича о…

Информационные процессы -действия, выполняемые с информацией

Поиск, сбор, создание

Обработка, распространение

Обработка, хранение, воспроизведение, использование

•Сообщения – это совокупность знаков или сигналов, отображающих ту или иную информацию.

• Сигнал – это изменяющийся во времени процесс, то такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться электрическое напряжение или сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.

Аналоговый и цифровой звуковой сигнал (изменяющийся во времени процесс)

• Линией связи называется физическая среда, используемая для передачи сигналов

•Передаваемая информация добирается от источника до приёмника с помощью сигнала (кода) по каналу связи – некоторой совокупности технических устройств, обеспечивающих передачу сигнала от источника к приёмнику.

•Количество информации, передаваемое по каналу связи за единицу времени, есть скорость передачи информации, или скорость информационного потока.

•Скорость информационного потока выражается в битах в секунду Бит в секунду (англ. bits per second, bps) — базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP.

•На более высоких уровнях сетевых моделей, как правило, используется более крупная единица — байт в секунду (Б/c или Bps, от англ. bytes per second) равная 8 бит/c. Пропускная способность канала связи это максимальная скорость передачи информации по каналу связи.

Классификация информации

По способу восприятия информации

Визуальная Аудиальная Обонятельная Осязательная Вкусовая

90% 9% 1%

Классификация информации

Информация По форме представления

Текстовая

ЧисловаяГрафическая

ЗвуковаяКомбинированная

Показатели качества информации: структурированность, смысл, ценность.

ЦЕННОСТЬ ИНФОРМАЦИИ ВЫРАЖАЕТСЯ В СЛЕДУЮЩИХ ПОНЯТИЯХ:

Объективность — не зависит от чьего-либо мнения. Полнота — достаточна для понимания и принятия

решений. Достоверность — отражает истинное положение дел Доступность информации — возможно ли получить ту

или иную информацию. Ценность (полезность, значимость) — обеспечивает

решение поставленной задачи, нужна для того, чтобы принимать правильные решения.

Эмоциональность — вызывает различные эмоции у людей.

Объективность информации

Парад на Красной площади в 1955 году

Несколько подходов к измерению количества информации:

• I. Семантический (смысловой, субъективный)

• II. Объёмный• III. Синтаксический

(объективный)

I. Семантический (смысловой, субъективный)

• В одном мгновенье видеть вечность,

• Огромный мир - в зерне песка, • В единой горсти –бесконечность • И небо - в чашечке цветка.

• Уильям Блейк

Количество информации. Семантический (смысловой) подход к измерению информации

Е

Если Полученные сведения, совершенно не понятны и не знакомы субъекту (отсутствуют в его тезаурусе), количество полученной информации равно нулю:I

Новая, но не понятная: «На каком же это языке читается лекция?»

Количество информации. Семантический (смысловой) подход к измерению информации

Если пользователь все знает, и поступающая информация ему не нужна, I = 0.

«Сколько можно твердить одно и то же!»

Количество информации. Семантический (смысловой) подход к измерению информации

Максимальное количество

семантической информации потребитель

получает, когда поступающая

информация понятна пользователю и несёт

ранее не известные сведения,

I= Imax.

От простого к сложному: базовые знания + новое

знание

II. Объёмный подход

• Объём информации в сообщении определяется количеством символов в сообщении. Так количество информации в двоичном коде равно общему количеству 0 и 1.

• Пример: Количество информации, которое содержит число 10010100010001110100 – 20 бит.

• Но одно и тоже число может быть записано различными способами!

• 100101000100011101002=60734810 ,

III. Энтропийный подход● Количество информации – это числовая характеристика

сигнала, характеризующая неопределенность, которая исчезает после получения сообщения в виде данного сигнала.●В информации меру неопределенности (неосведомленности)

принято называть энтропией (Н). Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

●  

•I=ΔH=HДО ПОЛУЧЕНИЯ СООБЩЕНИЯ – HПОСЛЕ

ПОЛУЧЕНИЯ СООБЩЕНИЯ.

• При этом HПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ=0 (неопределённости уже нет).

В теории информации понятие энтропии помогает ввести единицу измерения

информации

Эта единица носит название «бит». Сообщение, уменьшающее

неопределенность знаний в два раза, несет 1 бит информации

Бит (binary digit – двоичная цифра)

ФОРМУЛА ХАРТЛИ

2I = N

Формула Хартли: Количество информации,

содержащееся в сообщении о том, что произошло одно из N равновероятных вариантов сообщения , определяется формуле,

предложенной Р.Хартли

I = log2N;I = M*log2N,

где M- количество символов в сообщении.

● Ральф Винтон Лайон Хартли (1888 - 1970). Американский учёный-электронщик.

Пример 1.В алфавите одна буква: А. Сообщение содержит один

символ. Число вариантов N = 1, I = log21= 0 бит.

• Пример 2. В алфавите две буквы: • А и Б. Сообщение содержит один

символ. Число вариантов N =2, • I = log22= 1 бит.

• Пример 3. Подбрасываемая один раз монета как сообщение: в алфавите две буквы: орел и решка.

• Сообщение содержит один символ.• I = 1 бит.

• Пример 4. Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ.

• I = log26= 2.6 бит.

. Свойство аддитивности информации.

• Пусть в алфавите две буквы: А и Б. Первое и второе сообщения содержат по одному символу. Тогда в первом и во втором сообщениях – по одному биту информации: I1 = log22= 1 бит;

• I2 = log22= 1 бит. В двух сообщениях вместе – 2 бита. С другой стороны, количество информации в сообщении, состоящем из двух символов (АА, АБ, БА, ББ – 4 варианта),

• IΣ = log24= 2 бита: I1 + I2 = IΣ

Формулы ШеннонаСветлейший князь Александр Чернышев (1786-1857)

Количество информации для неравновероятных событий

• 50 заданий: 1 покушение, 5 вербовок высокопоставленных чиновников, 44 похищения документов.

• Вероятности получения этих разных заданий составляют соответственно 1/50, 5/50 и 44/50 (неравновероятные события).

• С точки зрения на информацию как на снятую неопределенность количества информации в сообщении, полученном разведчиком, зависит от вероятности получения данного сообщения. разведчик (система) может оказаться с разной вероятностью в различных состояниях (операциях).

• Вероятность - возможность осуществления события,• 0≤P ≤1.

0 0.2 0.4 0.6 0.8 1 1.20

0.5

1

1.5

2

2.5

3

3.5

H=log2(1/p)

Series1

Р, вероятность

I, би

т(ко

личе

ство

инф

орм

ации

)

Виды операций 1.Похищение документов

2.Вербовка высокопоставленного чиновника

3.Покушение на главу государства

вероятности 0,88 0,1 0,02

Информация I1 о том, что (система) будет находиться в состоянии X1 равна:

I1 = log2(1/P1); Iср = ΔH= -

.Это формулы К. Шеннона,

предложенные им 1948 году.

состояния X1 X2 X3

вероятности P1 P2 P3

Формулы Шеннона: КОЛИЧЕСТВО ИНФОРМАЦИИ ДЛЯ НЕРАВНОВЕРОЯТНЫХ

СОБЫТИЙ

Пример «Будни резидента»

• I1 = log2(1/0.88) = 0,18 бит• I2= log2(1/0.1) = 3,3 бит • I3 = log2(1/0.02) = 5,6 бит !!!

Связь между формулами Хартли и Шеннона

«1» «2» «3» «4» «5» «6»вероятности

1/6 1/6 1/6 1/6 1/6 1/6-

I(2) = log21/(1/6))= 2.6 бит.

Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ.

I = log26= 2.6 бит.

Количество информации

Можно использовать логарифмы с другими основаниями:

I = log21= 0 бит = ln 1 = 0 нат = lg 1 = 0 дитI = log22= 1 бит = ln 2 = 0.7 нат = lg 2 = 0.3 дит

I = log24= 2 бита = ln 4 = 1.4 нат = lg 4 = 0.6 дитI = log26= 2.6 бита = ln 6 = 1.8 нат = lg 6 = 0.8 дит

• 1 дит = 3.3 бит

Единицы измерения

информации

• 8 бит = 1 байт• 1 Кбайт = 210 байт = 1024 байт• 1 Мбайт = 220 байт = 210 Кбайт =

1024 Кбайт• 1 Гбайт = 230 байт = 220 Кбайт =

210 Мбайт = 1024 Мбайт• 1 Тбайт = 240 байт • 1 Пбайт = 250 байт• 1 Эбайт = 260 байт• 1 Збайт = 270 байт• 1 Йбайт = 280 байт

Новые стандарты

• Согласно стандарта IEEE 1541-2002, бит обозначается как «bit», байт – «В»,

• Kило – kibi (обозначается «Ki») = 1024;• Mега – mebi(обозначается «Mi») = 1024*1024;• Гига – gibi (обозначается «Gi») =

1024*1024*1024.• • 1 кибибайт = 210 байт,• 1 килобайт = 103 байт