2.meření informace
TRANSCRIPT
![Page 1: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/1.jpg)
INFORMACE
![Page 2: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/2.jpg)
Tři přístupy k pojmu informaceM. Buckland vychází ze vztahů mezi znalostmi, objekty a procesy a rozlišuje 3 pohledy:
Informace jako znalost je objektem informace jako procesu. Jde o entitu, nikoliv proces. Znalosti, názory, víra .. nelze se jich přímo dotknout.
Informace jako dokumenthmatatelná entita, dokument. Jde o fixovanou informaci, informaci v určité materiální reprezentaci.
Informace jako proces někdo někoho informuje, sděluje mu zprávu. Závisí na kontextu.
![Page 3: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/3.jpg)
Čtyři aspekty informace (Buckland)
Znalost
Sdělení Zpracování dat
DokumentVĚC
PROCES
NEHMOTNÁ HMOTNÁ
![Page 4: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/4.jpg)
Shannonovo chápání informace
Komunikační schéma: odesílatel - kódování - kanál (médium) - kódování - příjemce
Odhlíží od předchozích znalostí příjemce, od sémantického obsahu informace.
Máme-li dvě (stejně pravděpodobné) možnosti a víme, že platí jedna z nich, dostáváme informaci o velikosti - 1 bit
Paradox – je třeba odhlédnout od smyslu zpráv, pak zbude forma, kterou lze popsat jako posloupnost dovolených stavů.
Čím větší překvapení ve zprávě, tím větší je hodnota informace.
![Page 5: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/5.jpg)
Entropie
• Entropie je míra neurčitosti (neuspořádanosti) systému. Pokud vyjádříme entropii pomocí pravděpodobnosti, dostaneme maximální entropii při hodnotě 50%.
• Normální (Gaussovo) rozdělení pravděpodobnosti má nejvyšší entropii – systém se chová zcela náhodně.
• Sekvence náhodných čísel má maximální míru entropie.
![Page 6: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/6.jpg)
Informace
• Informace snižuje nebo odstraňuje neurčitost systému.
• Informace je míra uspořádanosti systému, čím je systém uspořádanější, tím nese větší informaci. Informace a entropie jsou tedy funkce, které se liší znaménkem.
• Množství informace v systému je dáno rozdílem mezi stavem neurčitosti systému (entropie), kterou měl systém před přijetím informace a stavem neurčitosti, která se přijetím informace odstranila.
• V tomto smyslu může být informace považována za vlastnost organizované hmoty.
![Page 7: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/7.jpg)
Claude Elwood Shannon (1916 - 2001)
Matematik a inženýr, jeden ze zakladatelů teorie informace.
Uvědomil si, že stavy relé mohou odpovídat pravdivostním hodnotám
v Booleově algebře, použil ji pro návrh relé sítí.
Ukázal, že libovolnou formuli Booleovy algebry lze implementovat ve formě
kombinačního (tranzistorového) obvodu.
Za války v Bellových laboratořích pracoval na vývoji přístrojů protiletecké palby.
V r. 48 napsal „A mathematical theory of communication“ je třeba abstrahovat od významu informace, informace odstraňuje neurčitost.
Poprvé použil termín bit – binary digit.
V 45 letech zanechal aktivní vědecké činnosti.
![Page 8: 2.meření informace](https://reader036.vdocuments.pub/reader036/viewer/2022083021/58a447341a28ab41618b6bf3/html5/thumbnails/8.jpg)
Shannonova definice informace
Zavedeme tyto termíny:• abeceda ... množina všech symbolů• zpráva ... jakákoliv posloupnost symbolů
Pak počet možných zpráv .. N délky .. n nad abecedou s celkovým počtem symbolů ..s je
A: {0,1} tedy s=2
n = 1 N=2, I=1 ... přenos informace o velikosti 1 bitun = 2 N=4, I=2 ... přenos informace o velikosti 2 bityn = 8 N=256, I=8 ... přenos informace o velikosti 8 bitů = 1 byte
(všechny zprávy mají stejnou pravděpodobnost)
nsN NI 2log [ bit ]