filozofia informacji - wprowadzenie, teoria c. e. shannona

Uwagi historyczne o teorii informacji ShannonaMatematyczna Teoria Informacji Claude’a E. Shannona

Pojęcie entropii w fizycePodsumowanie

Filozofia Informacji, Wykład II - Teoria informacjiC. E. Shannona.

Artur Machlarz

21 lutego 2016

Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.



Plan wykładu

1 Uwagi historyczne o teorii informacji ShannonaOgólna charakterystyka problemuHarry NyquistRalph Hartley

2 Matematyczna Teoria Informacji Claude’a E. ShannonaOgólna charakterystyka teorii ShannonaOgólny model przepływu informacjiWłasności źródła informacji - Entropia

3 Pojęcie entropii w fizyceDrugie prawo termodynamiki i demon MaxwellaEntropia w fizyce a entropia Shannona

4 Podsumowanie




Ogólna charakterystyka problemuHarry NyquistRalph Hartley

Uwagi historyczne o teorii informacji Shannona

Uwagi historyczne o teorii informacji Shannona





Ogólna charakterystyka problemu

Najogólniejsza charakterystyka interesującego nas problemu: podaćkryterium oceny różnych systemów komunikacyjnych podwzględem ich zdolności do przesyłania informacji.

Uwaga: nie będzie nas dziś interesowała treść komunikatu. Informacjabędzie traktowana jak własność fizyczna.

Claude E. Shannon - którego teorią zajmować się będziemy nawykładzie - w pracy A Mathematical Theory of Communication (w: “TheBell System Technical Journal”, Vol. 27, pp. 379–423, 623–656, July,October, 1948.) powołuje się na dokonania Nyquista i Hartleya, jakotych, w których znajdują się spostrzeżenia istotne dla jego teorii.





Harry Nyquist - Idealny przekaźnik

Nyquist uważa, że dwa czynniki mają podstawowe znaczenie dlaefektywnej transmisji sygnału w fizycznie idealnym przekaźniku (tzn.takim, który nie zawiera żadnych fizycznych ograniczeń prędkości):

kształt sygnału oraz

reprezentujący przekazywaną wiadomość kod (kod idealny to będzietaki, który przy optymalnym kształcie sygnału i braku fizycznychograniczeń przekaźnika określa prędkość transmisji).





Prędkość transmisji

Według Nyquista prędkość transmisji przy idealnym kodzie i optymalnymkształcie sygnału jest proporcjonalna do logarytmu ilości znaków, któremogą być użyte do zakodowania wiadomości. Nyquist wprowadza doteorii informacji funkcję logarytmiczną.





Dlaczego funkcja logarytmiczna?

Uzasadnienie wykorzystania funkcji logarytmicznej w pomiarze wartościinformacyjnej (Shannon):

1 Parametry o istotnym technicznym znaczeniu (czas, ilośćprzekaźników itp.) zmieniają się linearnie razem z logarytmem ilościmożliwości.

2 Funkcja logarytmiczna odpowiada “intuicjom” odnośnie właściwejmiary informacji.

3 Jest najbardziej poręczna: wiele skończonych operacji daje się wprosty sposób przedstawić przy pomocy logarytmu.





Ralph Hartley - Model przekazu informacji

System komunikacyjny składa się z trzech elementów:

Zbioru fizycznych symboli,

Nadawcy wybierającego jeden z elementów tego zbioru,

Odbiorcy, który identyfikuje symbol i kieruje swoją uwagę na intencjęnadawcy.

Efektywność systemu polega na tym, że odbiorca ma szansę na odkrycie,jakiego wyboru dokonał nadawca (a jednocześnie, jakie elementywyeliminował).





Informacja a różnica

I zasada: dwa identyczne fizyczne ciągi symboli nie dają żadnychpodstaw do zróżnicowania znaczenia. Ciąg symboli A jest identyczny zciągiem symboli B: a zatem A i B pełniące tą samą funkcję nie mogą byćnośnikami odmiennych informacji.





Informacja a różnica - przykład

Jeśli w katalogu bibliotecznym mielibyśmy do czynienia z kilkomapozycjami książkowymi oznaczonymi tą samą sygnaturą, to wskazaniewyłacznie sygnatury nie wskazywałoby jednoznacznie pozycji książki - niebyłoby informatywne.





Informacja a różnica - kolejny przykład

Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo.Pewnego dnia odpowiada: jutro. “Niespodzianka” lub “różnica“ po-zwala ocenić nową odpowiedź jako bardziej informatywną niż standardową.





Informacja a różnica - wnioski

Wnioski Ralpha Hartleya (1928):

różnice między fizycznymi ciągami symboli są podstawowymczynnikiem wpływającym na wartość informacyjną ciągu,

bierzemy zatem zbiór ciągów symboli a nie pojedyncze symbole,żeby ustalić wartość informacyjną symbolu

oraz traktujemy informację jako wskazanie przez fizyczny ciągsymboli na coś innego niż on sam.




Ogólna charakterystyka teorii ShannonaOgólny model przepływu informacjiWłasności źródła informacji - Entropia

Matematyczna Teoria Informacji Claude’a E. Shannona

Matematyczna Teoria Informacji Claude’a E. Shannona





Charakterystyka teorii Shannona

Rysunek: Claude E. Shannon - twórca podstaw współczesnej teorii komunikacjii informacji; wprowadził do nauki pojęcie informacji; jego najważniejsza praca(“A Mathematical Theory of Communication.“) powstała w czasie pracy w BellLaboratories, gdzie zapoznał się z pracami Nyquista i Hartleya. Artykuł tenzostał wydany w 1948 roku. Shannon jest również znany jako wynalazca, jestm.in. twórcą ”The Ultimate Machine“: http://youtu.be/cZ34RDn34WsFilmowy krótki przegląd innych dokonań Shannona:http://youtu.be/Tr1sDgIFE40 .





Charakterystyka teorii Shannona

Deklarowanym celem Shannona było:

(...) rozważyć pewne ogólne problemy związane zsystemami komunikacyjnymi.Fundamentalnym problemem komunikacji jest problemreprodukcji w jednym miejscu albo dokładnie alboprzynajmniej w zbliżony sposób wiadomości wybranej winnym miejscu. (...) Istotnym aspektem jest to, że pewnawiadomość jest jedną wybraną ze zbioru możliwychwiadomości. System musi być zaprojektowany tak, żebydziałać dla każdego możliwego wyboru, nie tylko dla tego,który faktycznie został dokonany, choćby dlatego, że tenwybór nie jest znany w momencie projektowania systemu.





Semantyka?

Komunikat ma zawsze pewną treść - dla Shannona problem treści -znaczenia komunikatu - jest jednak irrelewantny. Dlaczego?

wg Shannona dla inżynieryjnych problemów związanych zprojektowaniem efektywnych systemów transmisji informacji tenproblem wydaje się nieistotny;

w czasach Shannona badania semantyczne uznawane były zanienaukowe również przez całą rzeszę amerykańskich lingwistów (np.Bloomfelda i dystrybucjonistów amerykańskich).





Model Shannona

Rysunek: Model Shannona





Model Shannona

W Modelu Shannona mamy następujące elementy:

nadawca/źródło informacji,

przekaźnik,

sygnał nadany,

kanał transmisji (tutaj może wystąpić szum),

sygnał odebrany,

odbiornik,

odbiorca.





Model Shannona

W modelu Shannona przyjmujemy następujące założenia:

w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ -znajomość zbioru zdarzeń, z których mogą być wybrane konkretnewydarzenia (np. ciągi symboli);

informowany i informujący znają rozkład prawdopodobieństwa w tymzbiorze;

informowany nie wie przed otrzymaniem sygnału, jaki element zbioryzostał/zostanie wybrany przez źródło informacji. Otrzymany sygnałredukuje zatem jego niepewność odnośnie tego, jaki element zbiorubędzie wybrany.





Realizacja modelu - przykład 1

Osoba A mówi do osoby B: ”zrób coś z tym koszmarnym hałasem¡‘.

Interpretacja w modelu:

osoba A (a raczej jej umysł, kora mózgowa itp.) - źródło informacji

organy mowy A wytwarzają falę dźwiękową - przekaźnik

fala dźwiękowa - sygnał

powietrze - kanał transmisji (niestety hałas, o którego likwidacjęprosi A, zniekształca w tym miejscu sygnał - pojawia się szum)

organy słuchu B - odbiornik

osoba B (umysł, kora mózgowa itp.) - odbiorca informacji.

Dokładna treść informacji w tym modelu jest nieistotna. Treśćkomunikatu i reakcja B nie ma znaczenia. Znaczenie ma to, czy szumyzniekształciły sygnał w sposób uniemożliwiający poprawnie zdekodowaniewiadomości, czy też nie.





Realizacja modelu - przykład 2

Lampka nad wejściem do gabinetu jest włączona:

Proszę podać interpretację w modelu Shannona; proszę znaleźć innyprzykład, który da się zinterpretować w tym modelu.

Teoria Shannona jest b. abstrakcyjna i ogólna. Obejmuje zarównoalfabet, zbiory biblioteczne, kule w jakiejś puli itp.





Szum

Uwaga: proszę nie mylić szumu w teorii Shannona z niejasnym pojęciemszumu informacyjnego. Szum jest zawsze zjawiskiem niepożądanym.Oznacza zakłócenia w transmisji sygnału pochodzące ze źródełzewnętrznych. Szum powoduje np. zakłócenia polegające na zagłuszeniuczęści sygnału.

1 Przykład szumu: muzyka zakłócająca komunikat ustny.





Redundancja (Ekwiwokacja)

Redundancja jest nadmiarem informacji względem pożądanej ilości (np.do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiastwysyłany sygnał zawiera n+m-ilość).

1 typowy przykład: zbędne powtórzenia w komunikacie

2 suma kontrolna md5sum w plikach (pozwala skontrolowaćpoprawność np. pobranego obrazu .iso w dużym rozmiarze);metainformacje w dokumentach elektronicznych itp.

3 zbędne elementy w kodzie strony internetowej wynikające np. zużycia aplikacji typu WYSIWYG (brak widocznego efektu, pozaspowolnieniem działania przeglądarki) itp.





Redundancja (Ekwiwokacja)

Redundancja jest nadmiarem informacji względem pożądanej ilości (np.do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiastwysyłany sygnał zawiera n+m-ilość).

1 typowy przykład: zbędne powtórzenia w komunikacie2 suma kontrolna md5sum w plikach (pozwala skontrolować

poprawność np. pobranego obrazu .iso w dużym rozmiarze);metainformacje w dokumentach elektronicznych itp.

3 zbędne elementy w kodzie strony internetowej wynikające np. zużycia aplikacji typu WYSIWYG (brak widocznego efektu, pozaspowolnieniem działania przeglądarki) itp.





Entropia - miara informacji

Entropia - miara informacji





Przydatne pojęcia matematyczne

Jakie pojęcia matematyczne będą nam potrzebne?

prawdopodobieństwo:

P (X) - prawdopodobieństwo zdarzenia X. Jest określone w stosunkudo całego zbioru możliwości. Jeśli zbiór A jest 2-elementowy, to -przy równym rozkładzie prawdopodobieństwa - x, y, należące do A,mają prawdopodobieństwo równe 12 .

P(X |Y ) - prawdopodobieństwo warunkowe zdarzenia X ze względuna Y (prawdopodobieństwo, że wystąpi zjawisko X pod warunkiemwystąpienia Y). Y ogranicza zbiór możliwości: P(X |Y ) = P(X∩Y )

P(Y )







logarytm: logn - funkcja oznaczająca potęgę, do której trzebapodnieść liczbę n, żeby otrzymać określony wynik (np. log28 = 3,ponieważ 2 podniesione do trzeciej potęgi daje 8.)







sumowanie:∑

- operacja uogólnionego dodawania składnikówpewnego szeregu. Jeśli nad tym symbolem pojawia się określonawartość n, oznacza ona, że sumujemy elementy skończonego

szeregu. Indeks dolny, oznacza pierwszy element szeregu (n∑i=1

).





Ogólne wyrażenie entropii - miara informacji

Entropia:

H =n∑i=1pi log2

(1pi

)Objaśnienie symboli:

H - ilość informacji mierzona w bitach,n∑i=1

- operacja sumowania n-elementów skończonego zbioru

n-elementowego.

pi - prawdopodobieństwo i-elementu.





Ogólne wyrażenie entropii - przykład

Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak:

A = (A1 = 12 ,A2 =

14 ,A3 =

18 ,A4 =

18 )

Wartość entropii:

H =4∑i=1pi log2

(1pi

)= pA1log2

(1pA1

)+ ... = 1

2 log2(112

)+ 14 log2

(114

)+

18 log2

(118

)+ 18 log2

(118

)= 12 log22 + 1

4 log24 + 18 log28 + 1

8 log28 =12 ∗ 1 + 1

4 ∗ 2 + 18 ∗ 3 + 1

8 ∗ 3 = 12 +

12 +

38 +

38 = 1, 75





Ogólne wyrażenie entropii - komentarz

Komentarz:

Entropia nie jest wyrazem zawartości informacyjnej pojedynczegoelementu zbioru ani całości zbioru. Entropia wyraża przeciętnąinformatywność elementów zbioru określoną a priori przez rozkładprawdopodobieństwa w zbiorze możliwości.

Entropia może być zinterpretowana jako wartość określającaprzeciętną niepewność w danym zbiorze możliwych sygnałów(aczkolwiek bez skojarzeń psychologicznych).

W definicji entropii pojawia się funkcja logarytmiczna o podstawie 2,ze względu na warunki techniczne: interesuje nas kod binarny.





Ogólne wyrażenie entropii - komentarz

Nie chodzi o to, żeby powiedzieć, ile bitów potrzeba było do wysłaniajednego z elementów, ale jak maksymalnie oszczędnie skonstruowaćsystem zdolny do przesyłania dowolnej informacji z danego zbiorumożliwości.





Entropia dla zbioru zdarzeń odmiennie prawdopodobnych

Pytanie kontrolne - oblicz wartość entropii dla:

A = (A1 = 116 ,A2 =

34 ,A3 =

18 ,A4 =

316 )

Dla osób, które nie zapamiętały wzoru:

H =n∑i=1pi log2

(1pi

)





Entropia dla zbioru zdarzeń równoprawdopodobnych

Pytanie kontrolne: oblicz wartość entropii dla:

A = (A1 = 14 ,A2 =

14 ,A3 =

14 ,A4 =

14 )

Dla osób, które nie zapamiętały wzoru:

H =n∑i=1pi log2

(1pi

)






Pytanie kontrolne - wynik: 2.

WNIOSEK: entropia będzie osiągała wartość maksymalną dlazbioru zdarzeń równoprawdopodobnych. Jest to własność bardzointuicyjna: równy rozkład prawdopodobieństw wiąże się z najwyższymstopniem niepewności odnośnie tego, jaki element zbioru zostaniewybrany.






Obliczenie wartości entropii dla takiego zbioru może być oparte na(bardzo) uproszczonej formule: ilość informacji dla każdego symbolubędzie równa log2(N), gdzie N = ilość symboli w zbiorze.

Dla 4 równowartościowych symboli:

log2(4) = 2

H =4∑i=1pi log2

(1pi

)= pA1log2

(1pA1

)+ ... =

14 log2

(114

)+ 14 log2

(114

)+ 14 log2

(114

)+ 14 log2

(114

)= 14 log24+

14 log24+

14 log24 + 14 log24 = 1

4 ∗ 2 + 14 ∗ 2 + 14 ∗ 2 + 14 ∗ 2 = 12 +

12 +

12 +

12 = 2





Entropia Shannona - kolejny przykład

Przykład: mamy zawody, w których startuje 16 zawodników. Napodstawie danych z innych zawodów szacujemy prawdopodobieństwo ichzwycięstwa jako nierówne:

Z = (p1 = 18 , p2 =

18 , p3 =

18 , pZ4 = 1

32 , p5 =164 , p6 =

164 , p7 =

14 , p8 =

14 , p9 =

1128 , p10 =

1128 , p11 =

1128 , p12 =

1128 , p13 =

1128 , p14 =

1128 , p15 =

1128 , p16 =

1128 )

Proszę o obliczenie entropii Shannona dla tego zbioru oraz obliczenie, ilebitów potrzeba, żeby przesłać wiadomości o konkretnych wynikach.





Entropia Shannona - kolejny przykład

Wyniki:

HZ = 2, 91

Jeśli Zi byłyby równoprawdopodobne:

HZ = 4





Entropia Shannona - kodowanie

W przypadku zdarzeń równoprawdopodobnych do optymalnegozakodowania zdarzeń w kodzie binarnym potrzebujemy 64 bity. Ile bitówpotrzebujemy do optymalnego zakodowania zdarzeń w przypadkuwskazanego wcześniej rozkładu prawdopodobieństw?

W tym przypadku potrzeba 3 bitów na symbol do zakodowania naszegozbioru informacji. Czy do optymalnego zakodowania zdarzeńpotrzebujemy zatem 48 bitów?





Entropia Shannona - kodowanie

W przypadku zdarzeń równoprawdopodobnych do optymalnegozakodowania zdarzeń w kodzie binarnym potrzebujemy 64 bity. Ile bitówpotrzebujemy do optymalnego zakodowania zdarzeń w przypadkuwskazanego wcześniej rozkładu prawdopodobieństw?W tym przypadku potrzeba 3 bitów na symbol do zakodowania naszegozbioru informacji. Czy do optymalnego zakodowania zdarzeńpotrzebujemy zatem 48 bitów?





Pozostałe własności entropii

Własności entropii:

maksymalną wartość uzyskuje dla zbioru wydarzeńrównoprawdopodobnych;

minimalną wartość uzyskuje dla zbioru, w którym jeden element maprawdopodobieństwo równe 1 (system nie jest obarczony wtedyżadną niepewnością, a otrzymana wiadomość nie jest dlainformowanego żadnym zaskoczeniem - nie niesie niczego nowego).





Sens pojęcia entropii

Znany wzór na entropię jest wyrazem średniej informatywnościdowolnego symbolu ze skończonego zbioru oraz przeciętnej iloścideficytu danych, które informowany posiada przed otrzymaniemkomunikatu. Informowany przed otrzymaniem komunikatu nie wie, jakisymbol otrzyma (jeśli wie, to H = 0). Ma pewne oczekiwania, ponieważwie, z jakiego zbioru będzie dokonywany wybór i zna rozkładprawdopodobieństw w tym zbiorze. Entropia Shannona mówi, jaka jestminimalna ilość bitów przypadająca na symbol potrzebna do zakodowaniainformacji w kodzie binarnym.





Podsumowanie teorii informacji Shannona

Teoria informacji Shannona - podsumowanie:

Podstawowe pojęcia - elementy modelu, entropia, szum iredundancja.

Informacja jest traktowana jako własność fizyczna.

Abstrahujemy od wszelkiego rodzaju aspektów psychologicznych isemantycznych.

Ograniczamy się jedynie do zbiorów skończonych (tzn. takich,którego elementy możemy policzyć - takie zbiory nazywa sięzbiorami dyskretnymi).




Drugie prawo termodynamiki i demon MaxwellaEntropia w fizyce a entropia Shannona

Entropia - fizyka i teoria informacji

Entropia - fizyka i teoria informacji





Sens pojęcia entropii w fizyce

Przejście od układu uporządkowanego do nieuporządkowanego jestprocesem nieodwracalnym. Rośnie ilość nieuporządkowanych ruchówmolekuł a wraz z tym wzrostem spada ilość energii.





Drugie prawo termodynamiki

Zgodnie z drugim prawem termodynamiki wzrost entropii (czyli odporządku do nieuporządkowania) pewnego uniwersum jest równoznacznyze spadkiem dostępnej energii. Nie jest zaś możliwa zamiana wzrostuentropii na energię.Zgodnie z tym prawem także, jeśli mamy dwa ciała, które niedopuszczają wymiany ciepła, to nie jest możliwe, żeby - jeśli te ciała majątą samą temperaturę - powstawały różnice w temperaturze między nimi.





Demon Maxwella

Eksperyment myślowy Maxwella:

Co mówi nam ten eksperyment? - że wbrew II zasadzie termodynamikispadek entropii jest możliwy bez wydatkowania energii (demon jestduchem), więc zasada ta ma co najwyżej charakter statystyczny.





Demon Maxwella - możliwe rozwiązanie

Leo Szilard (rozwiązanie z odniesieniem do fizycznej teorii informacji):demon jest jednym z elementów układu, musi pozyskiwać i przetwarzaćinformacje o położeniu i prędkości molekuł. Fizyczna realizacjaprzetwarzania informacji przez demona równoważyłaby spadek entropii wukładzie dwóch obiektów.





Entropia w fizyce a entropia Shannona

Pewne własności (matematyczne) są takie same: np. wysoki poziomentropii oznacza niższy poziom energii. W teorii Shannona - wysokawartość entropii oznacza wyższą aprioryczną wartość niepewności uodbiorcy komunikatu. W obu przypadkach maksymalna wartość entropiioznacza równy rozkład wartości w zbiorze (ciepła lubprawdopodobieństwa).





Entropia w fizyce a entropia Shannona

Dlaczego właściwie Shannon użył pojęcia entropii, zamiast ”informacji“,”niepewności“ itp.?

Moje najgłębsze zatroskanie budziła nazwa. Myślałem o nazwie”informacja“, ale to słowo jest nadużywane, więc zdecydowałemsię na nazwę ”niepewność“. Gdy omawiałem tą sprawę zJohnem von Neumannem, wpadł on na lepszy pomysł. VonNeumann powiedział mi: ”powinieneś to nazwać entropią zdwóch powodów. Po pierwsze, twoja funkcja niepewności jestużywana w statystycznej mechanice pod tą nazwą, więc ona majuż nazwę. Po drugie zaś, co zresztą jest ważniejsze, niktwłaściwie nie wie, czym tak naprawdę jest entropia, więczawsze będziesz miał przewagę w dyskusji.“‘

(wypowiedź Shannona, cyt. za Francois Bavaud, Information Theory,Relative Entropy and Statistics, w: Formal Theories of InformationGiovanni Sommaruga (Editor), s. 54.)





Entropia w fizyce a entropia Shannona - Carnap i Bar-Hillel

Wg von Neumanna podobieństwo tych pojęć sprawia, że teoria informacjimoże być wręcz postrzegana jako podstawa termodynamiki. Bar-Hillelzwraca uwagę na fakt, że to podobieństwo jest jedynie formalne -entropia w termodynamice ma charakter empiryczny, natomiast w teoriiinformacji (semantycznej) jest pojęciem logicznym. Bar-Hillel zwraca teżuwagę na fakt, że w termodynamice wartość entropii nie jest wyznaczonaw tak precyzyjny sposób jak w teorii informacji.




Podsumowanie

Podsumowanie




Podsumowanie

Idee Shannona, które są istotne dla przyszłej filozofii informacji:

probabilistyczne ujęcie - a priori określona wartość p dla każdegoelementu zbioru, znajomość zbioru zdarzeń i rozkładuprawdopodobieństw przez odbiorcę;

wartość informacyjna jest odwrotnie proporcjonalna doprawdopodobieństwa sygnału (intuicja, że im bardziejprawdopodobne zdarzenie, tym mniejszą wartość dla informowanegoma sygnał informujący o tym zdarzeniu);

całościowe ujęcie całego zbioru symboli;

abstrahowanie od semantyki - problem do rozwiązania.




Literatura

Duża część tego wykładu oparta jest na:

Manuel Bremer, Daniel Cohnitz, Information and Information Flow.An Introduction., Frankfurt 2004, ss. 14-45.

Poza tym polecam:

C. E. Shannon, “A mathematical theory of communication,” BellSystem Technical Journal, vol. 27, pp. 379-423 and 623-656, Julyand October, 1948.




Dziękuję za uwagę i zapraszam do stawiania pytań!

Artur Machlarz

e-mail: [email protected]


filozofia informacji - wprowadzenie, teoria c. e. shannona

Education