Šenon fanoovi i hafmanovi kodovi
TRANSCRIPT
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
1/24
enonova teorema o kodovanjubez risustva uma
Milan M.Milosavljevi
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
2/24
Teorema o kodovanju bez uma Koristei dosadanje rezultate, u stanju smo da odredimo
fundamentalnu donju granicu oekivane vrednosti prefiksni
kodova datog informacionog izvora.
TEOREMA 2.4 enonova teorema kodovanja Deo I
!a bilo koji diskretni izvor informacija bez memorije ija jeentropija "#$%, oekivana du&ina '(arnog prefiksnog koda )*+tog izvora, zadovoljava
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
3/24
Teorema o kodovanju bez uma
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
4/24
Teorema o kodovanju bez uma Teorema -. daje jednu donju granicu za oekivanu
du&inu koda datog izvora informacija. Kakva je tagranica/ 'a li ima i drugi granica #npr 0%/
1asno je da ovaj rezultat postaje visokovrednovan
samo ako poka&emo da je ta granica najbolja moguadonja granica.
'a bi smo ovo pokazali, potrebno je konstruisati
konkretan kod ija se oekivana du&ina kodni reiproizvoljno tano pribli&ava ovoj granici.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
5/24
enon 23anoov prefiksni kod
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
6/24
enon 2 3anoov prefiksni kod
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
7/24
enon 23anoov prefiksni kod
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
8/24
enon 23anoov prefiksni kodTEOREMA 2.5 enonova teorema kodovanja, Deo II
!a bilo koji diskretni izvor informacija bez memorije,ija je entropija "#$%, postoji barem jedan '(arni prefikskod ija je oekivana du&ina kodni rei )*+ data sa
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
9/24
enon 23anoov prefiksni kod4rimer -.05
6azmotrimo binarni #'7-% enon(3anoov kod za izvor $ sa etirisimbola ije su verovatnoe p078., p-78.9, p978.- i p78.0.
Kodne rei su date du&inama
Kod konstruiemo na osnovu postupka datog u dokazu Kraftovenejednakosti.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
10/24
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
11/24
enon 23anoov prefiksni kodNastavak Primera 2.15
:a osnovu +eme o du&ini puta, imamo
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
12/24
enon 23anoov prefiksni kod:astavak 4rimera -.05
'irektan raun daje
;idimo da je zadovoljena nejednakost
?07-.>.Medjutim vidi se da ovaj kod nije optimalan. Kada bi smoupotrebili kodne rei du&ine -, imali bi smo krau oekivanudu&inu koda )*+7-.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
13/24
enon 23anoov prefiksni kod
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
14/24
"afmanov kod "afmanov algoritam kodovanja izvora informacija bez
memorije, pomou '(arnog prefiksnog koda, daje optimalankod minimalne mogue oekivane vrednosti kodni rei.
:eka izvor $ ima n simbola u0,u-,...,un, sa odgovarajuim, ,...., .
HAFMANOV KOD
0. @tartujemo sa svi n vorova, koji e na kraju kodovanja bitilistovi.
Azraunajmo ostatak r pri delenju 0(n sa '(0. #4rimetimo da zan parno, r e uvek biti nula%
$inim svi n vorova BaktivnimC.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
15/24
"afmanov kod-. 3ormirajmo novi vor, ija su deca(vorovi '(r najmanjeverovatni aktivni vorova i r neiskorieni vorova #listova%
Novi vor
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
16/24
"afmanov kod'odeliti novokreiranom voru verovatnou jednaku sumi upravo
deaktivirani '(r vorova.9. Dko postoji samo jedan aktivan vor tada se proceduraokonava. Taj vor je ujedno i koren konanog kodnog stabla. $
7, .
4refiksni kod koji rezultuje u opisanoj proceduri se naziva"afmanov kod, budui da je upravo opisani algoritam prvi dao"afman 58(ti godina EE veka.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
17/24
"afmanov kodPrimer 2.1% Binarni Hafmanov kod
:eka je dat izvor $
1edan "afmanov kod za izvor $ je dat sa
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
18/24
"afmanov kodNastavak Primera 2.1%
;erovatnoe unutranji vorova su date u tabeli
4rimetimo da je
Ali pomou +eme du&ine puta
'ok je entropija izvora $
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
19/24
"afmanov kodPrimer 2.1& Ternarni Hafmanov kod
:eka je izvor informacija $, kao u pretodnom primeru -.0F. Dkoupotrebimo ternarni kod '79, ostatak od 0(n?0(F75 pri deljenjusa '(079(07- iznosi r70. #4rovera (57(9G-?0%. @toga treba uvesti
.
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
20/24
"afmanov kod
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
21/24
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
22/24
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
23/24
-
7/24/2019 enon Fanoovi i Hafmanovi Kodovi
24/24