1. Teorija informacije (definicija, sadržaj informacije)

TEORIJA INFORMACIJE - matematička teorija, temeljena na statistici i teoriji vjerojatnosti, koja se bavi komunikacijom tj. prijenosom informacije od izvora do odredišta i to: što brže, što točnije, uz što manji utrošak energije, uz prikrivanje i zaštitu od zlouporabe.SADRŽAJ INFORMACIJE - količina informacije u nekoj izvorišnoj poruci, tj. količina informacije koju u prosjeku sadrži svaki simbol poruke. Teorija informacije daje mjeru za SADRŽAJ INFORMACIJE i postavlja minimalan broj simbola potreban za izražavanje nekoga sadržaja informacije.

2. Model informacijske mreže (komunikacijskog sustava)

izvor predajnik kanal+smetnje prijemnik odredište

3. Prijenos poruke: pogled s izvora i pogled s odredišta

Temeljni problem komunikacije – poruku odabranu na izvoru točno ili aproksimativno reproducirati na odredištu. Poruka je niz simbola. Poruka odabrana na izvoru uzrokuje pojavu druge poruke na odredištu. U idealnom slučaju je niz simbola koji se pojavi na odredištu bio jednak nizu simbola na izvoru, ali zbog smetnja u komunikaciji to nije tako. POGLED S IZVORA:Promatramo prijenos samo jednoga simbola poruke. Na izvoru se odabire poruka Xi (i=1,...,n) te šalje prema odredištu gdje se pojavljuje bilo koji od simbola Yj (j=1,...,m). Promatarč na izvoru ne zna koji od simbola se pojavio, već zna uvjetnu vjerojatnost p(Yj|Xi) tj. vjerojatnost da se na odredištu pojavio simbol Yj ako je na izvoru odabran Xi.POGLED S ODREDIŠTA:Nakon prijenosa na odredištu se pojavio simbol Yj, ali promatarč na odredištu ne zna koji je simbol odabran na izvoru već poznaje statistička svojstva sustava i zna uvjetne vjerojatnosti p(Xi|Yj) tj. vjerojatnosti da je na izvoru odabran simbol Xi ako se na odredištu pojavio simbol Yj. Pojavom simbola Yj na odredištu naše znanje se bitno povećalo tj. primili smo informaciju.

4. Sadržaj informacije

Sadržaj informacije događaja xi(oznaka I(X= xi))je količina informacije koju svojom pojavom sam o sebi donosi događaj X= xi .Ako je p vjerojatnost pojave događaja (X= xi) tada je I(X=xi)= -log2p[bit]

5. Entropija (definicija, prije nastanka, nakon nastanka i nakon prijenosa poruke)

Entropija diskretne slučajne varijable:

Entropija daje mjeru za srednji sadržaj informacije, a izražava koliko informacije možemo prenijeti nekom porukom.U trenutku prije nastanka poruke na izvoru i odredištu postoji neodređenost jer ne znamo koji će simboli biti odabrani, a mjera neodređenosti je entropija izvora H(x). Nakon nastanka poruke(tj. odabira simbola) neodređenost na izvoru nestaje a nastaje informacija dok na

odredištu i dalje imamo neodređenost jer poruka nije još primljena. Nakon prijenosa i primanja poruke nestaje i neodređenost na odredištu.

6. Svojstva entropije

Sadržaj informacije ne može biti negativan

Sadržaj informacije je 0 ako se uvijek pojavljuje samo jedan simbol

Neodređenost i sadržaj informacije su maksimalni ako su vjerojatnosti simbola jednako raspoređene

Zašto baš logaritam?

7. Kodiranje(definicija, veza s entropijom)

Kodiranje je postupak dodjele kodnih riječi simbolima poruke. Kodiranjem se poruka pretvara u novi oblik. Kada se kodira s ciljem kompresije podataka mora postojati granica do koje se može sažimati bez gubitka. Ta granica je entropija izvora. Entropija je granica kompresije bez gubitka. Nemoguće je jednoznačno kodirati simbole s nekog izvora uz prosječnu duljinu koda manju od entropije izvora.

8. Opis komunikacijskog sutava(informacijski i vjerojatnosni opis )

Informacijski opis komunikacijskog sustava se promatra kao diskretni informacijski sustav gdje prijenos bilo kojega simbola ne ovisi o simbolima koji su se pojavili ranije. Vjerojatnosni opis informacijskog sutava je dan u opisu sustava skupom vjerojatnosti: [p(xi)],[p(yj|xi)] ; [p(yj)],[p(xi|yj)] ; [p(xi,yj)] gdje svaki od ova tri pogleda određuje sutav i pojave na ulazu/izlazu, a vjerojatnosti prelaza XY potpuno određuju kanal.

9. Odnosi vjerojatnosti u informacijskom sustavu.

10. Informacijske mjere diskretnog sutava.

VLASTITE H(X) - entropija na ulazu sustavaENTROPIJE H(Y) – entropija na izlazu sustava H(X,Y) – združena entropijaUVJETNE H(Y|X) – entrpija šuma, irelevantnostENTROPIJE H(X|Y) – ekvivokacija, mnogoznačnost I(X;Y) –srednji uzajamni sadržaj informacije, transinformacija

11. Srednju uzajamni sadržaj informacije(transinformacija)

Srednji uzajamni sadržaj informacije I(X;Y) između slučajnih varijabli X i Y je definiran kao relativna entropija između razdiobe njihovih združenih vjerojatnosti (p(xi,yj)) i razdiobe umnoška njihovih pojedinačnih vjerojatnosti (p(xi) i p(yj)).

12. Odnosi i svojstva informacijskih mjera

13. Prijenos informacije i informacijske mjere

14. Kapacitet kanala je maksimalna količina informacije po simbolu koja se može prenijeti kanalom.

15. Signali(definicija, kontinuirani i diskretni signali, analogni i digitalni signali)

Signal je pojava koja opisuje neku fizikalnu veličinu.Kontinuirani signal je signal u kontinuiranom vremenu, tj t je kontinuirana varijablja (primjer: x(t)=A sin(2 π f t ) , f-frekvencija, A-amplituda).Diskretni signal je signal u diskretnom vremenu, odnosno varijabla t poprima vrijednost t=kTAnalogni signal je signal koji u kontinuiranom vremenu poprima bilo koju vrijednost unutar kontinuiranog intervala (a,b) ,(primjer: (x(t)=A sin(2 π f t ))Digitalni signal je signal koji u diskretnom vremenu može poprimiti samo konačan broj različitih vrijednosti

16. Slučajni signal u bilo kojem vremenskom trenutku poprima neku slučajnu vrijednost pa se karakterizira statistički a modelira se pomoću slučajnoga procesa.

17. Gaussov bijeli šum

Bijeli šum je slučajni proces W(t) čije su slučajne varijable u trenutcima ti i tj , ti=/=tj međusobno potpuno nekolerirane. Tada je autokovarijanca Cx(ti , tj) jednaka nuli kada god vrijedi ti=/=tj .Slučajni proces nazivano Gaussov bijeli šum ako su slučajne varijable slučajnog procesa Gaussove te ako su zadovoljena predhodna svojstva.

18. Širina spektra signala

Ovisno o pojasu frekvencija kojeg zauzima amplitudni spektar signala, signale djelimo na:-signale u osnovnom frekvencijskom pojasu-signale u pomaknutom frekvencijskom pojasu

19. Komunikacijski kanal (definicija, klasifikacija)

Komunikacijski kanal je tehnički oblikovan sustav za jednosmjerni prijenos između predajnika i prijemnika. Klasifikacija:

linearni(telefonski kalan) nelinearni(satelitski kanal, ali ne uvijek) vremenski nepromjenjiv(optička nit) vremenski promjenjiv(radijski kanal u pokretnoj komunikacijskoj mreži) ograničeni kanal:

-po širini prijenosnog pojasa(npr. telefonski kanal) -po raspoloživoj snazi predajenika(npr. optički prijenos)

20. Prijenosna funkcija (definicija, svojstva)

21. Širina prijenosnog pojasa kanala je područje frekvencija u kojem komunikacijski kanal propušta signale sa svog ulaza na izlaz. Realni kanali prigušuju signale koje prenose: srednja snaga izlaznig signala uvjek je manja od srednje snage ulaznog signala, a vrijedi i za energiju signala. Prigušenje kanala A(f) = 1/|H(f)| . Kanal djeluje i na fazu signala: faze frekvencijskih komponenti ulaznig signala se razlikuju od faza frekvencijskih komponenti izlaznog signala- disperzija signala.

22.Veza između širine prijenosnog pojasa kanala i širine spektra signala

23. Uzorkovanje(definicija, teorem uzorkovanja, frekvencija uzorkovanja)

Uzorkovanje je proces uzimanja uzoraka kontinuiranog signala u diskretnim trenucima. Uzorkovanje je prvi korak u digitalizaciji signala. Teorem:I. dio – predajnik: Pojasno ograničeni signal konačne energije, x(t) , t e R, čiji spektar ne sadrži frekvencijske komponente na frekvencijama iznad B Hz ( X(f)=0 za |f| > B ) u potpunosti je i na jednoznačan način je opisan pomoću vrijednosti toga signala uzetih u diskretnim vremenskim trenucima Tn = n / (2B) gdje je n e Z, B je gornja granična frekvencija signala. II. dio . prijemnik: Pojasno ograničeni signal x(t) konačne energije čiji spektar ne sadrži frekvencijske komponente na frekvencijana iznad B Hz ( X(f)=0 za |f| > B ) moguće je u potpunosti i na jednoznačan način rekonstruirati na temelju poznavanja njegovih uzoraka uzetih u diskretnim trenucima međusobo razmaknutim za 1/(2B)Frekvencija uzorkovanja je osnovni problem uzorkovanja jer slijed uzoraka mora jednoznačno definirati izvorni analogni signal. Poželjno je da frekvencija uzorkovanja bude što manja jer je tada i broj uzoraka manji. Što su uzorci gušći to je slijed uzoraka sve bliži originalnom analognom signalu.

24. Rekonstrukcija signala

25. Poduzorkovanje

26.Aliasing

27. Kvantizacija uzoraka(definicija, matematički model)

28. Kvantizacijski šum (definicija, varijanca kvantizacijskog šuma)

29. Kodiranje i kompresija(definicija, razlike i sličnosti, uloga u komunikacijskom sustavu)

Kodiranje je dodjela kodnih riječi simbolima poruke. Kodiranje može biti: Entropijsko(Hiffmanovo, Aritmetičko, Metode rječnika, Skarćivanje niza) , Izvorno(Kvantizacija, Poduzorkovanje, Kodiranje zasnovano na modelu,

Transformacijsko, Podpojasno, Diferencijalno i predikcijsko) Hibrodno(Kombinacija Entropijskog i Izvornog)

Kompresija je kodiranje koje smanjuje broj bitova potreban za izražavanje poruke i vrši se u koderu informacije. Kompresija može biti:

bez gubitaka – komprimirani podaci mogu se dekomprimiranjem bez gubita rekonstruirati (tekst, medicinske slike, satelitske snimke)

s gubicima – cilj je dobiti najbolju vjernost rekonstruiranih podataka za zadanu brzinu (bit/s) ili postići najmanju brzinu za zadanu granicu vjernosti(govor, slika, video)

Omjer kompresije je omjer veličine komprimiranih i originalnih podataka.

30. Entropijsko kodiranj(definicija, klasifikacija i metode)

Entropijsko kodiranje skraćeno zapisuje višestruko ili često ponavljane simbole ili nizove simbola. Zajedničko svim metodama entropijskog kodiranja:

temelje se direktno na teoriji informacije kodiranje bez gubitaka omjer kompresije ovisi samo o statističkim svojstvima izvora informacije poruka se promatra kao niz slučajnih vrijednosti, ne uzima se u obzir svojstvo medija

Metode entropijskog kodiranja: Shannon-Fanoovo kodiranje Huffmanovo kodiranje(optimalno kodiranje, binarno stablo,kraći zapis čestih

znakova) Aritmetičko kodiranje(poopćenje Huffmanovog kodiranja, cijela poruka se pretvara u

jednu kodnu riječ) Metode Riječnika(isti kodni riječnik na strani pošiljatelja i primatelja, dinamička

konstrukcija rječnika) Metode skraćivanja niza(potiskivanje nula, slijedno kodiranje)

31. Izvor informacije(kasifikacija i podjele)

Izvor informacije se promatra kao stohastički proces, tj niz slučajnih varijabli x1, x2, ...xn. Stacionarni izvor (statistička svojsta se ne mjenjaju s vremenom) Ergodički izvor (izvor kao skup svih mogućih proizvedenih nizova, a svaki

proizvedeni niz ima ista svojstva i ona se ne mijenjaju u vremenu. Ergodičnost: prosjek po skupu=prosjek po vremenu)

izvori s Memorijom (vjerojatnost pojavljivanja simbola je ovisna o jednom ili više predhodnih simbola pa su neki nizovi simbola vjerojatniji od drugih. Većina prirodnih izvora si izvori s memorijom – slova u tekstu, zvuk govora...)

32. Markovljev izvor

Izvori s memorijom se često zapisuju pomoću markovljevih izvora. U dijagramu su zapisana stanja i vjerojatnosti prijelaza iz stanja u stanje. Markovljev izvor može biti i binarni sa dva bita.

33. Vrste kodova

Nesingularni - ako svakom simbolu dodijeljuje drugačiju kodnu riječ Jednoznačno dekodabilan - ako je proširenje nesingularno Prefiksni – niti jedna kodna riječ nije prefiks neke druge kodne riječi i kod se može

dekodirati trenutno, tj. bez znanja iduće kodne riječi

34. Prosječna duljina kodne riječi i Kraftova nejednakost

li – duljina pojedine kodne riječiProsječna duljina kodne riječi:

Kraftova nejednakost određuje minimalne duljine kodnih riječi potrebne za prefiksni kod. Za svaki prefiksni kod sa abecedom od d simbola i duljinama kod nih riječi l1, l2, ...,ln vrijedi:

35. Entropijsko kodiranje – optimalno kodiranje

Optimalan kod je prefiksni kod sa najmanjom mogućom prosječnom duljinom kodne riječi

uz uvjet

Optimalan kod ima prosječnu duljinu kodne riječi koja je unutar jednoga bita od entropije:

H(X) < L < H(X) + 1

Efikasnost koda:

36. Shannon-Fanoovo kodiranje je jedna od prvih metoda kodiranja utemeljenih na teoriji informacije u kojoj ni jedna kodna riječ ne smije biti prefiks neke druge. Postupak:

posložiti simbole po opadajućim vjerojatnostima podijeliti simbole u grupe dodijeliti 0 jednoj, a 1 drugoj grupi ponavljati postupak dok se grupe ne svedu na jedan simbol

37. Huffmanovo kodiranje kodira sažetijim zapisom(npr. tipičan tekst se sažima za 45%) tako da simboli s većom vjerojatnošću pojavljivanja imaju kraće kodne riječi od simbola s manjom vjerojatnošću. Postupak:

sortiraj simbole po opadajućim vjerojatnostima pronađi dva simbola s najmanjim vjerojatnostima jednome dodijeli simbol „0“ a drugome „1“ kombiniraj ta dva simbolai zbroji njhove vjerojatnosti u jedan nadsimbol i zapiši ih

kao dvije grane binarnog stabla čije je račvanje nadsimbol ponavljaj korake dok ne dobiješ samo jedan nadsimbol

povratkom kroz stablo očitaj kodPrimjena:

standardi za telefaks(T.4 , T.6) standard za nepomičnu sliku JPEG

38. Aritmetičko kodiranje

39. Metode rječnika.

Algoritmi kodiranja metodama riječnika uzimaju kao ulaz nizove simbola (riječi) promijenjljive duljine i kodiraju ih kodnim riječima stalne duljine iz riječnika. Koder i dekoder moraju imati isti riječnik a grade ga dinamički:

LZ77 – riječnik je posmični prozor od N zadnjih simbola, primjena ZIP LZ78 i LZW – umjesto posmičnog prozora riječnik ima zasebnu memoriju pa je

riječnik poredana lista riječi gdje se riječ dohvaća pomoću indexa, primjena UNIX compres, GIF, modem V.24 bis

40. Metode skraćivanja niza.

Algoritam kodiranja metoda skraćivanja niza se temelji na kraćem zapisu ponavljanih simbola pomoću specijalnog znaka (!) , a isplati se za 4+ znakova, primjena: prva generacija telefaksa, unutar JPEG-a.

ABCCCCCCCC ABC!8

41. Informacijske mjere kontinuiranog sustava

ulaz u kanal – slučajna varijabla X – kontinuirana funkcija gustoće vjerojatnosti f1(x) izlaz iz kanala – slučajn varijabla Y - kontinuirana funkcija gustoće vjerojatnosti f2(y) združena funkcija gustoće vjerojatnosti od X i Y – kontinuirana finkcija f(x,y) Entropija na ulazu kanala H(X) Entropija na izlazu kanala H(Y) Ekvivokacija H(X|Y) Entropija šuma H(Y|X) Združena entropija H(X,Y)

42. Srednji uzajamni sadržaj informacije (transinformacija) u kontinuiranom kanalu. 43. Kapacitet kanala s aditivnim šumom. 44. Informacijski kapacitet pojasno ograničenog kanala. 45. Odnos prijenosne brzine i kapaciteta kanala.

46. Zaštitno kodiranje (definicija, podjela).

Cilj zaštitnoga kodiranja je koristiti onaj zaštitni kod koji 1.uvodi najmanje moguće povećanje prosječne duljine kodnih riječi u odnosu na prosječnu duljinu poruka 2.osigurava prihvatljivo malu vjerojatnost da pogreške simbola zaštitno kodirane poruke ostanu neotkriveneKada se otkrije pogreška pokreće se neki od postupaka otklanjanja pogreške. Podijela:

blok kodovi konvolucijski kodovi

linearni nelinearni

47. Blok kod (definicija, podjela, označavanje, Hammingova udaljenost).

Hammingova udaljenost između dvije kodne riječi je broj pozicija na kojima se kodne riječi razlikuju, tj. broj pozicija na kojima kodne riječi imaju različite simbole.d( x , y )- oznaka Hammingove udaljenosti između dvije kodne riječi x i y

48. Otkrivanje i ispravljanje pogrešaka. 49. Perfektan kod (definicija, Hammingova međa). 50. Paritetno kodiranje. 51. Linearni binarni blok kôd (definicija, težina kodne riječi, oznaka). 52. Generirajuća matrica G (definicija, ekvivalentan kod, standardni oblik). 53. Kodiranje linearnim blok kodovima i dekodiranje. 54. Matrica provjere pariteta koda (definicja, proračun, dekodiranje). 55. Sindrom (definicija, sindromsko dekodiranje). 56. Hammingov kôd (definicija, svojstva, kodiranje). 57. Ciklični kod (definicija, uvjet, generiranje).