teorija informacija i kodovi u telekomunikacijama
TRANSCRIPT
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Teorija informacija i kodovi u
telekomunikacijama
Elektrotehnički fakultet
Katedra za telekomunikacije
Beograd, 2021.
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
- Organizacija predmeta -
TIK 2
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Nastavnici i organizacija rada
Predavanja – petak, 13-16h
Predrag Ivaniš ([email protected], Paviljon 2, desno od RC)
Srđan Brkić ([email protected], Paviljon 2, desno od RC)
Vežbe – petak, 16-17h
Srđan Brkić ([email protected], Paviljon 2, desno od RC)
Predrag Ivaniš ([email protected], Paviljon 2, desno od RC)
Predavanja i vežbe izvode se pomoću platforme za učenje na daljinu (naovom predmetu koristi se plaftorma Microsoft Teams). Konsultacije se moguorganizovati preko platforme a po potrebi i uživo, u sali koja je određenarasporedom (sala 56).
Laboratorijske vežbe – Paviljon 2, desno od ulaza u Računski centar
Ilustracija teorijskih razmatranja sa predavanja i vežbi – 1 čas nedeljno.
Vežbe su grupisane u dva ciklusa. U slučaju da epidemiološki uslovi nedozvole izradu vežbi u laboratoriji, vežbe će se raditi od kuće.
TIK 3
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
MS Teams
Naziv tima: 13e034tik
Opis tima: Teorija informacija i kodovi u
telekomunikacijama
Link za pristup (spojiti u jedan red):https://teams.microsoft.com/l/team/19%3a2dd91f681ea7460ba785f4b66d32
258b%40thread.tacv2/conversations?groupId=cbf1ae2f-3b83-43ea-a189-
40c5dd376882&tenantId=1774ef2e-9c62-478a-8d3a-fd2a495547ba
Materijali koje će biti moguće preuzeti:• Prezentacije sa svih časova predavanja i vežbi
• Sve prezentacije će biti dostupne i u obliku video fajla, sa animacijama i
pratećim audio zapisom
• Softver za laboratorijske vežbe koji na interaktivan način ilustruje
lekcije
TIK 4
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Polaganje ispita
Ispit iz predmeta se sastoji od:
1. Kolokvijuma
2. Završnog ispita
3. Domaćeg zadatka (opciono)
Kolokvijum se sastoji od:
dva teorijska pitanja (po 5 poena)
dva kratka zadatka (po 10 poena)
- Poeni osvojeni na kolokvijumu određuju 30 poena.
- Kolokvijum se biti održan krajem aprila i traje dva sata.
- Nadoknada kolokvijuma se organizuje u junskom i julskom
ispitnom roku.
TIK 5
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Polaganje ispita
Završni ispit se sastoji od:
dva ili tri teorijska pitanja ili kratka zadatka (ukupno 30 poena)
dva ili tri kompleksnija zadatka (ukupno 40 poena)
- Završni ispit održava se u ispitnim rokovima, traje tri sata i na
njemu se može osvojiti 70 poena.
Domaći zadatak – može se raditi opciono, tokom semestra.
- Zadaci će biti formulisani na časovima predavanja i vežbi,
studenti se za rad na zadatku prijavljuju individualno, a svaki od
zadataka može raditi najviše dva studenta.
- Rok za predaju domaćeg zadatka je 15 dana od dana njegovog
zadavanja. Na domaćem zadatku može se osvojiti 10 dodatnih
poena, koji se sabiraju sa poenima osvojenim na kolokvijumu i
pismenom delu ispita (bez obzira da li ste radili kolokvijum).
TIK 6
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Pravila za predavanje domaćeg zadatka
Sve što nije listing programa ili grafik predaje se ISKLJUČIVO u rukopisu,
ne primaju se domaći zadaci odštampani na računaru, očekuje se da
prilikom predaje domaćeg zadatka možete da objasnite šta ste ispisali.
Format zadataka koji se rade pisanjem programa:
1) Skicirati simulacioni model i organizaciju programskog rešenja (rukom);
2) Priložiti rešenje u vidu tabele i/ili grafika (zavisno šta se traži);
3) Komentarisati dobijene rezultate ako treba;
4) Priložiti listing programa.
Sve treba da bude iskucano na papirima formata A4, priheftano ili
pričvršćeno spajalicom, u omotnom listu na kome je naznačeno ime i broj
indeksa autora programa i naziv i redni broj odgovarajućeg zadatka.
TIK 7
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Ispit i formiranje ocene
Maksimalan broj poena koji se može osvojiti na ispitu iznosi
100 (sa domaćim zadatkom 110), a za najvišu ocenu
potrebno je osvojiti 91 poen. Ukupan broj poena za svakog
studenta računa se po formuli:
I (≤110) = K (≤30) + Z (≤70) + DZ (≤ 10)
gde je:
I – ukupan broj poena osvojenih na ispitu;
K – broj poena osvojenih na kolokvijumu;
Z – broj poena osvojenih na završnom ispitu;
DZ – broj poena osvojenih na domaćem zadatku;
TIK 8
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Konsultacije, lab. vežbe
Konsultacije se drže posle časova u kabinetu u Paviljonu 2
lično, a ne putem telefona ili elektronske pošte. Molim vas
da se STROGO pridržavate termina za konsultacije!
U istom terminu (ili na pauzi izmedju časova) se predaju
domaći zadaci.
Laboratorijske vežbe: Za prisustvo na vežbi obavezan je praktikum.
Prvi ciklus verovatno posle 15. aprila.
U slučaju da nije urađena makar jedna vežba student gubi pravo da
polaže ispit u toku tekuće školske godine (laboratorijske vežbe su
predispitna obaveza!).
TIK 9
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Web strana
Stranica predmeta na sajtu katedre
Stranica predmeta 13e034tik: http://telit.etf.rs/kurs/teorija-informacija-i-
kodovi-u-telekomunikacijama/
Pristup materijalima moguć je tek nakon što se unese korisničko ime i
lozinka (na isti način kao na drugim predmetima sa odseka)
Sadržaji: Osnovne informacije o predmetu
Elektronski dokumenti - prezentacije sa predavanja i vežbi, tekstovi zadataka sa prethodnih ispitnih rokova,
Novosti i obaveštenja - spiskovi za laboratorijske vežbe, rezultati ispita…
Ostalo
TIK 10
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Mejling lista predmeta
Prezentacije i obaveštenja
SYMPA lista: https://lists.etf.rs/wws/arc/13e034tik
Prezentacije se nalaze u delu ‘Shared documents’.
Sva obaveštenja će vam biti dostavljana na vaš zvanični fakultetski e-
mail nalog, šifra je ista kao za bilo koji drugi predmet.
Korisničko ime oblika: [email protected]
gde username sadrži inicijale, godinu upisa i broj indeksa
(korisničko ime je identično e-mail adresi na koju ste dobili mejl sa
obaveštenjem da je formirana lista)
Ako niste na listi iskoristite opciju Subscribe.
Sadržaji: Uslovi i pravila za polaganje ispita.
Tekstovi zadataka sa prethodnih ispitnih rokova.
Spiskovi za laboratorijske vežbe, rezultati kolokvijuma i ispita...
TIK 11
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Literatura
[1] C. E. Shannon, “A mathematical theory of communication,” Bell
System Technical Journal, vol. 27, pp. 379-423, July 1948; pp.
623-656, October 1948.
[2] D. Drajić, P. Ivaniš, “Uvod u teoriju informacija sa kodovanjem”,
četvrto izdanje, Akademska misao, Beograd, 2018.
[3] P. Ivaniš, “Zbirka rešenih zadataka iz teorije informacija i
kodovanja”, Akademska misao, Beograd, 2013.
[4] S. Lin, D. J. Costello, Error Control Coding, Second Edition,
Prentice Hall, New Jersey, 2004.
[5] D. J. Costello, Jr., J. Hagenauer, H. Imai, S. B. Wicker,
“Applications of Error-Control Coding”, IEEE Trans. Inform.
Theory. Vol 44 (1998), pp. 2531-2560
[6] R. H. Morelos-Zaragoza, The Art of Error Correcting Coding,
John Wiley & Sons, Ltd, England, 2002.
TIK 12
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Osnovna literatura
TIK 13
• Za pripremanje ispita dovoljne su druga i treća knjiga sa prethodnog spiska,
koje su namenski pisane za ovaj kurs.
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
- Kratka
prezentacija predmeta -
TIK 14
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
XIX vek - razvoj fizike
XIX vek obeležila je potreba za energijom:
Klasična mehanika – Isak Njutn (XVIII vek)
• Tri Njutnova zakona – sila, masa, ubrzanje.
• Opisano kretanje tela i uveden pojam mase kao nepromenljive veličine.
• Ipak, Njutn ne barata pojmom energije!
Statistička mehanika – Džejms Preskot Džul, Lord Kelvin,... (XIX vek)
• Prvi i drugi princip termodinamike – očuvanje energije, smer toplotnih
procesa.
• Definiše se energija kao sposobnost tela da vrši rad (za to vreme, sredinu
XIX veka, vrlo apstraktan pojam).
• Tom prilikom je uveden pojam entropije kao mere neuređenosti sistema.
• Nešto ranije, početkom XIX veka uvedena je Furijeova analiza za
rešavanje problema provođenja toplote.
Specijalna teorija relativnosti – Albert Ajnštajn (početak XX veka)
• Masa nije nepromenljiva, relativna je u odnosu na brzinu.
• Otkrivena je jednostavna relacija koja povezuje energiju sa masom
E=mc2
TIK 15
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
XX veka - razvoj telekomunikacija
XX vek obeležila je potreba za pouzdanom komunikacijom:
Deterministički pristup (kraj XIX, početak XX veka)
• Primena Furijeove analize na projektovanje telekomunikacionog sistema.
• Koristan signal (alfanumerički znaci, govor) pojednostavljeno se predstavlja
periodičnim ili aperiodičnim determinističkim signalima a Furijeovom
analizom određuje se njihov spektar.
• Kada je poznat spektar signala može se odrediti širina propusnog opsega
potrebna da se prenese veći deo snage signala.
• Šta ako pri prenosu postoje jake smetnje? One se ne mogu tako lako opisati
determinističkim signalima!
Dva osnovna telekomunikaciona resursa:
• Emitovana snaga signala (transmitted power) – srednja snaga signala
na predaji - na ulazu u kanal;
• Propusni opseg kanala (channel bandwidth) – opseg frekvencija
dodeljen za prenos signala poruke.
TIK 16
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Deterministički pristup – snaga i propusni opseg
• Najveća brzina prenosa telegrafskog signala kroz
dati medijum? (Harry Nyquist, 1928);
TIK 17
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Razvoj telekomunikacija – statistički pristup
Norbert Viner (prva polovina XX veka)
• Koristan signal je slučajan, sve smetnje i šumovi su slučajni.
• Iz fizike se preuzima pojam ansambla, što omogućava uopštavanje Furijeove
analize na slučajne signale (Viner-Hinčinova teorema).
• Iako vremenski oblik signala ne može biti lako matematički opisan, spektralna
gustina srednje snage može se odrediti iz autokorelacione funkcije!
• Probabilistički pristup – kako izvući slučajan korisni signal iz slučajnog šuma?
• Cilj povećati odnos signal-šum (optimalnom filtracijom, korelacijom,...).
TIK 18
2 1 , ( )
0,
U TTR
T
2
2 sin( / 2)( )
/ 2x
TS U T
T
-1.5 -1 -0.5 0 0.5 1 1.50
0.2
0.4
0.6
0.8
1
T
R()/U2
-T 0 T -10 -5 0 5 10
0
0.2
0.4
0.6
0.8
11
0 2/T-4/T -2/T
Sx()/U
2T
4/T
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
-1
0
1
x1(t
)
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
-1
0
1
x2(t
)
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
-1
0
1
Vreme [s]
x3(t
)
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Kako se na najefikasniji način analognal signal može pretvoriti u nizbinarnih simbola, a da se pritom ne izgubi informacija?
(Владимир Александрович Котельников, 1933; Claude Shannon 1949).
Digitalizovanje signala: Nyquist-Shannon Sampling Theorem
TIK 19
xa(t)
t
xdis(t)
tTS 2TS 3TS 4TS ...
xdig(t)
tT 2T 3T 4T ...
A 0 1 0 1
010110100110
A/D konvertor D/A konvertor
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Telekomunikacije = prenos signala?
Cilj nije da savršeno verno prenesemo signal!
• Nemoguće je primljeni signal savršeno očistiti od šuma (nemoguće je iz
primljenog savršeno rekonstruisati poslati signal).
Šta je cilj?
• Cilj je pouzdan i što je moguće brži prenos poruka (informacija). Bilo bi
idealno ako savršeno tačno i veoma brzo možemo preneti informacionu
sekvencu (sekvencu nula i jedinica)!
• Ako ova sekvenca može da se predstavi manjim brojem simbola a da se iz
nje može rekonstruisati originalna sekvenca to je svakako poželjno!
• Ne moramo nužno da izgubimo informaciju ako neki od binarnih simbola
nije ispravno prenet!
TIK 20
Spliter Spliter
Upredena bakarna parica
Telefonska
centrala
DSLAM
Internet
PSTN
ADSL
modem
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Razvoj telekomunikacija – teorija informacija
Teorija informacija – Klod Šenon (sredina XX veka)
• Za razliku od prethodnika polazi “iznutra”. Ne zanima ga uspešan prenos
signala već informacije sadržane u njemu!
• Koliko informacije emituje neki izvor? Šenon za potrebe kvantitativnog opisa
informacije probabilistički definiše entropiju izvora informacija.
• Koliku količinu informacije može da propusti neki kanal? Maksimalna brzina
informacija koja se pouzdano može preneti kroz kanal u jedinici vremena
naziva se kapacitet kanala (za to vreme vrlo apstraktan pojam).
• Štaviše, pokazuje da važi jednostavna veza između kapaciteta s jedne strane i
klasičnih telekomunikacionih rasursa (širina propusnog opsega, odnos signal-
šum) s druge strane:
C=B*ld(1+SNR)
• Šenon definiše dve fundamentalne teoreme:
– Prva Šenonova teorema daje odgovor na pitanje sa kojim minimalnim
brojem bita se može predstaviti informacija koju izvor emituje u jedinici
vremena.
– Druga Šenonova teorema daje odgovor na pitanje da li je moguć (skoro
savršeno) pouzdan prenos kroz (skoro savršeno) nepouzdan kanal!
TIK 21
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Teorija informacija
Koji je minimalni broj simbola kojim se može
prestaviti poruka, a da se ne izgubi informacija?
Prva Šenonova teorema, bitna za
kompresiju!
Koja je maksimalna brzina prenosa informacija
kroz kanal u kome postoje smetnje?
Druga Šenonova teorema, bitna za pouzdan
prenos podataka!
TIK 22
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Različiti nivoi apstrakcije u telekomunikacijama
TIK 23
Izvor poruka
Linearan i vremenski
invarijantan kanal
Statistički koder
Interfejs
kanala
Diskretizacija
Kvantizacija
Kontinualni
signal
Sekvenca
realnih brojeva
Sekvenca
digitalnih simbola
Smetnja
iz
mrežeBinarni interfejs
Zaštitni koder
Modulator
Odredište
Statistički dekoder
Analogni filtar
Binarni interfejs
Zaštitni dekoder
Demodulator
Interfejs
izvora
Sekvenca
binarnih simbola
Sekvenca
binarnih simbola
Sekvenca
binarnih simbola
Kontinualni
signal
Interfejs
izvora
Interfejs
kanala
ka
mreži
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Vrste kodova u teoriji informacija
DEKODER KANALA
DISKRETNI
KANAL
KODER
KANALA
IZVOR
KORISNIK
DEKODER
IZVORA
KODER IZVORA
DEKRIPTOR
KRIPTOR
Tri vrste kodova - efikasan, siguran i pouzdan prenos
Statistički kodovi – zavise od osobina izvora;
Kodovi za očuvanje tajnosti (kriptografija);
Zaštitni kodovi – zavise od osobina kanala.
TIK 24
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Maksimalna brzina prenosa informacije?
• Najveća brzina prenosa informacije kroz dati medijum?
(Claude Shannon, 1948)
TIK 25
Predrag Ivaniš, Elektrotehnički fakultetKatedra za Telekomunikacije, Beograd
Zašto nam treba “Šenonova teorija”?
Nekad je neophodno obezbediti brz ali pouzdan prenos informacije
kroz uzak propusni opseg sa malom emitovanom snagom.
Današnji digitalni sistemi prenosa omogućavaju skoro savršeno pouzdan
prenos čak i kroz vrlo nepouzdan kanal!
Nivo signala na ulazu u komercijalni radio-prijemnik je reda veličine
10log10(P[mW])=-60dBm.
Kosmičke sonde Pioneer 10 i 11:
lansirana 1972, rastojanje od Zemlje je 2003. godine iznosilo 12.5 milijardi km;
za dvosmernu komunikaciju potrebno 23h i 11min;
brzina kretanja sonde oko 44000km/h;
nivo signala -178,5dBm (1.41.10-21W),
odnos signal/šum -0.5dB;
protok 16b/s.
TIK 26