Prof. dr Esad Jakupovi

Izlaganje osnova rauna vjerovatnoe je jasnije ako se, umjesto primjera iz stavrnog ivota, radi sa primjerima iz raznih igara na sreu. Tako se u svim kursevima teorije vjerovatnoe sreemo sa bacanjem novia ili kockice za igranje, sa izvlaenjem razliito obojenih kuglica iz kutije (model urni) ili sa izvlaenjem karata iz pila.U svim navedenim primjerima se radi o jednoj sluajnoj pojavi koja moe da ima vie ishoda. Pri bacanju novia on moe da padne grbom ili pismom na gore. Na baenoj kockici moe da se pojavi jedna, dve, tri, etiri, pet ili est takica.Ako iz pila od 32 karte nasumice izvuemo jednu, oigledno je da postoje 32 mogua ishoda jer izvuena karta moe da bude bilo koja karta.Razliite ishode jedne sluajne pojave zvaemo elementarnim dogaajima. Pod dogaajem u smislu rauna verovatnoe podrazumevamo bilo koji elementaran dogaaj (ishod) ili bilo koju grupu elementarnih dogaaja (ishoda) jedne sluajne pojave. Pojavljivanje estice prilikom bacanja kocke moe da se smatra kao dogaaj.Isto se moe rei za pojavljivanje jedinice, dvojke itd.

Dogaaj prilikom izvlaenja jedne karte iz pila karata izvuena karta je tref se sastoji od osam elementarnih dogaaja jer izvuena karta moe biti bilo koja od osam karata trefove boje. Dogaaj izvuena karta je as se oigledno sastoji od etiri elementarna dogaaja.Kao to je reeno, dogaaje obeleavamo velikim slovima latinice.Suprotan dogaaj dogaaju A, koji obeleavamo sa , i itamo non A, definie se kao dogaaj koji se sastoji od svih elementarnih dogaaja koji ne ulaze u A.Tako, na primjer, prilikom bacanja novia dogaaj ispao je grb, je suprotan dogaaju ispalo je pismo. Za dogaaj prilikom bacanja kocke pojavio se paran broj'suprotan dogaaj je pojavio se neparan broj, tj. pojavila se ili jedinica ili trojka ili petica.Dogaaj se, dakle, sastoji u tome to se dogaaj A nije desio.Zbir dogaaja A i B je dogaaj C koji se sastoji od svih elementarnih dogaaja koji ulaze bilo u dogaaj A bilo u dogaaj B. Tada se pie C=A+B. Na primjer, prilikom bacanja kocke zbir dogaaja pojavio se paran broj i dogaaja pojavio se broj koji nije djeljiv sa tri je dogaaj nije se pojavila trojka.

Zaista, prvi dogaaj se sastoji od elementarnih dogaaja koje emo oznaiti redom sa 2, 4, 6 a drugi od elementarnih dogaaja 1, 2, 4, 5. Zbir se sastoji, prema uvedenoj definiciji, od elementarnih dogaaja 1, 2, 4, 5, 6, to se kratko moe formulisati pomou nije se pojavila trojka.Zbir dva dogaaja A i B je, dakle, dogaaj koji nastaje nastupanjem ili dogaaja A ili dogaaja B ili i A i B zajedno.Nasuprot ovome, proizvod dogaaja A i B je dogaaj C koji nastupa ako se dese i A i B. Elementarni dogaaji dogaaja C ulaze i u dogaaj A i u dogaaj B. Za proizvod se pie C=AB.Proizvod ve navedenih dogaaja pojavio se paran broj i pojavio se broj koji nije djeljiv sa. tri je dogaaj pojavila se dvojka ili etvorka. Zaista, 2 i 4 su jedini elementarni dogaaji koji se sadre u prvom i u drugom dogaaju.Prilikom izvlaenja jedne karte iz pila karata proizvod dogaaja izvuen je as i dogaaj izvuen je tref je oigledno dogaaj izvuen je trefov as.Operacije sa. dogaajima su, u stvari, operacije sa skupovima. Zbir dogaaja se svodi na uniju skupova, proizvod na presjek a negaciji odgovara komplement skupa.

Algebra dogaaja koji su u vezi sa jednom sluajnom pojavom je algebra skupova za koju je univerzalni skup jednak skupu elementarnih dogaaja posmatrane sluajne pojave.

Zbog navedenog, za operacije sa dogaajima vae sve relacije iz algebre skupova.

Vanije od ovih relacija su ve navedene u odjeljku 4.3. i nee ovde biti ponavljane.

Na primjer, prve dvije od relacija (1) iz 4.3. u kontekstu rauna vjerovatnoe znae da je dogaaj A + siguran a daje dogaaj A nemogu.

Za operaciju negacije vae relacije

Iz iskustva znamo da sluajni dogaaji mogu da budu vie ili manje vjerovatni.Tako na primjer, karte za bioskop vjerovatnije emo dobiti ako ih potraimo ranije. Pri bacanju kocke vjerovatnije e se pojaviti paran broj nego petica.Ove intuitivne predstave o vjerovatnoi dogaaja moraju se dopuniti i precizno formulisati.Pod vjerovatnoom dogaaja smatraemo jedan broj koji se po veliini nalazi izmeu 0 i 1. to je taj broj vei vjerovatnoa dogaaja je vea. Vjerovatuou jednaku 1 pripisaemo sigurnom dogaaju, tj. dogaaju ije nastupanje nije pod znakom pitanja. Slino tome, vjerovatrtou jednaku 0 ima nemogu dogaaj.Dogaaj prilikom bacanja kocke pojavio se jedan od brojeva 1, 2, 3, 4, 5 6 je oigledno siguran dogaaj te je njegova vjerovatnoa jednaka 1. Nasuprot tome, dogaaj prilikom bacanja kocke pojavila se sedmica ima verovatnou jednaku 0.

Ako dogaaj nije ni siguran ni nemogu, njegova vjerovatnoa se nalazi izmeu 0 i 1 i odreuje se na sljedei nain.Svakom elementarnom dogaaju se pripie neka vjerovatnoa. Zbir vjerovatnoa svih elementarnih dogaaja mora da bude jednak 1.Vjerovatnoa posmatranog dogaaja se definie kao zbir vjerovatnoa onih elementarnih dogaaja od kojih je sastavljen dati dogaaj.Pri bacanju novia postoje dva elementarna dogaaja koja emo kratko oznaiti sa grb i pismo. Iz iskustva znamo da je pojavljivanje ova dva elementarna dogaaja podjednako moguno. Ovo proizlazi iz simetrije novia, tj. neprivilegovanosti ni jedne njegove strane. Svaki novi je, praktino, geometrijski simetrian a materijal od koga je izraen je homogen. Iz ovih razloga opravdano je pripisati svakom od elementarnih dogaaja vjerovatnou jednaku 1 /2. Zbir ovih vjerovatnoa je jednak 1.Novi kod koga stvarno i grb i pismo dolaze sa vjerovatnoom 1/2 zove se idealni novi.Realni novii zanemarljivo malo odstupaju od idealnog.

Pri bacanju kocke postoji 6 elementarnih dogaaja. Iz slinih razloga kao i kod novia uzimamo da je vjerovatnoa svakog od njih jednaka . Na osnovu ovog je vjerovatnoa dogaaja pojavio se broj deljiv sa tri jednaka 2 jer postoje dva elementarna dogaaja (3 i 6) koji ulaze u navedeni dogaaj.Slino tome je vjerovatnoa dogaaja nije se pojavila jedinica jednaka 5 Pri izvlaenju karte iz pila karata vidimo da je vjerovatnoa dogaaja izvuen je tref jednaka 8 , vjerovatnoa dogaaja izvuen je as

4 , a vjerovatnoa dogaaja izvuen je trefov as 1 .

Za sluajeve sline navedenima, u kojima sve elementarne dogaaje moemo, usljed niihove simetrinosti, smatrati podjednako vjerovatnim, moe se dati i druga definicija vjerovatnoe dogaaja. Ova definicija je starija i potie iz vremena osnivanja rauna vjerovatnoe.Elementarni dogaaji se u sklopu ove definicije nazivaju moguni sluajevi a elementarni dogaaji koji ulaze u dati dogaaj povoljni sluajevi.

Broj mogunih sluajeva se obiljeava sa m a broj povoljnih sluajeva sa p.Vjerovatnoa P dogaaja se definie kad kolinik broja povoljnih sluajeva i broja mogunih sluajeva

Primjer 1. Iz kutije, u kojoj se nalazi jedna bijela, dvije crne i tri plave kuglice, izvlai se jedna kuglica. Vjerovatnoa da izvuena kuglica bude bijela je , da bude crna vjerovatnoa je i da bude plava

Primjer 2. Bacaju se dvije kockice. Odrediti vjerovatnou da zbir takica na gornjim stranama kocki bude 7.Sve mogune ishode moemo predstaviti pomou eme:1 1 1 2 1 3 1 4 1 5 1 6 2 1 2 2 2 3 2 4 2 5 2 6 3 1 3 2 3 3 3 4 3 5 3 64 1 4 2 4 3 4 4 4 5 4 6 5 1 5 2 5 3 5 4 5 5 5 6 6 1 6 2 6 3 6 4 6 5 6 6

u kojoj, na primjer, par brojeva 3 2 oznaava da su se na prvoj kocki pojavile tri take a na drugoj dve. Broj mogunih sluajeva je m=36. Povoljni sluajevi su 1 6,2 5, 3 4. 4 3, 5 2 i 6 1, ti. P=6.

Traena vjerovatnoa je P =

Primjer 3. Od brojeva 1, 2, 3, 4, 5 bira se najprije jedan a zatim od ostalih etiri drugi. Pod pretpostavkom da su svih 20 ishoda podjednako vjerovatni odrediti vjerovatnou da: a) prvi put, b) drugi put, c) oba puta bude izabran neparan broj. Svi elementarni dogaaji (moguni sluajevi) su predstavljeni emom:1 2 2 13 14 1 5 11 32 33 24 2 5 21 42 43 44 3 5 31 52 53 54 5 5 4

Povoljni sluajevi su: za a) 1 2, 3 1, 5 1, 1 3, 3 2, 5 2, 1 4, 3 4, 5 3, 1 5, 3 5,5 4; za b) 1 3, 1 5, 2 1, 2 3, 2 5, 3 i, 3 5, 4 1, 4 3, 4 5, 5 1, 5 3; i za c) 1 3, 1 5, 3 1, 3 5,5 1,5 3.

Odgovarajue vjerovatnoe su

Primjer 4. U kutiji se nalaze tri bijele i etiri crne kuglice. Iz kutije se izvlai pet kuglica.Odrediti vjerovatnou da e biti izvuene tano dve bijele kuglice.Pet kuglica se iz kutije sa sedam kuglica moe da izvue na naina.Potrebno je odrediti broj naina izvlaenja pri kojima se pojavljuju tano dvije bijele kuglice. Dvije bijele kuglice se pojavljuju, naravno, zajedno sa tri crne kuglice. Dve bijele kuglice iz skupa od tri bijele kuglice moemo da izvuemo na naina. S drage strane tri crne od ukupno etiri moemo da izvuemo na naina . Broj izvlaenja pri kojima su izvuene dve bijele i tri crne kuglice je stoga Tra ena vjerovatnoa je

Neka dogaaj A moe sa vjerovatnoom p da se pojavi kao rezultat nekog eksperimenta, koji moe biti vie puta ponovljen. Oznaimo sa n broj eksperimenata a sa fn broj eksperimenata u kojima je nastupio dogaaj A. Veliina fn se naziva apsolutna frekvencija, ili kratko, frekvencija dogaaja A.Veliina fr = je relativna frekvencija dogaaja A.

Ona predstavlja dio broja eksperimenata u kojima se pojavio dogaaj A.Dogaaj A moe da bude, na primjer, pojavljivanje grba a odgovarajui eksperiment je bacanje novia. U ovom sluaju je p=

Drugi primjer je pojavljivanje estice pri bacanju kocke, pri emu je p = Ispitivanja su pokazala da se pri uveanju broja eksperimenata n relativnaFrekvencija fr sve vie pribliava vjerovatnoi dogaaja p.

Pri bacanju novia n puta moe se oekivati da e se grb pojaviti puta tim pre to je n vee. Takoe, pri bacanju kocke estica e se pojaviti priblino u jednoj estini od ukupnog broja eksperimenata.Bernoulli je jo krajem XVII vjeka dokazao tzv. zakon velikih brojeva, koji teorijski objanjava empirijsku injenicu da se relativna frekvencija, pri velikom broju eksperimenata, pribliava vjerovatnoi dogaaja: Ovaj zakon" predstavlja osnovu praktine primjene rauna vjerovatnoe. Jasno je da se rezultat jednog jedinog eksperimenta ne moe sa sigurnou predvidjeti. Meutim, rezultat velikog broja eksperimenata je, na osnovu zakona velih brojeva, predvidiv. Ako je broj eksperimenata veoma velik (matematiki se kae: ako broj eksperimenata, tei beskonanosti) rezultat moe sa sigurnou da se odredi.Ovo je jedan primjer uzajamne povezanosti nunosti i sluajnosti.Priblina jednakost p fr koja vai za dovoljno veliko n moe da poslui za eksperimentalno odreivanje vjerovatnoe dogaaja.

Ovako odreena vjerovatnoa dogaaja (koja je u stvari, jednaka relativnoj frekvenciji fr) naziva se vjerovatnoa a posteriori za razliku od vjerovatnoe date izrazom P = koja se zove vjerovatnoa a priori.

Pri ovakvoj terminologiji Bernoullijev zakon velikih brojeva glasi:

Pri beskonanom uveavanju broja eksperimenata, vjerovatnoa a posteriori tei vjerovatnoi a priori.Drugi aspekt praktine primjene rauna vjerovatnoe odnosi se na dogaaje ija je vjerovatnoa bliska jedinici. Ovakve dogaaje moemo smatrati praktino nunim.

Tako na primjer, teorijski se moe pokazati da postoji izvesna mala vjerovatnoa za to da toplotno kretanje molekula vazduha dobije takav oblik da se sav vazduh iz neke sobe skoncentrie u jednoj polovini sobe a u drugoj polovini da nastane vakuum.

Ipak ovakva pojava jo nije zabiljeena i opravdano se smatra da se praktino ne moe desiti.

U ovom odjeljku emo pokazati kako se pomou poznatih vjerovatnoa jednih dogaaja izraunavaju vjerovatnoe drugih dogaaja koji su u izvesnoj vezi sa prvim.Vjerovatnou dogaaja A oznaavamo sa P (A). Na osnovu ovog P ( ) oznaava vjerovatnou dogaaja suprotnog dogaaju B, P(A+B) vjerovatnou zbira dogaaja A i B, a P (AB) vjerovatnou proizvoda dogaaja A i B.Odrediemo najprije vjerovatnou suprotnog dogaaja. Ako je p broj povoljnih sluajeva za ostvarivanje dogaaja A, a m broj svih mogunih sluajeva, broj povoljnih sluajeva za dogaaj , suprotan dogaaju A, bie m - p. Stoga je

Na primjer, vjerovatnoa da se prilikom bacanja kocke ne pojavi estica je

esto emo vjerovatnou nekog dogaaja obiljeavati sa p (ovo ne treba meati sa brojem povoljnih sluajeva). Pri tome emo sa q oznaavati vjerovatnou da se dogaaj ne desi. Na osnovu izloenog je q=1 - p.Dogaaji A i B se zovu uzajamno iskljuujui, ako ae mogu da se dogode istovremeno. Stoga je po samoj definiciji P(AB)=0. Samim tim je jasno da ne postoji nijedan povoljan sluaj zajedniki za dogaaje A i B.Broj povoljnih sluajeva za dogaaj A+B je jednak zbiru broja povoljnih sluajeva za dogaaj A i broja povoljnih sluajeva za dogaaj B, ako su dogaaji A i B uzajamno iskljuujui. Stoga je i vjerovatnoa dogaaja A+B jednaka zbiru vjerovatnoa dogaaja sabiraka P(A+B) = P(A) + P(B).Poto se dogaaj A+B moe interpretirati kao dogaaj ili se desilo A ili se desilo B, vjerovatnoa P(A+B) se zove vjerovatnoa ili ili.Ako A i B nisu meusobno iskljuujui dogaaji formula za P (A+B) je za nijansu komplikovanija.

Neka su, prema ranijem primjeru, dogaaji A i B definisani sa: prilikom bacanja kocke pojavio se paran broj i prilikom bacanja kocke pojavio se broj koji nije djeljiv sa tri. Tada je P (A)= (m=6, povoljni sluajevi su 2, 4, 6) i P (B)= (m=6, povoljni sluajevi su 1, 2, 4, 5). Proizvod A B ovih dogaaja ima povoljne sluajeve 2 i 4 te je P (AB) = . Ako primjenimo formulu za vjerovatnou zbira dogaaja, dobijamo

Zaista A+B se sastoji, kao to je ranije pokazano, od pet elementarnih dogaaja (1, 2, 4, 5, 6) te neposrednim odreivanjem P (A+B) dobijamo isti rezultat.Neka p1, p2 i p12 imaju isto znaenje kao kod izvoenja formule za P (A+B).Tada je P (AB)= . Ako proirimo ovaj razlomak sa p1 dobijamo je, kao to znamo, vjerovatnoa P (A) dogaaja A dok smo kolinikoznaili sa P(B | A). Ovu posljednju oznaku treba itati verovatnoa dogaaja B ako se desio dogaaj A.

Vjerovatnou dogaaja koju ne odreujemo apsolutno ve uz uslov nastupanja nekog drugog dogaaja, nazivamo uslovna vjerovatnoa ili ako vjerovatnoa. Prilikom odreivanja uslovne vjerovatnoe za broj moguih sluajeva za dogaaj B, uzimamo broj povoljnih sluajeva p1 za dogaaj A, a za broj povoljnih sluajeva za B broj p12 povoljnih sluajeva zajednikih za A i B, tj.

U poslednjem primjeru sa bacanjem kocke je p1=3 i p12 = 2 te je P(A)= i P(B | A)= . Na osnovu ovog je

to je ranije neposredno izraunato.Vjerovatnoa proizvoda dogaaja moe da se predstavi i u sljedeem obliku: P(AB)=P(B) P(A | B).Uslovne vjerovatnoe esto mogu da poslue za odreivanje apsolutnih vjerovatnoa.

Primjer 1. Iz kutije u kojoj se nalaze jedna bijela, tri crne i dvije zelene kuglice izvlai se jedna kuglica. Oznaimo dogaaj koji se sastoji u izvlaenju kuglice odreene boje poetnim slovom te boje. Tada je

Ako je poznato da izvuena kuglica nije crna, verovatnoa da ona bude zelena je

Za dogaaje A i B se kae da su meusobno nezavisni ako je P (AB)=P(A) P(B)Ovo nastaje ako je P(A | B)=P (A) i P(B | A)=P(B) tj. ako vjerovatnoa za nastupanje jednog dogaaja ne zavisi od injenice da li se desio ili nije drugi dogaaj.

Jedan od osnovnih pojmova rauna vjerovatnoe je, pored pojma sluajnog dogaaja, pojam sluajne veliine. Upoznajmo se ovim pojmom kroz primjere.a) Broj takica koje se pojavljuju na gornjoj strani kocke prilikom njenog bacanja je veliina nepoznata unapred.Ona moe da ima vrjednosti 1, 2, 3, 4, 5 i 6.Svaku od ovih vrjednosti se pojavljuje, kao to znamo, sa vjerovatnoom .b) Broj automobila koji se zaustave pred semaforom za vrijeme crvenog signala je oigledno, sluajna veliina. Za datu raskrsnicu i dato vrijeme moguno je izraunali vjerovatnou da pred semaforom eka 0, 1, 2, . , . automobila.c) Koliina atmosferskog taloga u toku, na primjer, jednog mjeseca varira od mjeseca do mjeseca. Za dato podneblje i dati mjesec moguno je, na osnovu, statistikih podataka, odrediti vjerovatnou da e se u toku posmatranog mjeseca koliina padavina kretati, na primjer, izmeu nula i deset milinnetara, ili izmeu deset i dvadeset milimetara itd.

Iz navedenih primjera se vidi da je sluajna veliina ona ija brojna vijrednost nije unapred poznata. Ona poslje eksperimenta (bacanje kocke, prebrojavanje automobila, pred semaforom itd.) uzima ovu ili onu vrijednost. Svakoj vrijednosti koju moe da, uzme sluajna veliina poslje eksperimenta, je pridruena vjerovatnoa s kojom se ta vrijednost ostvaruje.Kod sluajne veliine osnovno je da se ustanovi koje vrijednosti ona moe da uzme. U primjeru a) ovaj skup vrijednosti je: 1, 2, 3, 4, 5, 6. Pod b) sluajna veliina moe da uzme vrijednost nula ili bilo koju iz niza prirodnih brojeva 1, 2, 3,. . . (Teorijski, broj automobila pred semaforom moe da bude proizvoljno velik). Sluajna veliina iz c) je neto drukije prirode. Ona moe da uzme bilo koju vrijednost od 0 do nekog veoma velikog broja milimetara, raunajui tu ne samo celobrojne vrijednosti ve i sve ostale.Sluajne veliine koje mogu imati bilo koju vrijednost iz nekog intervala brojeva -zovu se kontinualne sluajne veliine.

Drugu grupu ine diskretne sluajne veliine. Ove veliine mogu da uzmu ili konaan broj vrijednosti (u primjeru a) est vrijednosti) ili beskonaan broj vrijednosti, ali takav da se sve ove vrijednosti mogu da poredaju u jedan niz (u primjeru b) ovaj niz ima oblik 0, 1,2,. . .).Sluajne veliine se mogu opisivati svojim tzv. brojnim karakteristikama kao io su: srednja vrijednost sluajne veliine, srednje odstupanje sluajne veline od srednje vrijednosti i dr.Srednju vrijednost sluajne veliine definisaemo na sljedei nain. Izvrimo veliki broj eksperimenata i zabiljeimo vrijednosti koje je dobila sluajna veliina u svakom eksperimenutu. Saberimo sve ove vrijednosti i podjelimo sa brojem eksperimenata. Dobijeni broj moemo smatrati srednjom vrijednou sluajne veliine, ako je broj eksperimenata bio vrlo velik.Neka je izvreno n eksperimenata i neka je veliina X vrijednost x1 dobila n1 puta, n2 puta vrijednost x2 i n3 puta vrijednost x3; Tada je srednja vrijednost veliine X jednaka:

Na osnovu zakona velikih brojeva moemo uzeti da je: , , pa je =p1x1+p2x2+p3x3.

Dakle, srednja vrijednost je jednaka zbiru proizvoda pojedinih vrijednosti sluajne veliine i odgovarajuih vjerovatnoa.

Srednja vrijednost se naziva i matematika nada ili matematiko oekivanje sluajne veliine.

Slino se za sluajnu veliinu Y, koja dobija vrijednosti y1, . . ., ym sa vjerovatnoama p1, ...,pm, dobija srednja vrijednost =p1 y1 + ... +pm, ym.

Ako je X sluajna veliina iz primjera a) onda je P (X=1)=P (X=2)=

= P(X=3) = P(X=4) = P(X=5)=P(X=6) = i srednja vrijednost

Teorija informacija je dio teorije vjerovatnoe koji izuava kvantitativne zakone koji su u vezi sa dobijanjem, prenosom, obradom i uvanjem informacija. Ova teorija je oformljena u vezi sa nekim problemima koji se pojavljuju pri projektovanju telekomunikacionih sistema ali je ubrzo nala primjenu u mnogim drugim (i ne samo tehnikim) disciplinama. Teorija informacija je zasnovana 1948 g. kada je C. E. Shannon objavio prvi lanak iz ove oblasti.Opisaemo najprije nain na koji se moe uvesti mjera za koliinu informacije koja je sadrana u saoptenju o nekom dogaaju. Dogaaj o kojem je rije smatramo sluajnim dogaajem. Neka dogaaj A ima vjerovatnou nastupanja P(A)=p., Oigledno, vrijednost informacije IA sadrane u saoptenju nastupio je dogaaj A zavisi od veliine p. Razmotrimo dva ekstremna sluaja. Ako je p=1, tj. ako je A siguran dogaaj, saoptenje o nastupanju dogaaja A ne kazuje nita novo jer se ve znalo da e A da nastupi.

Dakle funkcija IA=f(p) ima posebnu vrijednost f(1)=0. Ako je p< 1 smatraemo da je f(p)>0 i da f(p) raste kada p opada. Logino je da se f(p) odabere tako da f(p)+ za p0+.U cilju odreivanja funkcije f(p) posmatrajmo dva nezavisna dogaaja A1 i A2Sa vjerovatnoama P(A1)=p1 i P(A2)=P2- Poto su A1 i A2 nezavisni dogaaji opravdano je tvrditi da saoptenje nastupio je dogaaj A1 i dogaaj A2. sadri isto onoliko informacija koliko i sljedea dva saoptenja: 1 nastupio je dogaaj A1, i 2 nastupio je dogaaj A2,Dakle, Poto je P(A1A2)=P(A1)P(A2)=.p1p2, dobijamo,Relacija (2) predstavlja funkcionalnu jednainu po nepoznatoj funkciji f.Moguno je dokazati da su sve neprekidne funkcije koje zadovoljavaju jednainu (2) date pomouOstaje jo da se na pogodan nain odabere vrijednost za c. Najprije, zbog uslova P(p)>0, P (0,1) imamo ogranienje c>l. Izborom osnove logaritma u (3) bira se u stvari jedinica za mjerenje koliina informacija.

Dogovorno se usvaja da koliina informacije, sadrana u saoptenju o nastupanju dogaaja ija je vjerovatnoa , iznosi 1.Dakle, f = 1 a odatle sljedi c = 2. Na taj nain dobijamo sljedeu formulu za koliinu informacije IA koja je sadrana u saoptenju o nastupanju dogaaja A ija je vjerovatnoa p:Jedinica za mjerenje koliine informacije naziva se bit (prema engleskom: binary digit, tj. binaran broj). Nosi koliinu informacije jednaku

Primjer 1. Sluajno, odabranom prolazniku postavljeno ju pitanje: Da li je danas va roendan? Pod pretpostavkom da su dani roenja ljudi ravnomjerno rasporeeni u toku godine, potvrdan odgovor sadri informaciju jednaku bita a odrean bita.S obzirom na to da digitalni elektronski raunati rade sa binarnim sistemom brojeva, kapacitet memorije raunara, tj. koliina informacija koju je moguno uvati u raunani, pogodno se izraava pomou jedinice bit.

Drugi osnovni pojam teorije informacija je entropija.Posmatrajmo neki objekat (sistem) koji se uvjek nalazi u jednom od n uzajamno iskijuujuih stanja. Obiljeimo ova stanja sa x1, x2, . . . ,xn a sa p1, p2, ... , pn vjerovatnoe nalaenja sistema u ovim stanjima. Oigledno je p1+p2+...+pn=1.Za posmatraa koji ne zna u kom stanju se nalazi sistem, prognoziranje stanja sistema predstavlja oigledno tei ili laki zadatak u zavisnosti od broja stanja sistema i vjerovatnoe pojedinih stanja. Stoga se kae da je svaki sistem vie ili manje neodreen. Mjere ove neodreenosti je entropija.Pijre nego to definiemo entropiju razmotriemo nekoliko primjera.

Primjer 2. Ako je neki tehniki ureaj u zadatom trenutku sa vjerovatnoom 0,99 ispravan a sa vjerovatnoom 0,01 neispravan, prognoziranje stanja ureaja je jednostavno. Posmatrani sistem je skoro potpuno odreen i mi moemo praktino smatrati daje ureaj u ispravnom stanju

Primjer 3. Sasvim druga situacija se pojavljuje kod prognoziranja ishoda nasuminog bacanja novia. Poto se svaka strana novia pojavljuje sa vjerovatnoom , situacija je veoma neodreena.

Primjer 4. Ako su sva stanja sistema podjednako vjerovatna, neodreenost sistema oigledno treba da raste sa uveanjem broja stanja n.Postoje ve uvedena mjera za koliinu informacije, opravdano je uzeti za meni neodreenosti sistema koliinu informacije sadrane u saoptenju kojim se precizira stanje u kojem se nalazi sistem. Meutim, informacija sadrana u saoptenju sistem se nalazi u stanju xi je Ixi =-log(2)pi, tj. zavisi od i. Zato se za entropiju (mjeru neodreenosti sistema) H uzima srednja vrijednost koliine informacije potrebne za razjanjenje stanja sistema, tj.

Entropija sistema u primjeru 1 iznosi

a u primjeru 2

Za primjer 3 vai

Specijalno, za n=1 dobijarno H=0, tj. entropija potpuno odreenog sistema je jednaka nuli.Za zadati broj stanja n sistem je najneodreeniji u sluaju kada su stanja podjednako vjerovatna. Dokazaemo ovo za sluaj n=2. Neka je p1=p a p2=1 p. Entropija sistema je

Poslje diferenciranja po p dobijamo

Iz sljeduje =1, tj. .

Kako je za , funkcija H

ima u ovoj taki lokalni maksimum.

Poto je , zakljuujemo da je vrijednost funkcije H=1

najvea vrijednost ove funkcije.

Entropija se takoe kao i koliina informacije izraava u bitima.

Definisaemo najprije jednu binarnu operaciju nad grafovima jaki proizvod grafova.Neka je G1=(X, U) i G2=(Y, V). Jaki proizvod G1 * G2 grafova G1 i G2 se definie pomou G1 * *G2=(X Y, W).vorovi (x1,y1) i (x2, y2) (x1,x2 X; y1, y2 Y) susjedni u G1 * G2 ako i samo ako je ili (x1, x2) U i y1=y2 ili (y1, y2) V i x1=x2 ili (x1, x2) U i (y1, y2) V.

Primjer 1. Na sl. 1 dat je primjer jakog proizvoda jednog grafa sa samim sobom.

Svaki od grafova faktora sa sl. 1 moe interpretisati kao graf kretanja kralja na jednodimenzionalnoj ahovskoj tabli sa tri polja (sl. 2). Proizvod odgovara kretanju kralja na kvadratnoj tabli tipa 3 3.

Sl.1

Primjetimo da je u ovom primjeru (G2) = , gdje je (G) broj unutranje stabilnosti grafa G (vidjeti 8. 6).Opisana situacija ima i drugu interpretaciju.Kroz sistem veze mogu se prenositi signali x1, x2 i x3. Usljed smetnji na vezama na izlazu sistema, signal x1 moe se protumaiti kao x1 ili x2, x2 kao x2 ili x3 i x3 samo kao x3. Mogua izoblienja signala mogu se predstaviti jednim grafom, iji vorovi odgovaraju mogunim signalima. Dva vora su spojena granom ako i samo ako odgovarajui signali mogu da izazovu isti izlazni, signal. Tako dobijamo graf G sa sl. 1.

Da ne bi dolo do greaka u prenosu informacija, za kodovanje saoptenja moraju se koristiti samo signali koji se na izlazu ne mogu pomjeati. vorovi koji odgovaraju ovakvim signalima obrazuju u grafu unutranje stabilni skup.Dakle, u posmatranom sluaju treba koristiti samo signale x1 i x3 za kodovanje pojedinih saoptenja

Umesto da saoptenje ifrujemo posebnim signalima, moemo to uiniti, na primjer, nizom od dva signala.

Broj ureenih parova signala koji nam tada stoje na raspoloenju jednak je broju, unutranje stabilnosti jakog proizvoda grafa sa samim sobom. Ti parovi su (x1, x1) (x1, x3), (x3, x1), (x3, x3).

Izbor pojedinanih signala i parova signala je ekvivalentan sa postavljanjem to veeg broja kraljeva na odgovarajue ahovske table, sl. 3.

Prilikom kodovanja saoptenja sa nizovima vie od dva signala, morao bi se posmatrati trodimenzionalni odnosno viedimenzionalni ah.

C. E. Shannon je prouavao broj unutranje stabilnosti u viestrukim jakim proizvodima grafa sa samim sobom.

Pokazalo se daje u nekim sluajevima moguno prenoenje veeg broja saoptenja nego to izgleda u prvi mah.

Sl.2Sl.3

Takav sluaj nastaje, na primjer, u sistemu veze sa pet signala a,b,c,d,e, pri emu na izlazu signal a moe da izazove pojavljivanje signala a ili b .signal b moe da izazove b ili c itd., prema sl. 4. Na istoj slici je dat i odgovarajui graf ija je konstrukcija opisana ranije.Ovde je (G)=2, ali (G2) nije 4 ve 5. Ovo se moe vidjeti pomou sl. 5 a, na kojoj grafu G odgovara kretanje kralja na cilindrinoj ahovskoj tabli (ivice 1 - 1 treba sljepiti). Grafu G*G odgovara ahovska tabla, koju dobijamo sa sl. 5b ako najpre sljepimo gornju i donju ivicu table, pa zatim dobijenu cilindrinu tablu smotamo u oblik torusa i suprotne ivice cilindrine povrine sljepimo. Parovi signala koji se mogu rekonstruisati na izlazu su (a, a), (b, d), (c, b). (d, e), (e, c).

Vidi se da je u optem sluaju .

Stoga se definie veliina (G) =sup koja se naziva informucioni kapacitet grafa. Odreivanje kapaciteta datog grafa je oigledno povezano sa maksimalnim iskorienjem datog sistema veze.Za graf G sa sl. 4 moe se pokazati da je (G)= .

U ovom odjeljku emo kvadratnoj matrici A= pridruiti jedan digraf (GA) sa n vorova. Digraf GA pridruen matrici A sadri vorove oznaene sa 1, 2, ... ,n i sve mogune grane (i petlje) pri emu je grani koja vedi iz vora i u vor j pridruen element aij. Veliina aij naziva se prenos grane koja vodi iz i u j. Prenos puta u di-grafu GA je po definiciji jednak proizvodu prenosa grana koje obrazuju put. Stepeni matrice A se mogu odrediti pomou digrafa GA. Teorema koju navodimo predstavlja generalizaciju teoreme 2 iz 8.8.

Teorema 1. Element iz i-te vrste i j-te kolone matrice A jednak je zbiru prenosa svih puteva duine k koji u digrafu GA iz vora i vode u vor j.Ova teorema se dokazuje na isti nain kao i teorema 2 iz 8.8. te dokaz neemo ovdje posebno navoditi. Ako se za matricu A uzme matrica susjedstva nekog multigrafa dobija se pomenuta teorema 2.

Pomou teoreme 1 se naroito efikasno mogu odrediti stepeni matrica koje sadre veliki broj elemenata jednakih 0. Naime, prilikom crtanja grafa G mogu se izostaviti grane iji je prenos 0 jer su prenosi puteva koji vie ne egzistiraju u grafu poslje ovog izostavljanja i onako jednaki 0. Na taj nain se graf upro9ava te se u nekim sluajevima mogu lako da uoe svi interesantni putevi u grafu.Ilustrovaemo ovu tehniku nalaenja stepena kvadratnih matrica na jednom prostom primjeru.Digraf GA pridruen matrici

je predstavljen na sl. 1. Iz vora 1 u vor 1 vodi samo jedan put duine k i njegov prenos je jednak ak. Slino vai za vor 2. Iz 1 u 2 vodi k puteva duine k. Ovi putevi se sastoje od i (i=0, 1, 2 ,..., k - 1) petlji sa prenosom a, grane sa prenosom b i k 1 - i petlji sa prenosom c, pri emu je prenos puta aibck-1-i.

Stoga je element na mjestu (1, 2) u matrici Ak jednak b . Iz vora 2 u vor 1 ne vodi ni jedan put.

Stoga, je

Kvadratna matrica A se naziva nilpotentna ako postoji prirodan broj k takav da je Ak = 0.

Naveemo jedan potreban i dovoljan uslov da nenegativna kvadratna matrica A bude nilpotentna.

Prema teoremi 1, A je nilpotentna matrica ako i samo ako postoji prirodan broj k takav da u digrafu GA ne postoji nijedan put duine k.

S druge strane, ako u GA postoji bar jedan, kruni put (ili orijentisana kontura, to se svodi na isto) onda u GA postoje i putevi proizvoljne duine stoga se dolazi do sljedeeg zakljuka.

Teorema 2. Nenegativna kvadratna matrica A je nilpotentna ako i samo ako pridrueni digraf GA ne sadri nijednu konturu.Vidi se da je nilpoteninost osobina koja ne zavisi od prenosa grana u digrafu GA nego samo od strukture digrafa. Postoje i druge osobine matrica, odnosno determinanta, koje zavise samo od injenice da li su pojedini elemeniti jednaki ili razliiti od 0. Takve osobine se na prirodan nain opisuju pomou grafova.Uostalom, sredstvima teorije grafova se mogu i definisati osnovni pojmovi u linearnoj algebri.Opisaemo sada i jednu primjenu teoreme 1 u teoriji vjerovatnoe.Razni sluajni procesi mogu se predstaviti sljedeim modelom.Neka je G digraf sa n vorova koji sadri sve mogue grane (i petlje).Zamislimo da se po granama digrafa (uvijek u smjeru strelica) kree na sluajan nain neki objekt nazovimo ga estica. estica se normalno nalazi u jednom od vorova digrafa i u trenucima vremena t=1, 2, . . . ona po nekoj od grana digrafa prelazi u drugi (ne obavezno razliiti) vor.

Ako se estice u trenutku t=t0 nalazi u voru i ona u trenutku t=t0 +1 prelazi u stanje j sa vjerovatnoom pij. Veliina pij su definisane za svako i, j= 1, 2, ... ,n, one su nezavisne od veliine t i za njih vae relacijePij 0 (i, j=1, 2, ... ,n).pi1+pi2+ ... pin=1 (i=1, 2, ..., n).

Matrica P= naziva se matrica vjerovatnoa prelaza na jedan korak. Digraf G Za koji je definisana matrica P naziva se Markovljev lanac. Ako se estica nalazi u voru kae se da se Markovljev lanac nalazi u stanju i.Interesantno je da se proui ponaanje Markovljevog lanca u toku dueg vremenskog perioda. Naroito su interesantni sluajevi kada su pojedine od veliina pij jednake 0.Veliine pij moemo smatrati prenosima odgovarajuih grana u digrafa G a digraf G shvatili kao digraf pridruen matrici P. Dakle, vjerovatnoa da estica, nalazei se u voru i, krene du neke od grana koje izlaze iz vora i je jednaka prenosu te grane.

Stoga se grane iji je prenos jednak 0 mogu izostaviti prilikom crtanja digrafa G.

Digraf na taj nain dobija pregledniju strukturu a bitne osobine Markovljevog lanca upravo i zavise od strukture ovako reduciranog digrafa.

Vjerovatnoa da estica izvora i za k koraka pree u vor j po nekom fiksiranom putu (duine k) oiglednome jednaka proizvodu prenosa grana du tog puta, tj. jednaka je pronosu tog puta.

Na osnovu teoreme 1 zakljuujemo onda da je vjerovatnoa da estica iz stanja i za k koraka pree u stanje j (po bilo kom putu) jednaka elernentu iz i-te vrste i j-te kolone matrice Pk.

Ponaanje Markovljevog lanca je stoga odreeno strukturom matrica Pk (k 1, 2, . . .). Skoro sve interesantne osobine matrice Pk mogu se odrediti samo pomou strukture pridruenog digrafa, dok prenosi grana utiu samo na kvantitativne karakteristike Markovljevog lanca.