us - osnovi teorije informacija i kodovanje
DESCRIPTION
US - Osnovi Teorije Informacija i KodovanjeTRANSCRIPT
![Page 1: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/1.jpg)
![Page 2: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/2.jpg)
![Page 3: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/3.jpg)
UNIVERZITET SINGIDUNUM
����������� �������������������
������������������������������
OSNOVI TEORIJE INFORMACIJA I
KODOVANJA
����������
Beograd, 2013.
![Page 4: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/4.jpg)
OSNOVI TEORIJE INFORMACIJA I KODOVANJA
Autori:����������������������������������
���������������������������������������������!����"�������
���� �UNIVERZITET SINGIDUNUM���#���$!���������%&'''(���#������(�)(��
�������� �������������������
����� ���������������������
��������������������������*�������
Godina izdanja:2013.
������370 primeraka
Štampa:�������+��-/���)�
4��5689;<;=<98>&<?@=<A
C�-F��#*�6H&@>%(J������������#������4��������K������-����(L�-�����)���-�������*���������)��������-�O����)����������������(
![Page 5: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/5.jpg)
�
„Dobar nau�nik je onaj ko misli kao i svi
drugi, a vidi nešto što niko drugi nije
video. Genije je onaj ko vidi isto što i svi
drugi, a misli nešto što niko drugi nije
pomislio"
��4��.����.5 ������
![Page 6: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/6.jpg)
![Page 7: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/7.jpg)
SADRŽAJ
�� '"6 ���������������������������������������������������������������������������������������������������������������������������������
1.1. Pojam informacije ................................................................................................. 11
1.2. Informacijska hijerarhija ................................................................................... 12
1.3. Informaciono društvo .......................................................................................... 14
1.4. Teorija informacija kao akademska disciplina .......................................... 16
�� )(,*6��7�����(86*��9�7������������������������������������������������������������������������������������:
2.1. Entropija – izbori mogu�nosti sa poznatim verovatno�ama ................. 27 ������ ���.����.��0������������������������������������������������������������������������������������������������������������: ������ "�;�����.����.��0������������������������������������������������������������������������������������������������ ������ $���#.�����!������.��0����������������������������������������������������������������������������������������������� ����<� ��1%��������%����5�0���.��#������������������������������������������������������������������������������������ ����=� '�������.��0������������������������������������������������������������������������������������������������������������= ����>� '����������.��0���������������������������������������������������������������������������������������������������������>
2.2. Informacija i njena mera .................................................................................... 44 ������ 60���!����������?���������������������������������������������������������������������������������������������������<< ������ '���������������!���������������������������������������������������������������������������������������������������<> ������ -����%#��0�����.�!�����������!����5.�����#�/����%���������������������������������<@ ����<� *���.������.��0���������������������������������������������������������������������������������������������������������=�
2.3. Šenonova matemati�ka teorija informacije ................................................ 53 ������ ��������������������������������������������������������������������������������������������������������������������=< ������ A���������������0��#���!��������������������������������������������������������������������������������=< ������ )�.��0����������1�����1�����0��#���!��1������������������������������������������=> ����<� A�������.����������#��������4����14�.�#������������������������������������������������=B
2.4. Laboratorijski rad ................................................................................................. 60
III
![Page 8: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/8.jpg)
�� )8�$��(6�$6 6"�(7)��(86*��9�7������������������������������������������������������������B�
3.1. Kodovanje jedne slu�ajne veli�ine .................................................................. 73 ������ N5�����.�4���#�����������������������������������������������������������������������������������������������������BB ������ $���.����������#�.�������������������������������������������������������������������������������������������������@�
3.2. Efikasno Kodovanje .............................................................................................. 83 ������ "����.�����(5������.�4�����������������������������������������������������������������������������������@� ������ A�������.���������#������1�4���0��1.���1�������������������������������������@B ������ C�������#�����������������������������������������������������������������������������������������������������������������:� ����<� 60.������.�C���������#��������������������������������������������������������������������������������:<
3.3. Laboratorijski rad ................................................................................................. 96
<� $�(�2��+���*)(6���(86*��9�7�������������������������������������������������������������������::
4.1. Komunikacioni kanali ...................................................................................... 100 <����� $�0�!�.�.�#����������������������������������������������������������������������������������������������������������������< <����� $�����������.��%����1�������������������������������������������������������������������������������������= <����� $�����������.��%������������������������������������������������������������������������������������������> <���<� �������0�������������������������������������������������������������������������������������������������������������������B
4.2. Kodovanje u prisustvu šuma .......................................................................... 109 <����� $���0���������������������������������������������������������������������������������������������������������������������: <����� ,���������#������1�1�0��1.1��1��������������������������������������������������������������
=� +�A,�,(��$6 6"��D�$6 6"��+�����*�"27�(7)�-*)A�$�������������������<
5.1. Osnove kodova za ispravljanje grešaka ..................................................... 115 =����� C����������.���������.�;����#����/���%��������������������������������������������������������> =����� �#���������������������.�����������#������������.����.������@ =����� �.�#!�������0��������������#������������������������������������������������������������������������������:
5.2. Linearni kodovi ................................................................................................... 122 =����� $������������������#��������������������������������������������������������������������������������������<
IV
![Page 9: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/9.jpg)
=����� ��.��#����������������/�#���������������������������������������������������������������������������> =����� �#�������3������#�!�������.��!���������������������������������������������������������������������B =���<� 1�����#��������������������������������������������������������������������������������������������������������������������� =���=� ����������������������������������������������������������������������������������������������������������������������������������� =���>� ������������.��������������#�!�������.��!���������������������������������������������������< =���B� ��������C��������#�������������������������������������������������������������������������������������������<
5.3. Cikli�ni kodovi ..................................................................................................... 138 =����� 9�#��%���#�������0�����������������������������������������������������������������������������������������������: =����� �#��������!�#��%��/�#����������������������������������������������������������������������������������<�
5.4. Konvolucioni kodovi ......................................................................................... 147 =�<��� $��������#����1!������#�����������������������������������������������������������������������<@ =�<��� 60�.��������!����#����1!����/�#�����������������������������������������������������������������=� =�<��� ����.���0��#������.#��������������������������������������������������������������������������������������������=� =�<�<� �#������������������������������������������������������������������������������������������������������������������������==
5.5. Prakti�na primena zaštitnih kodova ........................................................... 161 =�=��� �*E�����������������������������������������������������������������������������������������������������������������������������������>� =�=��� 8)9������������������������������������������������������������������������������������������������������������������������������������>� =�=��� C�4�������*E����������������������������������������������������������������������������������������������������������������>< =�=�<� ��.������������������������������������������������������������������������������������������������������������������������������>= =�=�=� �#����������4���������������������������������������������������������������������������������������������>B =�=�>� $��#�.���!������������������������������������������������������������������������������������������������������������������>@ =�=�B� 7�����0������#��������1�9 ��������������������������������������������������������������������������������>:
5.6. Laboratorijski rad .............................................................................................. 172
>� $*��,6-*�8�7��D��(86*��9�6(6�,)6*�7�$��'"6 ���������������������������@@
6.1. Perfektna tajnost ................................................................................................ 190 >����� �����#.��������3�������!�������������������������������������������������������������������������������������������:� >����� -����%#��0�����.�!����0����#.�������������������������������������������������������������������������:� >����� �#���A�������.���������0����#.����.����.��5�6,���������������������������������:<
V
![Page 10: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/10.jpg)
6.2. Neperfektna tajnost i ta�ka jedinstvenosti ............................................... 195 >����� )#��#�!����#��1%����.�%#�������.���.���������������������������������������������������������:= >����� ��� �����.�%#�������.���.������������������������������������������������������������������������������:@
6.3. Autentifikacija ..................................................................................................... 199
B� ���2�6-*�8�7�����������������������������������������������������������������������������������������������������������
6 �,�$���D�'"6 �'���,2���6$*'&)(7)����������������������������������������������������������
6 �,�$���D�7) (���*��)(��$6 6"��+�����*�"27�(7)�-*)A�$��'�$*��,6-*�8�7����������������������������������������������������������������������������������������������������������������������<
*)F(�$��67�6"������������������������������������������������������������������������������������������������������������������
�
VI
![Page 11: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/11.jpg)
Predgovor
���� .������� �������!���� �� #�������� D� ��� 1�;4���#� #���� ��� ���������.1���.���� 8�#1�.�.�� ��� �������.�#1� �� ��%1���.�� '������.�.��������1�1�����0��0���1��0�.�����0�����.��G6����.��������������!������#�������H�� ����;�� �� #���.�.�� �� ��� ���������� ������� ��� 0�����.�� 1� #��������������!���� �����#��1%�1�1���1��#����.��1�$��0.�����������$��0.����������"��.�%#����.������!�������1�0�.��1���������.�1%����0�����.����1�#������������������0����� �� �4����� 0���.�#�� ��/.��� #��.�.�.���� ����������� �� ������1��������!����/�.�#�����'����������1��4��.��0�����1�����.�������������.�%������#�����#��#�����1;���������.�%#��� .�/�����������1�!���1��4����������������� ��0�������/�������������!����/� ���;���� 1� �#��1� �������/� ��%1���#�� #��1��#�!����/��.����� "� � 1� ����� ������!���� �������.�%���� 1�� ���� .��� 0����� D� �4�������������������0������������!����I�������!����/����;���J��+�������� ��� .�� 0��� ���� ��� 0��1� 1� ��������� ������ ���#�� #��0������� ����� .����4���� ��#��� ������ ��0���� �� ������� .�� ��� ��.�� �� ��� �4��� A��� ��� ����������� �� ����.�#3� (�0���.�� 0������� ��� ���������� �����/� ���1�.�.�� 0����������������������.��.������.���!��.�����#��0������1��.��#�� �����#1��Zadatak br. 1: �������0�������� �#��;���������.������;���1.��#�����0������������4�.�����4��������.�����%�����#���#.����������������0���.�������#�� �����1 ��I������#�����J��Zadatak br. 2: 64�����0���.�#�� �#�� ;�������� �.���� ��;���1.��#�������4�/� ��� �����#���� 0���!�� 1� 4�.��� ����4�.��������������%1�����#������;���1�0�.����1�4�.����,����4�/�1#�����#��0�����������0�.��4���0��#10���������#�/�0���.�#���Zadatak br. 3: �������0���.�#��1�!��.���1�#��0������
6�
VII
![Page 12: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/12.jpg)
�#��;���������.������;���1.��#�������4�/���������#�������������#��������%�����.���� ������� #�#�� ��� 1� �.�� #�� ��� ��#1� 0�������� 0���.#�� #���� �� 4�.��0���������4�������#��������4����0���!������������1%�.�����#��4�/���������#�;������ ��� 0���.#�� .��4�� ���.�.�� �� �#�� .��4��� #�������.������ ��� #10�� 4��4������/�������+���1����4�/�0�.���������#��0�������#��4�/������/.�������1�������0���.#��0���������0��1.���.�����I��#������0��������1�����1���#�������;�������#�#��� ��%1���#��� ��1����� ��#���� ���4�.�J� �� ��� 0��� .���� �����.1�����0��1.�1�.����.�������!���� 4�� ��� 4���� ���1����� �#�� 4�/� ����� ��� ���������� ���#1� #���%��1������#�/�#��1%��������0���.����0����������.����������/�1���1��1���.��41!��1��(��������.��������0/����������������4�/����������.#��10������4���3�
� Šta je informacija, kako se meri? � Šta je algoritamska složenost i kako se meri? � Šta su granice kompresije jednog skupa podataka ispod koje se ne može i�i
bez gubitka dela informacije? � Šta je uzajamna informacija izme�u dva skupa podataka, odnosno koliko
jedan skup podataka sadrži u sebi informacije o onom drugom? � Šta je redundansa (suvišnost) jednog izvora informacija i kako se ona može
iskoristiti? � Kako mogu da konstruišem transformaciju podataka koje šaljem ili
memorišem, tako da na prijemu ili prilikom iš�itavanja mogu da ispravljam greške u prenosu ili prilikom memorisanja?
(�#��� ��1%������ ���� 1�;4���#��� %�.���!� �� ��4�.�� ������ �������� #���� �1�����1 ���1� ��� �� ���1�������� ����� ��� ����.#��� �.���� ��.������� ����;��� 1��#��1� 6���� .������� �������!���� �� #��������� ��� �41/�.�� ���� .�����#�����1������� �������!����/� 0��!��� #���� 1�� ���� 1� �#��� ��%1���#��#��1��#�!������ �.��1�� � � 0���.����� �� ��;��� 0��#.�%��� �0���.� #������������� �������.�%��1� ���#���� ��������� 0��4����� #���� �1� ���� �� ����;����������/.������0��#������
VIII
![Page 13: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/13.jpg)
'�;4���#� �� �.���� ��� B� 0�������� 1#��1%1�1 �� 1��� �� 4�4���������1� #���� ������.���.1����6��� .���� ����� #��0��.��.��� ��� #���1� 1� �� �������.#�� �� ��%��#��������/� 0������� ���� ����.�#� �� ������ ��� #��.�#� 1��� 1� ��,2���� #���0������#�� �#�1;����� 1� �#��1� #���� �� ����� �;4�� ��� �#�� ��� ��1%����/�.���.#�/� !������� �1��� ����.�#� �� ������ ��� 0�����1� .������� �������!���� 1����������1����������������#�/��.�����F�.���!� ��#������������.�#�.� ��1.��#����� �� �� ���#�.��.�� .������� �������!���� 1� �0�����1� �� �������� �/� #��1%��/����������4�.��/�������1�������4��4������/������������������#����.�����6�� 0��4��� �;��.�� ��� �����.��!���� ���#���.�� ��� .������� 1� ����1����1�#��.����1����0��1.���.����.��������#����.������.��������#��1%����;��.��#�#��������1���������/�����������.�.��1�0�.���.�#���������4�����������/�101..���0����#�����.������/��.�����0.������/�0�������������������� ������ 4��4������/� ����� ��� ��.����.1�� 0�#��1��� ��� ����������!����� .�����#�� 0��.10�� ����;��� 1� ���� 1�;4���#1�� 10���� ��� ����.1���������/� 0���!�� �������� #���� � � ����� ���1� �4��4���.�� �.���� ���.�.���#��.�������� �� ���������� ������ ,���� ��� 0�.01��� ���1���� 4��4����� �������� ���#�� 41�1 �� ������ ��.����.��� #��� �0�.�� ��%1���#�� #��1��#�!����������.�1#.1���� #��1%��� ��� ������ ����.����� �#�������� �� ���� ���4����� ����.�����!������!�����(��#���1�� ��/���1������� ��!�����.�������#�������1��.������ ��0�����4����#�������1�;��������#��0��������1�1�;4���#������������������������� � � � � � � � � � � � � � � � � ����1.���
IX
![Page 14: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/14.jpg)
1. UVOD
'� .������� �������!���� !��.������ 0�������1�����0����� �������!���� #��� �������� ��#��1��#�!����#���0��!�����.1�.��K�0���.KK�0���K��������!���������.������������4��#���K����K1%�K��K��K��.�����.��0��.K!��K��������!����1.������������.�#�0��������0��������#����?������������1%�����!�0�����,��������������!������������K!��K����0�.K�K�����K�.K��0��K����K����K1#��#������4K����4���%#���#��1��#K!�����1��K0��1�����K.��K.�#������K%1�K�#���K1#��� ������� ����#����������.�#��� ������� ��� ���#.����#�� ��� 4�4���.�#K�.K�� #K�� �� ��� /1�K��.�%#�/��K1#K� ��1��.��.�������#1���.K��.�#���K��� �������1�.���/��K1#K��������!���� ������,�����������K!�����K�����.����!�0���K��1���������1���������K#K��K1#K�0�#1�K�K������� 0�#1�KK� �K� 0��.1�K%�� .K�� #��0��#K�� 0��K��� ��� ��� 1#K�1��� �K� 0��K��������K!��K� ����� �K#�� /K.�.�� ��.�� �����.K��� 0��.1�K%�.��� ������K!��K� ��� ��%��K.��#���0���#�K� Gin formare“� �� ������� ��� ��K%��K� .K��K���� 1� ����?��1� ����1���������� �KK���� �4��#K� ��%��1�� K��� ��� .�#��� �����K� ���14��K� 0��4�.�����K%������
10
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 15: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/15.jpg)
���� �67����(86*��9�7)� K�K� ���K� �����.����� 0��.10K� �������1� ������K!����� K� ���� �K�����������K%��� �� �0�.�� 0��/K ���� ������!���� ������K!����� (��� ���� ��#���#��������!�����������!���3�
� G2�1���1�.��!��������!��������K!��KL��� G������K!��K� ���K�� 0��� ��K�� �K� ��K� ����?���� ��K��� ��K� ���K� 4�.������K!���K%���KL��� G������K!��K�����������.���K�������0��K.#���������K��4K��.���K�����#���%������!��������#������K?K�1��#������1�4�����K�����0���K.�L��� G������K!����1������������.��#�����K�0���K�!K���K�1������.����.����#�����1�����1 KK�1��K�4����������������K�K.#�L��� G������K!���� 1� K��K��K� #��K� 0�.K�1� ��.10�K� 0��� 1� ���.KK�#��1��#K!��K��K�0���1�1��4K��.K��1������.�L��� G���� K��;K�� ����� �.�� �K�����1����� K� 0������� �.��� ��#� �1� ��0���K��?KK�������#�1.�%�����K�����KL��� G������K�����!����K����K����K��.�0��K.K#KL�����
'�1������.�.#�����.��K.1����K�%�� ��������!����0���K�������K!��K�1�3�� G������K!��K� ��� ��#�����.� ��K��KL�� �������0�.��K����� ��� �K��� ��K���� ����%��1�1� K���� G������K!��K������K%�����#����������1�����0��K.#1L�� G������K!��K����#10�0��K.K#K�1���#���#��.�#.1G�� G�������!�������0�����������/� ����0��1#�M�
"K;��� ��� �K0�K�.�� �K���#1� ����?1� 0��K.#K� �� ������K!����� 0����K� #���� �� %�.��0��.�� 1�1�� (K� 0������ 4���� �B� ��� 0��K.K#� �� ��� #K�� .K#K� ���K� 0��4�����K%������ GK�K� ��� �B� %K�KL� ��� ������K!��K� ���� ��� 0��K.#1� ���������� ��#����K%������ ,K#����;����1���.�� �K� �� ������K!��K� K.���� ���0��K.#K� �� ��K%���K�#�����1���������������
11
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 16: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/16.jpg)
���� �(86*��9�7�$��C�7)*�*C�7����+��D�����!����������!�����+��������1���.�I������Data, Information, Knowledge, WisdomJ� ��� 0������� .�1#.1�������� 0���.�#��� �������!����� ������� �� �1���.�� 1�����1� �������!��#1�/������/��1������#�����������������?������.�� ������ ���0��������0��./��������
� ����.�#���������������������� �������!�����������#��.�#.���� +�������������#�#�����10�.��4�.���� �1���.��������#���������.�����10�.��4�.���
(����!��I���#�����J�0��#���������/������/��#��0����������
����#������C������/��#����������+��
��+����������.�������������1�0�.10�#�3�� podatak��������1��4��#1����4��?���/���0�;������������������� informacija����4��#1���������������������������������?1�0���.�#����� znanje����4��#1���#���.� ���������!��1��������������
12
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 17: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/17.jpg)
� mudrost����4��#1���#����10�.��41���������#����#��1��#�!��1�#�����#��������� �� #���� �������������� 60�.�0��/� ���� ��� ���������� ��� ��� 0���.�#�����������������!��������������!�����������������������������������4����#���������������!����0�.��4������0���.�#�������#����0�.�����������!�������������;����� ����������������;��� ��1�#��� 1��� 0����� *���1� �#��1� I*1���1� �!#���1J� %���3� 0���.�#���������!����� �������� ���1������� I�������� �� �����.�%#�� 0��!�� #���� �������� ���0�.��������.�J����1���.������%�.����#�.�����������������0�����.���4�����������.�����4��������������.�����0����.����������0�.��#�.����������1���.��4���41�1 ������������������;�����.��.�.��0����!����.���#���.���.��� ���1���.��������������4�����������.����������������10�����0�� ��#������0��./�����#�.������������� 1����1���������������1�0�.��� �/����������;��.���.�����������������1���#��������1���1����1�0���1����.��#�������#.���.����.�� �.�����1� �.��.�� ���� ������� ���� 4����� ���� �������!���� ��� ���1� � �0�.��� �����������*����#������?1�������������1����������#���������?1�1%�������������������
13
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 18: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/18.jpg)
���� �(86*��9�6(6� *'A,"6�+������ ��� ���1�.�.� 1%������ ��� ���������� ����������������4���������1%�������(����������!�����.�/������������������14������������ �/�#���%����0���.�#�����������!�������0��1.��.� �������!���� ������ ��� ��� .���� ��� �������� ��1�.�� � �����%����� #��� �������!����� ��1�.��� *������ ��� .�� ��� ��;�� ���� 1��0��1.��.��� � � �� #��1%�������%��1� �������!����1� �1�#!�������1���.��� �/���1�#�/�����.��.���� ����� ��������������!���1�.�����1��.������������!���1�.�����1����1%��������������!���1� �#������1�� �������!���1� ���������1�� �������!���1� .�����1� ���� 1��#��1�.�����#������#����������!���1�����!��1���.�#���������)#0������.����� ��� 0�.�?��� ����1!�������� ���� 0��.10� ��%���1�� 0�� #���� ��1���%��!���� 4���.��� �0��� ��1���� ������ �������!���� ��� ������ �0.�������1���.������*����� .�/��%#�/� �.���� ��� 0����� ������������� �������!����/� ���;����� #����.��1���%1��������.����.���������������.�����.���#��1��#�!������.�������1�������#�.��� ��%��� 0�� ���� .�����#��� ���1�.�.���� �� ������.���� .1���������������� �������!����� #��� �� �.���� ��� ������ ���#���� #��������� 0����������������������.�.1����������� �#�������� 0������ ���� .�;��.�� #�� �������!������ �#��������� A.�� .����0���� ���%�N� '� #���%���� �#�������� !��1� ��4�� %���� #��0����.�� #��� �.�� 1�1.�������������� ������������ ��1�#�����������.���!�������.������0��������1� ��0����.���*��������.������0��������1�����#��.������� ������1�#��0����.1�1�����!���� � �� ���� ��� 0��1����� �������!���� #�#�� ���.�� ��0���.��� �� ��� ��0���������.��������������0��������I���������������������J���������� �1�����/� ���#.���� 1� #������ ����;�� ��.�.����.�� 4���� #���� ������� 1��1.����#��������������������������������!��������������1������������������
14
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 19: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/19.jpg)
!������� 0�� #���� �� !���� ������� 0�������� 4�.�� �����#�� !���� �������!����0�.��4������0���������0��������#����10��������.�����1��1����������#.��1���6�� ������� ������0������#����0�.�?1���� �0�.��� ��.�����.����0��#���� ����������!���� ��4������ .�.1� ��1���� �.��� #��� �.�� ��� 1� #���%���� 0�������������.��.��.��������������������������1�#��������#�� �������!���� 0�.���� �������.��� ��1�� 0�������� ����.��.��� ����� �� .�����1���������0�;������1#��.�����.���� 0������ ����������� �� ���.�.�� �������!���� ������� ��� 0��� ��.��� #���#��.�%��� .�/��������� #������ �� �4��4�?1��� .�4����� ������ �� 1� #�������� ��������0.���#���������1�.�����������!����'0���� .������� �������!���� ����� .�����#�� �� 0��#.�%��� �#���� ��� ��.��1� �.����#���� �4��4�?1�1� ���#���.� �� ��0���;��.� �������!����/� ��1���� /� ���/� ��������0����1.����%����,������� �������!���� 1� .�/��%#��� ���1�� #�#�� �� ����� ���1��� �� .1��%��� ����0���#������������$�����A�������4�������/���0���������#�����1�����.#�����.����A����� ��� ��������� �1� ��!�0���1� #��� .�����1� ��� ��������� 0��4����� 0�������������0��#��#��1��#�!����/�#���������#�� �����#��0��.10������ 1����1��#��0���.�1� �#�� �� ����1���1����������������!������ I����.�%#��J� ���;���� 0��1#�� #���� �� �������1� ���� 0�������A������0��.10�0���.�������������!��.����������������.���������
15
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 20: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/20.jpg)
��<� ,)6*�7���(86*��9�7��$�6��$� )��$�� ��9��2�(��,�����1� �������!���� ��� ������� $���� A����� IClaude ShannonJ� I�:�>5����J��A��������������1��.��;��%#���!��.�1�Bell Laboratories�I�:<�5�:=>J����#������1�Massachusetts Institute of Technology�I�:=>5�:B@J��
����#������$����A�����I�:�>5����J�
A��������.��;�����������������1������.�����0�.�����.�������#��1��#�!���3��� ��#�������������#��#10�0���.�#����;��#��0�����.��I������3���.��0����������CJN��� A.�����#�������4������#��1��!��������������.��#��1��#�!�����#�����I������3�#�0�!�.�.�#������9JN�
Odnos teorije informacija i telekomunikacija - )��#.��.�/��#��I,���#��1��#�!���J�� �� A������/� ������ ��.����� �� ��� ��� �����1 �� ��.���������!����0���.�����4��������������������������.�� �������#���A�������� 1� ��� �1������.������ ���1� ��� �:<@�� ������� ���������� !���#10�1� ��1%�1��������!1� ��� ������� .���#��1��#�!���� 0�#������ ��� ��� ����#1� 0���������1 �������.��0���������������4������0�������0���#�0�!�.�.��#�������16
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 21: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/21.jpg)
A�����������1������.����������13�• $���� A����� IC. E. ShannonJ�� GA mathematical theory of communication”,�
Bell System Technical Journal�������B��00���B:D<�������>��D>=>��71�O�����6!.�4�����:<@��• $���� A����� I�:<:J�� GCommunication Theory of Secrecy SystemsL�� Bell�
System Technical Journal,��@�I<J3�>=>DB�=��A����� ��� ������ 0�#����� ��� �������!����� ������ #��� �.�� 1� �1��#�� ���� �����0���1�1� #��0��#��.� �0��� #���� �� ������� ��/� ������ ��� ���1� ������#��0�����.��4����14�.�#���61�#��0��#��.������������.��0�����������#����������0�������.��0����1��������������������1��4��.��.����������#��� �#�����#����� ��.��0���� ������ ������ ��� #�0�!�.�.�� #������� ���1 �� ��� ���������.��#��1��#�!���1����1�#����������0.�.#��4�������#��0������������� .1�4�� #����� 0��4��;��� ��� A�������� �����!�� I��#��� #��1��#�!���� ����#����������1 ��� 4������51� 4������� #�0�!�.�.�� #������� �� �1�.��� ����#���0�����J��8���.��4��.�� ���������������.���.���I������Network coding)����;���#��������� ������� .������� ��1�.����� #��1��!������� ���� %����� 1� ����������;�������%�.���4��������1�0��1.1��1��������.�������!�����Odnos teorije informacija i ra�unarske nauke - $���������� F��.��� ����������� 1� ������� ����1� ��� ��� #��0��#��.� ������� ����� �����#�� �1;�������#�� ��� ��%1���#��� 0�������� #���� ��������� ��.�� 0���.#��� $��0��#��.� �����#��� �����#���1;����������������0��� I��#��0.����#��0��#��.J�� � ��#�������� ��� ��� ������ $������������� #��0��#��.�� 1���������� �� �������� ���#��#��.������%1������$������������� #��0��#��.� $� ��� 0��4��;��� �����#�� A�������� ��.��0���� C��1#���#�����0���.������#��!�����#��1���������%1�����1%�����1%�����1�#���1��� ��#��� ��0������� ����.�� �� #���� ���� ��.��0��1�C�� �.���� ��� ���� ����?1�A�������.��������������!������$�������������#��0��#��.����.���0����#.����Odnos teorije informacija i fizike - �.�.�.�%#�� ��/���#�� ��� ��.�� ��?�������.��0���� �� ��1���� ��#���� .����������#��� � )�.��0���� 1�#� ��.��� �1��� ��#���.����������#�������.�����#1����1������4�!�������#��.�������������.��!����0��0�.1��4�����
17
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 22: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/22.jpg)
Odnos teorije informacija i matematike - 81������.����� ���%���� .��������������!���3� ��.��0����� ����.���� ��.��0����� 1�������� �������!���� 1� ����������#����1�#!���������0����������.�� ����������.�����������%������4����0�1�1�0��������� �1��%#�/� �#��!�� �1%����/� ���%���� �� ����1 ���1� ���� 0��!��1�����.�� ����.#�/�����?����I.����������#�/������!���J��#����� ��!�����#0����.������#��I������error exponentJ�0���.�.�.�%#���.�.�����1�/�0�.�����Odnos teorije informacija i filozofskih nauka - 6#���� �#�%3�(�������.�������4���������� ������4������ �������� ��F��.��� 1�14�������1���#��1���� ��� 1���������� ���4����� 0��!��1��� 0����#!���� ���� #���� 1����� .�;��#1� 1�1�0����#!���� �/� 0�������� #���� ��4��� �4��������1� 0���.#��� (������ ��� ��� ���1����������0��!��1�����0��#.�%����41�1 ��������0������;������/�0��������#�������1�����4�������.��0���.#�������#����/.����0�.10�#��Odnos teorije informacija i ekonomije - *�0�.�.���� ���.�!���� 1� .�!��������4�����#�� .�;��.�� ���1�.1��� 1� �#0����!�������� ��.1� ��4�.#��� *�.� ��4�.#�� ����1����� ��.��0���� 4�����#��� .�;��.��� ��.���� ��������%��� ���� ����?1� .��������0.�����������.�������1�4�����#��.�;��.����.��������������!�����Odnos teorije informacija, ra�unarstva i komunikacija - ����������� ���#�/���%1����� ��� ���1� ����/� #��0����.�� ������ ��� �� ��� ��%1���#�/� �� ���#��1��#�!����/� ����.��� *�%1���.�� ��� ����.������ #��1��#�!������ ��#� 1�#��1��#�!���� ��%1���#�� ����.������� �.���� 1� �� ���1�.�.�� .������� �������!���� 1������1�#��1��#�!�����������#.����1.�!�����������%1���.���
18
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 23: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/23.jpg)
2. ENTROPIJA I INFORMACIJA
(�#1��.1�!��1� ��������%�.��#���������?���.�1#���#��0�.�����������1 ��.���0���%��1������0����.��#���� ��������/�4�.��������������������4������+�0������������.1�!����0�.01�������?���.��1�#���������/�������1�0����?�.������1���� 1�1�������1��.�#������0�������'����������������������%���0�����������?���/��.1�!�����#�������0�%�.�����������4��#� �������� .������� �������!����� ���.0�.����� ��#1� �.1�!��1�P�1� #����� ������1 ��Q������%�.�/� �/����� 6���%���� ��� ���1 ��.�� ��RS�� RS��T � RSQ�� 6���#10� ���1 ��.�� ���� ����%�.�� ��PURS�� RS�� T � RSQV�� �� ����.�� #���%������������4����������#�����/�����1�����������1���#���0��!��� ����������1���%���� ����� ���� �� ��4��� ������ ��� ��/� ���1 ��.��� (�����?���.� ��!����������.��� ����� ��4����P�� ��.���� 1������������������� ���� �����1 ��.�� ��� ������#���� �����Q���.����.���4�.�����4������
Na koji na�in možemo izmeriti koli�inu neodre�enosti u datoj šemi izbora P?
��.1�.���� 0����� ���� ��� �.�� ��� � �� #���������.�WPW�#10��P�� ������� 4����������.������#10���� �������������?���.��+��.����������4����������.����1�����WPW�#��� ���1� ������?���.�N� ��#�� ��� .�� 1� 0���!�01� ���1 ��� ������ ��1���0��.10� ����0�#���.������.��������������.����� �4�� ���� 1� ���13� ������� �� ������ ��� ���1 ��.�� ��� #10��PURS�� RS�� T � RSQV������.�����������1�0�.�����#����1�.�#������1�����������������/���������������daXne��0�#1����0�����.������������������.�����1 ��.�� 1�#� ��;���� ����%�.�� ������ 4���������� ��� T �Q Y WPW�� .�#�� ���0�.��������1�4�.��.�0�%������� ����4��#�3�
Da li je zamišljeni broj paran?
Da li je zamišljeni broj manji od 20?
Da li je zamišljeni broj ve�i od 12?
i td��
19
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 24: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/24.jpg)
6���/� ��0�;�������1#���#������ ���0�.��4�������0�.������ ������?���.� �������4����P���� � ��� �.���� ��� ������� ��.��.�� ��� ��� 4���� 0�.����� .�0�� daXne����0/����/� ��� ����?��������0����.�� ��������������1 ��.�� ��� #10��P����4��������������?���.���������4����P��6���;��.�������#�#��0�.�����0�.���������#��1�0�.�����.�0����������������������4���������#����0���#���������������������#����0���#���������������������#������������������ .�� ���� #��0�.������1� �/�Q����1 �/�0�.������6�� ��1��������� �0.���������%��� ��4������� .�%���� �������� 1� ���������� 4���1� #���#��� ��?1.���� �#�� ���0���0�.�������������������������4�������������QX���1����������0�.���1�1;�����0��.���1� ��� 0�����1� 0�%�.��/� ���1 ��.��� �#�� �� 1� ��������� #���!������.����� ��� 0�.������� 0�.����� ��� ���� ��%���� 0�#��� �� �� ��� ��� ���4�����.��.�������������#�����'� !���1� ��.��������� 10��������� �� ���� 0�.10#���� 0��.0�.����� 0��� ��� ���1#10���4����0�%�.��/����1 ��.��.�0���4�������������������;��� Y �Z��,������;���� 0�����.��P�0�.��������� 0���� 0�.����� I��� ��� ��� ����������� 4���� � �� �����Z[\�NJ� ��� ��� #10�� �.�� ���%���3�]���� T � �Z[\^���]�Z[\ _ ��T � �Z^�� ��#�� �����/�0������� ��4�.�0���������������0����������������0�.��������#�� ��� ������� ��� 0��� 0�.����� ne�� .���� ���� �� 0�.����� ���������#10���]���� T � �Z[`^���]�Z[` _ ��T � �Z[\^�� �#�� ��� ������� ��� 0��� 0�.����� da��.���� �������� 0�.����� 0���� �����#1� ����?1� #10���]�Z[\ _ ��T � �Z[\ _ �Z[`^���]�Z[\ _ �Z[` _ ��T � �Z^ �� ���#������ 0��!�� 0�.�������� 0�.����� �� ��4���������������0��#����������������1 �������#���.�1#.1����������#�������
����#�������.�4���0�.��������������.����.�#���4�������0��.����������0����.������1 ��� 1����1#10���Q Y �a����1 ��.���
20
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 25: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/25.jpg)
��#��� 0�.���1� �������� ������ %���� ����%��� #10��� ���1 ��.������.���#����/� ��� .��� �����.��� ���� %��� ��� .���� ����%��� #10��� �/����1 ��.��P�� F����� 1� 0���� ���1� 1� ����%���� �� ��� #10�� 10���� ����������������� ��1��� ���� %����� ��� ����%��� �� %�.���� #10�� ���������� %�.���� 01.�������/����0�%�.����#10��P���.���6�������������%���1����������6������D�ne�����%������������#��������D�da�����%���������������!��1#!���������������0�%�.����#10�����1 ��.�����0�������������������#���b�#���#�� �� 1#��������� ��� .�%��� �������� �����b������ ���.�� ��1��� ���������.��� ���� Y �Z���� ���1� ��� �������� Y ���` ��� 6��� 4���� ��� ���%����������� ���Q�� �.���� �������� ���1���� 0���.��.�� #���%��1� ������?���.�� 1� �������4����P�0��� 1� ������.��� ��� ���1� ��� 4����� �/� ���1 ��.��W�W Y �Z�.����.������#�� ���1� ������?���.�� ����� ��4����P�����%���� ��/UW�WV�� .���� ��� � ��4���/UW�WV Y ��� W�W����4�����4���4�����#�������W�W�.�0�������Šta �e se desiti u opštem slu�aju kada je kardinalnost skupa P proizvoljan prirodan
broj?
��;���� 0������.�� �.1� ���1� 0�.�������� 0�.������ � .��� �����#��� �.�� �� ��#������������ #10��� ���.�� ��0����� 4���� �������.�� � �4��#���c _ ��� 0�� �� ���/���0��������������������.��0��#10������.�������%�.��#���������.��c���c _ ������#�������������.1�!����������#�������
����#�������.�4���0�.����5���������.����.�#���4�������0��.����������0����.������1 ��� 1�1��0�.����1%��1�
21
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 26: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/26.jpg)
'#���#�� ��� 4���� ���1 ��.�� 1� ����� ��4����P�� ����?1� ��� .�0���� 4����� ���.����Z d W�W e �Zf\��.������;����������4�!�.����#�����1 ��.�������1#��.�����/��4���������Z���������.����#�����1 ��.��1�!���1���4���������Zf\����1 ��.����'�0�����1%��1��������0�.��4���b�0�.��������1���1����b _ �����4�����0��������.�%��� �������� ������ .���� #���%���� ������?���.�� 1�P���� ������ ����?1� ��/������.���.���� d ���W�W e b _ ����.��������0�.���;����1��.���/UW�WV Y ��� W�W�#������1�������?���.��1��0�.����1%��1��0���%��1���������.���������0/�����!���4������#���%���1���������� 1�������!��13�DEFINICIJA 2.1 Koli�ina neodre�enosti šeme izbora.� +�� ���1� ��4����P���W�W����1 ��.���#���%����������?���.��/UW�WV����������������/UW�WV Y ��� W�W��PRIMER 2.1�IA�/�#��.�4��J�(�#�������.��0��������/�#��.�4������.����1#10���� Y >< Y �g����1 ��.�����0�.��������0������1�����.��������������1 ���������4������;��0��#���.����� Y ]���� T �><^������������%������#���4�����������0����������/�#���.�4����$���%����������?���.��1�0�.������1����������1������0����1���/�#1�.�4�1����/UW�WV Y ���W><W Y >��$��� �� �#�� ��1��� ������!����� �� ����� ������!���� ����� ������?���.�� ��� ����#���0�����������60����������4��/�������!������.�%1����/������.����#�����.����������!����1�0��#.�%����0��������������#�����1�.�����#�/����?�������1�1 �������� ��� ������!��������� ������?���.�� 0��;����� 0��� .��� �� .������� �������!������%��������������������������4�����#��.����1����(�0�����������0�.�������;����0�.����.����.�#�����0�.�����������������1 ����������� ���.0�.����� ��� 0�.����� ����1�# h �����1 �/� ��������� '� .����1%��1� �#�� 0�.����� ���� 0����1� #10�� ���Q ����1 ��.�� 1�c ����1�#.��/�0��#10��� �� 0��4��;���ij ��������.��� �#�� ���W�W Y #Z�� .���� ���� ��� 0�.��4���.�%���� Y ���jW�W�0�.�������#������01.��1������������.����������1�#��.�������/UW�WV Y ���jW�W������1 �� 1� ��1� ��� ������jW�W Y ���j � k ���`W�W�� "������ ��� ��� 0������� �����������.��� 0�� ���#.���� �#�����.��� 0������� ������!�� �������� �� .���� ����� ���1�.��#������%�����
22
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 27: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/27.jpg)
�����!����� �.���� ��4����P��� ��������1 ��� .�4��� 0�.������ #��� �.�� ��� ���� ���I���#�����J�� �.�������� �������?������.���#���������/����1 ��.���.������4����� $��� ������ ���1 ��.�� ��4������ 0�������� ��4���� �� �� �� ��� 01.1� ���#������ .�4��� ��� ��.�� ���1 ��.��� �#�� 1� 101 ���� 4������� 0�.������ .������4������ 4������� #��� ��� ��.�� �.������1 ��.��� �����.���� ��� ��� �1;���� #�����#�����1 ��.�� �����#�� ���� ���� ������������� ���� ���� ������� ���!�����4���1����/UW�WV Y ���UW�WV���6�����0���01.�1�� ������4��#������������?1������������?���.����#���������PRIMER 2.2� �������� .�4��� 0�.������ (�#�� ��� �.��� ���1 ��.�� ��.� ��� Y ]�� �� �� <� =^���(������#���%����������?���.�����/UW�WV Y ��� = l �����:�4�.��7����� ���1 �� .�4��� 0�.����� ��� ��.�� ��� I���#�� ���J�� "������ ��� #��� � ������0�����.1��� ���1 ��.�]�^�� 0��� %��1� ��� ������� �1;���� �� �����#�� ������������� ��� !����� 4���1� ���/UW�WV�� ���1 ��.�]�^����� #��� �1;���� ���]<^���� #����1;��������.���
����#�������.�4���0�.����5���������.����������1�4������/�0�.�����1��.��1���=����1 ��.���
(�4���� ����������#����������.��������4���������������?���.��/UW�WV3��� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W Y WP`W�� .���� ��� ��mUWP\WV YmUWP`WV��������.����1.�!�������������?���.���������4�������1 ��.������������/���0��������
23
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 28: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/28.jpg)
�� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W e WP`W�� .���� ��� ��mUWP\WV emUWP`WV�� 41�1 �� ��� ��� ������.��� ���0����1 �� �1�#!����� 6�� ��4���� ��� 1�#���1� �� ������ ��.1�.����� �%�#�������3� ������?���.� ��.�� ��0���.���4��������1 ��.����4������� �#��1�P����P������.�������1 ��.���P���������01.���������1 ��.�����P��UWP`W Y � k WP\WV�.���� 1�����1 �� ������.��� ��� ���1� ��� ��4������mUWP`WV Y mUWP\WV _ ����6������������.�����.���.���1�#!����������.�����%������!�� ��� ��� ���` � Y �� �mUWP`WV Y ���`WP`W Y ���`U� k WP\WV Y���` � _ ���`WP\W Y � _ mUWP\WV��<� �#�� ���P��.��� ���� �� ������1 ��.��� .���� �#�� ��� ���1� ������.���1������ ���1� ��� .���� ���mUWPWV Y ���` � Y ��� 6�� ������!�� ����� �������� 4�.� I������!�� 4������� �������!���J�� "������ ��� ��� ������?���.�.���� 0������� �� �������!����� �� ��� �� ���1� ������.�� 1� �.��� �������������!����� �1�1 �� ��� ��� 1� ��%1������� �������!���� 0�������� ��0�����0��� 1����.���������0�01��������.�0�0�.��������4��������=� �#�� 1� ���� ����.�� ��� �.���� ���1 ��.�� �P\nR\�\� �R\�`� T � �R\�ao��� P`UR`�\� �R`�`� T � �R`�pV �� .���� �� ��� �.���� ���1� �#��4����.�� 1������.���� �.��� ���1 ��.��� %���� 1� ���1 ��.�� �/� �b q Q�0�����rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs �� 6�#�� #10� �/�0����� �� � ������ ��#��.�� 0������� ��� #10�� �� ��0�1��� �� 1� �����3�P\ t P`� Y rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs���(��� ���� ���� ���� �.��� ��4����� �.����� �������/� ��4����� 6��� ������;��� ������ ��� �� ��4������1 ��.�� 1� �#��� ��� �.���� ���� �������� �����1���� �.����� 6�#��� ��������� ��4������ �� ��4����1� #��4����������1 ��.��� $�#�� �� #���%���� ������?���.�� #��4�������� �.���� ������0�����#���%������������?���.�� 0�������%��/� �.�������1 ��.�N�6������ �������1�����1����� ���.�1��TEOREMA 2.1� ���.���.� ������?���.��� (�����?���.� �.���� �������/���4���� �����#�� ��� 1��� ������?���.�� �.���� #��.�.1���.��� .���/UW�\ t �`WV Y/UW�\WV _ /UW�`WV��� �#��3� �#��� �� ���� ��� #���� ����� ��.�� ���.���.�� �1�#!���� ������.����������
24
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 29: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/29.jpg)
/UW�\ t �`WV Y ���W�\ t �`W Y ���UW�\W k W�`WV Y ���W�\W _ ���W�`W Y/UW�\WV _/UW�`WV�����.��������?���.�� ����;����,������������1�0�.01��.��0���;��� ��.1�!��1���� �� ������?���.�� 1� ��� �������� �.1�!���� �4����1�� 1#���#�� 1� .�� �.1�!������?1�4������������#�����������.���1���������"��.���� �� ������1� ���� �� ��/�#��� .�4����� 1� #���� ��� ������ ��� ���������?���.����������1������!���#10������/�#���.�4���mUWPWV Y uvw� >< Y >���(�� �.����%������;�������.����� ���������?���.�0���!���� ������ ���1���1� ����������1� ���� ������� #������ �����#��uvw� @ Y ��� ��� ��� %������!�� ��;���� ���.��������?���.� 0���!���� ��� !���#10���� .�4���� 1��1;������� 1� �������� �.�����4�����.������4����0��#�������������������.���> Y uvw� >< Y uvw� @ _ uvw� @��'�0�.���������;������#.��� �����.������1%���Q��������/��.���� ��4�����,���������#��.��0��������1;����Q�
�\ t �` tkkkt �i Y rn�\�\� �`�\� T � �i�\o� T � s���������1 ���.����������/���4�����,�����������������#.���0�����1�����������0�.���1%�����1��;��.��������������������?���.����1;������.�������1 ��.��/UW�\ t �` tkkkt �iWV Y /UW�\WV _ /UW�`WV _ x_ /UW�iWV��I���J�(�#����#�!#��4�!��Q�01.������#����0�����1�������1�4�!��������������6���0��!�� ����;���������.�� 0��� 1�Q��������/� �.���� ��4�����\� T � � �i�� 0���%��1��#���.�������>����1 ��.���������I���J��1#10���������?���.��/����0����#��� 4�!����� #�!#��Q�1��.�0��/� 01.�� ��3�/UW�\ t �` tkkkt �iWV Y /UW�\WV _/UW�`WV _ x_ /UW�iWV Y � k ��� >��8����������������.1�!����������?���.��1�?�������.����P��1�#������4����������������1 ��.����������������#�����(�����?���.�0����1;�����.��1����1 ��.�������������������4������0�.�����#����.��4��0�.��.��1�!���1�����;�����.��������4�����(��������%�������������������� ������?���.�� ����;���� ��uvw� WPW�� �#�� 1� 10�.��4������ 4������� 0�.������������!�������������?���.�����4�.��
25
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 30: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/30.jpg)
��.����� 0�.�������� 0�.����� 1� ���� ����?������ ��.�� ��0����.�� ���1 ��.������1#1��� �� .�4���������1�#���� ����;�� ��������%���������.��#����#��������1 ��.�� �.����P�� 1;���� #����� 1� 0��4��;��� �����#������� ������?���.��uvw� WPW���#��1�#���� ����4�������0�.��������4������4�������#����(����������.���.�����������/����1 ��.������?1�4����4����1���
26
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 31: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/31.jpg)
����� )(,*6��7�� D� �+�6*�� �6-'y(6�,�� ��� �6+(�,���")*6"�,(6y������.���� �.1�!���� 1� #������ 1� ���� 0����.�� ����.�� �� �� #������ �� 0�����������1 ��.�� 0�����1�1� 1� ��#��� 0���.������ �.��1� ���1 ��.��P�� (0��� �#����#�� #1!�� .�#.� ��� �0#��� ����#1�� 0�������� ���!�� �� 0�����1�1� %�� �� ��� ��#�/���1��/��'������ �������������.�� ��1��.������1 ��.��� Y r�\� ��`� T � ��is��������� ����.�� �� 0z ����1 ��.���� �z ���� � Y ���� T ��� �6�� ����.�� �������1����������������� ��1���3����������������������������� d 0z d �� ����� Y ���� T ��� �� { 0ziz|\ ���������������������������������I���J���.��� ��4����P��������� �� #10��� ����.�� ���� Y ]0\� 0`� T � 0i^��4���1�������.������.�����4�����8������������������������������ ����%����DEFINICIJA 2.2� �#�� ���P ��.��� ��4���� ��} �#10� ����.�� �� ����P �� #�������������� 1��� I���J�� .���� �� 0���UP� }V������� ����.����� �.��� ��4�����'#���#�� ���)� ~ ���� .������1� .���������.�����������.�� ���������������?���� �������������.�� �������.����0U)V Y { 0z������ ��
Kolika je koli�ina neodre�enosti u verovatnosnom sistemu izbora?
��;���� 0��.10�.�� ��� �.�� ��%��� 0�.��������� ����� ��������1 �/� 0�.��������?1.��������4��0���������#10��������#�/����%����4�������0.�������.��.��������������������4��4�����41/� ��������.�� ��#��������0���;���������.0�.����� �0��� ��� ��� ������ ���1 ��.�� ��!���� �RS�������� ����.����� ����/���1��/��*��1�����������/�0���0�.�.�������������1 ��.�RS�����������������������#�������.�� ���0�.���������������0������������������1��������0�.������������#�������������HneM����.���������0�.��������PRIMER�2.3�(�#�������.�����.������.�����4����UP� }V���� Y r�\� ��`� T � ���s���� Y r���� ����� ����� ����=� ����=� ����� ����=� ����=s �� 6�������1 �� 4������� .�4���0��#������ ��� ��� I���#�� ��<J�� ��#� ��� ��.����.���� .�4��� #���� 1����� 1� �4��������.�� ��� 0��#������ ��� ��� I���#�� ��=J�� 7����.����� ��%1���� ��������� ���
27
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 32: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/32.jpg)
0���.#���������%�#�����4����0�.�����1��1%��1�4��������.�4��������1��1%��1�.�4���#����1�����1��4��������.�� ����B=��
����#����<���������.�4������0��������������%�#������4������0�.��������
����#����=���.����.����.�4������0�����������#����1�1��4����1��.������.�� ��0������������/����1 ��.���6%�#�����4����0�.����������B=��
��������!���� �%�#����� �����.�� 4����� 0�.������/� 0�.����� ����� .�������������.�#��*�����������0��4��������0����.�����������#���.��1�.�������#���������$��1%�������������0�.10#����������#10��/����1 ��.�������������0��#10���28
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 33: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/33.jpg)
�����#��#���������.���� ������#�/�����.�� ������.�������#�����������0����.���������%�#�����4����0�.������0��#���.������������{ 0ziz|\ ��� 0z��6�� ���%���� �� ������ ��.��0����� �� 0���.����� ���1� ������?���.�� #���%����������?���.�� ����.����/� �.���� ���1 ��.��� '#���#�� ��� ��#�� �������.�� ��0z Y ����1������#����!����������� k ��� � Y ����.����������%������!�������������� � ��� � Y ���DEFINICIJA 2.3�(�#�� ���UP� }V�����.����� �.������1 ��.���,���� ���#���%����������?���.��1�����1�������������.��0�����
CU�V Y ��0ziz|\ ��� 0z ���
'�������!����I���J�0�.��������?����.�0���0���������.���41�1 ������������������������� ������.���� ����� c �������.��� �������� 4���1� ���1 �/� �������� 1��#0������.1� 0�.�������� 0�.����� �� ��4������� ��������� �������� 4���� ����������������!1����������������1%���������0�01��������������1���������������!��4�.��PRIMER 2.4� ����%1������ #���%��1� ������?���.�� ��� ����.����� �.���������?���.�����0�������������CU�V Y ��0z�
z|\ ��� 0zY ���� k ��� ��� � ��� k ������� � � ��� k ������� � ���= k �������=� ���= k �������= l ��B�@B��
4�.����U}V���� ������ ��� �%�#����� �����.�� �1;���� #���� 1� 4������ .�4�1� 0�.����� ���I���#����=J��������� �"67�,"��)(,*6��7)��1�1 �� ��� ��� ��.��0���� �1������.����� 0����� .������� �������!����� ���� ���������� ������ #���#.���.�#��� '� 41�1 �� ���� ��� �.��� ���1 ��.�� ����
29
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 34: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/34.jpg)
����.�� ���� � Y r0\� ��0`� T � 0is �����%��.�� ��.��0��1� .��� �.���� ��CU�V Y Cn0\� ��0`� T � 0io������ ���� 0����.�� �0�.�� 0����� ��.��0���� �� 0������ ����� ������?���.�� ����.�������1 ��.��1�#��������1���������������.�� ��0�������/� ��4������#�����}�1�����������0���������0���/�b����1 ��.���.�������
C �\Z � � \Z � T � \Z� Y �{ \ZZz|\ k ��� \Z Y � ��� \Z Y ��� � Y /U�V���OSOBINA 2.1�)�.��0����1�����������0����������.�� ��b����1 ��.�������#����� ����� ������?���.�� ��������1 ��� �.���� ���1 ��.�� 4��� ���������/�����.�� �� ���1 �/� �/����� 6��� ���1�.�.� ��� 1� .����� ���� �� 0����.���2�0������0���!�0�����������������������#����.�������1#���#��������������.������?��������#���0���������1�������0��.0�.��.�������#������.�� �����1 �/��/�����'�.���0�����1���.��0�������0����������#��������������?���.������������.�������1 ��.��1�#������������1�0����.������.�� ��0�������/��/�����+�� ����.�� �.��� ���1 ��.�� P �1� #���� ��� W�W Y � �� ������ ��#�����1�������?���.� 1#���#�� ��� 0��������� ����.�� �� �/���� ���� �#�� 1� ������?1�4��� �����#��� ������� �;��CU�V d /U�V Y ��� ��� 6��� .�� ��;���� �������������#���.���'�.1��/1�0�.��4�������������� ��������LEMA 2.1� (�#�� 1�0\� ��0`� T � 0i����\� ���`� T � �i���� ��0������ ����.�� �� �����.���4���������1 ��.��Q��,�����;�3�
�0z k ��� �z diz|\ �0z k ��� 0zi
z|\ �0���%��1������#�.��;���#���������#�����0z Y �z�� �#���� �1�1 �� ��� ������ � Y ��� � k �� ��� ������ ������%��� 0�������� ������.��� ������1�R�� �� 41�1 �� ��� ����� ��#���#��� �1�#!����� �;�� ��� ����� � d � � ��� 61��������%��1���4���������%������!�����1���#���#��.�����%���������.���1�#!����1�#�������� �0��������� .�����.��1�4����#����� .�%#��� ���#����� .1� .�%#1� ���4������� Y ���10���� ������4�.�������1��������#�.�����.�����I���#����>J��
30
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 35: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/35.jpg)
����#����>�$���#��.��1�#!������ ����.�����.��1�.�%#�������
�.������3��� �z0z d �z0z � ���0����3��
�0z k �� 0z�ziz|\ d��z ��0z� Y � �i
z|\iz|\ � Y ���
(�����1�����������#��1%1����������3��0z k ��� �z� �iz|\ ��0z k ��� 0z�i
z|\ Y ��� ���0z k �� �z0ziz|\ d ���
-������ �������#�.� �;�� �� ���#��� �����#�.�� �#�� �� ���� �#�� ����z 0z� Y �� �����#�������������#�����0z Y �z����#��0������������1�������4�����3�CU�V � ���� Y ��0z k ��� 0z�i
z|\ _�0z k ��� �� � d �� �iz|\ �
31
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 36: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/36.jpg)
�������#������#�.���;���#���������#�����0z Y � �� ���6������1��������#���������� 1�.�����1��TEOREMA 2.2
���CU�V Y ��� �������� ��� ��#��1�1� .��;��� 0�� ��� ��0�������� ����.�� �� �.���� ��Q����1 ��.��� ��#��1�� �� ��.�;�� ���� ��� ��0������ #���� �������� �����#�������.�� �����/����1 ��.���������� "�&(���"67�,"��)(,*6��7)�
�� �#�� 1�UP\� }\V���UP`� }̀ V���� ����.����� �.���� ���1 ��.�� ��� #�����;��WP\W Y WP`W���}\ Y }̀ �� .���� ��� ���U}\V Y �U}̀ V�� 6��� �� 0�.���1�����.1�.����.�������.��0������������������0����������.�� �������������0����������1 ��.��R��1���#����.��1����1 ��.����� '��;��.���������!�����n�\� ��`� T � �po Y �n�\� ��`� T � �p� �o���.��0�.�%�����#����!���� ��� ����� k ��� � Y ��� � ���1 ��.�� %���� ��� ����.�� �� �1��� ���1.�%1����1#10�1�#���%��1�������?���.���,���������1�#���1�����������.1�!������ 0��.�� ��� ��1���� ��� �� .�#�� ���1 ��.�� �� �� ��#������������.����� ����.�����������#1����1���I���#����BJ��(��0�������1��4����1������ ���1 ��.�� �� ����.�� ���� 0� �� ���50�� �#�� �� ���4���� 0������1 ��.�� ��� ��1���� ���1� �� 4���� �� ���1 ��.�� �� ����.�� ����� �� �� ����#�������4������1������1 ��.��.�����������1�������1�4���������1 ��.�� �� ����.�� ������ �� ��� ������1���� �� ��� �;��{ ��a�|\ Y�� ��� { ��a�|\ Y ��� �������.���� ��� .�� ��0��!���� 0\ _ 0` _ x0Z _ �\ _ �` _ x�i Y ��� ��������]0\� 0`� T � 0Z� �\� �`� T � �i^������0����������.�� ��b _ Q��������.���,�����;������ ������!��������?1���.��0��������������������4����
CU0\� 0`� T � 0Z� �\� �`� T � �iVY CU0� �V _ 0C�0\0 � 00̀ � � T � 0Z0 � _ �C ��\� � ��̀ � � T � �i� ���32
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 37: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/37.jpg)
����#����B� ����#������.������.������1 ��.��1�#���������0�������1�4����1�������1 ��.��������.�� ����0������50���������1�������1����������1 ��.��������.�� ������ �� ����������1 ��.��������.�� ������ �� ��������� $�*�$,)*�+�9�7��)(,*6��7)�
�� �n�\� ��`� T � �ao Y �U��U\V� ��U`V� T � ��UaVV�������#1�0���1.�!��1������ �n�\� ��`� T � �ao����#��.��1������1�#!����0����������4�������� '��;��.����������#�.���n�\� ��`� T � �ao Y �n�\ _ ��`� ��� T � �ao _ n�\ _ ��`o�U ����f��� � ����f���V�������#1���0����1�����.�� ���\� ��`� T � �a�����b � ���<� � �\a � � \a � T � \a���������.������.1 ���1�#!��������������<�� �2'F�7()�")2�F�()�5��6 �),(�$�F�.�� �� ������ �.1�!���� 1� #����� �� �#��� ������.������ �/��1� ��������#0������.��0����1;1�����#�� �������4�����(�� .�#��0����1;������ �� ��������� ���0�������1� ���������� �� 1�� ���� �� �#��� �/��1�0��0�1�������?������4�.�#� �����14�.�#� ��� ����%��� $��� �.�� �� ����.�� �� ���1� ��%1��.�� ���� ��� ����?���� ���0���������?�����.�#������0����#������#�����#����/��1�������1�1���#���������
33
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 38: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/38.jpg)
4���� ���1� 0��1%��.�� 0��� 1����� ��� ����������1� ����?���� 1����� '� .������1������������� ��������!�����DEFINICIJA ��1%��������%�����(�#�� ��� ��.� 0��.��� ����.�� �� I��8��J� �� ��#�� ������1�#!���� #���� 0����#���0��.���������.����/��/������1�#10�������/�4��������.�#������;�3�
�� �#10�] W�U V �d �^��������?���#����0��0����¡�����#������������ }] W�U V Y �¢^ Y }] W�U V �Y ¢^ Y ����
,����������1%��������%�����6�4���� I�J� �� �������������.� �� ����1 ��� ��%1������ ����.�� �� ����?���������/� ��� �1%���1� ���%��1�� 6�4���� I�J� ��� finitnost I#���%��.J� �1%��������%�������6�4���� �������� #���#.����1� ��.��0��1�� ,�� ���%�� ��� �#�� 4�� ����.�1��� �;�������� <� 1���� ��� ��#1� ���1� ������?���.����� ���� 4�� ��0��!������ #��� ����������.��0��#1����1�������?���.���'� !���1� �����/� ���������� 1�� ���� ���� 1� ��.�!��1�� "����.������ �.��1����1 ��.��UP� }V���;���� 0����1;�.�� #���%�1� �1%���1� �����4�1���� #���� 1����������.���z����� � ��U�\� ��`� T � ��iV��"����.�� ����� ����£ Y �z������.�� ��0¤U�zV�� ��}��� ������ �1.���� ����.�� �� �1%����� �����4������ �� �4��1.�� �#�� #���%����1%����������4��� ���1!���� ����������.������.������1 ��.����.����1��.������.������ �.���� ���1 ��.�� ��;���� �����.�� �� �1%������ ���%����� ��/�����.����������.��0�����1%��������%�������������.�������P����.�����������
CU£V Y �� 0¤U�V��¥ ��� 0¤U�V �������� ��.��0��1� ��;���� ��.��0��.���.�� #��� ���1� ������?���.�� ��!����1� ����.����1%���������%��������)�.��0���� �1%����� �����4��� �� ��� �/����U� Y �� � Y �V�0��#������ ��� ��� I���#����@J��
34
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 39: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/39.jpg)
����#����@�)�.��0�����1%����������4���������/����
(��I���#����:J��0��#������1���.��0���������%�.����0���?���/��1%����/����%�����
����#����:�)�.��0���������%�.����0���?���/��1%����/����%����
����=�� '�26"()�)(,*6��7)�(�#�� ��� ����.� ����.����� �.��� ���1 ��.��UP� }V��� ��#�� ��� ���� �.��1���!�������1%��������%�������(�#������4���������������������������) ~ ���
Kako poznavanje ove �injenice uti�e na neodre�enost sistema?
35
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 40: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/40.jpg)
6��� ����?��� ���1#1��� ���� ����.����� �.������1 ��.��U)� ��V�� 6��� ������1���������.�� ��0¤W�U�V Y ¦§U�V¦§U�V � �����#��� � )��(�����?���.� ������ ��� ���� ���� �.��� ��� ��.�� �� 1������ ��.��0������1%��������%�������#�������0����.��¨3�CU£W)V Y �� 0¤W�U�V��� ��� 0¤W�U�V ���
(�#��������1%��������%�����������������.������.������1 ��.��UP� }V���������� Y ]������<^� ��� Y r��=� ����=� �����=� �����=s���) Y ]���^���� ������ ����?���� ,�������4��1�������.��0������.���3��U�V Y ���=�������= � ���=��������= � ����=���������= � ����=���������= Y ��B=
4�.��$�#����3��0¤U)V Y ��>�=� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y ��@� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y �������4�����3��U�W)V Y ��ªW«U�V�����ªW«U�V � �ªW«U�V�����ªW«U�V Y ���@�������@ � �����������l ��B��:�4�.�����>�� '+�7��(��)(,*6��7��'�����0������1���1%� ����#�#������.��0�������1;������.�������1 ��.�������������������/� 0���������/� ������ 0����� ��.��0���� #��0�����.�� �.�������1 ��.�� ���� 0�������%��/� 0���������/�� ,�#�?��� #�#�� 0��������� ��4���� 1��������#��0����.�� �.�������1 ��.�� ���� �����.�� ������0����������1.�%1����������?���.�0���.���/�#��0����.���.�������1 ��.������0���������/��(�#��1�����.���.�������1 ��.��U�P\� }\V�1��#��������������1%����������4��������.���U�P`� }̀ V�1�� #���� ��� ������ �1%����� �����4���¬�� ,���� ��;���� �������.��
36
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 41: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/41.jpg)
���1;���� �.�� n�\ t �`� ��o �� ���� ��� } ��0����� ���1;����� ��0�����������.�� ���ª�U®�¯V�� ����������� ���� 0�������U�� OV � �\ t �`�� ,���� ��;�����������.��.�����.��0�����������.����.���3��U�� ¬V Y � � � ��� ¬U�� °V ���� ��� ¬U�� °V¯�±�®�±�
�U�V Y � � ��U�V������ ���U�V®�±� ��U¬V Y � � �¬U°V������ ��¬U°V®�±� �
U kakvom su odnosu ove tri entropije?
TEOREMA 2.3
+��4����#����0����1%����/����%��������¬��;�3��U�� ¬V d �U�V _ �U¬V�
+��#������#�.���;���#���������#��1�£���²����������1%��������%�����.������� ¬U�� °V Y ��U�V k �¬U°V�
6����� ������ ��� ��� ������?���.� ���1;����� �.���� 1�#� ������ ��� 1���������?���.�� 0�������%��/� �.����� *������ 0�.�%�� ��� ��?1�4��� �����.��I#��������.�J������¬��#����#���������1�.1���1��������%#���1���1�������?���.��1��4�������4����'��1%��1��������/�����¬������������%#��������?���.����������1��;��.��������#������#�.���,���������������;�����������.��������������������4����'��0�.����1%��1���#�������� �1%����� �#.���£ Y U�\� �`� T � �iV�� %���� ��� ��0������ ����.�� �� ��.����0¤U£V�����1;������.��0������.��0���������.���3�
�U�V Y ����U�V ��� ��® U�V ����������������0������0�������/�#��0����.���#.������1���.���3�
37
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 42: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/42.jpg)
���U��V Y � � ��U�\� �`� T � ��[\� ��f\� T �pV®��T�®³´��®�µ��T�®¶ ���1%��������%������\� �`� T � �i�1�1�������������������#���������#���;�3���U�V Y ��\U�\V k ��`U�`V kkk ��pU�pV�LEMA 2.2 +�� 4���� #���� �1%���1� ������������1� �����4�1� I�1%����� �#.��J��£ Y U�\� �`� T � �iV��;�3�
�U�V d��U��Vp�|\ �
7����#�.� �;�� ���� 1� �1%��1� 1�������� �������.�� �1%����/� �����4����\� �`� T � �i� PRIMER 2.5� (�#�� 1��\� �`� T � �i��������� �1%����� ���%���� #���� ��4����1������.�������������.�� ������=��������3����U�V Y ��=�������U�V Y ��=������· Y �� � � � � b��,������3�
�U�\� T � �aV Y b k �U�\V Y b������.�������1%��������%��������¬��(�#������0���������������!����¬ Y °��
Kako ovaj doga�aj uti�e na neodre�enost veli�ine �?
60����������¬ Y °�����������0�������0¤U�V�1�1���1���0����13���W°U�� °V Y ��� ¬U�� °V�¬U°V �
0�����1�������.��0���������#�������¬ Y °���.���3��U�W¬ Y °V Y ����W°U�� °V������W°U�� °V�® �
'�� ����#�� ������0�������3�38
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 43: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/43.jpg)
�U�W¬ Y °V � �U�W°V���#��1�����1%����������4������������.������3�
��W°U�� °V Y ��U�V��U�W°V Y ����U�V������U�V Y �U�V�® �
6������� #���� 1� � ��� ¬ ���������� �0���!���� 0���������� ¬ ���� ������������?���.� 0������������� ������ ��� 1����� ��.��0���� ��;���� �������.���%�#���1�1���1���.��0��13��U�W¬V Y��¬U°V�U�W°V¯
�.�����1�.�����%�#����������.��U�W°V�1�����1����O�� �����������1�������.���.�0��1����/���.��0���3�
• �U�W°V �D� '����� ��.��0���� �����4��� � �1� ����1� ��� ����?��� �����4���!��1�¬ Y °��• �U�W¨V�D�'�������.��0���������4�����1�����1��������?���¨�• �U�W¬V�D�6%�#����������.�1�������.��0����
TEOREMA 2.4�+��0����1%����/�0���������/�����¬�1�#��;�3��U�� ¬V Y �U�V _ �U�W¬V�
�����U�� ¬V Y �U�V _ �U¬W�V��
DOKAZ TEOREME 2.4�"�;����� ¬U�� °V Y �¬U°V��W°U�� °V��0�����.���3�
39
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 44: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/44.jpg)
�U�W¬V Y��¬U°V�U�W°V¯ Y ����¬U°V��W°U�� °V������W°U�� °V¯®Y ������ ¬U�� °V���� ��� ¬U�� °V�¬U°V Y¯®������ ¬U�� °VU������� ¬U�� °V � ��� ��¬U°VV¯®Y �U�� ¬V � �U¬V��KAROLARIJ 2.1�+���#��0����1%����/����%��������¬��;�3�
�U�W¬V d �U�V��7����#�.��;���#���������#��1�����¬����������DOKAZ KAROLARIJA 2.1� ��������� 0������ ���%������ ��.��� ,�������� ������4�����3�
�U�W¬V Y �U�� ¬V � �U¬V d �U�V _ �U¬V � �U¬V Y �U�V�0���%��1������#�.��;���#���������#��1�����¬����������KAROLARIJ 2.2�I-�������������0���������%����J�(�#��1��\� ��`� T � �i��1%��������%�����,�����;�3�
�U�\� �`� T � �pV Y �U�\V _ �U�`�W�\V_� � � _�U�pW�\� �`� T � �p[\V��DOKAZ KAROLARIJA 2.2� �#��� ����������1#!������+�������.���;�� ����.� ���.����������<�����.0�.���������;�������#�����(�#������p Y U�\� �`� T � �pV��(�����1�.���������<���0��.0�.�#�����1#!�������4�����3�
�U�\� �`� T � �p� �pf\V Y �U�p� �pf\V Y �U�pV _ �U�pf\W�pVY �U�\� �`� T � �pV _ �U�pf\W�\� �`� T � �pVY �U�\V _ �U�`W�\V _ x_ �U�pW�\� �`� T � �p[\V_ �U�pf\W�\� �`� T � �pV�$�#���;�����Q _ ����;��������#��Q��40
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 45: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/45.jpg)
PRIMER 2.6
��� ¬U���V Y ��� ¬U���V Y ��� ¬U���V Y \� � ��� ¬U���V Y �� ��U�V Y �°U�V Y�̀ �·���U�V Y �¬U�V Y \���������3�
�U�W¬ Y �V Y ���W°U���V ��� ��W°U���V � ��W°U���V ��� ��W°U���VY ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V ������� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�VY ���= ��� ��= � ��= ��� ��= Y ����U�W¬ Y �V Y ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V � ��� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V Y ���
�U�V Y �U¬V Y ��� ��� �� � �� ��� �� l ��:�@����U�W¬ Y �V e �U�V e �U�W¬ Y �V��
�U�W¬V Y �¬U�V�U�W¬ Y �V _ �¬U�V�U�W¬ Y �V Y �� �¸·¹��U�� ¬V Y � ��� �� l ��=@=��¸·¹�
6��#�����;�����������������;��,���������<��U�� ¬V Y �U¬V _ �U�W¬V�
6�����3���=@=� Y ��:�@� _ ��>>>>�
����#�������������#��1��#�!������#������
41
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 46: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/46.jpg)
$��������0�1���1��������0�������3�� d �¬W�U°� �V d ���� � º� ° � »����¬W�U°� �V¯ Y ��¼½�¾¿R�� � º��
#������%�.�������� �� .������������.��!��� 7����#�.� �CU£� ²V Y CU£V _ CU²W£V�����%��������!���#10���������?���.��.�����.�������������?���.��1������U�V���������?���.��0������0��#��#�������U¬W�V��PRIMER 2.7�I�����������.��%���#����J�,������������.��!�������.���3�
À Y ��¬W�U���V �¬W�U���V�¬W�U���V �¬W�U���V� Y �� � Á ÁÁ � � Á��6��#��� �� ���� ��� ���Á�����#�� 0������� (�#�� �����U�V Y �� ��U�V Y � Y � � �� ,������3�
�U�V Y �� ��� � � U� � �V ���U� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y U� � ÁV� _ ÁU� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y Á� _ U� � ÁVU� � �V��
�U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �U� � ÁV ���U� � ÁV � Á ��� Á ���U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �Á ��� Á � U� � ÁV ���U� � ÁV Y �U¬W�V�
�U¬W�V Y ��U�V�U¬W�V _ ��U�V�U¬W�V Y ��U¬W�V _ U� � �V�U¬W�V Y �U¬W�VY �U¬W�V���.�������������?������������#��������.��%����'������?������0���������1�������/����������;����0�����.������;�3�
�U�� ¬V Y �U�V _ �U¬W�V�(�#����3�
42
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 47: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/47.jpg)
Á Y ���� ��U�V Y � Y ���� ��U�V Y � Y ��@��,������3�
�U�V Y ����� ��� ��� � ��@ ��� ��@ l ��B��:�¸·¹���¬U�V Y ��: k ��� _ ��� k ��@ Y ��<>���¬U�V Y ��� k ��� _ ��: k ��@ Y ��B<��
�U¬W�V Y �U¬W�V Y ���: ��� ��: � ��� ��� ��� l ��<>:��¸·¹����� ¬U���V Y �¬W�U���V��U�V Y ��: k ��� Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��@ Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��� Y ��������� ¬U���V Y �¬W�U���V��U�V Y ��: k ��@ Y ��B���
�U�� ¬V Y ����@ ��� ���@� ���@ ��� ���@ � ���� ��� ���� � ��B� ��� ��B� l ���:�:�¸·¹��
43
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 48: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/48.jpg)
����� �(86*��9�7����(7)(���)*��Šta je informacija i kako se ona meri?
6���������������������������������0�����1�������?���.���������������!�����.���������4�.�����������#���%����0�������������?���.���60���!���� �1%����� ���%���� ���� ����?���� ������ ��� ����1� �1%���1� ���%��1�0���.�����1� �������!��1�� $���%���� �������!���� ��4������ ��� ���1� �0���!�����1%����� ���%���� ���� ����?���� �� ����� ��� ���1� ���1�.1�1 �� 0�������������?���.���)�.��0������������������!����1�.����0��������������� 6��)*"�9�7)��� 6-�Â�7����%����� ����� �����.������ ��� �.���� ���1 ��.��UP� }V �� ��0�����.�������1%������0��������������#����1����������.��� � ��� � ������.�� ���0¤U�V��6�� �1%����� 0���������� �0�1��� ������ �#0������.� 1� #���� 1� �/����������?����� ����� ������?���.�� 1� ���� �� ���� �#0������.��� ��� ��.����.��0����3�
�U�V Y ���ªU�V ��� �ªU�V�®�±
$�������������#0������.������0������������?��1������.�� � ���(�#���.�������� ����� ������?���.��� ���./����� ������?���.� �U�V ����1#����� ����0�.������1� ������?���.� ��� *����#���U�V�D ��� Y ��U�V ������#�� ��� #���%�����������!���� ��4������ ���?������ ���� �#0������.��� �.���� ��� ��.��0���� �������1%����� ���%���� �����#�� #���%���� �������!���� ��4������ �0���������� ������#��#��.����������������!�����6���������������� ������;�����0�;����3�
�� �1�1 ����� ��� �������!���� �����#��0���������.��0����������������1� �.���������!����#�������.��0�������#����#�����1���������������.����������!�����������4�.��44
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 49: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/49.jpg)
�� �4������ #���%���� �������!���� ��� �.�� ��� �� ���1 �� �������!���� �1%��������%�������4����4������������������.�� ����#���������!�������#������������PRIMER 2.8����������1%�����0����������(�#�� ��� ����.�� 4������� �1%����� ���%������� #���� 0����� �����.�� �� �� �� ������.�� ���� � ��� � Y � � � �� ��0�#.����� 60���������� ������� �/����4���������#0������.�����1�.1���1���4�����1�#���%�����������!���������#�3�
�U�V Y �����uvw���D ���uvw����(��0�������1�����4�!���1���%� ����0�����������/����4�!���������4����#���%�����������!���������4�.���-������������ ���� ��� �����.������� �� ������ ���� 0���.��.�� �1%���1�0��������1�������1� ��� �.��� ���1 ��.��UP� }V�� $���%���� ������?���.�� ��� ���������U�V������� �����4��.���#0������.�����0��!��������(� �����0�����.������#.����1%���1����%��1����� �������#������?���) ~ ���6������0���.�������#1��������!��1���
Šta je sada njena mera?
60���!���� ����?����¨������� �1%���1� ���%��1���1� 1���1� 0��������1� �£W)��#�����������������������.������.������1 ��.��U)� ��V��6����������%���1���������.�� �3��ªW«U�V Y �ÃU®V�ÃU«V������#��� Y� ¨��6�������.1�!�������.�����0���!���������?����)�� ����������?���.� �����#1�1��������.��0���3��U�W¨V Y ���ªW«U�V ��� �ªW«U�V�®�« �
������ .���� �0��������� ����?����¨�� ������ ������?���.� �� 0�%�.����U�V�1��U�W¨V��$���%�����������!������4������.���0����#�����������#���U�V �� ��U�W¨V��
45
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 50: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/50.jpg)
"��� ������������������4�.��1��0�.����1%��1���4�.�#��41�1 ������U�W¨V���;��4�.�� �� � �� ��� �U�V �� .�#�� ��� �0��������� ����?���� ¨ ���;�� ��� 0�� ��������?���.���.������������!��������.�����������!�����$���� ��¨����� ��� �0���!��1� .�%��� �����.�� ������ ������1 ��.����� .���� ����U�W¨V �Y ���� 0�� ����U�V �� ��U�W¨V �Y ��U�V�D ��� Y ��U�V�#���%���� �������!������4������.���0����#��������#����.��0�����+�.�� �� %�.�� ��.��0���� ��#�� �1%����� ���%���������� �� �������!���� �� ����� �4��I������Self-informationJ��6��������.��0�����������1%��������%�������1��������������#��#���%�����������!����0�.��4�������0��.���1%��������%����� ��4�������.���������������#��!�0.���������!�����1;���������1�������������0����3�
�� ����.��1���.��0��1������ 1������1��������!��1��������� '+�7��(���(86*��9�7������.���������1;��������.������.������1 ��.��U�\ t �`� �V���0����1;�����1%����� ���%���� � ��� ¬ �� ���.0.����� ��� ��� �0�������� ����1� �����.�² Y O � �`��� $��� �.�� ��� ������ ��� �.1�!���� ������ ������?���.� 1� 0�����1�0���������� ¬ ���� �1�1�� ���#��� ����� ��� ��� �0���!���� ���;��������UOÄ ²V Y CU²V�4�.���������!���������.����1�����1����0��./��������������¬��61����%��1� ���� ��.�� ��#����� 1�������� �������!����� ������� #���#�� �������������!�����1%��������%����¬����������1%���������%����¬�1�!���������?1.����0���!���� �¬ Y °�������� �� ��0����1�����.�� �� �1%��������%�������.�#�� �.�� ���� ���� 0�.���� 1����� ��0������ ��ªW¯U�� °V Y �Ã�ÅU®�¯V�ÅU¯V ������ �#��� � P\��6�����%�������.�#�?����������������?���.�1�0�����1��1%�����0��������������.���� �0���!����¬ Y ° �� ���;�� �������!��1� 1� ����1� ���� �� $���%���� ����������!�����������UOÄ £V Y CU£V � CU£WOV��
46
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 51: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/51.jpg)
61� ���%��1� ���� ��.�� ��#����� 1�������� �������!���� �1%����� ���%����¬������ ����������.����#���#���������0���!����¬ Y °�������������!��������1�����1%���������%����������?���� ���� �� 0�������%��/� �0���!���� ��� �%�#����� �����.�� ��#����/�1�������/��������!�����
ºU�Ä ¬V Y��U°V·U°Ä �V Y��U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯
"���%����ºU�Ä ¬V��� ������ 1�������� �������!���� ����?1� �1%����/� ���%��������¬��6��� 0���.����� ������ ��� !��.�����/� 0������ .������� �������!����� �.��#.�������� �� ���� ����� �������!���� � � �%�#����� �����.� #���%���� �������!���� #��1���4����������#�����0�������������.��¬��(�����1�$��������������#����.����������1�#���U�W¬V d �U�V��TEOREMA 2.5�ºU�Ä ¬V � �����#�����U£Ä ²V Y ����#���������#��1�����¬���?1�4������������1%��������%����������.�����������#�����1���������������!�����UOÄ £V���;��4�.��������.�������#����1����������������#�����������.���.�%#���%�#������1�#�0���.�����(�����1���.���U�W¬V Y �U�� ¬V �� ��U�V�� ��4������ ��� �;�� �ºU�Ä ¬V Y CU£V _ CU²V �CU£� ²V�����������4���������.�������������� ��,��������TEOREMA 2.6� ºU�Ä ¬V Y ºU¬Ä �V �� �1�������� ���� ������%������� ��.��1���������������!����������������0�������.��0�����TEOREMA 2.6a
�U£Ä ²V Y CU£V � CU£W²V��U£Ä ²V Y CU²V � CU²W£V�
�U£Ä ²V Y CU£V _ CU²V � CU£� ²V���U£Ä ²V Y �U²Ä £V��U£Ä £V Y CU£V�
47
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 52: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/52.jpg)
������� -*�8�F$�� �*)+)(,�9�7�� �(86*��9�6(65,)6*�7�$�C�")2�F�(����1%�����0������������#�������������1���#��.����+������1%�����0���������������¬��A��������������!����������13��U�V� �U¬V� �U�W¬V���ºU�Ä ¬V��(�0���������������0�����.�!�����������!����5.�����#�/�������������������Æ���¬Æ�0�����������#���� ��������1� 0���������������¬�� ��0�#.������Æ Ç ¬Æ�4� �� 1���������� �.� ����1.������1����1����������.���1����1�ÈÉ�����Ê�5�0�����3�
~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~{( ), , , ( ), ( ), ( ), ( ) , }c c cF X Y X Y X Y X Y X Y X Y �� � � � � ���3�
~ ~
~
~
~ ~
~ ~
~ ~
~ ~
*( ) ( , )
*( ) ( )
*( ) ( )
*( ) ( ; )
*( ) ( | )
*( ) ( | )
*(( ) ) ( | ) ( | )c
X Y H X Y
X H X
Y H Y
X Y I X Y
X Y H X Y
Y X H Y X
Y X H X Y H Y X
�
�
�
�
�
�
�
� �
�
�
� �
� �
� �
� �
�
�3�* ( ) 0� � � ������ 1��������0��/���.� �����#�.�� �� ����.�����1� �����1���;������4�.�� ������������������.�������#������1�0���.�������A��������������!������������� X ���Y ��1������������1���4���3������
48
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 53: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/53.jpg)
/,;| .
H I ��� �
�6�����������������������4�����(��0�.�������%����������#�� ����?1���.��0���� ���������%#���������!�����)�.��0��������#��������������1��������!��1��,�#�������� ��� �1%����� 0���������� X ���Y ���;���� #���.�.�� A������� �������!�������������0���1� F ������� *� �����.��#���I�5�������������1%�����0���������� X ���Y ��2�#�����1���.��������4����#����.�����#������.�.�.��������!���� X ���Y ����;������4�.����������1 ��.�����#������.�.�.���������������������4�����(��0�����������������!�����.�����#������.�.�.3�
( , ) ( ) ( ) ( ; ),H X Y H X H Y I X Y� � ��������.�.�����#�������.�.�.�3�
~ ~ ~ ~ ~ ~( ) ( ) ( ) ( ).X Y X Y X Y� � � �� � � � �
'���.�#1�����������%#��0�����.�!����A������/�������0��1��.����������I�::�J��+������%#�� ��.��0���� ��� ��#��.��� �1%����� 0���������� X ���Y �� ���� ���/�����.��0���� ��#��� 1��1;������ ���������� ��� �� ( , )H X Y �� 6�� ���%�� ��� �#�� 1�0���������� ��������� ���/��� ��.��0���� 4� �� �4��� ���/��/� 0�������%��/���.��0���� ( ) ( ) ( , )H X H Y H X Y � ��0��#����������I���#������J.�
����#������� ���1%�����0����������
49
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 54: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/54.jpg)
����1����������3��( , ) ( ) ( )H X Y H X H Y� �
�3�0 ( ) log 2H X n� � �
-���n �0���.�����4�������1 �/������.�� X ����� '����� ��.��0���� ���� 1����� �������.� 0���������� X �#���� 0���������0��������1�Y �I%�.�����������#��#�!���J����0���%���1�������.��0��������Y ��6�������4���������4��#����.��0������3�
( | ) ( , ) ( ).H X Y H X Y H Y� � ������������%#��0�����.�!����������%�����I���#������J��
����#�������'�������.��0����
����1����������3�( | ) ( ),( | ) ( ).
H X Y H XH Y X H Y
��
����'���������������!���������#���%��1��������!����#��1�������1 ����4�.�����������0������������#��������0������������#�������0����.����1����6�����%��������;���1�#��1��#�!������� ���� ����;�� #���.�.�� 1� !���1� 0�� ������ ����������� #���%�����������!���� ����?1�0���.�/� ��0��������/��������� �����������%#��0�����.�!����������%�����I���#������J��
50
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 55: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/55.jpg)
�
����#�������'���������������!����
����1����������3�ºU�Ä ¬V Y �U�V � �U�u¬V��������ºU�Ä ¬V Y �U¬V � �U¬u�V�
�����<�� *)2�,�"(��)(,*6��7������.������ ��� ����.����� �.���� ���1 ��.�� ���� �.��� #10������1 ��.������#��1�£���²�#���0�����.����1%�����0�����������.���������%���3�
ËU}ª� �V Y���U�V ��� ��U�V�¬U�V®�± �(���������.������.��0���� ����$1�4�#�2��4�������������!����I$1�4�#52��4��������.������J� ����?1� ��0������ ��� �1%����� ���%���� £� �� ²�� ��#�� �� 1� ������� ���������#���.����.��������0����.�����������;��1������.��%��.��������3�
Ìn}ª�}o Í ÌU}� }ªV�� ������!������������#���1��3�
ËU}ª� }V Y ËU}� }ªV Y ����#���������#��13�
}ª Y }��51
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 56: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/56.jpg)
���.����1����#����!���������3������U�X�V Y �� �����U�X�V Y �� 0�����U0X�V Y �¢� $U}ª� }V Y ¢��
1#���#��0�.���������#�������0¤U�V h �����0ÎU�V��������.������ ���1;���� ����.����� �.��� ���1 ��.�� U� t �� �V �#���� �����!����� 0��� �1%����/� ���%����£� ² � �� ������������ �.���� U�� �¤V ��� U�� �ÎV �1����1#�������������������0������������.�� �3���U�V Y���� ¬U�� °V� �¬U°V Y���� ¬U�� °V�®¯ �
6���%�������¤ k �Î���0����1�����.�� ����U�V k �¬U°V��,�����;�3�ºU�Ä ¬V Y ºU¬Ä �V Y ËU}� }ª k }V�ºU�Ä ¬V Y��¬U°V·U°Ä �V Y��¬U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯ �
�#��1����������������������������.���U�V����U�W¬V���4�����3�ºU�Ä ¬V Y���U�V ��� ��U�V _��¬U°V®�¯® ��W¬U�� °V ��� ��W¬U�� °V
Y���� ¬U�� °VU��� ��� ¬U�� °V�¬U°V � ��� ��U�V®�¯Y���� ¬U�� °V ��� ��� ¬U�� °V��U�V�¬U°V®�¯ ��(�����1���/�1�������������������1���������������!����ºU�Ä ¬V������.�0����������!���� ���1;���� ��0������ ����.�� �� 0���� U�� ¬V ���� ��0����������.�� ������0����1��1%��1����/����������.����.���� �� %�.�� �� �0��������� 1�������� �������!���� 1����� #��� �������?1�����.������1%��������%����#����1�����1������.�������.���#10����
52
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 57: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/57.jpg)
����� A)(6(6"����,)��,�F$��,)6*�7���(86*��9�7)�$���� A����� IClaude E. ShannonJ� ��� 1� ���1� I�:<@J� ����1����� .�����1� ���#��0����1� 0���.�#��� A����� ��� 1.����� ��� 0�.���� �1������.����� ����.� ���#��0����1� 0���.�#�� 4��� �14�.�#��� 6�� ������%����� �� ������ .�0�� ��.��0���� ������%��������,�%��������.���.��0�������������������������!�����.�%���������.�.�.�%#�� 0������� ������� A����� .���� ��� ��� ���1 �� #��0����.�� 0��1#�� �������1�4����14�.�#���1��.�0���#��0������4���1�������������.���.�%#�������1 ��1����.��4�����������$��!�0.� ����������0�������1� .������� �������!���� ��#��1��#�!�������A�������� ���0�������� �� ��� 4�� �������� #���%��1� �#.1����/� �������!���� 1� �����#��� .�#.1����%���3�H)�.��0�������.�.�.�%#��0�����.���#���������1�����?��������1��#���#�����������������!����0��������1�0���#1�����#������.�#.��1�����#1���#��������#� 0������ 1� 4������� ����.����� ���#��54�.��� I�� ���� �J� 1� ������#��������1%��1�� ��.��0��������� ������� 4���� 4�.�� #���� �� ��/.��� 0�� ��1� ����������������#��M���,�#�?���A��������������.�����1����14�!����0����#���#��0������0���.�#���6��������� 0����.�� #��� .�0�� ��.������� 1� .�������� '� #��0������ �� �14�!�������#��0������� 0���!�� ��������1� 4�.�� �.�� #��� ����������� 0���!��� '��.�� .�������#�������.���.�������Ï����;�������.���������A��������0�#���������������?��������� �� 0����.��� .�.�.�%#��� ��4������ �� ��.��� ������ ��.�������� 0�.�����1�#!�����UÏV�#�������������1�#!�������.�01���.��������,�������#�;������#�����Ï�.������.���#���%������.�����������������UÏV���4�����.�0���#��0�������$���� �� ����� �� #��0������ 4��� �14�.�#�� I.��� 4��� ��.������� ����Ï Y �J�� ���4��������1 �� .�0��� #��0������ ����U�V Y ��I������ �� ��� ����4�.�� #��� #���%��� �����0��1#�J�� �1������%��������4��������1 ��.�0��#��0������4����14�.�#�����.�0����.��0�������,���������#��0������0���.�#��4����14�.�#����.�0����.���������������%����.�����1��� #������1� �������!������ ������� ,������� �� #������1� ������ 0�.������1������.����� ������%����� ��� 0���������� �/� ������.���� ��� #��0����1�0���.�#���,�������� ����0���4��������������#�#�����������������1� �� 0����1�1������ ��� ������.���� 6�� ��?1.���� ����� ��#�� ��.�� �� �����!�� ��� 0�.�������
53
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 58: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/58.jpg)
�0.������/� 0����������� '� ��.�#1� 0�������� ��������� ���� #�#�� ��� A�������������� ����� �������!����1�0�����1��1%������0��!��� �������1� .�����1����#��������������4����14�.�#���������� �6 )26"�(7)��+"6*��+�����������������1�4�4���.�#1�L������L��,��4�4���.�#���������#����4���#������������� �#�� =�� �������� #������� ��#�� #������ ���� 1� 0���#1� =�� �������� ���#���I���J�� ���4�� ��������1�#����1�����1%�������%����'�.��������.1�.��#������ ���#��0������ �������!����� �����1���#���+��� �����.1�����4����#����1�0���������� #1 �� ��� ��#1� ���� 0��#�� ��.����.��� ��.���.�%#��� #����1� #��1� ���4����������%������������ ����%��3��
1 2 3{ , , ,...}.X X X X� ����� X �0���.�����!��1�#����1��0������#�1�#��������� 1X ����1������#�1�#��������� 2X ��� .�#�� ������� ����� ���� ��� ����������� #���%��� #10� ��4���� ���� 0��1#�� A �I����4�.J��#�������������#������#����������!�����������
Ð Y ]½� ¸� Ñ� Ì� R� Ò� w� m� ·� Ó� c� u� Q� b� v� �� �� Ô� ¾� ¹� Õ� Ö� �� °� ¼� Ô½¼Q½c^��.�� �����������1�1���1���#�����;�������#����.��4���������������������.������#��0����1� ���4����� #������� ��� ����� 0��0�#.���� #���#.���� 1� #������ 1� �1%�����0����������#����1�����1������.���������4�.�� A ��9����#���������4�#���%��������1%����/� 0���������/� I�1%����� 0��!�J�� ��.���� ��#���#�� ��%���� #�#����;�����������.��.�.�.�%#����4����#�������������� A)(6(6"���6 )2����*6$����9�7)��������0��#���!�����1�.��������5���#��#���#.������.�.�.�%#�������.�������/���1��/�#���#.����������.�� ���/��B�#���#.����1������#����#���������������.�%���������4������#���#.����������#�����������������#��I��0�������1�0��1��.����������I�/��������:<@JJ�3�
xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd
54
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 59: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/59.jpg)
�4������.�#.������0����������������.������.����4� ���*��1�.�.��������1���#���0�����!����1��%����1��������0��.�.�.1���������� �0��#���!���� 0���� ����� 5� 0����.�� ��� ��� �� 1� 0��������� ����!���� ��#������ ������1� %�� �� �����1��/��(��0������� 1� �����#��� ����#1� ���� G�H� �� G�H� 1�%�� �������G#H���G�H�� �#����1����������1��#���#.����1����������������������������1����� ���� 0�.���� ����.�� �� ��.��41!���� #���#.���� #���� �������� �����������#1��,�0�%���.�#.������������������������#�3�
ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl
������ �0��#���!������1���� ����� 5�#���0��./���������������0��.0�.����� ��.�.�.�%#���������.������������������ ���#���#.����� �.��41!����#���#.�����������;���1�0�.01��.��.�1#.1�1�����#��������1���.������0�.����#���#.����#������%�� ���������1����#��#���#.�����6�����%�����0�.���������.�����?1�#���#.�����'����������1����������#���#.�����������0��./������#���#.������������1������������� ��� �/� 0��./����/� #���#.����� (�� 0������� ���� G1L� �� ��.#�� ������I����.�� �� �� �����J�� ��?1.���� �4������ ��� ��� 0��./����� #���#.��� G�L������.�� �� #���#.���� G�L� ��� ���� ������ � �� I����.�� �� �� ��::=J�� ,�0�%���0������������������� ���������.����#�3�on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at
teasonare fuso tizin andy tobe seace ctisbe
������ �0��#���!���� .�� ��� ����� 5� .�� �� ������ ��� ��.��#� ��1���� ��������0��#���!����� 6��� #���#.��� ����� ��� 0��./����� ��� #���#.����� ���� ��� 1���������������� �/�0��./����/�#���#.�����'����������1�� ��.��41!���� ������ ���.�����.��0���.�����1��,�0�%���.�#.�������������� ���������.����#�3�in no ist lat whey cratict froure birs grocid pondenome of demonstures of
the reptagin is regoactiona of cre
����� ��� ��%��.� �� �4�%��� �����#��� .�#.��� 0�0����%��� 1�%����� ��� �#��� ����������/�#���#���60�.�� ������ �0��#���!��� -� '� ���� �����1�� #������ ��� 0���������� .�!���������1%�����0��!����.�.�.�%#����4���������������1�0������#��0��#������4���������.�����0��#.�%����6��������������.�����.���������.�����#���.�����.���
55
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 60: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/60.jpg)
������� )(,*6��7���+"6*��'�6 (6�'�(����*6$����9�7'��6 )2��)�.��0���� ������ ���4����#����������������.�.�.�%#��0������� ��������#�� ��������� �����.���� ������� ����� �� ���� 4���� ��;�� ��#�� ����%1��.��� ������ ������0��������������3�
� Y ]�\� �`� ��� T ^� %���� ���������.�������.����������#������#���������0��#���!�����1�.��������5�#���#.����1�.�.�.�%#������������#����������4�.��0�������#������.�����;���� ��1��4�����(�#����41������%��������4�.���'������1%��1����.��0����������������?�������������3�
� Y ��� �Q��4�.���0��#���#.��1��+�������#��.�#.�����%��������4�.��Q Y �B�� �#�����#��������4���0��!�������������������#������#���������.��0�������������� Y <�B=�4�.���0��#���#.��1���������0��#���!����0���������5�#���#.����1�.�.�.�%#�����������1#10���4����#���#.���� �������� ���%���� ����4�.�� �� ����.�� �� �#��� i5.��� #���#.���� ���0����.���)�.��0����������1�.����1%��1���3�
� Y��� ��� �����p�|\ �
$���.� ���0��#���!��1�0������������.��0���������#���.�#.�����<��B�4�.���0��#���#.��1���#��4�����4�����������1 ����������������������0��#���!������1���������5�}×W����#��41���1���������.�� �����������#���#.����Ó��41�1 ��������0����.�0��./�����#���#.���·��)�.��0������3�
� Y�}��}�W× ��� ��}�W×�p×|\
p�|\ �
$���.� �� �0��#���!��1�������� ��1���� ������ ��.��0���� �����#��� .�#.�� �� 4�.�����>�4�.��0��#���#.��1��0���1������������������0������56
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 61: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/61.jpg)
�������0��#���!����.�� ������� -�}ØW��×��#��41���1���������.�� �����������#���#.����c��41�1 �����1�0����.��0��./��������#���#.����·� Ó��)�.��0������3�� Y�}��}×W� �}ØW×��p
Ø|\ ��� ��}ØW×�� �p×|\
p�|\ �
60�.�� ������ �0��#���!��� - Ùa�0���.����� 0���b�#���#.���� )�.��0���� 1� �0�.����1%��1���.�3�� Y ���®� �b��UÙa ��� ��UÙaVV�
�������1���� �����Qa����1 �/������.��Ùa�����#.�%�����������1 ������%1��.����.��0��1������������������1�#!������$���.� ����.�����.1�.������A��������4���1�.���1����0��!������.��0��1�����B�#���#.���������#�������4�.������������.��0����0�� ������� #���#.��1� ���� 4�.��� "���� ��.����� �� ������ ���1 �� ��� 0���� �� 1�A���������4����#1������<�� A)(6(6"��,)6*)���+��$6 6"�(7)��)+�-'��,�$��A������� .������� ��� #�������� ������ ������ �� ��� #��!�0.1� 4��#�#���#��������� ��4�� ��1.����������#��!�0.��1������0��4��� ����� �������!����1�#�����������4�.��.�����������������3�
Ð Y ]½� ¸^ ���#� #��� ��� �0��#���!��1� �1�.��� � ����� D� 1� ���� �����1� �#�� #���#.��� �����0�����1�������4�.��
ÚÛ ÜUÚÛV $�������%� 0.5 0
4 0.5 1
*���4�.57
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 62: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/62.jpg)
��PRIMER
6����������0���!�� a a a a a a a a a a b b b b b a a a a a
$��0�������0���!��0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0
�'������1%��1�#���.����������4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������4�.�����#� #��� �0��#���!���� ��1���� ����� D� 1� ���������1� �#�� #���#.�����;�� ���41���0���.�����������������������.���4�.���
ÚÝ ÜUÚÝV $�������%�� 0.45 �44 0.45 ���4 0.05 ���4� 0.05 ���
*���B��4�.��PRIMER
6����������0���!� aa aa aa aa aa bb bb ba aa aa
$��0�������0���!� 0 0 0 0 0 10 10 111 0 0
58
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 63: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/63.jpg)
'������1%��1�#���.��������<�4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������B�4�.������#�#����0��#���!����.�� ������� D�0��.���#���#.����1�0���.�������4���������#��!����1;�������������������.�4�.����
ÚÞ ÜUÚÞV $�������%aaa 0.405 0
bbb 0.405 10
aab 0.045 1100
abb 0.045 1101
bba 0.045 1110
baa 0.045 11110
aba 0.005 111110
bab 0.005 111111
*����==�4�.��PRIMER
6��������� 0���!� aaa aaa aaa abb bbb aaa
$��0������ 0���!� 0 0 0 1101 10 0
'������1%��1�#���.����������4�.������0���.���������@�#���#.���������%���4����4�.���0���������#���#.��1������==�4�.����
59
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 64: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/64.jpg)
��<�� 2��6*�,6*�7�$��*� �VEŽBA 1.
��������#���%�����������!�����1�������0�����3��#�� ��� ����.�� �� 0��1#�� � ��� 0��1#�� ���;�� ����1� #���%��1� �������!���� ���4��1.��� $���%���� �������!���� ���� �������!����� ���;��� 0��1#������������� ���������.��#����1�#!����3�
º® Y ��� � ��® Y � ��� ��®���������0������.�� ��0��1#�����64������ ��� #���.���� ������.��� �� ������ ���� .���� �� #���%���� �������!���������1�4�.������(�#�� �������!����� ����� ��������� <� 0��1#�� �����#�� ����.�� ��� <ß �� 6�����.��#���%��1��������!�������;����1��#���0��1!����1#10�1�#���%��1��������!����1����%�.����0��1#���
�à������` ��á��â����` ��á��â����` ��áã�â����` ��áä��������` ��ä�â����` ��ä�â����` ��ä�â����` ��ä���Y ��� _ ��� _ ��� _ ��� Y �@�¸·¹v¿½�
������ �#�� ;��������� #��1�����4������� ��� <� 0��1#��� #���.�� �� ���� �� 4�������#���I�#��0��1#�����#���������0����4�.�J3�Poruke $����
M1 ���
60
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 65: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/65.jpg)
M2 ���M3 ���M4 ���
*�����������.#��0��#����.��45���(���������.�� ���3�
åå�0���æ���=�����=�����=�����=çÄ�$���%�����������!����1��������0��1!�3�
åå�5����I0I�JJ�������������
'#10���#���%�����������!���3�åå�5����I0I�JJ5����I0I�JJ5����I0I�JJ5����I0I<JJ�
���������@�VEŽBA 2
)�.��0�����1�������0�����3�)�.��0���� ��������� 0���%�1� #���%��1� �������!���� ��� ������ �������!����� ����� ��������������������������
� Y ���� ��� ���è[\�|�
4�.���0���������0��1!���
61
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 66: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/66.jpg)
(�#�� ����� �������!���� ��������� >� 0��1#�� �� ���� ��� ����.�� �3���]� <ß � � <ß � � @ß � � @ß � � @ß � � @ß ^�� 6�����.�� 0�������%��� #���%���� �������!���� 1��#���0��1!���1#10�1�#���%��1��������!��������.��0��1����������������%��� #���%���� �������!���� ���;���� 1� 0��1#���� �� 1#10��� #���%�����������!���3�
�à�����` ��ä�â����` ��ä�â����` ��é�â����` ��é�â����` ��é�â����` ��é���Y ��� _ ��� _ ��� _ ��� _ ��� _ ��� Y ��>�¸·¹v¿½��)�.��0���������3�
Cà= �\ê ���`�ä ��\ê ���`�ä ��\� ���`�é ��\� ���`�é ��\� ���`�é ��\� ���`�é�=���5���=���`���=�5����=���`���=�5�����=���`����=�5�����=���`����=�5�����=���`����=�����5�������=���`����=5��������=�â���=�â����B=�â����B=�â����B=�â����B=�����=�4�.���������#��;���������#��1�����4���������/�>�0��1#���#���.�� �� ���� ��4�������#��� I�#�� 0��1#�� ��� #������� �� 0�� �� 4�.��� ��#������� 4���� 0��1#�� #������;�������#��1���������4�.�����@��
Poruke Kodovi
M1 ����M2 ����M3 ����M4 ����M5 ����
62
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 67: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/67.jpg)
M6 ����7����.����0������#�������3����1#����ë�ë<ë>ë�Ä�$�������0��1#����������������Ä� �#�������0��1#����ë�ë<ë>ë�Ä�*�����������.#��0��#����.��45���(���������.�� ���3�
åå�0���æ���=�����=������=������=������=������=çÄ�$���%�����������!����1��#���0��1!�3�
åå�5����I0J������������������������������������������
'#10���#���%�����������!���3�åå�1�I��J����������>�
)�.��0���������3�åå�51�I0�ì����I0�â�I0�����JJJ�
����������=����
63
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 68: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/68.jpg)
VEŽBA 3.
)�.��0����4���������������1�������0�����3�$��� 4�������� �������!������ ������� ����� ��������� ���� ��� 0��1#��� .������.��0���� ������ ����� ��� ����.�� �� 0��1#��� )�.��0���� 4�������� ��������������������������3�
� Y �� ��� � � U� � �V ���U� � �V�
���#�����<�)�.��0����4���������������������0��1#���������#�/�����.�� ��
�������� �������!����� ����� ��������� 0��1#�� �� ����.�� ���3��]� <ß � � <ß ^�� '�.����1%��1���.��0������������3�� Y �� �ê ���`ãä��U� ���êV���`U� � �êV�Y�Y ����B=����`���B=�D ����=����`���=� Y�Y ������� _ ���=� Y ���@���bitova inf./bit
'#���#��4��������������!�������������������0��1#���������#�������.�� ���3��]� �ß � � �ß ^��.���� ��� ��.��0���� ������ ��#������� �� �������� ��� 0���.������� ���I���#�����<J��'�.��������.�� ��1����� �������3����� \̀ ���`����U� �� \̀V���`U� � \̀V���
64
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 69: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/69.jpg)
Y����=����`���=�D ���=���`��=� Y�Y ���=� _ ���=� Y ��¸·¹�·bÒ�X¸·¹��������������������������.��0�������#�������I��4�.J��*�����������.#��0��#����.��45���(�����������.�� �����4�������3�
åå�0����æ��B=�����=çÄ�åå�0����æ��=����=çÄ�
)�.��0����0���������3�åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�
C���������@����)�.��0������1���������3�
åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�C����������
VEŽBA 4.
6�����.�� ��.��0��1� 4�������� �����Ð��1;���� =�� 4�.��� 1� ����1� ��� �����1�1�������1���.��41!��1��(�������������������1%�������%������#��������#���� �������.�����#���1��� �í Y îÛï��ïÛ��Ûï��ÛÛ��ïÛ��ïÛ��ïï��Ûï��ÛÛ��Ûï��Ûï��Ûï��Ûïð�
'�0����#���#1��0��4���� ������0����� �%�����������1��� �� ������!�� I��������������J��'#10���4�������1 �/�0��������<�������� ����.��.���.��#���0��1#����������.������#10��P� Y ]��� ��� ��� ��^��"�����.��#�������0���.��������ñ³�1�����.�� ��0��1#��P�1�4�����������1��
00 01 10 110.24, 0.12, 0.48, 0.16;S S S Sp p p p� � � � �
65
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 70: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/70.jpg)
)�.��0��1� ��������?1����������%���#���1�0�����1���� ��.�����4����1������.����������4�����������4������4����0���%�1������.���.��0����0���������4�.1��00 00 01 01 10 10 11 11
log 2( ) log 2( ) log 2( ) log 2( )
0.24 log 2(0.24) 0.12 log 2(0.12) 0.48log 2(0.48) 0.16 log 2(0.16)1.7925 / 2 0.8962
s s s s s s s sH p p p p p p p p
bit
� � � � � �
� � � � � �� � �*��1�.�.������ ��@:>�� 4�.�� 0���.����� 0���%�1� #���%��1� �������!���� #���� ������;����0���������4�.51������.��4�������������#��0����;����1#10���4����4�.��������������4������������.����.��0����� Y ��@:>�����4� ����1#10���<<�@��4�.���������!�������;���������#��1%���������������������0��1.����1%�������4������������������!����������#���%��1��������!������4�.�����������������;������������������.�����.���#��.��#��0���� �� �������!����������#���� ���������.��%�.���1%�����4��������������'�0��#�����.��1��������1%��������#���.��0�1����1%�����������.�������1���������.�����.#������1���0���������������.�� 0���/� �1%����/� ������� '� .��� �1%��1� ��4������ �� 0�1�����1���.��+��0�.��1��0����.��0�1���������.��������0/��������0���.������.�.���#�������0�����;���(��,�����0����1�0�.���������4�����1%����/���������
VEŽBA 5:
2�#�������.��0��������.��0������#���1�������0�����3�GA���������.��0���H����0���01.�1����������.�����A�������:<@��)�.��0����1�.���10�.��4��.������������������#����%�#������������!��������;�����#�������?������#�� ���0����.������.�� �������#������?���� ����� ����.��0������;�� ����%1��.��#��3�
� Y �����n��U��Voò�|\ �
���������������������.�� ����4����/�.���������#���'��0��#�!�������#���.���� ������.��� ����� �� �4��� ��#���� �1#������ �� 4�������� �������!���������;������ +�� 0���.����� 0���.#�� ��4������ ���1�.�.� �� ��;�� .1��%�.�� � #�������.�������#��!��������?�����66
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 71: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/71.jpg)
2�#����� ��.��0���� ����� ��� ��4���� ���%���� 0������� 0��#�� #���� �� ����?1�����.��0�����#���0�#����������0������������#����1#10����4���1�0�#���������!�����.����� ��������.��0��#�/������.�� iH ��������· Y Q É b����� ���#1����#�� 0�#��� ��� !��.��� ������� 0������� #���� �� 0��4��� ����?1��� �����.���.��0����� �4�����������.������;����1�0��#��������.��������������%�����������?���� ������!���������� �������!��1���4�.�� ���4�������.������������������������������%��1�0�������#�������#����.��������������������������%����0���������.��0��� �����A���������������0��#���!����#������ 0������1�1� �������������� �������!����/� ������ 0��������� ����#��� "�����.���#�������.��0������0�� ���0�� ���������%����0���������'�����0�����1�0�#��� ����#�#����;������#������������%1������������!���1������.� ��#�� � � ��#��� ��.��� #���� ���� ��� #���.���� ��� ��.��� ��� ��%1��������#�������.��0�������0������#���0�#�.����.��4����.���������4���0����.�1��4��.������4���1���#��I������Image processing).
���4�������#�3�
����#�����=�6������������#��I��4��<J�
'�;�������#��1���.��4��#�1;�������0��#��3�åå���#����������Ió�����1�1��7�-óJÄ�
åå���/�ôI��#�J�67
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 72: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/72.jpg)
$����.��������#�����*-�������.��1�@54�.�1���#1�I������Gray-scaleJ3�åå���#������4����OI��#�JÄ�
åå���/�ôI��#�J�
����#�����>�-��O5!����I@�4�.J�
���#��#����.����� ���*-��1�����������#���.��@�4�.�������0�� �������0�#����I������� ��� 1� ��� �0���� ��� �� ��� �==J�� '� ��.�#1� 0��#��� ���� /�.������ ����������������#��!�������#��������������.���.��0������åå���/�.I��#�JÄ�
����#�����B�C�.������@54�.�����#��
68
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 73: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/73.jpg)
6���?����������.�� ������#��0�#��������!�3�åå�æ4����!����4���ç���/�.I��#�JÄ�
åå�0���4����!�X�I�==ì�<�JÄ�'#���#��0���.�������#1�#����������!������������0�#����#�����4�������;��������#����1�����0����.������.�� ��������.����.��0��1������3�
åå�C���51�I0�ì����I0�â�I0�����JJJ�C������=�@�=:�
�4������ �����.�� �0���.����� 0���%�1� #���%��1� �������!���� 0�� �������0�#��1��+�����������1���#1�4�������� ���0�.��4���nU�== k �<�V k @o Y >:=><�4�.���� ����#������� ����%1�������.��0��1� ��1#���#��#��1�����0��#��C���������������.������ #��������� 0�.��4��� ���� ���nU�== k �<�V k =�@�=:o Y =�B<>��4�.���� (�� ������%��� 0�� ���� ��� 4����1� 0������� .�#�� �.�� ��� �������� #���1� �#��!1� ����@@�@��4�.�����'����� ���#���#1�0���.�� ������#�����0��.���������.��0������������ ���!�����.�� �������� ��0�.����3�
Koji regioni slike sadrže najmanji informacioni sadržaj?
*�%1����� ��#���1� ��.��0��1� ��� ���%��1� 0������� æ:� �� :ç� �� 0��#��1����� ���1�.�.�0��#��.�0��.�����0�3�åå0��������.�1�I:JÄ�
åå�2C�����.��0O���.I��#�JÄ�åå������!I2CJÄ���1��I�!�JÄ�
69
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 74: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/74.jpg)
����#�����@����#�����#�������.��0����0��#��.�0��.�����0��
*������� ��#�� ����%���� �� ��������� !����� 4���� 0���.�����1� �������� ������ ��� ��#������ ��.��0������ ��#� �� ��������� 0���� 4���� 0���.������� 1�������������#�����#��������.��0������������� �.�0��.�����.��0��#����0���0��#��#������;����0��!��������������%����������������#�����.��0������
åå���/�I2CJÄ���1��I�!�JÄ�
����#�����:�� ���.��0��#��.�0��.�����0��
70
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 75: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/75.jpg)
����#�������7���������C�����������%��#�������#1����0�������=��
'�0����#������1�����������#�����4����0��1#�����1���1����#����������.�� ���71
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 76: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/76.jpg)
3. EFIKASNO KODOVANJE INFORMACIJA
'�����0������1���.��1������#����������#��.�����������������!����1�!���1�#��0������0��1#�����.�������1�1����#���������1�������������#�����1�!���1����#����#��0�������#������1������.����������!��#��0������0���.�#������.����#��.�1#!�������#���/�#��0������/�#����������0��#.�%���0��4����#����������1 �������.����/���1�1 ��A��������#��!�0.1������ ������?���.�� ��.�� ���#���� #�������� ��#��.���� ������ �������!���� 1��������������4�������#��� �� �� ��� ��� ��.��0���� ������ �1������.����� ������%����� ��� #��0����1�0���.�#���������������������?1�����������1��%�#���1������.��1;����#����������0������������.�����0�.����3�
Šta je razlog da uopšte nešto kodujemo?
��.����.��������������������.�3��� $�������������#��0������I��4�!���������1�����J��� $�������� 1� !���1� #���.�.���� 0������ 1� 1������ �1��� ��� #����1�I������������1�����J��� $�������� ����� .����.�� 5� � 0��1#�� 1� ��.10��� ���� �1.����������#�����!����
6�� ��#!���� �� ��4��.�� 0�����0�#.������#�����#����������#��.���� �������������!�����
72
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 77: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/77.jpg)
����� $6 6"�(7)�7) ()��2'F�7()�")2�F�()�������������!�������������.���0��1#����������#��!����4�����
����#������$���������������!������������
6����� ����� #�������� ������ I������ Source codingJ3� ��4��� ������'õ �1�.���1.#1�.���.�����������1���������1 1�#���1���%�+õ�����I���#�����J�����4����1�������.��#10��#������������alfabet���������!��������� je diskretan��#���������4�.�#���%���� �������������4�.������������arnost��������*����.�� ���� ���� 0��1#�� #���%��� �1;����� (�� 0������� ������ �� ���1���.��.�����������#��.������������������!�������������4�.�����.�������#�����#�1�0��1#������#��.�#.����$�����.�����������0��1#��������1�kodne re�i��$����� ��%�� 1� �#��!�� ��4���� ��� kodnog alfabeta�� #���� ��� 1� �0�.��� �1%��1������%�.��������4�.��0��1#���8����������������!����������ö÷����������ö�4�������#��¹��#�������#������#������ ������.���� .�� ��� ��0���� �1%����� 0��!�� ���� ��.��� ����4�.��� øù ��7����.��������%�����.����������1%����/����%�������øù����������.1�����4����1��#���.���1.#1�¹�������.�� ����}Uö÷ Y Õ�V������� ��� 4��� ���������� 1#���#�� ����.�� �� ��4����Õ����� ����� ��� 0�����/����.����/������.�3�
ú÷� ��úû³� øù���}Uö÷ Y Õ�Wö\ Tö÷[\V Y }Uö÷ Y Õ�V 73
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 78: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/78.jpg)
����� �������!���� ��� .�!��������� 1#���#�� ����.�� �� ���.������ ��4����}Uö÷ Y Õ�V�������������������¹��$����� ��;���� 0���.��.�� #��� 0����#������+ Y �U'V���� ����4�.�� ������üý�1�#10�#����/���%��üþ���#����+É����%����#10��/�#���%��/��#��!���.������/���� ��4���� ��� #������ ����4�.��üþ�� .���� 1� #����� ��%�� ����.��� #������ ������0��#10�#10��+É��DEFINICIJA 3.1�(����1������#������$��� ������� ��#��.���� �������!������ ������ �� ������ �����1�������� #���� �������%�.�����4������������#���0�������1������%�.��#�������%���8���������
1z Í 1� � �z Í ����0��� %��1� ����z�#����� ��%� #���� #���0������� ��4��1� ������1z�� '� ���� ��#!����4�� ���������������1�������#��������PRIMER 3.1�$��������#���%������������������#����1;�����#������������/���4���%���/����#��������4�.����������#����%�������������4���3��.�%#��IkJ���!�.��I�5�J��(��0����������)���$���#��1�1���Hk H��Hk�5M���H5�k�5M����0�#.������1�1 ��������!����#������#��������0��1#��������0�������%��/���4����������.�����1� #����� #���� �� ���1� ��� �����.��� ��%��� ��#����.��� ,�#�� #����� �� ��1������������ ���� ��������%��� ��#����� #������ $��� ��/� #����� 4���� #�����#��!�� #����/� ��%�� #���0������� ��������%��� ���� ������� 0��1!���������!�������������DEFINICIJA 3.2�7�������%�����#�����#������$�����#��.�����������������!��������������������%�����#��������#���������#��4����#����#���%����#��!��#����/���%����������%������������������0��1!���������PRIMER 3.2�(���������%���#����
74
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 79: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/79.jpg)
(�#����������.�������.�����4����a��b���c�����1#����������������#������#�������.����������.�����4������0���aaabcaacc��$������������0����#�������� � ����4 � �����! � ���
�������������%����(��0�������0����#���#�������������aaaa����4� ����#�������%��������.������.��#��������#��1���������cc��(��0�.������%���0����#�����#��������#���� ��4�.��1�.���1���������#1����.�����#�������0��1#���aaaa�����cc��PRIMER 3.3�7�������%�����#����#����(�#�����������������!����#���1�0��./������0�����1��(�#�����#��������������
½ � ����¸ � �����Ñ � �����;������#���.����� �������#��� ��������%����(0�����������������#��1���1�����abb�������������1�cb����?1���������%����#����������0��4�������%����1�.���0����#���#�����I������Prefix – Free CodeJ��7����� ����¼��1;����b�Ub � �V���� 0����#� ��#��� ��1���� ���������#�� �� ���� �#�� ���0��/�b���4����1���������#������#.������1�¼��(0���½¸¸½����0����#������½¸¸½¸Ñ��DEFINICIJA 3.3������#���#������+��������#�����#�;��������0����#����#��1�����1����������#�������%������0����#���#����1����#��������%���PRIMER 3.4������#���#����(�#�� ��� ��.� ����� �� .��� ��4����½��¸���Ñ�� +�� ���� ����� 0������ ������� 0����#����#��������
½ � ����¸ � �����Ñ � �����#�#��3�
½ � ����¸ � �����Ñ � ��������0����#����41�1 ����������#��������4���a���.����������0����#�1����1�����#����0���.�����#���1���%�������4���c��
75
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 80: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/80.jpg)
Odakle poti�e naš interes za prefiksnim kodovima?
6��������;��1������4����������������OSOBINA 3.1
��#�� 0����#��� #��� ��� ��������%��� ��#����� "�;��� ��� ��0����1.�� ��� 0�.������������%���#�����#������1�0����#����#����.������.��0�#��1���������������DEFINICIJA 3.4�,���1.�����#�����#����$��� ��� .���1.��� ��#���� �#�� �� ���� �#�� �� �#�� #����� ��%� 1� 4���� #��� ���1�#����/���%����;����#����.��1��.��������.1�#���������.���1.�#����#�������%���OSOBINA 3.2
$������.���1.�����#�����#�� �������#�� ���0����#����,���1.�����#�����#�������� ��/.���1������������ 0��0���� #����/� ��%�� ���� %�#����� ��0� �� ���/� ��� 4����#�������� 4���� �4�������� 6��� �� �.���� �� ����� �� �������#�� 0��.�����#�������$����#�����#���������������0���������?1�4���������#������I���#�����J���
����#������$�����0����/�#�����
��
76
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 81: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/81.jpg)
������� N5�*(���,��2��$6 6"������������%���0���.�������1%������0����#��/�#�����1�n5�����.�4����(����!��I���#�����J���.��1��.����������.���������.�4����
����#��������������.������������/����.�4���DEFINICIJA 3.5 N-�����.�4����N-�����.�4������.�4���1�#�����#��1�1.�������%�����������.�b�����������������#.���b�%����5��!��� ��.01��� n-����� .�4��� ��� n-����� .�4��� 1� #���� ����.�������1��.1��14��1��PRIMER 3.5�N5�����.�4����
����#����<���������.�4���I���J��,��������.�4���I���J����.01���.��������.�4���
77
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 82: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/82.jpg)
F����\�0�#����%����`��1#���#��01.����#�����������`����;��%����\��OSOBINA 3.3
'� 0�.01���� n-������ .�4�1� �14����Ì � ����#�� %��� �14������U� d � d ÌV�0�#����.�%�����[����.����DEFINICIJA 3.6�$�����.�4���$����� .�4��� ��� n-����� .�4��� %���� 1� ������ ����%���� ������ ��.��� ����4�.������������������.�#����%���������#������0�����1������������01.�1������������������%������$����� ��%����������1��#��!��������#���������1;�01.������#�����������.����PRIMER 3.6�$�����.�4����
����#����=�,��������#�����.�4���
,�������� #����� .�4��3� #����� ��%� 0���.������� ��.��� �� ��� ac�� ��#� ��.� ��0���.�����#���1���%�c��I���#����=J��DEFINICIJA 3.7�N-�����#����$���%��������4�.�����b�������������n-�����#����OSOBINA 3.4
+���#��n-�����0����#���#���0�.����4�����������n-�����#�����.�4���.�#������#�� #����� ��%� �������� �#��!�� ����#�� ��� �����.����� 01.1� ��� #������.�4��������.������4��1.����#��#�����.�4������������������0����#���#����$�����78
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 83: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/83.jpg)
��%������0����#����#����1�����?�����#��!�������#���01.��������#����������#�����.��#������.�4����'#��.#���#�����.�4�����0����#���#���1��#�����.����4��#.���PRIMER 3.7
$�����.�4���#������������#��1����0���������<�½ � ����¸ � �����Ñ � ���
����#����>�$�����.�4���
������.����������#����!����0��#�����������.���1�����%������4��������������� #����� ��%�� �� ��4����1� #��� ������ ����#�� ������ ��� 01.������� ��� #������ �����.���������.���� ��� ��0�����.�!����� 0����#��/� #����� 0��� 1� #����/� .�4����� ��#����.��� ��� #���0�������1� ��������� #������ ��%��� ,�#�� ��.��� �� ������1���#���� ������.����(�� 0������� 4������� #����� .�4��� #���� �������� #��1� ]�����^� ���� ������#���� ������.���
79
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 84: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/84.jpg)
����#����B�$�����.�4�����������#���� ������.��
+��.��������������������#���0�������1����������#��������%��0���.������#�����DEFINICIJA 3.8�$��0��.���#����$�����������#���� ���/� ��.���1���������1 ���n-������#������.�4�1�� #�����������#��0��.���#����������� $*�8,6"��()7) (�$6�,������ 1�����0�.��4���1���� #������������41�1� �01���������4�� ������0����#���#���0�.�������0�.�������������$���.����������#�.�0�.��4�������������1����TEOREMA 3.1��$���.����������#�.��+���#�� 5�����0����#���#��������#����/���%��%����1��1;����0���.����!����4������]�\� �`� T � ��^��������;�.�3�
�Ï[ò³ d ��f\ �
�� �4��1.��� �#�� 1� ��.�� �1;���� #����/� ��%�� #���� ����������1� �1� �������#�.��0�.����0����#���#�����#��������%������.���1;�����$����1�I���J��;�������#�.��.�������#���#��0��.����PRIMER 3.8
80
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 85: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/85.jpg)
+��4�������IÏ Y �J�#��0��.���0����#���#������0���������<�]�������^��;�3�� [��z|\ Y �[\ _ �[` _ �[` Y �� _ �< _ �< Y ��
$���.����������#�.�����#�;�����0�.����4�����������.��������0����#���#���%����1��1;����#����/���%��������<����.���.���;�3��[\ _ �[` _ �[` _ �[ê _ <@@� � ��=B e ��
6���#������4��4���#��0��.����$���%���0��������10�.��4��$���.����������#�.�������������������0�.�������������� #��� �� ����.����1;������ #����/� ��%�� 0����#����6�� �������#�.� ���� ����������������!��1�#������;��0�.���.��������0����#���#����(��0�������0���#������0���������<��������� ������0����#�����#����3�
�Ï[ò³ Y �[\ _ �[` _ �[` Y ��,�������������������#�;�����0�.����0����#���#��� �.�/��1;����#����/���%��� �����.�����0�.��������.����1��.���0�����1���<��.���#����������� ��PRIMER 3.9
Da li postoji binarni prefiksni kod sa dužinama kodnih re�i u\ Y �, u` Y �, u� Y �, uê Y ��·�u� Y <�?
6��������� ���0��.����3���[�|\ Y �< _ �< _ �< _ �@ _ �> Y �=�> e ���
��������������.�#���#���������.����I���#����@J��
81
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 86: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/86.jpg)
����#����@�$�����.�4���4��������0����#����#����� �Û �Ý �Þ �� ��� �� �� �� ��� ����
PRIMER 3.10
Da li binarni prefiksni kod sa dužinama kodnih re�i 1,2,2,3,4 postoji?��6���������()��41�1 ������;�3�
��[�|\ Y �� _ �< _ �< _ �@ _ ��> Y �:�> h ���
82
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 87: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/87.jpg)
����� )8�$��(6�$6 6"�(7)�6�����!�������#�����#�����������#����������.����������������!����.�#����������������1;����#������������������������0�.���1��������� ����� �������!�����#���� 1� #���� 1�#� �01������ 1� 0��#��� ��������!���� ������� �1;���� #���� ����#�����.�����������!�����%�#������1;����#�����DEFINICIJA 3.9�6%�#������1;����#�����(�#�� ��� ��.� ������ %���� �� ��4����1z����.1�1� �� ����.�� ����0z��U� d � d (V�����#��1��z��1;����#����/���%���6%�#������1;����#�������������%�#������1;����#����/���%�������.���3�
¨î�ð Y���u��|\ �
(���!���� ������0����?����0����#���#���#��������¨î�ð��.��������1 ���������7��������������#�� ���#��������%����.��4��#����.���������.�������4�����Kako odrediti dužine kodnih re�i?
Koja je najmanja teorijska vrednost za ¨î�ð?
������� ")*6"�,(6�(6�(5�*(�6��,��26������#���#����� �����1��������.��n-������.�4�����1�#�������#��#�������%������������������.1�.�4����������������.�����01.1����#���������.�����.����1�1 �� ��� ����� ���.1��� ��4���� �� ����?���������.�� ����� ����� ��� ��� �� ���#��#�������%�����������.�����.��.�%�������?��1�����.�� 1��(��#���� �������.�������0��#����!����������1�1�����.�� �������#�����(�#��� ����%������ ��.��� ��������1 ��� ����.�� ����� ��;���� ��%1��.�� ������.�� ��1�1.������/�%��������#1�����������.���#��#����1������1 ��1�#�1���1� ��� ��� ����.�� �� ������� %���� �����#�� 1��� ����.�� �� ������/� ��!�5%������(�#������0��!��1�����4�����������.�����n-�����.�4����
83
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 88: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/88.jpg)
DEFINICIJA 3.10��"����.�����n-�����.�4����"����.����� n-����� .�4��� ��� n-����� .�4��� %����� %������� 1� ��������������.�� ��������� ����%��3�
�� $����1������������������.�� ������� "����.�� �� �/� �.���/� %������ 1#��1%1�1 �� �� #������ �����#�� ��� 1�������.�� ��������/���!�5%������PRIMER 3.11
+�� 4������� 0����#��� #��� ��� 0������� ��:�� ��#�� 1� ����.�� �� #����/� ��%���\ Y �` Y ���� ���` Y �ê Y ��������� Y ��<��,����#������1�.�.���4����������.�����4�������.�4��3�
����#����:�*�������0������������
�����.���� ��� 1� ����.������ n-������ .�4�1� 1��� ����.�� �� �/� ��.��������4�.�������#�����LEMA 3.1��2�����1;����01.���
84
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 89: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/89.jpg)
'�����.������n-������.�4�1��0���%���I�%�#����J������.��14������.��������#�� ��� 1��� ����.�� �� 1�1.������/� %����� I�#��1%������� ��.��� ��1#��1%�������#�����J��PRIMER 3.12�2�����1;����01.�����0������������+�� 0������ ���� ����.������ 4�������� .�4���� �%�#����� �14���� ��.��� ��������#��� _ ��� _ ��B _ ��� _ ��� Y ��<���������� �%�#����� �1;���� #����/� ��%�� ���� q ��� _ � q ��� _ � q ��< _ � q ��� _ < q��� Y ��<��DEFINICIJA 3.11�)�.��0������.���n-����������.������.�4����(�#�� �����4���� ��.��� ����.������ n-������ .�4��� �� ��#�� 1�0\� 0`� T � 0�����/��� ����.�� ��� ���� ��.��0����� ��.��� 0�����1��� ���� ��.��0��1���������1��3�
� Y��� ��� ���
OSOBINA 3.5
+�� ����.����� n-����� .�4��� #���� �������� 0����#���� #��1� �������!������������'���;�3�� Y �UöV�
DOKAZ OSOBINE 3.4
(�#�� �����0����#���#��� ������ö�����������!���� ����.�� ��0z��������.�� �� �5.��#�������%���0�� ���.����� Y CU+V������1���.�����41�1 ����� ���#��������1��������������� Y ÒUöV��������#.����0����#��������U�V Y �UöV���.�������� Y �UöV� DEFINICIJA 3.12�)�.��0��������������(�#�����ë�4����1�1.������/�%���������.�������5.�4�������#��1��\� �̀ � T �à����/��� ����.�� ��� (�#�� 1� ��\� ��`�T���a³ � �����.�� �� �z �%����5��!��I1#��1%1�1 ������.��J�1�1.��������%����%�����������.�� ���z��)�.��0�������������Cz�1��.���%��1������.���3�
85
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 90: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/90.jpg)
�� Y���×}� ��� ��×}� ����}� Y���×a³×|\ �a³
×|\ �PRIMER 3.13
(�#�����ë Y =�%���������.������.�4������0���������:�.�#���1���������������\ Y ����̀ Y ������� Y ��B���ê Y �������� Y �����,������3�� Y �����
�|\ ��� �� � ������¸·¹��b\ Y ������\\ Y ��������\` Y ��B��
�\ Y ���� ��� ��� � ��B ��� ��B � ��@@��¸·¹��b` Y ������`\ Y ��������`` Y �����
�\ Y ���� ��� ��� � ��B ��� ��B � ��:�@�¸·¹���� � ��:@=�¸·¹� �ê � ��:�@�¸·¹� �� Y ���
TEOREMA 3.2�)�.��0������.����)�.��0���� ��.��� ����.������ n-������ .�4��� �����#�� ��� 1��� 0�� ���1�1.�������� %������� 1#��1%1�1 �� #������ ��.��0���� ��������� %����� ��.�;��#�����#.�����������#������/��������.�� �����.��3�
� Y�}�����|\ �
PRIMER 3.14
�#����.�������0��������������0�����.������������;�3�� Y � k �\ _ ��� k �` _ ��B k �� _ ��� k �ê _ ��� k ��� ��@@� _ ��� k ��:�@ _ ��B k ��:@= _ ��� k ��:�@ _ � � ������¸·¹�A.������;��������#.������%1��������4��������1�0�����1�������
86
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 91: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/91.jpg)
TEOREMA 3.3
+��4����#�������0����#���#�������� �.��� �������!������ ��������#���#���� ����#�� 1� �%�#���1� �1;��1� ���� � 1� ��.��0��1� ��4����� $��0��������� �������������!����0�� �����.��0��1���4������������� A)(6(6"��,)6*)���6�$6 6"�(7'��)+��*��'�,"��A'���$���.� ���������������1�.�.���1�.���1���������������� �1������.���1�����1������!1��%�#����������.��0����#��/�#�������.����������!�������������TEOREMA 3.4�A�������.�������#�������� �����+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ��������� %���� ��� ��.��0�����UöV���%�#������1;���� 5������0����#�����#����¨î�ð�.�������������������3�
¨î�ð � �UöV���Ï��,������� ��<� ����� ����1� ����1� �����!1� ��� �%�#���1� �1;��1� #���� ��.��� �������������!�����
Kakva je ta granica?
Da li ima i drugih granica (npr 1)?
7���� ������ ���� ���1�.�.� 0�.���� ��#��������� �����#��0�#�;������� ��� .�������!�� ���4����� ���1 �� ������ �����!��� �� 4�� ��� ��� 0�#������� 0�.��4��� ���#��.�1��.�� #��#��.��� #��� %���� �� �%�#����� �1;���� #����/� ��%�� 0����������.�%���0��4��;������������!������� ����#��.�1��.�����#����0����#���#����#������#��������0.�������1��0�.����1%��1� �� ����������4���0��4��;���������� �����!�� �%�#����� �����.�� #����/���%��������������������4����1;�����z��#�������%���1z�.�#������;�3�
u� Y �� ��� ��������87
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 92: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/92.jpg)
����î�ð�����%���!���4����1������.�.�#1������3�� d î�ð d � _ ���
6�#��#�����������A����58�����#����41�1 �����������A�������0��!�.�������1�������1�����:<@�����������8�����������#0��!�.���#��.�1�����• Da li ovakav kod uvek postoji?
6������ ��� ������.���� ��� ���1� $���.��� �������#�.��� +��.�� 0�� ������!�����0���!������3�u� � � ��� �������
0����3��Ï[ò³� d �Ï���³��� Y�Ï�����³ Y ��� Y ����� �
����� �����.��;�.��#���#���������#�����4���1�����1�����%�#���1��1;��1�#��������������!�����;�3�u� e � ��� �����Ï _ ���
�#���4��.�����0����;������0z���1�������0��·����4�����3����u�� e �{ �� ��� ������Ï _����� �
¨î�ð e �UöV���Ï _ ���"�������������%�#����������.�#����/���%��A����58�����#����1��������������������� ��4��� ��� ������ �����!�� ��.�� ,�������� ��<�� ,�� ���%�� ��� ��� ���� #���0����%�����4��� ������.�� �����.��0���� ������� ����� �����4��������?1.�������������.��0�������������1 �����0���� �����.���4�����#����TEOREMA 3.5�A�������.�������#��������� ������
88
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 93: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/93.jpg)
+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ���������� %���� ��� ��.��0�����UöV��0�.����4����������� 5�����0����#�#���%��������%�#������1;����#����/���%��¨î�ð���.���3�¨î�ð e �UöV���Ï _ ���
PRIMER 3.15
*����.�����4�������UÏ Y �V�A����58����� #��� ��� �����ö��� %�.���� ��4���� %����1�����.�� ���� Y ��<���� Y ������� Y �������< Y �����$�������%��1���.���1;�����3�
u� Y �����` ���< Y ���u` Y �����` ���� Y ���u� Y �����` ���� Y ���u� Y �����` ���� Y <��
$���#��.�1������������1�0�.10#����.���1���#��1�$���.����������#�.���Kako se konstruiše kodno stablo U!Ø"#V ?
(�#��1�����.���1;����#����/���%���\���`���������2 Y ���z ��z _ ��$��.�1��.��0�.01���#�����.�4����14����2��U,�"÷�ûa"V��+��%�����#����0���������#��������%���������.��0�.#����������������1 ���0��.�4����0���.���%�����
89
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 94: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/94.jpg)
����#���������.01���#�����.�4���
(�.��#�0����������=��
����#�����������������=��
(�����1�2�������1;����01.��������3��î�ð Y � _ ��B _ ��� _ ��� _ ��� Y ��<��
���#.�����%1������3��UöV Y ��< ��� ��< _ ��� ��� ��� _ ��� ��� ��� _ ��� ��� ��� � ��@�¸·¹��
"������������������������������#�.3�90
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 95: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/95.jpg)
¨î�ð e �UöV���Ï _ ���6��������< e ��@ _ � Y ��@����?1.����������������#���������0.��������$����4�����10�.��4����<�#�������%���1;�������������4�����#�� 1��%�#���1��1;��1�#����¨î�ð Y ���������� C�8��(6"�$6 �C������� ������.��� #�������� ������ �������!���� 4��� ���������� 0��� 1� 5������ 0����#���� #����� ����� �0.������� #��� ���������� ���1 �� �%�#����������.��#����/���%���(�#�� �����ö �����b ���4����Õ�� Õ�� � � � � Õb �� �� ��������1 ��� ����.�� ������� ��� � � � � � �b��Hafmanov kod
��� �.��.1����� �� �/� �� %������ #���� �� ��� #���1� #�������� 4�.�� ��.���� +�.��������%1�������.�.�#���0����������1�� � b���Ï � ���I�����.����������b�0������Ô� ��1�#�4�.���1��J�'%�������/�b�%�����GaktivnimM����� 8�������������� %���� %���� 1���!�5%����� 5����������� ����.��/��#.���/�%�������Ô����#���� ���/�%�����I��.��J��
����#��������.�4���C���������#����
91
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 96: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/96.jpg)
6���%�.�� 5�� �#.���/� %�����#��� GneaktivneM��(���#�������� %�������%�.�� #���GaktivanM�� �����.�� ���#��������� %��1� ����.�� 1� �����#1� 1��� 10�������#.������/� 5��%����������#��0�.�������� �������#.����%��� .������0��!��1����#��%����,���%��� ���1������ �� #����� #���%���� #������ .�4���� '� 10��.����� 0�.��.��Ô Y ���� � �� ���#���#���������#���#���#�������1�.1���1��0������0��!��1�����������C�������#����41�1 ��������10�����0�����������.���0�������C������=�5.�/��������££��#���PRIMER 3.16���������C�������#����(�#�������.������ö3��
� �Û �Ý �Þ �$ �� ��Ü% ���= ��� ���=� ���B ���� ����7�����C�������#�����������ö������.��3�
����#��������.�4���C���������#���������.��0������
&Û &Ý &Þ &$ &� &�ïïïï ���� ��� �� �� ��"����.�� ��1�1.������/�%�����1���.��1�.�4���3�
92
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 97: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/97.jpg)
'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ 'Þ Y �� ( �� '$ Y 'Ý ( �$ '� Y '$ ( 'Þ ï� Û� ���� ��<� ��=B �������.���������3�
¨î�ð Y �U��� _ ���� _ ���BV _ �U���=V _ <U��� _ ���=V Y ��<=�����0��� 1�2�����1;����01.�3�
¨î�ð Y � _ ��=B _ ��<� _ ���� _ ���= Y ��<=� �#������.��0����������ö3�
�UöV Y��� ��� �� Y ��<��¸·¹�g�|\ �
PRIMER 3.17��,��������C�������#����(�#�� ��� ����� �������!����ö�� #��� 1� 0��./������ 0�����1� ���>�� �#�� 10�.��4����.��������#���Ï Y ����.�.�#����� � b _ � � > Y =�0����������1���Ï � � Y � � � Y��������Ô Y ���I��������= Y �� q � _ �J���.����.��4��1�.�� ���������#���� ������.��C�������#���1������1%��1������.��3�
����#�����<�$�����.�4������0���������B�
93
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 98: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/98.jpg)
&Û &Ý &Þ &$ &� &�))* ½½Ñ ½¸ Ñ ½Ñ ¸�
'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ ( �� 'ÞY 'Ý ( �� ( �$ ï� Û� ��=�� �¨î�ð Y � _ ��= _ ���= Y ��>=�
�UöV��� � Y ��<���=: Y ��=�������<�� 6�,���2(6�,�C�8��(6"6-�$6 ������� ���� ��� !���� ��� 0�#�;������� ���C������� #��� �0.�������� �� .�� ���%�� ��� ���0�.���� ��#�� ��1��� 0����#��� #��� %���� ��� �%�#����� �1;���� #����/� ��%�������� ����%�#������1;����#����/���%��C���������#�����"�;��� ��� 1�%�.�� ��� 0�.���� ��#�� 01��� �0.������/� #������ ��#�� 0���1.�!����#����/� ��4���� ������� �0.�������� #����� .�#����� ����� �0.������� #���� ��#���������#����/���%��#������������1������#�����.������4��������.����������.�#�?�� ��� �0.������� #���� C������� ������.��� #��.�1���� ���� ������ ��� ���/������ �������.����.���0.������/�#������+��������#��� ������ ���������0.�������1#���#�����{ 0z�zZz|\ ��������������1 �����#101� �/� 0����#��/� #����� ��.��� ������ �������!����� ���� ��� ���z�����%�����1;����#�������%����4����1z��#���������.1���������.�� ���0z��LEMA 3.2
+���#���0.�������#�����������b����1 �/���4������;�3�0z h 0� + �z d ��� ����� � Y ���� T ���
LEMA 3.3
94
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 99: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/99.jpg)
�������.���1� 5������.�4�1����� _ c�UÏ � �V���������c�4����1�1.������/�%������1#��1%1�1 ��#������LEMA 3.4
+����.��������������!����ö��1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ���ö�� 0�.���� �������Ï � �����#���� ���/� ��.��� �� �� �� ����������������#���������14����#������.�4����A.�� ����� 0�.���� �0.������� 5����� #��� ���ö�� 1� #���� 1� �� ���#���� ���� ��.������!����������.�������.���#���%�����LEMA 3.5
��������#���� ���/���.���1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ������ö���b���4���� ��� �����#� 0���.����� �.�.#1� ���������b � ����Ï � ���LEMA 3.6
��.�����0.������� 5�����0����#���#���������ö�������4����Ub � �V�.�#������� 5���������������.��/�#����/���%�������#1�������0��0�����������4��1���������Ô��.�.�#���������� � b���Ï � ��I.�������Ï � Ô � �J��TEOREMA 3.6
C�������� #�������� ��� �0.�������� �.�� ���%�� ��� �#�� �����������C������� #����������!������ ������ö �� �� � ���1��� ��������%��� #��� �.��� ������� .���� ���)î2¤ð � )î2þð��
95
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 100: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/100.jpg)
����� 2��6*�,6*�7�$��*� �VEŽBA 6.
C�������#���D���.��0��#��#���������1�������0�����3�)�.��0��#��#�������� �����.�����������?������ ��������%����#���������������1;����� ������������ �1;���� #���� ����1 � �� ��#�����1� 4����1� 0�������������!���� 0��#�� #��1��#�!������ #������� 6����� ������ �� 0��.0�.�#�� ��� ���0��1#����� �������.�� ���41�1�#���������#�� ���#����������#�0��1#���������������.�� ���41�1�#��������1;���#��������(�#�� �������!����� ����� P ���������� >� 0��1#�� �� ���� ��� ����.�� �3�� Y ]��<:� ���>� ����� ���<� ���<� ����� ����^���'#���#����������.�� �������0����.�����.��0�������������� Y ��� �UBV����1������1%��1��#1�0��1#1�4����#�����������4�.�3�
� Y ��@�B<�¸·¹v¿½�)�.��0�������������0����.������.�� ����3�
C¥ Y ������@�¸·¹v¿½�'#10���#���%�����������!���3�
�¥ Y ������ _ ���:<� _ ����>� _ �<�><� _ �<�><� _ �=��>� _ �=�>�� Y ��>���¸·¹v¿½������� ��.��� ��� �����.���� ����������� C��������� ���#����� #����� +�����������������#���������0�.��4�����%1���#��0��������
96
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 101: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/101.jpg)
�*�����������.#��0��#����.��45���(���������.�� ���3�
åå�0���æ��<:�����>�����������<�����<������������çÄ����4����0��1#�3�
åå���4������!���.�I!/��Ió�ó��ó�ó��ó�ó��ó<ó��ó=ó��ó>ó��óBóJJÄ�-����������C�����������%��#�3�
åå�æ��!��#����.��0���ç���/1�������!.I��4�����0JÄ�
����#�����=�C���������%��#�
97
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 102: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/102.jpg)
(�� ��!�� ������ I���#�� ���=J�� 0��#����� ��� .����� 0���������� ��%��#�� #���� �������������0��#����.��45����1�#!����huffmandict(). '�0����#������1���������0��1#��ë Y ]�� �� �� <� =� >� B^����1���1����#������1�0���.�������#�������%��#������������1��������!�����������.���#��0��1#����������#��������0��#���������������%��#�3����1#�3�
>>>�>B���>B���==�B=B��B��$��������0��1#�3�
åå�0��1#����!���.�I!/��Ió>ó�ó>ó�ó>ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó=ó�ó=ó�ó�ó�óBó�ó=ó�óBó�ó�ó�ó�ó�óBó�ó�óJJÄ�åå�#������S0��1#����/1�������!�I0��1#�����!��#JÄ�
$�������0��1#�3��� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����)�.��0����#�������0��1#�3�
åå���.��0OI#������S0��1#�J����������:::>�4�.���
�#��������0��1#�3�åå���#������S0��1#����/1�������!�I#������S0��1#�����!��#JÄ�
�#�������0��1#�3�åå���#������S0��1#��
ó>óó>óó>óó�óó>óóBóó�óó�óó�óó>ó�óBóó�óó�óó�óó=ó�ó=óó�óóBóó=óóBó�ó�óó�óóBóó�ó�98
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 103: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/103.jpg)
4. KANALI ZA PRENOS INFORMACIJA
9����������0��������13��� ������.�����������#���������������!����/�������1�!���1�0�1�������0�������%�#���1�0��1.1��1������ 8��������!����0�������������!����0��#��0�����#�������� '0��������������4���%���0��������������0�����1�0��1.1��1���3�#�0�!�.�.�#��������4������0�������<� 81������.����������!������#��0������1�0��1.1��1����
99
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 104: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/104.jpg)
<���� $6�'(�$�9�6(��$�(�2���������������!����0�����1�����������/���0�������������������.�%#��1���1�1��������/���0����������#�����������������0�������������������.�%#�������1������#��1��!�����������?1������4�����.��������1�����������;�����#����0������0����������#����������������������#������;���� ��� ��#����������#��������1�� �� ��.��� ������� ��%�.������ 1� ��#���41�1 ���.���1.#1���������'��4���1%�����1�� ��������0��4������0�1�������0�������������!�����#�#��1������������� �1�������#����1� ���0������ .�#�� �� 1�����.�.#1��������#���0��.����������������#�������0��1.��� �1���� ��� #�������� 0������ ���1� �����.�� ��� ������ ��� ���� �/���%���3�
�� '� 1������ ��1��.��� ��#��� �1�������� 1�0�.�����1 �� �4��.�� 0�1�����0�����0��1#������ (����1������.�#�����������1 ��0����.��0��1#����0��/�.�����������������#��1�0����1���� ���1 �����0����.��0��1#��������.�� �������#��#��������;��1%���.��0��;����� ������ 0�������� #����� ��� �0��������� �����#��� 6����� ���������.�.����#�����������������������1������1�#��������0��1#���.�#�������0����������#��1�0����1�0���.��������������0���������/��������!����1�#��������0��1#����������1�#���/� ����;�� ��#��.�1��.��0���.��0��1#���������.�������������#����#��.�1#!������
����#��<���������#��1��#�!������#������
100
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 105: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/105.jpg)
$��1��#�!����� #������ ���� #�� �� #������ ��0�����.1��� �� �.�� ����;�� ������.�� ��0��1#���1�.�#1��������0���������0�������#�����0�������#��I���#��<��J�����1#�����������4��������4������������.�#10��#����������������4�.��*����.����� ���� #���%��� ����4�.��� '������ �#��!��£\� £`� T�� I�#��!�� #��1�.��4�� 0����.�J� ��� ����?���� 1� 0�.01��.�� � �������!������ �������� ���������#��!��²\� ²`� � � �I0��������� �#��!�J� ��� ����?���� 1������ ������ �������������0����.��1������.���� ��� 1� ��.���.�%#��� ���1� #����� ����?��� 1������ ����.�� ���������%�.�/� 0��������/� �#��!��� 0��� 1����� 0����.�/� �#��!�� #���� �� ����1�� .���UO\� O`� T � OZW�\� �`� T � �ZV��DEFINICIJA 4.1� �#��.��� #����� 4��� ��������� I �9� D� Discrete Memoryless ChannelJ� �#��.���#�����4�����������������������.������#��1��#�!�����#������8���������������?�����.������%����� �#��.���1����������4�.�,¤��%����1�������.����4�����/�1�����/� 0��1#�� ������ £�� �#��.��� �������� ����4�.�,Î�� %���� ������.�� 0���.�����1����1 ��0�����������4�������������#��!��#�������+���#��£ � ,¤��1���������.�� ��0UOW�V�����#10���,Î��.�#������������#��b Y ������ � � ���
0UOZW�\� �`� T � �Z� O\� O`� T � OZ[\V Y 0UOZW�ZV�6����������1�.��������������.�� ��#������� �����!����<���������.���.�%#������1��!����%������!�������� �9�4�������������6����.�� �������.������������0���.���1��5.���#���� ���1�#������ ���������������������.����������1�0��./����/�b � ��10�.��4��#������������.���� ��� ��� �9� �����#�� ��0���������� 0��.�� ��0������ ����.�� ��0UOZW�ZV������������b��$����1�,¤���,Î�#���%����#���������;��0���.��.�������������1�#���3��� %�����������.�������������1�1�����������4�.1�-ª���� %������������.�������������1��������������4�.1�-���
101
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 106: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/106.jpg)
�� ������#����0���1�1�%��������·�°×�1�����%����1����������.�� �����U°×W��V������1��1%�������#����1��������.�� �������#������#��������������1 �������������.�������.������PRIMER 4.1������������.��%���#������I��9�D�Binary Symmetric ChannelJ��(��0��.���� �9� ��� 4������� ���.��%��� #����� I��9J� #��� #���� 1�,¤ Y ,Î Y ]���^��4����������
�¬W�|�U�V Y �¬W�|\U�V "�����.�� Y �¬W�|�U�V Y �¬W�|\U�V��� ������ ����.�� �� ����#�� I����� error rateJ� �� .�� ��� 1������ ������� 0�����.��� ��9�� 41�1 �� ��� ���� Y �¬W�|�U�V Y�¬W�|\U�V����9���0�����.1������� ���������������
����#��<��� ��������4�����������.��%����#������I��9J�
PRIMER 4.2�������0��#����9�1�0��1.1��1�������.0�.�������� ;���������0������������0��1#�3� ����� �����������������������������������+�.����0��.0�.��������������#����1����0�����0��1.����1���.�#����� �1�0���#1����#����5.�� ��4���0�������1�10��.��� I��1��� ������1��J��,�#��#����������9���0�����.����� Y �����
Kolika je verovatno�a da prenesemo jednu poruku korektno?
�����4�����#������0��1#���������������.�� �������3�U� � �V� Y ��:� Y ��B�:�
102
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 107: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/107.jpg)
A.�� �������� ����.�� �� ��� .��� 01.�� 0�������� ������ 4�.� 4��� � ����#���6�������1 ������.�� ������#������5��B�:����@�����#���0����%�����#������.0�.����� ���� #�������� 1� #���� ��� �#�� 4�.� 0��./������ #���� 0��������I1�����J��
Poruka 000 001 010 011 100 … 111
Kod ������ ������ ������ ������ ������ T ������������ ��� ����.�� �� .�%���� 0������� ������ 0��1#��U� � �Vg Y ��=���� 6����������.�� �� ����#����<>:�� �.�� ��� � �� ����� 1� 0��./������ �1%��1�� ��?1.����0�.��4��� ��� �����.��.�� ���� ������ .�0� �����#��� ������ #���#�� ��� ����.�� ��0���������0�������#�����������;����.�#.��.���6���.1�!������.����#������0��������0��������4������0���1��.�����������0�������������'��0�.��� � �1%��1�0�������������<� ���� �/�>���4�������������0���������0�������#�����������;�������#��.�����.�%����0��������"����.�� ��0������������4���������.���3�
���� �`U� � �Vê Y ��`U� � �Vê��"����.�� �� 0������� <� ��4���� ��� ��.�� ����êU� � �V`�� �� #���%��� ����.�� ��0������� >� ��4���� ��� ��.�� ���g�� '#10��� ����.�� �� ����#�� #���� �� �����;����.�#.��.�������.���4����3�
��`U� � �Vê _ ��êU� � �V` _ �g Y �������6������.�� �����0����%���������+�#��1%�#�����������������1 ���#�����������;��0�4�����.��0�����0��1#��0��#��#���������#�������1�1��1�����+��#�����#�;����������4���0���.���0�����1#���#����0����������.�� ��1������������������������������������3�
��aW�\� T � �a[\� °\� T � °a[\ Y ��aW�\� T � �a[\�TEOREMA 4.1
+�� �9�4���0���.���0������;�3�103
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 108: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/108.jpg)
�U¬\ T¬aW�\ T�aV Y��U¬�W��Va�|\ �
<������ $���9�,),�$�(�2��$�0�!�.�.� #������ ����� 0��4��.� ������� #������ ��� 0������ �������!����� ,�� �����#�������0���%���#���%�����������!����#����1����#��������;��0����.������������DEFINICIJA 4.2�$�0�!�.�.�#�������$�0�!�.�.��.���#��.����#������4�����������������#���3�
. Y ����ª ºU�Ä ¬V�����������1����1�#�������0������0�����������.�� ��0¤U�V����#����¬�������#�������PRIMER 4.3�$�0�!�.�.���9�����������!���3�
. Y ����ª n�U¬V � �U¬W�Vo������1 ��1���1������3�
}U¬ Í �V Y ����}U¬ Y �V Y � � �� ������������3�
�U¬W�V Y �� ���U�V � U� � �V ���U� � �V Y3 mÆ�����������������ªU�V��.�#��������#���%��3�
.Y ����à n�U¬Vo � mÆU�V� $�#�����¬�4��������1%�����0������������;��CU²V d ��� ����������CU²V d ��4�.���
Da li se ova granica može dosti�i za neku raspodelu �ªU�VN�6�������������1#���#�������1�����������0����������104
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 109: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/109.jpg)
,���������3��U�V Y � k �ªU�V _ U� � �V k �ªU�V Y ��=� _ ��=U� � �V Y ��=�
A.�� ���%�� ��� ���¬�.�#�?�� 1��������� ��0���������� ������� ��� ����U¬V Y ��4�.���.����������ª�U¬V Y ��4�.����������#���%���. Y � � mÆU�V�I1�4�.����J������������������������<������ $�(�2��������),*�F(���'2�+6��DEFINICIJA 4.3
�9�#�������������.��%����1������1#���#�������0����������.�� ������#���.�������1��������4������������1#���#�����#10�]�W®³U°V3 � ø^������������PRIMER 4.4 $����������.��%����1�������
����#��<���$����������.��%����1�������������.��%�������������
����#��<�<�������� �9�#������������.��%��������������������.��%����1�������
��9����#����������.��%����1�������105
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 110: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/110.jpg)
LEMA 4.1
+���#�� �9������.��%����1��������U�W¬V�����������������0������0¤U�V�����U¬W�V Y �U¬W��V ����#���� � ø���.���� ��� ����;����� ��0������ ����.�� �� 1����� ��� #��1� �� ��.�;�� #�0�!�.�.�����.��%���� �9� #������� �#�����.��� ����;���1� 1����� #���� ��#����1���������?���.���������OSOBINA 4.1
+���#�� �9������.��%����1��������;�3�. Y ���/0 î�U¬Vð � ����
��������� Y �U¬W� Y ��V�����#���� � ø��<������ $�(�2��������),*�F(����+2�+6��$�����������.��%����1������1�����%��������.�� ���������#������01�.��1��#��1��������4���1���������1�#������1��.������#����4���I�.��������0���1.�!��1������J������� ���� �����.��.�� #������ #��� #���/� 1� ����.�� �� ������ #���� ������� ����������/���4������.��I�.��������0���1.�!��1������J��DEFINICIJA 4.3a�$�����������.��%������������� �9���������.��%������������#�������#10�]�W®U°�V3 � � øª^������������Oz���PRIMER 4.5
��9�#��������0�������<�����������.��%�������������LEMA 4.2
106
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 111: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/111.jpg)
$��� �9� �� ���.��%���� ��������� 1��������� ��0������ ����.�� �� 1�����U0¤U��V�����.������#���zV����1�.1���1�1������������0����������.�� ����������1�U0ÎU°�V�����.������#��OzV��OSOBINA 4.2
+���#�� �9������.��%�������������;�3�����à �U¬V Y ���WøW ��
DEFINICIJA 4.4�����.��%���#������ �9� ��� ���.��%��� �#�� ��� �.�������� �� ���.��%���� 1������ �� �� ���.��%�������������TEOREMA 4.2
$�0�!�.�.����.��%����#�����������.��3�. Y ���WøW � ������������� Y �U¬W� Y ��V�����#��1��������4����� � øª��
PRIMER 4.6
��9����0�������<���������.��%���#�����#���#������3��� Y mÆU�V Y �� ��� � � U� � �V ���U� � �V��
�.������3�.1±2 Y ��� � � mÆU�V Y � � mÆU�V�U1�4�.����V��
<���<�� �*+�(���*)(6���DEFINICIJA 4.5
������� 0������ I��� ���1� 4J� #���� #����� �� #��1��� ��#��.��� �����ö���W,ýW�0��1#���%����1�#�������%����#����1;��������������������3�107
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 112: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/112.jpg)
�3 Y ���3WøªWb �������.���� ��� ���W,ýW��.�������� �� 4���� ���1 �/� #����/� ��%�� ��.������.�%#�/������1�����/�#���������0����1��������¸������%1������4������#����1����������������#������.��#�����PRIMER 4.7
'� 0�����1� <��� I4������� #��� �� @� #����/� ��%�� �� �1;����� #����/� ��%�� >J�� 4������0��������3�� Y ��� @> Y �> Y ����6�������������1������41�1 �������1�����#��1�#���.�����01.������4�.��������.�����.1���������
108
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 113: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/113.jpg)
<���� $6 6"�(7)�'��*��'�,"'�A'���6��1� 0�������� %���� G,������� �� #������1� 1� 0��1.1� �1��H� I������ Noisy Coding TheoremJ�� #���� 1.�?1��� 1���� 0��� #������ ��� ���1 � 0�1����� 0������������!�����(�#�������0����������� ���3�
Koja je maksimalna brzina pouzdanog prenosa po kanalu sa šumom uz upotrebu kodova za ispravljanje grešaka?
Koja je maksimalna koli�ina grešaka koja se �ini kada se informacije prenose brzinom ve�om od maksimalne?
<������ $6 ��6(�"27�(7�� � ���� 0������ ������� ����� �����.����� �� ������� #���� ��� �0��������������#��� ������� 0���/����� �1;�� ��� ���� 0�#�;�� ���1 ��.� #��.�1#!��������#�����#�����/�#�������������� #��� 0�����������������.���� �#�� 1������ 4������� ��4��� 0�������b Y �c _ ��01.��c h ��� � $����\���� �0���� 1� 0�����1� <���� *����.�� ���� ������0�����4����0�����������41�1 �������.�#��#�������#��1�1�������1�� ��#������#����'�����#����#���������.�� ��0�����������#����������������#������.�� ��������������������c _ �������#��1������.������4��#1�0���.�#���*����.������.1�!��1�1�#�����������#���#���.�����#��1��!�������0����9�#����1������� �����#�� ��� ��0�������� 0�� 4������������ ��0������ �� 0�����.�����Ub� �V��6%�#����������.���/������#������0���������� e ��=���%�#�����4���������#����������� ���c _ ��=�� �.�� ���%�� ��� ����.�� �� ��� �� ���� ���������c _ ������#��1�1.���������#�������%��.�;���1���#����c�I�������.�����bJ�.�;��4�#���%��.��� �1������%��������.�� ��0�����������#��������.�;���1����#����0�� �����4����0����������I�������.������1;����#����/���%�J�
109
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 114: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/114.jpg)
������.�����1�.���1�������#��0���1������14�.#��1�����1�������#����1����0��������������� 1#���#�� 0��������� �������� ���#� 4���� 0�������������?1.����!����#���������.��0�� ��������#���.���������.�#���#�������\Z �����.�;���1���#������b�0�� ����+�����#��b��.�������0��/�.�������#��4������0�������<������ ,)6*)���6�$6 6"�(7'�'��*��'�,"'�A'���TEOREMA 4.3�'#���#�� ���4������� ���.��%��� ���������4��������1����1� �9�4���0���.���0�����#�0�!�.�.��.���1#���#������� h �.�� .�����������.�� ������#����4���������1�#��������.���3�
}3 � mÆ[\ �� � .���������3�mÆ[\U�V Y ���]03�0 ���U�V � U� � �V ���U� � �V Y �^��
/Æ[\�����%��� ������1� 4�����1� ��.��0��#1� �1�#!��1�� 0��� %��1� ��� ���� 1������4��������.���.�����������1�#!�����
����#��<�=���������4���������.��0��#���1�#!����
"�;���0�����!����� .������� ������#��������;���� h �.��0�.����0���.���������������!�� ��� ����.�� 1� ����#���4�#��1� ��� ������ �.��� #��������� 4��� �4�����#���#�����4���#��0��#��������;��0����� ���110
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 115: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/115.jpg)
PRIMER 4.9
(�#�����#�0�!�.�.�������� �9��. Y ���=�4�.�����0�����0��1#��������������#����0���������4�������� Y ��=��.����������1��1�#!����I}3J��������.�� 1�����#����������1�#��������4����������#1������������5��41�1 �������3�}3 � mÆ[\ �� � ��� Y �����
,�� ���%�� ��� �� ��������� ��5� 4�.�� 4�.�� 0�������� ��#������� 4��� �4����� #�#��#�������0��������������#��0����������Kako stoji stvar sa DMC sa povratnom spregom?
��#��1��� �� ��� �� 1� �1%��1� �9� �� 0���.���� 0������� �������#�.� �;��� 6��%������!�� �� ����;��� .���� ��� 0���.��� 0����� �����;�� ��� 0�� �� #�0�!�.�.� �9����?1.����.��������%�����0���.���0�������������%�����$����������0�������� 4���������� e �. �� 10�.��4�� 0���.��� 0����� 0�� 0����1� 0������.���1���#������������#��������������1 ���0�.�������;�����������#����#���������TEOREMA 4.4�$��������1� �9�1��0��1.���1����*����.����� 0����� 0��1#�� 4���������0��#�� �9� 4��� 0���.��� 0������ %���� ���#�0�!�.�.�.��+������ e �.�����6 h ���0�.����#������ �0��������������#��4��������������#����#���������4 e 7��'�0�.��������� ������;���.�������.��������#�����4��������������1 ����%���#�������� �������!���� ��� ����.�� #������ ��;�� �� 0�.� �� 0�� ;����� ����� ����#����#����������������0�������������!�����*����.�������9�������.�� �������#�����%�������#�0�!�.�.�.����. Y � � m8�U�V��
Da li za zadate �,. i �, date u tabeli postoje kodovi koji ispunjavaju ove zahteve?
Kanal Ü � Ûï5. ��@�� ��>B=�Kod � �X� �X< :X�� �X� �X< :X���}3U���5V � ��� � ��� � ��� � ��� � ���� �� ����
Da li postoji? � �111
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 116: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/116.jpg)
����#��<�>����#��0���.���������������0�.�����������
64���������3��#�� ���* e .���1���� ��� ��� 0�.���� #��� � %���� ��� ����#�� ��#�������� 4�.���4�0��;������������#������ h .������#����#�������������;��4�.��/8U�4V e � � 9:����#������ h .�����/8U�4V � � � 9:��������;�������.��������������#��1%�.���0��.���������.1�!�������1 ��I�����1�#��.����#!������.��������<��J������������������������#��#��.����#��������������4�������#��1%����������.�#��#������.����;��0�.���.���'�.�4����#������������.�������������������1���/�0��1?�������
Kanal Ü �5. ��@��Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da da neÛ � <X; - - ����:=>U?*V - - ���@� ���=��
Postoji! da da da da ne možda
112
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 117: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/117.jpg)
Kanal � ��5. ��>B=Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da ne neÛ � <X; - ����� ���=�=>U?*V - ���@� ���=� ���@� ���=��
Postoji! da da ne možda ne ne
,������� <�<�� ��� 4���� ���#�� ������?����� 1� A�������� ���1� IC. E. Shannon3� A mathematical theory of communication��Bell System Technical Journal�������B��00���B:D<���and�>��D>=>��July and October���:<@J���4����������:<@���������������������1�.�.����.����������1�!���1�0�1�������0�������������������.��4����1�0������������#�����.���0�� ��.������������X�1���A����� ��� �1���� ������.� 0�#��1�1 �� ��� �#�� ��� 4������ 0������ �0��� #�0�!�.�.��#������� 0�� ����� 0�1�����.�� 0������ �� ��;�� 1� 0�.01��.�� �.���.��#��.�1#!�����#��0��#����/� �.���� #�������� �� ��#��������� 4��� 0�.��4�� ���������������������X�1���6�� .������� ����� 0��#.�%�1� ��������1�� '� ����� ��1� ��.�� ��!�0.�� #�#�� ���#����#��.�1��.�� ��4���#������(��0����������.�� �����#�;��#���#�� ����1;����#����/���%����1��1�#!����0�����.���Á���.���� ��� ��.���� %�.��� ��!�0����� #���� �� ���� ,������� #�������� I������ Coding TheoryJ�� %���� ��� !���� ������������� ���#���/� ���.�.��/� #������ ������� #����� �.��� ��4���������.������������#����#����������
113
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 118: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/118.jpg)
5. ZAŠTITNI KODOVI – KODOVI ZA ISPRAVLJANJE GREŠAKA
9����������0��������1������������������������ ��0�.����3�Šta su blok kodovi?
Kako se meri rastojanje izme�u kodnih re�i?
Šta je težina kodne re�i?
Šta je minimalno rastojanje i minimalna težina jednog koda?
Kako se odnose ove veli�ine prema broju grešaka koje kodovi mogu da detektuju ili isprave?
114
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 119: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/119.jpg)
=���� 6�(6")�$6 6"��+�����*�"27�(7)�-*)A�$��$���� �� ������ #����� ��%��z�0������ 0�� ��#��� #����1� �� �1������ �� ��� �����1�#������0������@��.��������������1 ������#��1�0����1���4����#��������#��� Y �@5��z��$��1%��� ����������4��#���#�������� ����������������4��#��.�1#.1���1�#101�#����/���%��.�#�����������#����;����#��������.��0��� 1��0���!����#�����������1�.1�����4��#1�.�1#.1�1��PRIMER 5.1�*����#��4������/��#��!��������������������#��4������/��#��!���������.��0��#��£6*��0���!����� �#����;�3�
����� � ����� Y ������,�/��%#�� ����� �� �0���!���� ��1�������� ��� 0������� =��� �������� ���.��.�!�� � 0�����1�1� ��� ������� ��������1 �� ����4��#�� .�1#.1��� ��� 0����� -�����A¡U�V��$����� ��%�� �1;����b�1� .��� �1%��1� 0��0����1� �#.��#���0��.��1�-8U�VZ��6���#��!�0.� �� ����#.��� 0�����1��� ��� 5����� #����� #���� ������ ���.��.�#�� 0�����1�1� ��DEFINICIJA 5.1����#�#���� 5����� 4��#� #��� �1;����b���� ��0������ 0��#10� �#.��#��� 0��.���� �5.��#��-8U VZ��7����.��������%����.��1� 5�������%���1;����b�0���.�����#����#.����#�������PRIMER 5.2����#�#�����#10�]����� ����� ����^����������0������4��������4��#�#����� �1���0������4��#�#�������.��������#�������4����������������.�#��������� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ��I���.��.�#�� 1�A¡U�VJ�� %���� 1� #�������%��]���� ���� ���� ���^���#10�]���� ���� ��^������4��#�#����41�1 �����#�������%����1��.���1;������
115
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 120: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/120.jpg)
=������ C)��(-6"6�*��,67�(7)���,)&�()�$6 (�C�*)F��DEFINICIJA 5.2�C����������.��������C�������� ��.��������U�z� ��V�� ������1� ��� ��%���z�������.�� �1;����� ������� ���������1;����b�����4������4����I0���!���J�1�#��������.�����#�������%�������#1�1��PRIMER 5.3�C�����������.��������C�������� ��.������� ����?1����������������������� 0��.�� �� ��� ��� ��%�������#1�1�����������0���!�����C����������.������� ����?1����������������<��0��.������������%�������#1�1�1����0���!�������C�������� ��.������� ����?1������ �������������������������41�1 ����� 1� ��%�������%�.���1;�����C�������� ��.������� ��� ���.�� � ��.������� 1� .������ ��.���.�%#��� ���1�I���������� .��� �#����� ��.��%#��� ��.������� D� ���.������ �1�.�� ��.������� ���������#�.�.��1���J�DEFINICIJA 5.3�,�;����#����/���%���,�;������������%�������#�����4���1����1�.�/���4����1�.�����%���PRIMER 5.4�,�;����#����/���%��,�;���� ��%����������� ��� ��#� ��� .�;���� � ��%����������������#�� ��� ,�;���� ��%������������������#�����OSOBINA 5.1
C����������.����������#�������%�������#�����.�;�������/��������#������������n�z� ��o Y ôU�z� � ���V��
�����ÌU�V�����%���C����������.����������ÖU�V�.�;��1���%���PRIMER 5.5
116
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 121: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/121.jpg)
6���0������0�#��1����#�����.��.�C�����������.���������.�;���������#�3�ÌU�����������V Y ��
ÖU����� � �����V Y ÖU�����V Y ���OSOBINA 5.2
,�;����#����/���%�����1�#�0���.�������������#���1����DEFINICIJA 5.4
(1���#�������%����#�������%��.���������������1����6���%����������OSOBINA 5.3
,�;����������#�������%������1�����#���������#�����#�������%��1���#�������%��OSOBINA 5.4
,�;���� 1� ���.��%��� �1�#!����� ������� ôU�zV Y ôU��zV �� ���� �� 0��� ��z�0�����1������%�1�#���������#����4������������10��.������4������PRIMER 5.6�����.�����.�;�����*����.�����.��������#�������4��������������1�A¡U�V��,�������
ÖU��������V Y ÖU�������V Y = Y ÖU�������V�������.����������1�4���������1%��1���z Y��z�U�� Y ���� Y �V��OSOBINA 5.5
+���#1�#���1���%��z�������;�3�ôU�zV _ ÖU¼×V � ôU�z� _ ���V��
PRIMER 5.7
'� 4�������� �1%��1� ������ ÖU������V _ ÖU������V Y < _ � Y B� � � YÖU������V Y ÖU������ _ ������V��117
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 122: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/122.jpg)
*����.�����.��������#�������4�������������3�ÖU��������V _ ÖU��������V Y > _ < Y �� � = Y ÖU�������� _ ��������V��
Zašto su Hemingova rastojanja i težine re�i važna za algebarske kodove za ispravljanje grešaka?
-���#�� �� #���� ��.���� 0��� 0����1� �����#�� ���� Y �@�5��z�� ���� ����z����.����� ���@�0���������#�������%������������#��0���0����1������.������������#�.�;������%��R���������ÖU¼B �� �¼�V�� 6�� �����.� ��� 1������ �����#�� C��������� ��.�����1�ÌU¼B�� ¼�V�����?1����.�������0���������#�������%����.���� ��� ��.�#.������ ����#�� �#�����.��� �� ��.�#.������� ��� �1�.�� .�;����� ���0��������� �����#�� ���� �� ��� ����%1������� �����#��R�� 4��� 0����������z��41�1 �����������0�����1�0����.�������@��=������ )$6 6"�(7)� ��(���2(6-� *��,67�(7�� �� ��$����2()�")*6 6�,67(6�,��
Na koji na�in se dekoduju blok kodovi?
��������� ��.1�.���� #��.����1�� ��� ��#�������� � ��� ��������!���� ����#����#��������� �������ÖURV�� �� ��1��� .����� ������ ��� ��� ��� .�� ��������!�����#�����.��� ����;���1� ���4��;�� #����� ��%�� 1� ����1� ��� 0�������1�� ���������������!����ÌU¼B�� ¼�V��(��0��������#��1����1 ��#�������%������ ���������0�����������%� �������� .���� ����#�� ������� ��#�#1� ����.�1� �������!��1�� ��#������� ��%� ����� ���� ���ÌU�������V Y ���ÌU�������V Y �����#�������������4��;��#�������%��DEFINICIJA 5.5� �#���������������������.��������$�;�� �� ��� #���.�#���.�� ��#�������� ����������� ��.������� �#�� ��� ���1#��Ï�0����#�����#������������#1�0�������1���%��@����4��;��#�������%��.���
U�@V Y ������C�9 �U�� �@V���
118
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 123: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/123.jpg)
����.������ ���� 0��!�� ��#�������� �� .�����.�� �����#�� ����.�����0�.�#��0��4������$�������0�����������%��@���������.��������.�����#�������%�¼��������#������#����1�������.�� 1��U£ Y �W² Y �@V�� ���� �����1����� ��¬������� ���#�������6�� ����.�� �� �� ��� ��;�� ����%1��.�� 4��� 0��������� �0������� ����.�� �����.������ #����/� ��%���U£ Y �zV�� �.���� �� �4�%���1���� ��#��0��.0�.�#��� ���#���/� ��� ���1���� ���� 0�� #����� �� �� #����� ��%�� ���.1�1� �� �����#�������.�� ����I.���0��.0�.�#����#���������.��0���J��,�����;�3�����½�D�2 �U£ Y �W¬ Y ¼BV Y ����½�D�2
}U¬ Y ¼BW� Y ¼V}U� Y ¼V}U¬ Y ¼BVY ����������½�D�2 }U¬ Y ¼BW£ Y �V�U£ Y �V Y ����½�D�2 }U¬ Y ¼BW£ Y �V�F�����U² Y �@W£ Y �V���� ��#��� ��� ����%1������� ����� 0�%�.��� �������U£ Y �W² Y �@V��(�� 0������ 1� �1%��1� ��9� ���� %���� �� ���� ��� 0�������� .���������/�����.�� ������#����4�����#�� ��� ��9� .�#�� ��� �� ��4���� ����1� �����#1� ����.�� 1� ����#����� ���� %����0�.���3�
�U£ Y �W² Y �@V Y 0�UC�C@VU� � 0VZ[�UC�C@V��41�1 �� ��� ��� ��U�� �@V���4���� 0�������� �� ����#��� �� �b � ��U�� �@V���4���� .�%���0����.���2�#��������.�����#�������%�#������#���������U² Y �@W£ Y �V��������#�����������������.�������ÌU�@�� ¼�J��6������1������0�#��������������#��������0����.��1��������������.�����������#������������.����.���#�����.���1��1%��1���9��=������ ),)$9�7�������*�"27�(7)�-*)A�$��
Da li postoji na�in da se unapred za zadati kod može re�i koliko grešaka može detektovati, a koliko ispraviti?
119
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 124: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/124.jpg)
6������ ��� 0���.���� �� ������ �� ��� �;���� ��.1� 4��#� #����3� ���/�����������������.��������DEFINICIJA 5.6�������������.�������#�����������������.�������#����9 Y ]�\� �`� T � �à^��������������C����������.��������izZU9V�����?1�4����#������������%�.��#�������%�3�
���izZU9V Y ���zE� �U�z� ��V��(������� .������� 0�#��1��� ���.�� ��� ���������� ��.������� ������� #���� ���!��.����������%����1�.�������#���������0��������������#���TEOREMA 5.1�$�0�!�.�.���.�#!�������0��������������#������#�#����1;����b�����#�����������������������.����������;�����4����#�������4�����¹���¾�� .�#�� ��� ���� d . d �� ���� d d � � .�� ��� �0���� �� �4��#�� �����������#����1#10���¹����������������#���������.�#.1������4��#�������������#����. _ ��T � . _ ������#����#���������#�����������������.�������#����.��#.���� ������. _ ��OSOBINA 5.6���#�������#�0�!�.�.���.�#!���������#������#�#���.�#����#���.����.�#!��1�������1�����������������.�����1����;����10�.��4�.�� ��� ��.�#!��1� �/� �4��#�� ������ �����#�� �� 1#10��� ������ ����izZU9V � �������#����DOKAZ
'�.�������=���.��4��.��.��. Y �� Y �izZU9V � ���OSOBINA 5.7���#�������#�0�!�.�.��0��������������#������#� #��� . �#���� #���.�� ��#�������� �������� ��� 0���!�01� �������������.�������� ��;�� ��� �� 10�.��4�� ��� �0��������� �/� �4��#�� ������ �����#�� ��1#10���U�izZU9V � �VX�����������������#���������;������0�������4��#�������������#����1#10���� _ U�izZU9V � �VX�������#���
120
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 125: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/125.jpg)
(�0�������� ��� ��� ��������� �� �� 1� �������� ��������� .��� )1#���#�� �������!���4���������������I1�����!��F�X�G��.��!���4������������������J��DOKAZ
'�.�������=���.��4��.��.��. Y U�izZU9V � �VX���������'���������%�����U�izZU9V � �VX��������#�������¹�#��������;��10�.��4�.��1�����.��������PRIMER 5.8
���#�#������������������.��������@���;����10�.��4�.��������� ������.#�3��� �0���������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������=������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������>������#��U¹ Y �� ¾ Y =V�<� �.�#.���������������������#��B������#��U¹ Y �� ¾ Y BV�
���#�#������������������.��������B���;����10�.��4�.��������� ������.#�3��� �0�������������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������<������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������=������#��U¹ Y �� ¾ Y <V�<� �.�#.���������������������#��>������#��U¹ Y �� ¾ Y >V�
PRIMER 5.9
��4��4��#�#�������������0������������#1���������������������.������������4�.��4��������
121
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 126: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/126.jpg)
=���� 2�()�*(��$6 6"��2��������#�����0���.�����1�����1����������%������/�#����#������4������/��������.���.������#����0�����.�!�����(�1%� ���3�
Šta su Ub�QV D-arni linearni kodovi?
'� ���� #���� #����� ��� ���������� ��.������� �#�����.��� �� �����������.�;�������Kako se vrši kodovanje pomo�u generator matrica?
Šta je sistematska forma generator matrica ovih kodova?
Kako se vrši dekodovanje na osnovu verifikacionih matrica i sindrom tabela?
Kako se izra�unava minimalno rastojanje linearnih kodova?
Šta su binarni Hemingovi kodovi i kako se koriste?
DEFINICIJA 5.7�2��������#����Ub�QV� 5����� ��������� #���U� d � d �V���� �5����������� 0��0��.��� �#.��#���0��.����-8U VZ��5����������/��#.����1�A¡UÏV�� �#���� ���������#����� 1�4��#�#�����#����1��#.��#��0��.����PRIMER 5.10�2��������#����$���]��������������^���.�1�0�����1�=�����������������#����0��.������������#�������%�����#�������.����������#.��#��0��.������������ #���]���������� ����� ����^���� ��������� #��� 0��.�� ��� 4���� #���� ���������#��4���!����#����/���%�� .�#�?��#�������%�� ������ .�� ���U<��V�4������� ���������#���0��.����������������#.��#���0��0��.�����������������1;����<������������ ��.������� ���� #���� ��� ��� 0�� ����;�� #���.�.�� ��� �0��������� ��������������#��I0�����.�������=��J��
122
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 127: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/127.jpg)
OSOBINA 5.8
��#�����������#������;���1���#���1���%��6����.������#.�����������%������!�����������������#����#.��#��I0��J0��.����Koliko kodnih re�i sadrži jedan Ub�QV D-arni linearni kod?
OSOBINA 5.9
Ub�QV� 5����� ��������� #��� ���;�� i������%�.�/� #����/� ��%��� 1#��1%1�1 �� �� �1���#���1���%��6����4���� �������������4��1�0����1���� ��� ��� ������#�����0���������4������#����/���%�� I����� .�0������ÏJ� ���������#����,�#�?����������1�������.����#��0���?��Q�D�����������4�����#�����DOKAZ
���.�� ��� ��������� #��� �#.��#�� 0��.��� ����������Q�� �#�� #����� ��%� �� ��4����#��� ��������� #��4���!����Q�4���%��/� #����/� ��%�� I.�� ��� 1������ ������ 4���� �����#.��#���0��.���J��+��UQ� bV� 5�����#��������1#10��� i������%�.�/�#����/���%�����0�����/� i����1 �/���������/�#��4���!�����OSOBINA 5.10������������������#������������0����������������Ub�QV�#������3�
* Y iZ���DOKAZ
����.������������4������ 5������#������������ë������%�.�/�0��1#����#��������%�����1;����b���.���3�* Y ��HàZ ���
�Koliko se razli�itih poruka može kodovati UQ� bV linearnim kodom?
123
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 128: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/128.jpg)
6����#��#���#������#����/���%�����.����� i����.������3��* Y ��H IJZ Y iZ��
TEOREMA 5.2�)#�����.��.��������������.�������������������.�;�����+���#�����������#���.3�
�izZU9V Y ôizZU9V���������ôizZU9V�����������.�;����#���������������������.�;�������1�.�/�#����/���%�3�ôizZU9V Y ���C�9CE� ôU�V��6������1�.�.�������%�������.���.���������#����#�������%1��.��1�0��#��ôizZU9V�������izZU9V��
PRIMER 5.11
U����V�4�������#��������������������������������������������������������������������� ������������� ������������� ����������� � ���� ��������1�.�;��1�=���������.�����������������.�������=���.��������#�����;������0�������4��#�������������#����1#10�������������#��I���.����4��1�=�BJ��������.���������������#�������������=������ $6 6"�(7)�2�()�*(���$6 6������� ���� 0�#���.�� #�#�� �� 0��1#�� .���������1� 1� #����� ��%�� ���������� #������#�� �� �� #����/� ��%�� ���4���� ��� 4��1� Ub�QV ����������� #���� ����%�� ���\� �`� T � �i���.������4����#����#�������%��z���;����0��.��1��4��#13�
�z Y � 1z�j�jj|ij|\ �
124
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 129: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/129.jpg)
����1�1z�j�#��0����.���z����4���%��/��#.�����j��'�#��0�#.�����4��#1��#���.� ���������1�����4�1������3��z Y n1z�\�� T � 1z�io k - Y 1z k -���
�������1z��#.�������n1z�\�� T � 1z�io���-���.��!��%����1��������\� �`� T � �i��������.�����0��1#��1z��1;��������4������#��1���#��������%�1��z����;����������.��!���A���.��������.��!��A�������������.�����.��!����.���#�����DEFINICIJA 5.8�-�����.�����.��!���Q���b���.��!��A���� ������.�����.��!��Ub�QV����������� #����.��#�� �� ���� �#�� 1������/�Q��#.���� ������ 4����� �#.��#��� 0��.����.�� $�������� 0��1#�� 1��1;����Q�������������;������ Y 1 k -��PRIMER 5.12�-�����.�����.��!���(�#�� ��� ��.�U<��V�4������� ��������� #��� ��� 0������� =����]����� ����� ����� ����^��6���#�������%�.����#�������%������;�����#��1���%�.����0��1#�3�%�.����4���������%����� 0�� ��� 4�.��1� Y ��� �1\ Y ��� 1` Y ��� 1� Y ������������ #�������� 0��� 1�������.�����.��!���7����� ���1 �� 4���� ���� #���� ����\ Y ����� ��` Y ������ �.�� ����� ������.�����.��!13�
- Y K��������������L��,������1\�#��1���13�1\ k - Y U���V k M��������������N Y U�������V Y �\��
���%���0�.10�������.�������������1`�1���`��1��1��������1��1�������������.���� ��� ��������� #��� 1�#� #��1��� �1��� 0��1#1� 1� �1��� #���1� ��%�� 6�� ���0�����!����������.��#������������%������!�����������������#����#.��#��0��.�����
125
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 130: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/130.jpg)
=������ ���,)��$��86*���2�()�*(�C�$6 6"��6���/����1 �/�������.�����.��!��� ������ ����0��4����4��#���#��0�.�����,�� ����.���.#���������DEFINICIJA 5.9���.���.#���������-�����.��� ��.��!��A�Ub�QV����������� #���� ��� �.���.#�� ������ �#�� �� ��;����0��.��1��4��#13�
- Y O�i��P YQRRRRS���� T ��0\�\� T 0\�Z[i������ T ��0`�\� T �0`�Z[iTTTTTTTTTT �TTTTTTTTTT � ������T��0i�\� T 0i�Z[iTUU
UUV������� ����i�������%��� ��.��!�� ����������Q�� ��#� ���}�Q���Ub � QV���.��!�� #���� ��%�.����������.��!��0����.��I������Parity MatrixJ�������.����� ��� 1#���#�� 0�.���� �.���.#�� ������ ������.��� ��.��!�� ����������#�����������������.�����DEFINICIJA 5.10���.���.#�����������#����2�������� #��� #���� #���.�� ������.��� ��.��!1� 1� �.���.#��� ������ �� �������.���.#��I��������J�#����$����Ub�QV���������� #��� #���.�� �.���.#1� ����1� ������.��� ��.��!��� .���� ���0��/�Q���4���� ��� 1#10���b���4���� #����� ��%�� ����#.��� �����#� ��4������0��1#�3�
�z Y U1z�\� 1z�`� T � 1z�i� �z�if\� T � �z�ZV��� �1���� ��%����� �.���.#�� #��� 0��� ������ ��#�����1� 0��1#1�� �� ��.���Ub �QV�#����/���4�������0�.��4����.�#!�������0��������������#���PRIMER 5.13
"��.���� �� ��� 0������ =����� �1������1 �� ��4��� 4����� ����\ Y ����� ��` Y �������.������3�126
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 131: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/131.jpg)
- Y K��������������L�A.�����1�������.���.#��������������.�����.��!������#�����PRIMER 5.14���.��0������0����.���+��4�������0��1#��4�.�0������0����.�����4�.�#������������0����.��4�.��0��1#���.�����������1���4�.��0��1#���(��0�������4�.�0������0����.�����0��1#1����������� _ � _ � Y �����#�������0��1#1������������#�� _ � Y ���$����������4�.���0������0����.�����.���������.����1�����1���#�������0��1#�� ����#���� �����4�.�0����.���'� .��������� .�������#�������������������UQ _ ��QV�4������������������#��1��%�������������.�����.��!�3�
- YQRRRS�i
�����TUUUV���
#���� ���1��.���.#��� ������������.����������������������.�����������#������I0�����.�������=��J���.�����%���������#�����;�������.�#.1�����������1�����#1�I���.��.�����1�=��J��=������ )$6 6"�(7)3�")*�8�$�9�6(����,*�9��
Na koji na�in linearni kodovi detektuju i ispravljaju greške?
���.0�.�������������������.��!1�¡�� .�#1��������#1�#���1���%�¼��;����� ���� k 8 Y���,������#����0����#���0������¼���������#��R���.�����%�����������0�����1��@ Y � _ �� ������3��@ k 8 Y U� _ �V k 8 Y � k 8 _ � k 8 Y � _ � k 8 Y � k 8��
6������1�.�.� ���������#��#���.���0��.��0��������@ k 8������������������.�����#�������%��¼�������������������#��R����������������������������������������#��1� 0����1� �����#�� ���������� #��4���!������ ������ ��.��!�� ¡ �� '� !���1��0��������� �X���� ��.�#.������ �����#��� 0�.��4��� ��� �����.���� �#.���� ���127
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 132: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/132.jpg)
�#.��#��� 0��.���� ����������� ����������.��!��¡�0����#�.�� 1� ��������1 ��#���������I������.�#.����J�0��1#��� ������.���.�%#�/��������������%����� k 8 Y����1�#������1��4��#13�� k CW� Y ���
DEFINICIJA 5.11�"�����#�!�������.��!�����.��!��������������Ub � QV���b���������#�!�������.��!�����Ub�QV� 5��������������#���.���#���������#���;�3�
ú� � �-8U VZ��������� k CW Y � X � � 9�� �1������%����������#�!�������.��!��#����.�����������I#�����J�#����.�������.������� ������#�����;�� ���.�����������%�.�/������#�!����/���.��!�����#����.��!�� %���� 1� ������ 4���� �#.��#���0��.���� #���� ��� ��.������������ ���������#�����������#�!�������.��!��.����#�����
Kako na�i verifikacionu matricu?
'��1%��1��.���.#���#���������#�!�������.��!�������������#���TEOREMA 6.3
+���.���.#�����������UQ� bV�#���.��%���� ����.���.#��������������.�����.��!����.���3�- Y O�i���P��
��.��!���4��#�3�C Y �W���Z[i�������#�!�������.��!���
�����.����������1��1%��1�0�����A¡U�V� �} Y }��PRIMER 5.15
*����.������.���.#��#���%�������������.�����.��!����.���3�128
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 133: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/133.jpg)
A Y M������������������N�M�` ����������N��,�������Ub Y =�Q Y �V3�
C Y �K����������LW ��� Y Y����������������������������Z�������������1 �������#�!�������.��!��#����.��Kako se dobija verifikaciona matrica u opštem slu�aju, kada generator matrica nije
u sistematskoj formi?
(�#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #���� �� ������.�����.��!���A�� %���� 1� ������ ��\� �`� T � �i� ����;���� �� �� ��� ���1� ���� ���������.��3��� +��· Y Q _ �� � � � � b�����4��.��¼��#��� 0���������� �#.��� 1�A¡UÏVa���������������������¼\� ¼`� T � ¼�[\����� ����%1��.��������1���.��!1�ë[\���.��!��ë�%����1�������¼\� ¼`� T � ¼a����� ������.���[ �#���0�������/�b � Q�#��������.��!��ë[\��
PRIMER 5.16�"��.���������0������=������U<��V�#����%�������������������.�����.���
A Y K��������������L�(�?����0�������#.������������������0��./������������4�������0����������������,������3��
129
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 134: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/134.jpg)
� YQRRRS����������������������������TUU
UV���[\�QRRRS����������������������������TUU
UV�6��#�������3�
CW�QRRRS������������TUU
UV��.���C Y M��������������N��
=���<�� '�2(��$6 6"��"�����#�!����� ��.��!��Ub�QV� 5������ ���������� #����.����Ub � QV���b���.��!����.�#�� ��� ���cRÔU�V������#�.3�cRÔU�V Y .�� (�� ���1� �1������.����� .������� �������������� �#.��#��� 0��.���� Ì·QUcRÔU�VV _ Ô½bcU�V Y b� Ì·QU.V _Ô½bcU�V Y b�·u·�Ô½bcU�V Y b �Q�������� .����b � Q������� ��.��!�������������b � Q��������������� 0��0��.���AUÏa��.���Ub� b � QV����������#����6���#������������1�����#���#����.�I���4��1.�J��OSOBINA 5.11 � 1�����#����1������#����.�������#���.��OSOBINA 5.12�-�����.�����.��!���������#������������#�!�������.��!�����������1������#�������4��1.���=���=�� ��( *6����������������������#��1%�����������������/�#�������#�����¼��#�������%�#������0������� ��R �����#�� 0����#��� 0������� 0��������� ��%� ����@ Y � _ �� ��#�� ����������#�!�������.��!��#���� �����#���������0��������������#���.������3�
130
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 135: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/135.jpg)
¼\ k �[ Y U¼ _ RV k �[ Y ¼ k �[ _ R k �[ Y � _ R k �[ Y R k �[
6����1.�1����;�1�%������!1�������¼B k �[ ��������������#.��������#��R������������ 0�������� #����� ��%��¼B �� �.���� ��� ���%����¼B k �[ ���� 0��4��� �;��.�� 1���#������1������������������I¼B�1�����1�����J�� )8�(�9�7��=�������������������������%���@�1�����1���������#�!���1���.��!1������0��������@ k CW��OSOBINA 5.13
�������� Y��@ k CW�0��������� ��%�� ��@�1�����1���������#�!���1���.��!1���#����.������ ���� ��� ����#�� 1� 0����1�� Y��@ � �z�� �� ��� �� ��� 0��������� #����� ��%���z���z � 9��-���#��R�����;����#��0����.��1�������.���������#�� I����#����������#�����4���J�� ������� �#.��� ����#�� ���� ���� #��0����.��� Y U�\� T � �ZV�� #���� �����1�������.���3�¾U¼\V Y ¼\ k �[ Y R k �[ Y�RØmØØ �
�������mØ�#5.��#��������.��!���� ��� Y îm\�T � mað�� �� 4�� �� ������ #���#.��� I10��.��� ��� ����#�J� �������� ��� �� �� #���#.���� #������������1�0�������%��������#������0������������������#��������1�����������������1 �/�#���#.�������0�������%�������#���$���������� �� ��#��� ���� 1� ��� #���#�3� ��0�������� #������ ��.��!��� �1�#���#.���� I#���� �� 0��.�� 1� ��������J�� ���������� ������!�� ��� ��������1 �����1�.��0���!�������������PRIMER 5.17�$���#!�����.�4��!������������������������(�#����3��
C Y Y����������������������������Z�131
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 136: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/136.jpg)
�����#�!�������.��!������.���4��������#�����,������������1�#��������.��!��C����������� ��#���#.�����.�4�����0�����
Tabela a Tabela bSindrom $���#.�� ������� $���#.���
101 ����� ��� ��������� ������111 ����� ��� ��������� N100 ����� ��� ��������� ������010 ����� ��� N001 ����� ��� ������
�����.���� ������� ��%�.������� #������ ��.��!����� I.�4���� �J�� �#�� ��������1��?�����0����������������#�#����.��1�0��#����#���.����4������I.�4��1�4J�������.�������� �3�(1��� ���������1�#���0���� �������#�����������������1�������!����=�����+������������#���#.�������������.���1�����0�����1��(��0�����3���� Y ��� _ ������.�������������U����� _ �����V����� Y ��� _ ������.��������������*������ ��� .�� ��;�� 1� %������!�� ��� ���� #��� �������������� ��.������� �� ����;�����#����1�������������#1���������4��#���#.��������#����1#10������������������#���6����������������.����������1����������#����1�0����1��'�0��#���0��.�� �� .�4���� �������� ����������1 �/�#���#.�����60�.��0��!��1�����#��������0���������0��1#���@�������� �3�
�� ����%1��.����������¾U¼BV Y ¼B k �[ ��132
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 137: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/137.jpg)
�� ����%1��.�� #���#.��� Ñ Y �R �� ��� ���1� ��������/� #��4���!�������������/�#���#.������� �����.����#��������¼ Y ¼B�_Ñ��PRIMER 5.18� �#����������������/�#������(�.�������0��������=��B��1�#�������������.�����.��!����.���3�
- Y M������������������N�����.0�.�������� ��0������Õ Y ����6��0��1#�� �� #��1���1� ��%�¼ Y ������� ����.��� ����������U=��V�#������ ���.0�.����� ��� ����@� Y ������� ������� ��� ���0����#��� 0������ 0��� 4�.� 0�������� 0����.�� *�%1����� �������U�@V Y ¼B k CW Y������.������#��#���#.��1�! Y ����������.��I.�4��1��J����0�������=��B�� �#��������������0������1����@ _ ! Y ����� _ ����� Y ������ ��.�������1�0������4�.����#�����1�0��1#1�����0��.�����#���� ����.���.#��4�������#������#����.��������������������������������0��1!�����1���1�1�#������KONTROLNO PITANJE
A.�� ��� ����������� 0��1#��� �#�� ��� 0��������� 0��1#�� ����������� �����#�!�������.��!��10�.��4�������#���������.���3�C Y
QRRRS��������������������������������������������������������������������TUU
UV��ODGOVOR
6����������0��1#������������U�@V Y ¼\ k CW Y �������.����������.�� ���#������1�����.�� ���%�� ��� �� ����#�� ������ ��� .�� ��� 0���!����� �.���� ��� ���.����� #����� ��%�����������I0��������� ��� .�� �� 4�.J�� �� 41�1 ����� ���#��� �.���.�%��� I���.���J�������������0��1#�����������I1��.��0��/�Q Y : � < Y =�4�.�J��
133
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 138: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/138.jpg)
=���>�� ��(���2(6�*��,67�(7)���")*�8�$�9�6(����,*�9��$��� ��������/� #����� ���1 �� ��� ����%1��.�� ���������� ��.������� ��� ���1������#�!�������.��!���TEOREMA 5.4�"�����#�!�������.��!����������������.���������#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #����.�U� d Q d bV��.���� ��� ���������� ��.������� #�����izZU9V������#�� ���������� 4���1� ��������������/�#������1����+��4������� ���������#�����.��������#�!��������.��!���������� ���1�.�.����%������ �3�
�� C�������1���#��������������Ìp�aU.V h �� ���� �#��C���������01.���.1�#����1��Ìp�aU.V� h ���PRIMER 5.19
�����������������#����������#�!��������.��!��3�C Y ]���������������������������^��
������.����������+��.�����������1���#����1���.�����01.���.1�#����1��0�����.�����izZU9V h ���'���0�.����.������������������#������/\� /����/���OSOBINA 5.14
+��Ub�QV����������#���.���;�3��izZI9Jd � � �_ ���
=���B�� ��(�*(��C)��(-6"��$6 6"������� ������1%��.����4���4�������#�����#�������1����#����1��� ����1�����#1�����.�� ;������ ��� �0������ ���� ����1� ����#1�� �������� ��� ��� ������� �����
134
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 139: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/139.jpg)
����#�!��1�������.������#���������� �#��������������������������#.��������0���!��1���0������ �������0�1�0���!��1����� � ���������1�1����� � �������.�� 1����.�������.�������������������#�����0���!����c���������������1�#�������c5.��#��������.��!�����6��%������!������#�������������#��.�1���������#�!�������.��!��%����1�#������4���������0������.�!�������/��/�0���!�����A.����������1�#����������3�
Koju dimenziju treba da ima ova verifikaciona matrica?
Da li ova konstrukcija zaista daje verifikacionu matricu koda?
Da li ovako konstruisan kod može zaista da koriguje sve vektore grešaka sa ukupno jednom greškom?
A.�� �� .�%�� 0���� 0�.������ 0���.���� �� ��� ��� ������� ����������Ub�QV�#�����1;����b � Q�� �#�� ������� ����#.��� #��1��� 0���!��1� ����#��� .��4���� 4�� �����0�����.1����Z[i � ��0���!����� ������ .����� �#�� �� ���4���� ��� ��� �1;���� #�������%��b Y ��Z[i � ��� ��0���!���� ����������#�� ��4�.�� ��.10������1������#�!��������.��!���'��������.�4����1���.�����1 �������.���������������#����#������
_ ` a Y _�`b < �Û� �� <ÞÛ �> =�Þ =B >� � �� � �(����������0������������#�!����/���.��!������1;����#����b Y B���b Y �=��
�� Y Y� � �� � �� � ������ � �� � �� � �����
���Z
135
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 140: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/140.jpg)
�ê Y c� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������d� �1���0�.���������0���.��������������#������#��.�1#!������������������������#���� 41�1 �� ��� 1� ��.��!�� #���� ���1�.1�1� 1� ���� #��.�1#!���� 01���� ��������������Ô½bcU�V Y b �Q�� 6�� �� ��;�� 0�#���.�� .�#�� �.�� �� ��#�� ��;��#��.�1��.��������%�����.��!��ºa[p����#��������.�/���.��!��I1�����������������<���@��������#�����J��6��������������������������#������������.��!��Q���.�������Ub�QV����������#���� �� 4�� ��� ���������� ��� 0�������� 0�.����3� ��� ��� ���� #�����;�� ��� �0���� ���4��#�� �#.���� �����#�� �� 1#10��� ������� ����#���� �������� ��� ����%1��.��������������.��������"�����#�!�������.��!����4����������#��.�1#!�������#����� �����.���1���#����1���.������.��#��������.�#��������1��;��.��Ìp�aU.V � �������1��� .����� 0��� .��� #������ ��� ��.��!�� 0���.�����1� 4�����1� ��0�����.�!��1�4����������������#���.�#��1�1�#�����������������6����������������������������.�����������#����1�#��� �������;����� �0�������4��#���#.���������#����1#10��������������#����6���#�����������4�������C�������#����DEFINICIJA 5.13�C�������#����C������� #��� ��� U�e � �� �e � � � �V �4������� ��������� #���� U� � �V �� %���� ��������#�!�������.��!����.���3�
Ce Y î4eU�VW�4eU�VWT4eU�Võð Y c� �f f ���x �g f� �� ����T �T �d����� ���4ZU�V�4������� ��0�����.�!���� 4����� �� 0��� 1� �54�.��� ��%�� I�0���4êU=V Y�����J��OSOBINA 5.15
��#�� 4������� C������� #��� ��;�� ��� #����1��� �� �4��#�� �#.���� ����#�� ��1#10��������������#����136
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 141: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/141.jpg)
PRIMER�5.20�C�������#����'������������Ô Y ����#��.�1������C�������4�������#���UB�<V��,���������3�
�� Y Y� � �� � �� � ������ � �� � �� � �����
���Z� ��4�����������������.�����.��!1��0�.��4���������0����?����<��#.����¼��.�#�/�������� k CW Y ���,��1����0�������#.����I�����������1 �/��������J3�
¼\ Y ��������¼` Y ��������¼� Y ��������¼ê Y ��������
�.�������������.�����.��!13�A Y c��������������������������������������������������������������������d����.0�.����� ��� ��� 0���.�� 0��1#��Õ Y ������ 6��� �� #��1��� 1� #���1� ��%�� Y 1 k - Y ���������(�#����1�.�#1�0��������������#�����.�� ���4�.1��.�#��������0���������#�������%������@ Y ���������
Kako se ona dekoduje?
��������U�������V Y �@ k CW Y ������������ 4������� ��0�����.�!���� ��� ��� �.�����%�� ��� �� ������ ������ ����#�� ��� ��� 4�.1�� �.���� ��� ���1�.�.� ��#���������@ � ������� Y �����������#���#�������%�#�������.�������0���.���
137
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 142: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/142.jpg)
=���� 9�$2�F(��$6 6"��(�1%� ���3�
Šta su cikli�ni kodovi?
Kako se kodovi prezentuju pomo�u polinoma?
Kako se vrši kodovanje i dekodovanje pomo�u cikli�nih kodova?
DEFINICIJA 5.14
9�#��%��� #��� ��� ��������� 4��#� #��� .�#�� ��� �#�� ����z�#����� ��%� ��b���4�����z Y �z�\� �z�`� T � �z�Z��� .���� ��� �� ��%��z�`� �z��� T � �z�Z���z�\�#���� �� ��4���� !�#��%����0���1.�!�����I0����.�����#���0���������1����J���4����#�������%���z��.�#�����#�������%���.���!�#��%����#�����6�� 0��#.�%��� ���%�� ��� ��� �#�� !�#��%��� 0���1.�!���� #����� ��%�� .�#����� #�������%��PRIMER 5.21�9�#��%���#��������� �����������4��#�#������!�#��%���#��3�
�\� Y �������`� Y �������� Y ������ê� Y ���������� ��#��������!�#��%���#��3��
�\� Y �������`� Y �������� Y ������ê� Y ��������.��!�#��%���0���1.�!����#�������%����������1�#101�#����/���%���9�#��%��� #����� 1� �;��� #���� ��������/� #������ 0��.�� ��� 1� ���� #��� ���1 ��#��.�1��.�����#����0��!��1���#������������#����������
138
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 143: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/143.jpg)
=������ 9�$2�F(��$6 6"�����62�(6���9�#��%��� #����� ����1� ����.��� ������%����� ��� #����� ��%�� I�#�� #����� ��%� ���!�#��%���0���1.�!������#��#�������%�J���.���/�1�0�����1�����4��#��.�1#.1���%����#��0��.������ ��� �#.��#�/� 0��.����� ����4��� ���� 0���������� ��� 0���������.���.�%#���0���.�������/�1���0�����.�!��1��(�#������z�#�������%�������4�����z Y �z�\� �z�`� T � �z�Z�0���.�������0���������
�zU£V Y �z�\ k £Z[\ _ �z�`� k £Z[`� _ x_ �z�Z��6������ Ó �.�� ��4����z�� �#����� ��%�� �z ��1;����b ���� #����!����.� 1�� .�0���£Z[����������1 ���0���������zU£V��
Šta je onda � k ¼�U�V�QvÌÕuv�U�a � �V?
��#��� ���� ��� ��� �0���!���� �������� !�#��%���� 0�������1� 1� ���� ��4����#�������%���z���DOKAZ
� k ¼�U�V Y � k h�¼��×a×|\ k �a[\i Y�¼��× k �a[×f\a
×|\ Y � ¼��Øf\a[\Ø|� k �a[Ø
Y ¼��× k �a _� ¼��×fØ k �a[Øa[\Ø|\
���1��£Z � ��������.���� ���%�� ���£Z��������� ���£Zf\���������£�� �� .��� �.�����z�\ k £Z�����1���£Z � �����������z�\��.�#����������������3�� k ¼�U�V Y ¼��\ _� ¼��Øf\ k �a[\a[\
Ø|\ Y � ¼��Øf\ k �a[Ø _ ¼��\ k �a[aa[\Ø|\ �
A.�����.����������#��������%���z�`� �z��� T � �z�Z���z�\� ��������!�#��%����0������1�1�����#�������%���z��139
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 144: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/144.jpg)
PRIMER 5.22�����1��£Z � �����.��.�#���(�������������0������������.��.�#�3�
U�` _ �V k U� _ �V Y �� _ �` _ � _ � Y � _ �` _ � _ �����U�� � �VY £` _ £ _ U� _ �V����U£� � �V Y £` _ £����U£� � �V�0��.�����1�4���������1%��1�� _ � Y ���PRIMER 5.23���������������0�����.�!����!�#��%��/�#����������.������4��������!�#��%����#�������0��./������0������3�
�\� Y �������`� Y �������� Y ������ê� Y �������������������0�����.�!��������#���������.���3�¼\U�V Y ��¼`U�V Y � k �` _ � k � _ � Y �` _ ��¼�U�V Y � k �` _ � k � _ � Y � _ ��¼êU�V Y � k �` _ � k � _ � Y �` _ �������.���������3�
� k ¼`U�V Y ¼�U�V����U�� � �V���.�����%�����������!�#��%���0�������1�����#�������%���`����.����3�Šta su polinomijalne prezentacije slede�ih kodnih re�i?
�� ����������� �������� ��������<� �����6������3�
140
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 145: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/145.jpg)
�� ���� �ê _ ���� ��<� �� _ �` _ � _ ����.����3�����.���������#�������%���\���`��������!�#��%����#������
Šta je onda ¼\ k ¼` u slede�im slu�ajevima?
�� ¼\ Y ������� ��¼` Y ��������� ¼\ Y ����� �������¼` Y ������� ¼\ Y ������ ����¼` Y ������6������3�
�� U�ê _ �` _ �V k �` Y��ê _ �� _ � Y ������� �QvÌU�g � �V��� U�� _ �VU�` _ �V Y �� _ �� _ �� _ � Y � _ � Y �� ��QvÌU�ê � �V��� U�ê _ �� _ �VU�� _ �V Y �j _ �g _ �� _ �� _ �ê _ � Y �` _ � _ �� _� _ �ê _ ���ê _ �� _ �` _ ��������OSOBINA 5.16
�#�� ���¼U�V�0������� #���� �������� #������ ��%��¼�!�#��%���� #���� �1;����b�� .������#�� 0������� 0U£V� �0U£V k �U£V������U£Z� � �V ��������� 0������1� %�������������1 �� #����� ��%� 0��0���� .��� �.��� !�#��%���� #��1� I!�#��%��� 0������� 1�����0�1����������#��4���!���J��TEOREMA 5.5
+���#��!�#��%���Ub�QV�#���.�0�.����0��������9U£V�.�0����b � Q��.�#�������3�. Y ]w2U�V k �3 � � A¡U�V� ���U�V e Q^�6�������#��0�������#�������%�����1���;�#��9U£V����4��1.���,�����%��������#���.����������0��� 1��9U£V���6���0���������������������.�����#����.��$����������%��1�0��� 1�!�#��%����#����.����.����1�����1��U£V Y 1U£V k �9U£V���
141
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 146: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/146.jpg)
$��� �.�� ������� 1�#� ��� 0�;������ ���.�� �.���.#�� #��� 1� #���� 0��� ��4������������1� 0��1!��� +��Ub�QV�!�#��%��� #���� .���� 0��!��1��� #�������� �41/�.������ ��#���#�3��� ���;����� 0�������� 0��1#��ÕU�V����a[p�I!�#��%��� 0��������� 1� ���� ���b � Q���.�J�������.�����������5��.�0���������.������� ���������a[p k ÕU�V���������.�����wU�V�����4��������.�.#��ÔU�V���� $�������� ÕU�V ���� .���� ¼U�V Y �a[pÕU�V � ÔU�V �� %���/� Q �������/���4����������������4����0��1#��Õ��
�PRIMER 5.24���.���.#��#��������!�#��%����#�����������.������UB�<V�4�������!�#��%���#��3�
¼\ Y ������� ¼` Y �������� ¼� Y �������� ¼ê Y ���������¼� Y �������� ¼g Y �������� ¼j Y �������� ¼� Y ���������¼k Y �������� ¼\� Y �������� ¼\\ Y �������� ¼\` Y ���������¼\� Y �������� ¼\ê Y �������� ¼\� Y �������� ¼\g Y ���������
6��� #��� ���� ������.����U£V Y �`U£V Y £� _ £ _ ��� 9���� ���� ��� ��� 0��������0��1#1�Õ Y �������������'U£V Y £� _ £` _ ������������0���£�1U£V Y £g _ £� _ £�����U£V��(�#��������������4�����3�
��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ���6������#�������%���3�
¼U�V Y ��ÕU�V _ � Y �g _ �� _ �� _ ����.�� ��������������� �� �� 1������3� 0��1#������ ��� #��1��� 1�������� �������.���� ��� 1� 0��� %�.���� 4�.�� �����#�� ������������ 0��1!�� 1�� �.�� ��� �� 4��� !�����.���.#���#���������
• � k ��g _ � k ��� _ � k �ê _ � k ����������������������������������������������� ªãfªf\ªã �142
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 147: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/147.jpg)
• � k ��g _ � k ��� _ � k �ê _ � k ���• � k ��g _ � k ��� _ � k �ê _ � k ��������������������������������������������� ªãfªf\ªãfª� �• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`��������������������������� ªãfªf\ªãfª�fª�����• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��������������� ªãfªf\ªãfª�fªf\�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ � �� 555555555�� �.�.�#������������• ��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ��
TEOREMA 5.6
-�����.���!�#��%����#�����1;�����������#.���0��������£Z � ���TEOREMA 5.7
��#�� ��#.��� 0��������£Z � ��.�0��������� ������.��� �������U�� � � �V�!�#��%����#�����=������ )$6 6"�(7)�9�$2�F(�C�$6 6"����.10�#���#��������!�#��%��/�#��������.����1����� ��3�
�� ���� �� ����%1���� ���������� ���1�0��������� ��%�� I0���.���� ����������������������������#����������������.�����#�������%���������#�����1����#�����0�����������%������#��#��������%�J���� ����%1�������#���#.����I#�������10��.����������#�J���� $���%����0������1�����#���#.������0�������1���%��143
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 148: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/148.jpg)
$��.�1#!���� ���������@U£V��� ���� ��� ����%1������� �.�.#�� ����������@U£V���������.�����#�����U£V��+��.��� ��� ������ ��� !�#��%��� #����� ��� ��� �#�� #����� ��%��U£V��1�.�0�� ���������.�����U£V�� �.���� ��� �.�.�#� �������� ��U£V _ �U£V�� ���U£V���.�� #��� �.�.�#�����������������U£V���U£V Y lU£V k �U£V��U£V Y mU£V k �U£V _ U£V� ����#�������������3��U£V _ �U£V Y îlU£V _ mU£Vð k �U£V _ U£V��0���%��1������� �nU£Vo e ���n�U£Vo��7�������������#��.�1#!�����������������U£V��1����#���������#������@U£V�#�������%� I��������1�.�0�� ����U£VJ�� $���#.���� #���� ��������1� ���1�.��� ���������������1���4�.��������������wU�V���������1���1����� �3�
� �������1�����#1���.�0����· e b � Q�����������������.��������� �������1�����#1��a[p�������������a[p � wU�V��
PRIMER 5.25� �#��������!�#��%��/�#������(�.����� �� 0��./������ 0�������3� 0��1#���������� #������� 1�����������0���.��0��#����.���#����������.0�.�������������1���4�.�0����������.�#��������0�����������%����������
Kako se odvija dekodovanje?
�����������������@U£V Y £g _ £� _ ���%������������������wU�V���4���3�
�6����������������£` _ £ _ ���144
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 149: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/149.jpg)
Sindrom KorektorÛ �n �nÝ �`�n _ Û ���nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g����/� <� ��� ��4������ ��� ���1� ����.�/� ��0�;������ ��#� 1� 0�������� �� ��4��������������������#����������.�����wU�V��(�����������#���#.��������4�.��£�����#����#���%�����#���������%3�
¼U�V Y ¼\U�V _ �� Y �g _ �� _ �� _ ��� ����������1�1 ����� ���#���� ����.���.�%���#����0��/�<���4�������#�������%�� 1�0���%�.������4���������������0��1#�3�������PITANJE
*����.�����UB�<V����������#����%�������������.����U£V Y £� _ £` _ ���Kako �e se dekodovati slede�e poruke?
�� ���������� ���������� ��������ODGOVORI
�� ������������ Y £g _ £� _ £ _ � Y U£� _ £` _ £ _ �VU£� _ £` _ �V�
6�����%��������������������#���I�.�.�#������������wU�VJ����41�1 ���������������.���.#���#��1��0���<�4�.��0���������#�������%��1������#��0��1!����� �����
145
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 150: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/150.jpg)
������� Y �g _ �ê _ �� _ � Y U�� _ �`VwU£V _ �` _ ��Sindrom KorektorÛ �n �nÝ �`�n _ Û nÞ nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g�
�������X#���#.���.�4�������������.����U£V Y £� _ £` _ ��������� .����� ����%1��.��� ������1�£` _ ��� �������� #���#.���£��� �#�������0��1#������4������1���������0���������#�������%��������#���������3�
�g _ �ê _ �� _ � _ �� Y ���������"�������4����.���.�%��.��#����������0��1#���������
�� ����������6����������������������������.�������#���#.���.�#�?�����0�������#���������%��� _ � Y �����������0��1#��������
146
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 151: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/151.jpg)
=�<�� $6("62'9�6(��$6 6"��(�1%� ���3�
Šta su konvolucioni kodovi?
Kako se vrši kodovanje konvolucionim kodovima?
Šta je stanje i dijagram stanja?
Šta je rešetkasta prezentacija vezana za predstavljanje ovih kodova?
Kako koristiti Viterbijev algoritam na rešetkama, u cilju dekodovanja minimalnim rastojanjem?
Kako izra�unati minimalno rastojanje konvolucionih kodova?
$����1!����� #����� ��� 0��0����1� #���� 4��#� #������ ��/������� #��������0��.�� 0��./����� #������� ��4����� '� ������� ���1� �� ���1� .��.���.�� #�����������%����4��#�#���������!��#������������#�������������%����������#1���� ���#��1����#���������4��#�#���������������� �� ��%��1� #�������� #����1!������ #������� ���� ��0�%�.�� �������0��������#���������A����#������������4�����0�����������.�I���#��=��J��*��������4��������#��1��
����#��=�����#����4���0��1#��Õ����#��1���1������4����¼`�[\���¼`��
147
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 152: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/152.jpg)
'��#��������#���.���1.#1�������������4���0��1#��1z�1�����1�#��������#������4����#�������%���`z[\�����`z������.1�1���������1 Y U1\� 1`� T � 1z� T V���#��1���1�� Y U�\� �`� T � �`z[\� �`z� T V���.�������4����������#�����X������!��#�����������0��������I���#��=��J�����;���0��.���3��`z[\ Y 1z _ 1z[`��`z Y 1z _ 1z[\ _ 1z[`�1z � U1z[` _ 1z� ��1z[` _ 1z[\ _ 1zV�6�������%���������1�0���.��.����#�����#��.���#����1!����1�������#��!�����#��!�������������������������������������������
����%1��.�� ����°îbð���������� #����1!����� �������îbð���mîbð���.�/� ��� ���������#���3�°îbð Y � �îcðmîb � cðo
Ø|o �=�<���� $6 6"�(7)�$6("62'9�6(���$6 6"������#�� �� ��.���� ��� 0��./����� 0������ ��0��� ���� ��� 0��!�� #�������� ����� 1�0�.01��.������?�������#����1!������41�1 �����������1�0����.��0��./����������.��1z[`���1z[\�� 6������� .�� ��� �#�����.��� 0�.���1� �.�� 1� 0�%�.��� .������.����1�.���1.#1�.��N������������1���.���1�.��0�%�.���.��������#���1[\ Y ����1� Y ��� ��4�� ������4��4������ �� ��� �#1�������1�#���1� ��%�����0/����� ������#�������#��� #�������� 0��./����� #����� ��%�� 0��?�� 1� ��� �1�.�� 0�%�.��� .������ ,�����%������#��0��1#��#����1�����1�#�������������#���1�������;�����������1������4����������������.������.����1��1�.��0�%�.���.������
148
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 153: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/153.jpg)
'�0��./�������0�����1�.�����%�������#���������#����%���������#�����������������1����PRIMER 5.26 $��������#����1!������#��������.��4������#����.��0��1#1�Õ Y ����0��� 1�#����1!������#������0��#����������I���#��=��J�� ��4��������������0��!��#�������������%1��������������.������%�����6���1���.��1��������.�4�����
% �% Stanje U�%[Û�%[ÝV &Ý%[Û&Ý%Û � �� ��Ý � �� ��Þ � �� ��$ UïV �� ��� UïV �� ��
6�� 1� ����.�� �1�.�� ��4���� 1� !���1� �� ����� #������ 1� �1�.�� .������ �.���� �����������1 ��#�������%�������������*����.����������0�.��0�.10�#������������#����0��� 1�#��������I���#��=��J��(�#�� ��� 0��1#�� �1;���� �� 4�.��� ������� ��#�� ���1 Y U1\� 1`� 1�V�� �.�� ���%�� ��� 1�0�.10#1� #�������� .����� 1%�.1��� 0��1#�� �1 Y U1\� 1`� 1�� ���V �� 1;������������1 �� #����� ��%�� ���� k = Y ����'� ��.��%���� ������� ���1� �� ��0��.�� ������� ����%��3�
U¼`�[\� ¼`�V Y UÕ�[`� Õ�[\� Õ�V k Y� �� �� �Z�$��0��.���#�������%�¼�����4�������;������1 Y U1\� 1`� 1�� ���V�����.��!��3�A� Y QRR
RS���������������������������������������������������������������������������������������������������������TUUUV�
���������.����������;������1 Y U1\� 1`� 1�V�����.��!��3�149
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 154: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/154.jpg)
A� Y Y���������������������������������������������������������������Z�� �#����¼ Y Õ k A���+��0��1#���1;��������������1�������;�������������.������ Y 1 k -i���������-i������U�� _ <V���.��!����0��������.�#�����1���������.��!����;����1����������������.�������#����������0��������1������������#�������
Y� �� �� �Z � ��������������������A� Y Y�Û�Û�ï�Û�Û�Û�ï�ï�ï�ï������Û�Û�ï�Û�Û�Û�ï�ï����������Û�Û�ï�Û�Û�Û�Z��
=�<���� 6�A,)� )8�(�9�7)�$6("62'9�6(�C�$6 6"��DEFINICIJA 5.15
Ub� c� ÔV� 5����� #����1!����� #��� ��� ��������%���� ��������� #���� %���� ������.�����.��!���������� 1�I4�#���%�1J�����13�A� Y c�¡��¡\�¡̀ �T��¡p������î�ð�î�ð���î�ð�x��î�ð�¡��¡\ �T��¡p[\�¡p ��î�ð���î�ð�x��î�ð�î�ð¡� T�¡p[`��¡p[\¡p��î�ð�x� d��-���1�8z�c���b���.��!����î�ð�c���b��1�����.��!�����#��#10����#���������.��!��A�����.��#���0��./�������0��������������.��1�������
DEFINICIJA 5.15�(�.��#����1#��1��1;������1 Y U1\�T � � 1iV���#��1���0�.10#������� Y 1q k -ir ����������1q��#.����1;������ Y �#� �� Y sij t��
150
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 155: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/155.jpg)
1q Y U1\� T � � 1i� �� T ��V���-ir ���������������0����.��!����.��!��-����������3��c���bUÔ _ �V��
�����.����������1q Y 1����������� Y ����#�����Q��1�.�0�����c�I��#��������1�����;��1�0��4�����1%��1�c Y �J�'� 1������� ��.�!������ 1� �����!���� =��=��c��������� 4���1� ��4���� 0��1#�� #����1�����1�#����� Ic�1�����/� ������J��b���������4���1���4���� ��������#�������%��0���������1���1�Ib��������/�������J����#�������#�������4�����������#�/��������.��I�1;��������.���J������������1���������������PRIMER 5.27
$��������I���#��=��JI���0�����.����U�����V�#����1!�����#��3�c Y ��1�����/���������Ô Y ���������������1 ��b Y ��4�.��#����/���%������#��1������4�.�� $��� �.�� ��� ������ 1� 0��./������ �����#1�� ��� 1������ 0��1#�� ��� �� ��4�����������.�����.��!��������������.��!���
A� Y Y�Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û�Z��'�#����� ��� ���.��c Y ������� ��0��������� ������1������ ������ �����0���!�����'�����1�����0�.1�������!��1�������.�����.��!��������.��!1�-���;�3�8� Y O���P� ���.�����������#����!����.�������1z�8\ Y î���ð�����������#����!����.�������1z[\�8` Y î���ð����������#����!����.����1z[`�������.���� ��� 1� #����1!����� #����� ���������� ����� #���� ��������� #��4���!����#����/� ��%�� ��� .�#����� #����� ��%�� 1�� #����!��1� ��� �� #�� �� #����� ��%���������%���1�0������1;���������������1������#���1��
151
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 156: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/156.jpg)
=�<���� �*) �,�"���*)$6�*)A),$���.�������������.�������#10���.����/�0�����.����I���;��������.������������������J�#����1����0/������������%1���������������������.��1������(��0����������#������� I���#�� =��J�� .����� 1� .���1.#1� �� ��� .���1.��� ���;��� ��� ���������� �������� Y U1z[\� 1z[`V��*���#������ ��� ����?��� � .������ �� 1�������$����1!����� #����� ���������� .�����I������State machineJ��*���.�#�/��.�����������?��������������.�������DEFINICIJA 5.16 ��������.������ �������� .����� #������ ��� gtaf� %���� 1� %����� �� ���1 �� 1�1.������� .�����#�������-���������?1�%�����P����P×�1���������1�0�����.1���%������!1����0�.����1���� #���� .�����P� �0������ 1�P× �� -����� �� 0�� 0����1� ����%���1� 1���������4����������������1 ��������������4�������PRIMER 5.28� ��������.�����+��#�������I���#��=��J����������.����������.��3�
����#��=��� ��������.�����
152
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 157: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/157.jpg)
����� ����#�� 1� 1����� #���� ������1� .������ ��#� 1� !����� ����#�� ��������1 ����4���� �������� (�� 0������� �#�� �� 1� .���1� ��� 0����� #��� 1���� ��4��� ��� .�����0�.������������������1���0�����1�1������4���������#10�#����/���%��#����1!������#����I��#��J���������1 ��0��1#���1;������4�.���������� ������1 ��� 01.������� �1;�����U� _ sij tV�1� ��������1� .����� �� #����.��.1�1�����1�.���.��������� ��1���1�.���1�.��.��������� 01.����� 1� ��������1� .����� �.�� �1;�����U� _ sij tV���������� 1� �����1�� ��������1�����.#��������������#����1!������#����I��#��J��PRIMER 5.29�*���.#��+��U�����V�#����1!����� #��� ��� 0��./������ 0�������� ����.#�� ���������� ��� #������0�����.1���#���������/�0��1#���1;������4�.�������.��������� �����������13�
����#��=�������.���0��#������.#���-�����������������#��%������������1�������4�.1�������������������1�������4�.1���� ���� .��� #������ ������ ��������1� #������1� �� 4�.�� 0��1#��� �� ��� 0��������#������ ������ ��������1� �������� �1������ 0�� .���� ����1� ���� ������ �������������������������1 ��%������PRIMER 5.30�$��������1�����.#���$��������0��1#��Õ Y ������������������ 1�01.���13�
153
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 158: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/158.jpg)
����#��=�<�$��������1�����.#��
6��#�������������������������#�������%�¼ Y ������������(�����������������0����������.#��I1�#�������1�������������%���J3�
����#��=�=�*���.#��1�#���������������1�����%����
'��������.�4����1���.��#�������%�����.�����1��#���������1 �/��.1�!���3�154
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 159: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/159.jpg)
u%v�% ï Û000 ���� ����001 ���� ����010 ���� ����011 ���� ����100 ���� ����101 ���� ����110 ���� ����111 ���� ����
=�<�<�� )$6 6"�(7)�$��� �.�� ��� ������ #������ ��%���� ��������1� 01.����� ��� .��.���� %���� ���#��������%����1�����.#��� �#�����������.����1�����;���1����0���������01.�����#���� �������� 0���������� #������ ��%��� '� .��������� ��#�������� �������������.������������������#���������#�������%���������������4�����������#������0��������� 01.����� �� ��������� #��� 01.����� �� ����������� C�����������.��������1�����1����0��1#1�#��������#��1�����(���;����� .�� ���4��;�� 01.����� �� ��;�� �4��.�� ������%#��� 0����������������������"�.��4������������.�����"�.��4����������.�����#��1��� �����������1����4��#���#����/���%��I���������4�.��0��1#����#���0��./����/�4��#���0��1#�J��0��.� ��1��#���#���#1�������#������0.����������������6�����������.�������1��#���%��1�1�#������#������������.�#1 ���4��#1���#���������0��.�����4�����01.���1�#��������������.���%�����(�� #���1�� ���4����� 01.����� 0����?���� ��� 0�������� %��� ��� 1������ ��#�������0��1#���6����.������;�����#���������"�.��4����������.���������.��������4�������4����/� 01.����� ��� �#�� �����#�� #���#�� � 1�#������� ���� �����#� 4���1� .�����#��������.���� ��� "�.��4���� ������.��� ��������� � 1��.�� �#0����!������� #��0��#��.��������� ������.��� ��#�������� #���� 4�� �� �.����� 1� 0���?���1� �/� 01.����� ��0��1#���#��1�.��4����#����.���
155
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 160: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/160.jpg)
���?���������.���������0��"�.��4������������.����'������0�����#������#���wzUV� � ����4�������#��������I����������������1 �������#���J��1;������#�������������1�.���1�¾3�
x�U¾V Y ���D��T�D�y�z{�|}{~�J���� ÌU¼\ T ¼`�� ¼\� T¼`��V $��0��.��� ��#�������� � ��������wWC@WU��V��W�@W��â��� ���� ���W�@W��1;���� 0��1#��#��������#��1����2�#��������.���������#��0���.�����U� �V��;�3�
x�U¾V Y ���D��T�D�y�z{�|}{~�J����UÌn¼`�[\¼`�� ¼B̀ �[\¼B̀ ³o _ x�[\U¾�VV�6������#��"�.��4������������.�13��UïïV Y ï
for i from 1 to W&@W do
for all � do
�%U�V Y ���&Û�T�&Ý���������������U�n&Ý%[Û&Ý%� &@Ý%[Û&@Ý%o _ �%[ÛU��VV end for
end for
*�#��.�1#!�����0.��������01.������4����1����������#�����������0�%�.����.������PRIMER 5.31
���.0�.�����������0��#��#���������1����0���.��#�������%�¼ Y ��������������#����0�����������%��@ Y �������������������������1����������#���,���� ��"�.��4����������.���0�� ��#�������� ��#���#���
156
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 161: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/161.jpg)
�
��
����#��=�>�$���!��1�"�.��4������������.�1�
'� 0���� #���#1� ����� "�.��4������ ������.���� �����.���1� �� ���� ��� ���1 ��01.�3�157
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 162: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/162.jpg)
� *����.����� 0��� #����� ��4��� ��� ��� �.�� ���� ��� .����� ��� #�� .���1� ����,���������.1��������0����������������#���41�1 ��������0�������������� *����.�����0�����4��� �������.���������.��������#��.���1�����,���������.1��������0����������������#���41�1 ��������0�������������
'���1����#���#1��0�.��������������01.������.��������#������.�����I������0�.���� <� .�#�� 01.�J�� ���������� 4���� �����#�� ��� �#�� ��� ��� %�.���� .����� ��������#� ����������� 4���1� �����#�� 0��./����/� .����� 0�1� 4���� �����#����������1 ��01.�����I������������#�������?1����.����/���0��������/���4���J��(��0��������#���������.���01.�����?1�.������������������������.����������#���41�1 �������.�������.1���������0����������������6������#�������������4���1������#��1�.���1����1�#���#1���w`U��V Y � _ � Y ���'� #���#1� .���� ������ ��� ���1 �� 01.����� ��� �#�� .������ ������.��� ����;������� 0�� ����1� ��.����.�1� #���� 0�������� ������ 4���� �����#��� 6.���� ������ 1�����%�����0��#�������4��?�������������������.��� ����� ��� �.��.���� 0���!�01� �� ��� 0��������� #���#��� 1� #���� ����.�;���1�.��.������������������4�����������#�������#��������������� #���#� ��� ��#��.�1#!���� 01.����� 1������ I0���� ������J�� 6�� 01.�������������#��������%��������������(�#�����4�������#�������%������0/����������#��.�1��.�����������1�0��1#1��6����;�����4��.��0��.� ������#��������I�������J������?������0.��������01.������ ����1��������� 0���� 4�.�� �#��� .����� #���� #���� 0������� �0.������� 01.����� 1��������1����#�����01.�����#��0�%�.#1���+������0���������0.�����1�01.���1�����%��1�0�����4��������4���������������������4�!������������������1���#������1�����0��1#�����4������#���%���0��1#1�������.�����������������������0���.���0��1!���
158
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 163: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/163.jpg)
����#��=�B����#����0.�������01.�����
PRIMER 5.31 a
+��#��������0��./������0����������#����.��������������������������������
����#��=�@����������#�����������0��./�����0������
159
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 164: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/164.jpg)
����������0��1#������:������#���)��.�����#�������%�����������������������������������������.����������#��������0��1!������������������������������0��1!���������1�1 ����� 1�#����1!�����#����� ���������#������ 0���������� ���,�������=��� ��0�����#��������������������.�������������#�������������.�;�����OSOBINA 5.17�����������.�;����#����1!������#��������������� .�;���� ������� #����1!������ #���� �����#�� ��� ����������� 4���1����1�.�/���4�������01.�����#����0�����������������1��1�.���.���1��+��#��������0��./������0�����������������������izZU9V Y :� �(�����������!������������.#�� #�������� ��������� #����� ��%� #���� ���� .�;��1� �����#1� ��������������1 ���.�;����:��������#����1!�����#����
����#��=�:�$�������%�����������.�;����
�
160
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 165: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/165.jpg)
=�=�� �*�$,�F(���*��)(��+�A,�,(�C�$6 6"��(�� ��!�� I���#�� =���J� 0��#������ ��� �0.��#.��� ����� ����.������ #��1��#�!�������.���� �� ��0�����.������� #��0����.���� ��� ���.�.��� #��������� (�� .�����0�������!�� 10�.��4����� ��� #������ ��#� ��� .����� 0�����!�� ������� �� ��#������(��� ����������#��0�01������.�/��#��#���������
�� �*E� IAutomatic Repeat RequestJ� D� �1.���.#�� ��������� ��/.��� ���0�����������0��1#���� 8)9� IForward Error CorrectionJ� D� ��#�������� 0��������� �#��!�� #������4��;��#�������%���� C�4�������*E�<� ��.��������=� �#����������4��������>� $��#�.���!����#������
����#��=���� ���.�����#��1��#�!������.���=�=���� �*E�+��.�.��� #�������� �� �4����� .�#�� ��� � #��� ��� 0�� �4�� ��� �0������ � � ������.�#.1��� ����#��� $���� �� ������� ��.�#!���� ����#��� ������ �� ��/.�� ���0�����������0��1#���
161
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 166: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/166.jpg)
'�0�����1�����#����#����������*E����4��������8)9��41�1 �������0���������#�������%�� � 0��/�.��1� ���� �#�� 1� 0����.�� 4��� ����#�� I��#��� ����#�� ��#�������� ����1��J�� 0��� 1����� ��� ��.�#!���� �����#�� �� 1�#� �4����� �0������ 6�� �� �����4����4�0��.����9�������0�� ������;�������4������0������� ���.���0�����.��*E��������#�������.��������#��������1�0���?���1���8)9���*E� ��/.��� ����.��� 0���.��� #������ #���� ������ ��� 0������� �� !��������#��1��!������������1�#������0�������1��'� 0�����1� ���.������ �*E� ��� ��.����� 41�1 �� ��� ���.����� ��;�� 4�.�� .�#�������������� ��� �� 1�#� ������ 0�� ��#�� ����#�� 1� �#��� #������ ��%��� 60.��������.1�!������.�%#��������.�����.�%����������0��#����������������1�����#1�1��������#��������%���%����4����.��#�������%���0��#����������.��������.�������.�0���*E3�
�� �.������%�#����� (�0��#������.���� �� %�#��� �*E�� ��������#� ������ ����1� #���1� ��%� �� %�#�� 0���.��1� 0�.��1��0������ 0������� I�9$J� ���� ����.���� 0�.��1� I(�$J�� 0��� ����� �.�� 0�������������1�#���1���%�� �4���.�����.������%�#����*E����0�.��4�����0��1�10��#����#�������� (���.���� .����� .���� �� %�#��� �*E� ��� .�������� ������� ��� %�#�����0�.������.����;����#�����.�1�4����1�0�������(�0��#����� �*E� ��/.��� �10��#��� #������ .�#�� �.�� �� #����� ��%�� 0�� �������#����1���0��#���������1�����#���0����1����#����1����0�����(�$����.���������%�����4�����(�$5�3��*E� �� ������� 1������ 5� ���#���� �� 0����� ������ #������ ��%� 1� #����� �����.�#.����� ����#�� 0�1� � �� #����� ��%�� 1������� ������.������� ����?1��� ������1�1#10����#���������#������1��4���������(��0�������#������.�!�������/��.���.#�/�#�������#�����������;��4�.���������#������ =<�� ��!�� ��������#� ����� ��� �����������#����/� ��%�� 0��������/� 1� �#��1��������������.����/.������#1��������1��
162
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 167: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/167.jpg)
����#.���� �*E -� #��� #���� �� 0������ 0����� ���� #����� ��%� 1� #����� �����.�#.����� ����#��� %���� �� ��4���� � �� 4������ 0������ �����1� �1%��1��*E� ���������1������D����64�� .�0�� ��0��#�������*E������ � 1� 4����1� 0������ 1� ����1� ��� .���� �� %�#����*E�������%1��� �/��������#�/���/.����=�=���� 8)9�8)9����0����������0�������1�#������#�����#��������4�.��.�%�1�0��1#1����0����������� ������� 1� ����������� �� ���1������ I������ BroadcastJ� #������� ��������#���������0��������������#��0��0����1�������������#�.���������3�
�� 4��#�#���������� #����1!������#���������(��0�01��������4��#�#�����1�*�������������#�����5�*���#���������������1��54�.��/� ��4����� �� ��� ��� ���1� 4�.��� �1�1 �� ��� *�� #����� �0������1� ����#�� ������1� ��4����� �� ��� 4�.��� 0������� 1� ��� �0��������� #��!��.�����/�� 0�#�.��/�I������burstJ������#����(��0�����3���D���4�����*��#�������@�4�.���0����4��1�����1�#������.����0�#�.�� �����#�� ��� �>� 4�.��� ���� ������� ���� �� #���.�� 1� 7,� �� D� �����.������1�����14�#��#���������#��0�#.���#�5�9 �0��������$����1!�����#�����1����1����������4�.��0��1#��1�0�����%#������.����1;����Ô����������/�#����������������%����Ô��"� ��Ô���������#������#����������.�����.���1��;�������#������������.���� ���� ��.���� ��#�������� #����1!����/� #������ ���� ��� ����������0��.����������"�.��4����������.�����.#������:>B�����������.����������ô�"�.��4����� ���������0���;��1��������%�01�����?�����"2���.�/�����������"�.��4���� ��#����� ��� �����#���� �� ��0��#.�%��� ��� ���#��Ë�� +�� ���#��Ô��UÔ e :V�%�� ����#���.����1���������.�����#��������#�������������#��!���������#������
163
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 168: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/168.jpg)
,�� �� 0�.10�#� ��#�������� ��� ��#����� �� 0���.���� 0������� 0������� ���#��������0�#�.��������#�������#� ������.�����4���/�0�����������#��1�����#�����#����1��1%�������0����������-��������� �� ��;�� �� �� ��� #����1!����� #����� ���1� 4����� ���1�.�.�� ��� 4��#�#����� �����#�� #��0��#��.�� #�������� �� ��#��������� ���4���� �� ���#�������#�������������������.��������0�.��4�������0�������0��01����0�����������#�� #���#�� ��/.���1� ����.�� 4�.�� 0����.�� I���1����.��� 4�.�J� �#�� ;������ �������;����4����1�0��������#������/�0��1#���.�����:B>�� ������� -�.������ '����4�#� IGottfried UngerboeckJ� ��� �.#���� #��1� #�����#���� ��.�����1� �1�#!��1� #�������� �� ���1�������� 0��� %��1� �.0���� ��/.�� ���0����������� ���#��.���� �0���� 0������� 6�� #����� 1� ������� '����4�#���#����� ���� trelis� #����������1��!���� I,9�J���1#����� ���������#���� ��������.������#���������������4��������� ������:�>�#4X�!������#���.��,9����=�=���� C��*� (���*E�C�4������ �*E� #��4��1�1� #����� ��� ��.�#!��1� �� #����� ��� �0��������� �����#���%������0�� ������#���.�#���� �����#�������'�0�������#1���0���0�#1����1��0���.��������#��1�0����������#��������%���'#���#����1�.�������10���#���.�������������0����1.��.����*E�.�/��#�������.�������1��C�4������ �*-� �� �.�� ������ �� ���0/����� 4�.��� 0����.�� ��� ��.�#!��1� ���0��������������#���C�4�������*E�����.������1�����4�.���0����.�����0/����������.�#!��1������#���� %1��1� 1� ������� 4�.��� 0����.�� ��� �0��������� �����#��� $���� 0�������#���.�#.1��� ����#1�� ��/.��� ������ 4�.��� ��� #���#!��1� �����#�� �� ��� ���1� ���/�0�#1���� ��� �0���� ����#�� 0��� ����� �.�� 0������� ��/.�� ��� ��.�������1�!���#10��� #����� ��%��� C�4������ �*E� ��� �.�� ��� ���� ���#���� ��� #������ #���� ��#���#.����1� ��4���� .������� #���� 1� � ��#�� 1� ����1� ��� � ��?�� ����� .�����#�������
164
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 169: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/169.jpg)
=�=�<�� �(,)*2�")*��7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.�������.�0����.���������#������������������#���.�3��
�� ���#���.����������� $����1!�������.������������!�� ��.�����������;���� �0��.�� ��� ���� �� ��%���� (�� 0��������� .����� 0�����1�#!���� #��������� ���� #������ ��%���� 0������1����� �1�#!��1� ��.����������+�.��� 0��1#1� �������� #���� #��1��#�!����� #����� 1� #���0�.���� ����.�� �� �����.���#�0�#�.#�/������#���(��#���1�����.�����0�����!��0������1��������������1�#!�����������.������������4������0��1#����0����?1����1�#!���������#��������#���� ��;�� ��� �0���� �� �1%����� ��0���?���� ����#��� ��1%����� ��0�����������#��0�.�;����0����������.����������
����#��=����7�����0������4��#�#�����.���������
���#�#����.��������5���0�01���������#����/���%����;���/�0�������������#��#�������%�����1;����b�I���#��=���J��6�/���#����/���%������.���������0��#���������165
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 170: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/170.jpg)
����#���!���#10�����.�����������0�������(�#���.��������.�������0�����01�������0�%���������!�#�1��(�� 0�����1� �� #����� ��%�� ����.�������1�1� 0��� ��#��������� ��#�.��� ����#���1;����������������4�.������������1����������4�.������#��1�4����#�����#��������%��� �#����� #���� ��4��� ����� ��� �1%������ ����#���� �� �� ���#��� ����.�� ����0���.��0������1�����#1�1��#���#��������%��1��.��!���#10���0�#�.������#���������.������� ������ .�0��� ��.�������� ���� �14���� ��.�������������� 4���� 0��������������1������0��������.���#������������4�.��� ��������� ����%�#������0�#�.�������#��1���.���#����1��6���������.�.�#���.������������#���������#������1����0�01����������������$����1!�������.����������������������0��4��������� #��������� ������� ��� 0�%�.��� 01�������� 6��� �� ���1#1�1� �������#����/.������0�����1�1�����1����4��#�#����.���������+������%#������.�.�#��4��.�0�� ��.�������� ��� #��������� #���� 1� ��#��� #�������� ��;�� �����.�� �� ��#���#���#1������.����;��4�.����0��/�.����������#���0��#�!����I��!����0����������J���
����#��=����A����4��#�#�����.���������
$����1!����� ��.�������� 5� �� �.���� ��� #10�� 0�����%#�/� ����.����� �#�� ��1.�������� #����������� ��#�� ���� ��4��� ��� 1������� �#.���� ��0���� 1�����0������� ����.���� �� G���.�����M� ��4��� 1� .��� ����.�1� 0�.���� ���� ����������#.�����$����1!����� ��.������� �����������1� %���� �0���!���� ��� ����� �������.���1.���� ��4����� � � �� ���0��./������� A���� I���#�� =���J�� 0��#��1��� .�1#.1�1�#����1!������ ��.��������� 0�#��1�1 �� #10� ����� ����.��� �� ���/��� �����.��166
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 171: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/171.jpg)
#��������� ÏU�V� ÏU�V� T � ÏU�V �� $,C� ����.��� ��;�� ÏUcV ��4���� ���� ��� c _�� �� T �����
����#��=����A����#����1!��������.��������
��1���1%����� ��.������� D� 1� ���� .�/��!�� ��.��������� ������ ��� ��� �� ��������1����1�������4��!����������?����.�.�.�%#����4�����������?�����#��!��0���.�#���� .�� .�#���������1����0�������� ��1���1%����� ��.������� �� %�.�� #���.�� #���.1�4��#������'����������1%�������.����������.������0.��#!��������.�.�.�%#�������.�� ���� ��� ��#�� ��.������� �� ��������� 0����������� 6�#�� ��.��������0�#1����1� ��� 1��1� ������.� �1%����.�� 1� ��#�� ������� #���� 4��� 0�� �����#��0��#��.��� 0��.0�.�����1 �� #���� ����� �.���.����� ��#�������� �����.��������� #����� '� 0��#�� 0�1���1%����� ��.�������� 1� 0���������� ������.�4������ �������1� �� #��� �*(-� ������.���� #���� ����1� ����?��1� 0�����1� ����#�����4�����1�1.�������.�����������.�������������������.��������?���������0���������� '#���#�� 1� 0���!�� ��.��!�� �� ���� ������� �1�#!���� 0��!�����0�������%���#��������.��!���=�=�=�� )$6 6"�(7)�����*���(7)��$����0�������#������1�1���������.������ �������� ������#�/���1��/�.��������.��/���.�������;��0�� ��1���;��������0��#������;������.�����1#1���� �����#��4�.� ������4����4������(��0������� 0�������#���;������4����� ��4������������ 0��1#�� G��-(�2H�� %���� ����4���� G��-(55L�� 6�� ����� �.�� #��� G��-(H�� 1� #���� 1� 0��.�� ��4�%���� ���
167
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 172: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/172.jpg)
0����������4��������.���� ��#�!���� ��4�����/�4�.�������0��0����1���#����������4����������/.���������4�.�� ���0����1�0����.�� ���#����� ��� �0��������������#���$���%�������������������.�������Ìp�a����;�����#����1�����4���������#����3�Ìp�a Y R _ �������.���� �� ��� #����� ��� �0��������� �����#�����1� ��� �0���� .� �����#�� �� ��4���������������;�3�
Ìp�a � �¹ _ R _ ���(�� 0������� ������ #��� ��� �0��������� �����#�� #���� �������������� ��.������� B����;�����#����1���������#������4��������=�=�>�� $6($�,)(�9�7��$��#�.���!�������#��4������������#����1�����#�����������0����1���#���.����������#�����������#������������#��������;�����#����1���������#��#���������1�0����.�����1.�1���� .�� ������� 0��������� ���.�� I���#�� =��<J�� '�1.������� #��� 4���������Ë Y B�� ��� #����1!����� #��� �� "�.��4������ ��#���������� #����� �� #����1���� ���� �1%����/� �����#��� �0��������� #��� ��� *��� ��������� #��� �� �>� ��4�����#��������0������1���0�#�.#������#��#�������0��01.���"�.��4������#������
168
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 173: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/173.jpg)
����#��=��<�$��#�.���!����#�����1�I������Deep space standardJ�
*�� #��� ����� �� @� 4�.���� ��4������ �� .���� ��� ����� ���#���� 1� �0�������1�0�#�.#�/� �����#��� '#10��� 4������ #��#�.��������� #���� �����#�� ��� 0������1�4�������.���/�#�������������1�����0�����1�U�X�VU���X�==V � ��<<��$�������4�.�#�#��#�.�������/�#����������������#��(�#��������/������41#�����������1�.�������/��1������.������0�����1���0��4������/������!������� 0����� ��/� ��4��/� ��.���� #��#�.�������� #����� �� .��#�� ��0�����.����1��4��� ���/��� ��;���.�� �� ����� 4������� �.�� ��� ���#�� 0��4���� 1� #�������� ��������%�����0��01�����0������=�=�B�� 7) �(��*��)*�$6 6"�(7��'�9 �9 � �����1�� ��� ���� ��� 0��.�%��� ��#�� ��� #���� �� ����.����� �1���� 0���!���������1�0��� 1�����!��I0�.J�#�����%�.�������#����0��� ��� ��#������������4��������<<���$��0���X�!��%�������4��4�?1����1�����0���������#C�����#���1������4���#���#��1���1������������\g������#��.���!����I�4�%����9�������������J�� *��1�.1�1 �� ������#�� ��� :>� ���� �� 1#10��� /�������#�� ��.������� 1�����=5��-���#����.��1������������3�
�� �����������/1�� �����1/�����������.��1.�#����������!���169
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 174: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/174.jpg)
�� 6.�!��0�.��1������4�.�������.���;����0�����������O� ��� 4��� �������� 0��.����� 41�1 �� ��� ��� � � ����� �#1.�� �� #������� ����0��������� �����#��� 8���0��� .�1%���!�� 1� 0�#1����� ��� #���.�� 1�4�%������#������ ���� ���1�.�.� ��� 4��� ���� ������ 41�1 �� ��� 1� ����#�� 0��� �%�.����1� 9 5�� 0�������0�������0�#�.#���(�#��� �����1� ����� �������� 1.��������� ��� #���%��� ����� #�������� #���� ���.�������������#��0���������.�����������*������������/�#������6����������0����.��0����������9�*9�5�Cross Interleave Reed Solomon Code����.���������<������#��.����������#�3�
�� �#������4��4�?1�������8)9���� '#���#�� 0�#�.��� ����#�� 0���������� ���1 ��.�� 8)9�� ��#����� 0�.����������0�����������4����������� �#�� ����#�� 0���������� ���� �0��������� �� 4��������� ��#����� �#������.�� ��4���#� �� ������1��� ��� � ��.��0�������� ��4��#��� ����?1� 0�1�����/�1����/���4���#���<� '#���#������#��0�������������1 ��.����.��0���!�����#���#!�������#�������1.��������������0��4�1���������!��1��
*��1�.��.���0����������9�*9������.��1����� ���.�4�����Performanse kontrole greške CIRC-a
Maksimalno ispravljanje greške
��<�����4�.���I��=���������#1JMaksimalna interpolacija greške
���������4�.���I@���JNedetektovani uzorci greške �������������������#�/�B=��%����I��[�J�Novi diskovi imaju tipi�an stopu greške (engl. BER)
����[�9�*9� #����� #���.�� .��� ����� ��.��������� �� ��� #��#�.�������� *��� ����������#�����'�1.�������*������PU����@V�#������#����0����������PU�@��<V�#����64��#����#���.��@�D�4�.�����4�������1#10���4������#����������
170
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 175: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/175.jpg)
'�1.������� #��� ���� ���������� ��.��������izZ Y =�� .�#�� ��� ��;�� ��� #����1���������� ��� 0�������� ��4����� �0��������� #��� ���� .�#��������������� ��.��������izZ Y =�����1;����������0��������������#�������0���������4�����������������.����#���#�����1�1.�������#���4���10�����1�#��������1�0�#�.��/������#���9�*9� �����#�������� ��� 0�.���� �#.������10������6��� ��� #����.�����#�����#���� ����� .�������� .�1�#1� 0������� 1� ���� ��41.��� 0��#.�%��� �.��� 9 � �1�������%�� #���� ��� ������ �.�� �������� 9 � ��;�� ��� .�������� @� ��� ���#�� �10��0��41�����#������#��4����1����0��!�0.���/����#�.���
171
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 176: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/176.jpg)
=�>�� 2��6*�,6*�7�$��*� �VEŽBA 7.
C����������.�.���#���I���@J���1�������0�����3�C������� #��� �� ���%�� �� #���.�� ��� �0��������� �����#�� 1� *������������������1#��#������0����������1;�������4�.��0���%��1����@�4�.���������������0���.#���� 0���.���� <� 4�.�� 1� #��.������ �� ����%1����1� �� ��� ���1� 4�.��� 0���.�#���$��.������4�.���������������0�������1�����%�.�.����������0���!������C�������#�������0�����������4�.������#����0�����.�������������� ����%��3�
�� ��.��0��1#��1�0�4���������������������0�%������������ ��#��4�.�#����0���.�����.�0��������4�.�0������I������<��@J���� 6.����4�.���I���=�>��B��:J�1�4�.��0���.#�����#��4�.�0������10�.�������0���1�0����.�����10���4�.��0���.#�������4�.�0������ ���#.1��� 4������� �����.�� �� 4�.��� �� ��� 0���� ��.1�� �1��� 4�.�0���������#.1���4������������.��0���.�#����4�.����������1������.1��.����
����#��=��=���.���0���.#����#��.������4�.���
172
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 177: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/177.jpg)
.�� Y �ë�( �ë�( �ë<( �ë=( �ëB�
.�� Y �ë�( �ë�( �ë<( �ë>( �ëB�
.�� Y �ë�( �ë�( �ë<( �ë@�
.<� Y �ë=( �ë>( �ëB( �ë@�$�����I����@J3����� 0������ 0���.�#�� ��0����� 0����.� ��� 10�.������� ���� �#��� 4�.���0������������������!���.������������0���!������
�173
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 178: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/178.jpg)
����#��=��>�A����#���������C�������#���I���@J�
�#�����I����@J3�(�#���0������0��1#������%1������4�.�0����.�I������parity bitJ�����#��#10�0���.�#��0��0��0����.��0�����4�.1�0������I������check bitJ��'#���#�����������������.����������4���������#����1#���#��������0�.��������#������
174
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 179: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/179.jpg)
'�����0�����1�0������ ���������.�4�.�����0���!����>���
����#��=��B�A������#���������C�������#���I���@J�
�������������������%�����C���������#����I����@J�Sindrom vrednosti Parnost poruke Rezultatnulta ��0���� ���������#�nenulta 0���� #���#!������4�.�nenulta ��0���� (����#���#!������
175
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 180: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/180.jpg)
VEŽBA 8.
C�������4����������.�.���#���IB�<J���1�������0�����3�C������� #��� �� ����%��� ��Ub�c�V�� 0��� %��1� 4����c�0���.����� �������!�����4�.������b�1#10���4����4�.���1�#��������%���'������1�b Y Q _ c��4����Q�����%���4�������.�.��/�4�.���'#���#�����0�.��4����0���.��1�#����1�0�������%�������#���4�������.�.��/�4�.�������%1���0������1��3�
�p � c _Q _ �����#�#���������1 ��.��0���������� ���4�����4�.����4�������.�.��/�4�.����������� �� 0�� ���� '� ��.�#1� ������� ���� �1�#!��1� C��������� #����UB�<V����#������������#�����������������.�.��/�4�.���Q Y ���'#���#����0���������������������#�.3�
�� � < _ � _ ����������������01�����1�������0�����������������������#����C������� #���UB�<V�� ��� ��%� �1;���� <� 4�.��� ������� �� 4�.�� �� �������� #���1� ��%��1;����B�4�.����+��.�.���.���4�.�� ��0����#�����#��������������.��0���;�������������#��0��#��������������.�����%�����#�����C���������#�����0��� ������#1���������.��0���.1��#��!1��'�0����#���#1�������� ���������#�!���1���.��!1������.��!1�����������.�#���.�� 0�� #��������10�1�����4������� �����.�� 4������ ��� �0���� ����� ���B��(��0������� 1� 0�1� #����1� ��� 10����� 4������� �����.� ��� �#���� ��!�������0���.�����4�������
C� �� �� �� �� �� �� ���� �� �� �� �� �� ���� �� �� �� �� �� ��'� ��1���� #���#1� 0��������� ��� �1�#!��1� #��������� ���!�� #��������0���.������� �� �������� � Y ö k A �� ���� ö 0���.����� 0��1#1��A ������.���
176
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 181: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/181.jpg)
��.��!1�� ����#�����1� 0��1#1�� +�� �1�#!��1� #�������� ���0/����� ��� �������.��������.�����.�!1�A��-�����.�����.�!��0��#���������1�.�4�����0����6��%��������.�4������4��������.�#���.�� ��� ����.����� �����.�� �����#�!����� ��.��!�����+�.��� 0�������� ����������.�����.��!�� ��4����� ��� 0��#�� �1�#!���� ��� ��0���1� 0��� I��� Y ������ Y ������ Y ������ Y ������ Y ������ Y ������ Y �J��.�����#1�#����1������#�!�������.��!������1#�� #��1� ���� .��4�� ��� #��1����� ��� ��� 0������ 0��1#��ö Y ������ ����������;�������.��!�����#.������.����1�.�4����#����������
� � � �� �� �� �� � � � t �=
� � � � � � �= 1110000
�� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � �'� .�� ��� #���#1� ��� ���1� ��� �1�#!���� ��#�������� ���� .����� ��#������� �#�������� �� �4����� �����.��1�� 0�� 0���!�01� ����?������ ������� ��%�� ������1� #���� �� 1.�?1��� ��� ��� 0�.���� ����#�� ���� ��� 0�.����� '#���#�� ��� ���1�.�.����;�����P Y � k ���1��� #����� ��%�� .���� ��� #������� 0��1#�� 0�������� 4�������#������1#���#����������%�.��������0������.�� �����%�.������������#�����.�� ���4�.1��(�#���0������������.��4�.�����.�� ���0���!����0���������1����1���#�������� �
=
�=
u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y ������0�.��������#����� �� �� � � � �������� I�����J� 1� .�4���� 0���.�����1� 4���� ������!�� 0�� �������� ��.��!�� #����0���.����� 0�������� k � �� (�� ���1� �1�#!���� ��� ��0���1� 0����.� I£6*J�����?1��������������%��
177
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 182: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/182.jpg)
'� ��.�#1� ���� 0������� 1������ ����#1� ��� .�� ��� 4�.1� #������� 0��1#�� ����#�������%���(�#���0������0���.�#��0��#��#��1��#�!������#������ ������#������������������#�����.�� ���0���!������������ 0��������� 1� ���1� ����?������ ������� ��%��� ��%�1� #��� 1� 0��./�������1%��1��
�=
�=
u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y � �����#��0�.������� �� 0 � � � �$���������������� ���������%�P Y U���V ,���;���������#��1%�������������#��������� ��� .�� ��� 0���!����� ����� 0��������� 1� 0������1� ���1� ��#�������� #���� ���0�.����������#��1�0����1�� �#�������0��1#��ö��4����������������ö Y �� ( P������������%��� #�����1� 0��1#1� 0�������1� ��� ��1�1� .���1� #������ #����0�.��!����������;������#1������ ����!��������%������?0���.�����1�#��.������4�.������0���!��������%������� 0���.�����1��������!�����4�.��
�� �� �� �� �� � � £6*�u }\ }̀ º̀ }� º̀ º� ºê � �� �� �� �� �� � �1 1 1 0 0 0 0
º\ º̀ � º�� ºê�� � �� �� ���� �� �� �� �� � � Kraj. '���.�#1�����0������������������������.#��1���.��451������1���#513������ ��������4����1���.��451�������� ����C�������#���IB�<J���b�5�����%����1;��1� #����� ��%���Ô�5� ����%��� 4���� #��.�����/� 4�.���� ��c�5� 4���� �������!����/�4�.������������1����.��/�4�.�������#��.�����/�4�.��3�
åå��������I�â�J�178
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 183: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/183.jpg)
����������������������!����/�4�.��3�
åå�#�����5�����I�â�J�#�������<�
-������������#���1%�����0��1#�3�åå�0��1#�����!���.I������.I���ì<���æ���çJ�#JÄ�
����#��=��@�-���������0��1#��
$����������1���?������1�#!�����1���.��4513�åå�#������0��1#������!���I0��1#����#�ó/������X4����OóJÄ�
����#��=��:�$�������0��1#��179
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 184: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/184.jpg)
����� ��1������� 0����� 0��1#�� 0��#�� �1����� #������� .�#�� �.�� 1���?1�����0��������4�.���1�#�����1�0��1#13�åå�#������0��1#��1���������I#������0��1#��â��������I������æ���Ä���=��B=çJ���JÄ�(�#��� 0������ 0��#�� �1����� #������� 1.��� ���� 4���� 0�������/� 4�.��� 0��#��£6*��0���!���3�åå�æ4���-���#������#�ç���4�.���I#������0��1#���#������0��1#��1���J�
4���-���#�������B�����#��������������
����������������1���.�#!�������0��������������#�3�åå���#������0��1#������!���I#������0��1#��1��������#��ó/������X4����OóJÄ�
(��#���1�0���������0����������C���������#���� IB�<J� �� 1.�?1�������� �������#����0�����������#��I��5�0�������/�4�.��J3�åå��æ4���-���#������#�ç���4�.���I��#������0��1#���0��1#�J�
4���-���#�������������#��������
(�.��#�������������.#��1���1���#51���������1��!������9�#���������1���3�
����#��=������9�������.�� �������#�������
�����������������.����0��1#�3�180
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 185: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/185.jpg)
����#��=��������1�����������.���0��1#��������.�� �����=�
�����������4�����������.��%����#��1��#�!������#�����3�
����#��=�������1��!������9�#���������1���������.�� ������#�������
"����.�� ������#��1�#����1���������������!�������.�����B������!�������sid�����.�����������.����0���.�������#���1%��������4�����0�%�.���.�����0�1���������.����������������������#���181
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 186: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/186.jpg)
������������4��#�������%1����������#�3�
����#��=�������#������%1����������#��1�#����1�
������.��� 4��#�� �� ��#�� I���#�� =���J� #��.�����1� ����� ���������� #��0��.�����1��!�����(�#���������.���/� �����#�� ��1��!���� ��4�.�� ��1.������� �� ���1�.�.���1��!����4� ��0����?������������4��#1����0��#������1�.�.��������������4��#�����0��#������1�.�.�3�
����#��=��<����#����0��#������1�.�.����1��!����
182
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 187: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/187.jpg)
������.��� ����4��#��1� ��.��� ��1��!���� ����;���1�0������������ �����.���(�����1�.�.1���1��!������;���������������� ������<�:B�4�.���0��������0��1#��4����1#10�������4�.������#���'� ��.�#1� 0�����1����� ��1��!��1� 1� ��1���#51� �� ���� ������� ����.�%����#�������� .��� �.�� 1� ��1���� #����1� #���.���� ���.�.��� #��� #���� �� ��0�����.����0��#����#���������0���������.���������#���������0���������.������
����#��=��=���9�������.�� �������#������������.�.����#�����B�<�
'�0��./��������1��!���������!��I���#��=���J�#���.�������C����������.�.���#���IB�<J��(������ �����!��0��#���������0������������#����������#�����3�
����#��=��>�C���������#���������#��������#���IB�<J�
��
183
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 188: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/188.jpg)
'���.�#1������0����������������.����0��1#�3�
����#��=��B�-�����.���0��1#��������.�� �����=�
+�� �����#1� ��� 4��#�� ��� ����������� 0��1#�� 1� 0���� #����1�� ���� ��� 0�.��4����������.��.�#.�������.������4�����0��1%���/�4�.���1��#���.�#.1���#.���� �����0!��1� GFrame-based outputsM� �� ��� �����.� 0�����.��� GSamples per frameM�0�.��.�� �����.� <�� "�����.� <� 0���.����� 4����c����� �������!����� 4�.��� #���C������������.�.����#�����
����#��=��@�����?����������#������?1�#������4���)99�����)99�(�� ���1� ���1�.�.�� ��1��!���� 0��#������� ��� ��!�� I���#�� =��@J�� ��� �.�� 4����0�������/�0��1#������#����������������@��4�.����
184
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 189: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/189.jpg)
VEŽBA 9.
��.����������1�������0�����3�7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.���� ��� .�0�� ��.�������� #���� �� ����� ������� #���.��� .�� 1� 4��#�#�� ��#����1!�������.����������'� ���� 0�����1� 0��#��� ���� 0�1���1%����� ��.�������� ��1���1%�������.�������� ��������1� ���1������ �4��!�� ���� ����?���� .�.�.�%#�� ��4���� �������?���� �#��!�� 0���.�#�� �� .�� .�#��� ����� �1���� 0�������� ��1���1%�������.���������%�.��#���.��#���.1�4��#����������� �� 0������ 1� ��.��451� ��1.�1��� #�#�� ��.������� 0�4������� 0����������#����� ��� �0��������� �����#�� 1� #��1��#�!������ #�������� �� �������������#����� '� ���� �����1� #���.���� 0�1���1%����� ��.������� �� C�������4����������.�.���#���B�<��Postavka parametara modela sa i bez primene interlivera.
����������0�%�.���.�����������.���3�åå�.�����B���Ä�.����<@��Ä�
6���?1�����0�����.������C�������#��3�åå�����BÄ�#���<Ä��
-������������#1��1%���1�0��1#1����#�������3�åå�0��1#����������.I#ì=�������.�JÄ�
$��1�����0��1#1�C���������#����3�åå�#������S0��1#������!���I0��1#����#�ó/������X4����OóJÄ��
185
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 190: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/190.jpg)
-�����������1%���1�0�#�.#1�����#1�����#��������0��1#��3�åå����#��������I���I#������S0��1#�JJÄ����#�I�5�3�â�J���æ�����������çÄ�
Rezultat sa primenom interlivera.
���������1�#!��1������.�������3�åå���.���������������.��I#������S0��1#��.�JÄ��
'������������1�����#1�0��#��£6*��0���!���3�åå���.������S���#����4�.���I��.����������#�JÄ��
���������1�#!��1��������.�������3�åå�����.�����������������.��I��.������S���#��.�JÄ�
�#��1�����0��1#13�åå���#������S0��1#������!���I����.���������#�ó/������X4����OóJÄ�
���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#�����0����������.�������3óJÄ�
åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#�����#������S0��1#�J�4���S���#����������.�0�S���#����������
Rezultat bez primene interlivera.
'������������1�����#1�0��#��£6*��0���!���3�åå�#������S0��1#�S���#����4�.���I#������S0��1#�����#�JÄ�
�#��1�����0��1#13�åå���#������S0��1#������!���I#������S0��1#�S���#����#�ó/������X4����OóJÄ�
186
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 191: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/191.jpg)
���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#���4���0���������.�������3óJÄ�
åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#����#������S0��1#�J�4���S����#��������<�
.�0�S���#���������������
187
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 192: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/192.jpg)
6. KRIPTOGRAFIJA – INFORMACIONO TEORIJSKI UVOD
9����������0��������1������������������������ ��0�.����3�Šta je predmet i cilj kriptografije?
Teorijska postavka problema kriptografije u okviru teorije informacija.
Šta je perfektan tajnost i kako se postiže?
Šta je ta�ka jedinstvenosti i kakav je njen zna�aj?
����#��>���$��������0��1#��1�!���1��4��4�?�����.����.�����1.��.�%��.���
�������1�#!����������������I���#��>��J3�. Y �U�� $V�
9 � �����.� �� � 0��1#�� �$ � .�����#��1%� CU9W�� $V Y ���81�#!�������������������.������.�%#����������.�����������%������?�����#������������81�#!���������������3�
ÌURUë�ËV� ËV Y ë��188
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 193: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/193.jpg)
�������������.���.������#��1%�����������������1�0��1#1�� ��������������.�#�?����.������.�%#���������3��UëW.� ËV Y ��
�����.���� �;�1� %������!1� �� �CU9W�� $V Y �� ��� CU�W9� $V Y � ���� ��0��!����1�CU$W�� 9V Y ���6�������0���!�0�������������1 ������#��1%��������#��������.����?1.����1�#��0.�����#���0��#����.��0��0����1����������I����������J��.�#�������0��#.�%���1�������������#��1%��;��CU$W�� 9V Y ���9����#��0.���������������.�.��0��1#����3�
�� ���������� 0�����!�� I.����.J�� �����1 �� ��� ��4�.����� ���1�.�� 4���0������������� ���������� ���.������ I�1.��.���#�!���J�� �����1 �� ��� ������.�� 0��1#1�������#�!����������.��.�1�.���4���0�����������9���� #��0.������.�%���� ��� ���4������� �.���� .����.�X�1.��.���#�!����� �����������;�������������������1�0����!�����.�����.0�.�#��#������0���.����%����13�
�� ��.10�#� ���������� �� ������������ ��� ���� 0����.� I$��#/���� 0���!�0J�#�����.�.�.�%#����.��0��1#����� (��1.���������#�����!���������1�#��1%�Ë���� 9����������.10���I���������Ë���ëJ��<� ���.����.����������.�������0���%��.�������0�������.�����#��1%��
189
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 194: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/194.jpg)
>���� �)*8)$,(��,�7(6�,�DEFINICIJA 6.1������#.���.����.�A����#�� �.��� ��� 0����#.���� �#�� �� ���� �#�� 1�������� �������!���� ����?1��.������0��1#������������1 ��������.��.���������#���1����������3��������
�U9�V Y ���TEOREMA 6.1
'� 0����#.���� �����#��� �.��1� ���1 �/� #��1%��� ����� 4�.�� 4����� #���#�� �����1 �/�0��1#���TEOREMA 6.2
'� 0����#.���� �����#��� �.��1� ������?���.� #��1%��CU$V���� ��������� ���#��#���#����������?���.�0��1#��CU�V�CU$V � CU�V��������!�� ��� ��� .������� 1� ��#��1%�#� ��� 1� 0����#.���� �����#��� �.������#��1%��� �����1� 4�.�� �������� #��0��#��.�� ���� ��������� �����#�� #���#�� ���#��0��#��.�0��1#���PRIMER 6.1�6��5,���5�����6�� ��� 0������ ��4��� 0����.��� 0����#.���� �����#��� �.����� '� ���� �.��1��#��1%���������#��.����%�.���1%�����4�����������$ Y $\� $` T$Z��.�#�������3�UË� Y �V Y �UË��WË\� T � Ë�[\V Y ��=����� ���b����%���� ���� �� 0��1#�� #��1� .��4�� 0����.��� A��������� �� �4����� ������1��4�������������1�4�.�3�
9z Y �z _ $z��$��1%������#���.�.�����������#��.����'0�.��4���������#��1%��1������������������������%�.��0��1#���#��0����.1��������.����
190
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 195: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/195.jpg)
>������ �)*8)$,()�A�8*)3� )8�(�9�7��$��� 0����#.��� ������ 0�.���� #��1%� #���� 0����#��� �#1� 0��1#1� 1� �#�� �����.� �������#�������.�� ����+���#��·��Ó3�
��në��.×o Y ���Uë�V��
����#��>���-����%#��0�����.�!����0����#.��������� �����!���3� ��
�·� Ó3�}�Uë�W.×V �Y �}�Uë�V�A��������0����#.����#�3��
�ë�.��}�U.�W�ëV �Y �}�U.V�������#�����.��3��
�ë�.��}�Uë�W�.V �Y �}�UëV��4��� 0��������� #��1%��� �#�� �����.� 0�������#�� ����.�����;�� �������.�� 4����#����.�������.�#.1���
191
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 196: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/196.jpg)
PRIMER 6.2 6��5,����0���������� c Y ����������������Q Y ���������������. Y ����������������
TEOREMA 6.3
6��5,����0������0����#.����������DOKAZ
+��� d � d �3��U.� Y �W.\� T �.�[\�ë\� T �ëaVY �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �V_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �VY ��=î�Uë� Y �W.\� T �.�[\�ë\� T �ëaV_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaVð Y ��=
���%��3��U.\Wë\�T �ëaV Y ��=� ��� �U.�W.\� T �.�[\V Y ��= ���� ·� � d · d b� �0�� ��� }U.WëV Y}U.V��.���ºU.Ä ëV Y ����������
192
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 197: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/197.jpg)
>������ -*�8�F$���*)+)(,�9�7���)*8)$,()�A�8*)�-������������.��������1 ����#���.���������%#��������1�7�����/�������������
����?1�����.��������!����/������1�����!������ Y ����¬��
����#��>�����?1�����.��������!����������
193
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 198: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/198.jpg)
>������ 6$�+�A)(6(6")�,)6*)�)�6��)*8)$,(67�,�7(6�,��5�6,��
����#��>�<������#.���.����.�6��5,����0��5��
+�� �#�� 0����#.��� #��0.��.��� �� �����.����� ��#��������� �;���UËV ����UëV���7����.���.���#�������3�
�Uë�u�.�ËV �Y �������ºU.Ä ËV �� ��� � �¸� � �½��½������3�
�UËV � �¸ � ½ _ Ñ� � �½ � ½ _ Ñ� Y ��UëV��
����#��>�=� �#���A�������.�������
194
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 199: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/199.jpg)
>���� ()�)*8)$,(��,�7(6�,���,�F$��7) �(�,")(6�,��'�0��#�� �� %�.�� ��.10�� ���0����#.��/� ������� �4��� #��0������ ����?1������0�.��4��� .����.�� �� !���� 1�?����� ������� �����#��� �.����� A���#�� �����0��.��������#������0����#.��/�����#�/��.�����%�������#��1%����.������������0��1#����#���.�������#��4����01.����Šta možemo re�i o prakti�no upotrebljivijim, ali neperfektnim šifarskim sistemima?
A��������1���.����#��#�!���1��1�#!��1����������1����#101�0�������/�4�����3�lU�V Y CU$W9\ T9ZV����.1�.���� ��� ����� ��� �.�� ���� �����.��.������� ��� ��0�������1�� �� �� �� ����������.�������������.�#��1%����8���������.��4�����%���3�
���Z�o lU�V Y ��,�%#�������.���.�������������#������������b����#�������lU�V � ���DEFINICIJA 6.2�,�%#�������.���.���,�%#�������.���.����.���#��0.��.����������������b����#�����;�3�
�UËW.\ T.aV� � ���>������ )$"�"6$�9�7��$27'F����,�F$��7) �(�,")(6�,����� ������!����� .�%#�� �����.���.�� ��� ��������� #���%���� �����.�� #����� �������0�����.��#��0.������.�%�������4������������������#��1%�Ë���������%���� �1������%����.��������������#���%���������.��#��������1 �������.���41������4�������
195
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 200: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/200.jpg)
����#��>�>�,�%#�������.���.��D�0����#.�������0����#.���������
TEOREMA 6.4
�#���;�3���. �1� �.�� �1;����b ��� 0��0����1� �.��� ����4�.1�� A�������� 0��1#�� ����1�0��4��;�����#�����1�������?���.3�
CU9ZV � �� ��� ���.�����#��.����1��#����.�;��������������#��0.��.�����$��1%�����0��1#��1���������
CU�Z� $V Y CU�ZV _ CU$V���.�����1�4�%��������0���������.�������.�%#�������.���.���0��#���.���������#��1 l �U�V:UàVk��I��
��������UëV����1������0��1#��ë�#����������1�1�������������3�*U�V Y � � ��UàV��I ��
�196
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 201: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/201.jpg)
DOKAZ:
���.0�.�����������b������������#���.�#������;�3�CU�ZV l � k CoU�V��
�UËW.aV Y �UëaË.aV � �UëaWË.aV�������� �������¡ �¢U£2¤V �U.aV Y �UëaË.aV � �U.aVY �UëaËV � �U.aV Y �UëaV _ �UËV � �U.aVY b k �oUëV _ �UËV � b k ���Ï
�,�%#�������.���.����������������3�
�UËW.ûV Y �� ������3��
ÕU�oUëV � ���ÏV _ �UËV Y ������#�������3�
Õ Y �UËV���Ï � �oUëV Y �UËV�UëV k ���Ï��PRIMER 6.5�,�%#�������.���.�������.������ 0��1#�� 0����� ��� �����#��� ����#1� �� �B� ���#��� 1#��1%1�1 �������#�� ����?1� ��%�� �� ��������� #��1%��� #���� �� �.���� ��� ��� �������/�#���#.���������#�������4�.����,��������UËV Y ��������B���#����������#������#�1��������.��0��1������4�.��0�����#1�����1������0��1#����� ��.�� �� ��UëV Y � � �Xuvw��B� l ��=@�� ,�%#�� �����.���.�� ���� �����#����.���������.���3�
Õ Y �UËV� ���Ï Y �� k ���U�BV���U�BV � � � �=
197
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 202: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/202.jpg)
6��� ���1�.�.� ���%�� ��� �� 0���������� �����.�� �1;���� �#�� �=� #���#.����� #��1%���;��������.����������%���������.����������.�%#�������.���.����0���!�0��������#���%���������.���������������������%��� ����?������ #��1%��� ��?1.���� �� ����� #��#��.���� ��%��1� ����;���.������?������#��1%���������1�0��������������.�����������������%��1�A�����������������>������ �6")y�(7)�,�F$)�7) �(�,")(6�,���������������!����.�%#�������.���.�����������������������1 ����%������������0�� ��������������������1������0��1#��#����������1�1���������0�� ��������/�����.��0������.����������0��������4���������#��0�����.��0��1#��0�������������������.��������4��������1 ��#��0��������3�
CU�ZV � � ��� � ��*U�V � �� ������1 � ¢��PRIMER 6.6
,�%#�� �����.���.�� #��0.��.���� #����� �� ����1�1� 0��1#�� ��� ����4�.�� ��� :>����#����0���%��1������.��0����0��1#����4�.�X0�����#1����#������.��0����#��1%�����4�.����3�Õ Y ����� :> � � Y :����
� Y � � ���� :> Y =<�<5��PRIMER 6.7
,�%#�������.���.��#��0.��.����#�����������1�1�4�������0��1#������1�������=5����#�1�#��1%�����1;�����>�4�.����1���������1���0�����������3�Õ Y �>���= k � Y ><�
198
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 203: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/203.jpg)
>���� �',)(,�8�$�9�7��(�1%� ���3��
Zašto su autentifikacija i tajnost teoretski nekompatibilni?
Kako obezbediti autentifikaciju u praksi?
�1.��.���#�!�����4��4�?1�����/�������#���������;����1���.��������0���������0��1#��0���.������1.�����������4��� �1������%����#����0�������#��0.������.������������.����/�������#�������1�������������#��0.������0���.����.������1.�����������4���������������1�.�.�0������1�#���������#��0.�������.������#����1������1.�����������4���*���.��������������1�.�.�1�#��0.��������#����1.�����������1�.����.����1.��.�%��.���������%�.��#��!�0.������#��0�.�4������!���������6���.�������������� ��.��������TEOREMA 6.7
"����.�� ���¥�������#��0.������������#���������������������0���������1.�����������4������������%�����3��¥ � �[¥U9Ä�V�
����1��.�����1%��������%����#����0�����.1������1 ��#��0.��������������#��1%������0�#.�����6�������!������.�;��1�0��4�����1%��������6����� ����� ��� �����.������ �1.��.���#�!���� 0���%�� ��� �4��� ��� 1���������������!���� ����?1� #��0.������� �� #��1%������� 4�.�� ���#��� �� ��1��� .����� ��� 4������4��4������0����#.�1�.����.��.���.��1���������������!���������4�.�������#���1�������.�����.��.����.��0��1#�����1.��.���#�!����������0��.���%�1��.1�!��1�������3�
ºU.Ä ËV Y ºU.Ä ËV _ �UËV � �UëV � �UËWë�.V� 199
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 204: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/204.jpg)
�#��.����������3�ºU.ÄëV Y �����CU$W�� 9V Y ���
��4�����3�ºU.Ä ËV Y �UËV � �UëV��
�.��0���%�3�}� � �¢U�V[¢U£V h ���
������3�n�UËV ¦ �UëVo��
�.�����%�����#��1%������4�.������#��0��#����7��������1 �������������������4��4�����1.��.���#�!������������������1���3�
ºU.Ä ËV ¦ ����� ��� �� 0��� .���� .����.� �4��4���� ��� ���1� 0��#.�%��� .����.�� �������� ���������.��#��� #��0��#��.��� 6�� ��� ������ ��� �������� ���.�� 1� #��0.�����#���.���������������������.��#���#��0��#��.��0�01����������1.��.���#�!��1��
200
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 205: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/205.jpg)
7. BIBLIOGRAFIJA
A. J. Viterbi and J. K. Omura.� ����!�0��� ��� ���.��� 9���1��!�.���� ����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:B:��Aiden A. Bruen, Mario A. Forcinito� 9�O0.����0/O�� �������.���� .�/��O�� ���������5!����!.����æ$�����ç��5�(�ô�7���O�3���7�/��§���O�¨���������=��Blahut, Richard E.�,/���O��������!.�!�����)�����9��.����9����æ$�����ç��5� æ���ç�3�������5§���O���:@���Dušan B. Draji�, Predrag N. Ivaniš� '��� 1� .�����1� �������!���� �� #��������æ$�����ç��5���������3��#����#�������������������:��F. Bavaud, J.-C. Chappelier, J. Kohlas� ��� ��.���1!.���� .�� �������.���� ,/���O������00��!�.����æ$�����ç��5����=�3�æ���ç��Lang, Serge.�����4���æ$�����ç��5�æ���ç�3�������5§���O���::���5�,��,/����)��.�����Lin, Shu and Daniel J. Costello, Jr.� )����� 9��.���� 9�����3� 81������.��� �����00��!�.�����)����ô����9�����æ$�����ç��5�æ���ç�3�����.�!�5C������:@���N. M. Abramson.��������.����,/���O�����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:>���R. Adler.�)�����!������������0��0��.������ ������.�������O�!/������æ*����ç��5�æ���ç�3����!����������./����!���:>���5���3:�<5:����Raymond W Yueng� �� ��ô� 61.���#� ��� �/������ �������.���� ���1���æ*����ç�XX��)))�,����!.��������,��5��::���5�,���B��Shannon C. E.�����./���.�!���./���O����!���1��!�.����æF��0�ç�XX�������O.���,�/��!���7�1������5��:<@��5�.����B:5<����Van Lint, J. H.� ��.���1!.���� .�� 9������ ,/���O� æ$�����ç��5� æ���ç�3� �0������5"��������:@�����
201
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 206: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/206.jpg)
DODATAK A – UVOD U MATLAB OKRUŽENJE
+�� 0������#�5�������� �#�1;����� 1� ���� 1�;4���#1� ���4����� ��� ��.��4©�0������#�� 0�#�.�� ��.��4� ��� ��.��� #��� #�� ���!�� ��� GMATrix LABaratoryL�IG��4���.������ �����.��!�LJ�� ��1���� ��� ��� �:B�5�/� $��������� I9���������J�� ����#�.����� ��� �������.�#1� ��� '������.�.1� G(�����#�#�L�� 6���1 ��� 4��� �������0��#�!���� I������ RAD-rapid application developmentJ� 1� !���1� 4����� ������������#0������.����/����1�.�.�����.��4©� ���*� ��#�1;����� �� �4��4�?1�������%��� �������#�1;����� �� ���.��������4���1� 0���.�#��� ��1�����!��1� 0���.�#�� �� .������������� ������.��� #���� ��0������1�1�1������#�5.�/�����#���0�������������������4�����/�������.�����1���0������������������#������1�����0�������1�����1�;4���#1����������1�10����1�������.��1���������������0������#��#�����#���������������������.�����0�������������1���.��451�� �#����������#.���3�-�����������������1�����������13�
� åå�����æ����=�B�:���ç���;����%�������������������������.�����%���3�
� åå������3�3���� ���������������������=�����B�����:�������
,���0���������������1�����1�#����13�� åå�O����ó�� O�����������������
202
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 207: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/207.jpg)
�����=������B������:��������
-�����������������1��0��1������.�����=���������#���#���=��åå�+���=3=3���
��������=�����������=�����������=�������(������������������������0��#�����1�command window����;��������.�������.�.�� ��� ������.�� ���� 0������.�� �����.� .�� ��� ������.�� .�#�� �.�� ���� 1��.�������413��
åå��I�J�������=�
(��������%�����4���� �����1�0��������1�ans� #���� ����1.���.#����#���������"�����.�1���.��451�#�����1��0�������������?����������1.���.#����4���������ans.�(����4�� ��� 0������� �/� 0���������/� #���� 1� ��#�������� 1� ������� ��.��!����.��45�3�
� åå�ô/��²�1������4������3����������O�������� �
(����4�����1���1���.�������#��0������������0�����.��!��0���.�#�3�� åå�ô/��
��� (��������������������������O.���9��������..��41.��203
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 208: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/208.jpg)
��� �����������������������������@����14�������������������� ������������>����������������<@����14�������������������� O���������>������������������<@����14������������������� ������������>����������������<@����14���
�����#��;������������������������1���.��!���1���������� 1������413�� åå�æ���ç����I�J�
��������������>������
� åå����I�J������>�
�'#���#��;������.����������%1���������.���/�0���������/������������.��!����.��45���1���������� 1������413�
� åå��������8��������#��;������%1�.�������.����������?���/�0���������/3�
åå��������8����������#��;��������4���.����0����������#���.� ���������413�
� åå�!����������� �#�� ;������ #���.�.�� 0���������� #���� ��� �%1���� 1� ��.�.�#1�� #���.���������413�
� åå����������8�����204
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 209: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/209.jpg)
�#��������������!��������������.��!�3�åå�����æ�>�������Ä�=�������@Ä�:�>�B���Ä�<��=��<��ç�
�������������������������������������������������������������>������������������������=�����������������@������:�����>�����B������������<�����=�����<�������
����%1�������1���0��#����������.��!���3�� åå�1�I�J�
���������<�����<�����<�����<�,���0����������.��!���3�
åå��ó�����������������������������������������������������������
�����>�����=�����:�����<������������������>�����=������������������B�����<������������@�������������
���#���������%1�������1��������������/��������.�3�� åå�����I�J�
�������������������������������������������������������������������������>��������
205
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 210: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/210.jpg)
�����B��������
� åå�1�I����I�JJ����������<�
���#��������.��������.����.��;����0���!���3�� åå��I��<J��������@�
������������������.��!�3�åå�+�������I���J�+����������������������������������������
� åå�8���=ì���I���J�8����=�����=�����=���������=�����=�����=�
� åå(�����ì����I��@J��
(����>�==B<�������=B�����@�<:������:���::����>�B@B<����B�=BB<����B�<���������:����*�������D���������������#���������������.��!�����'�� �������� 1���#����!��1���.��!���������;����%1�.��1�����13�
����æ�>��������������������������=�������������@������������:���>���B��������
206
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 211: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/211.jpg)
�������������<����=����<������çÄ��������#��;���������1%�.����0��������1���������������1�� �������� 1�#�����13�
åå��.��!��+�.���1�����������0�����������3�
� � � åå�������������������������������������������������������������������>�������������������
�����=�����������������@������:�����>�����B������������<�����=�����<�������
$��#�.���!������.��!�����0��!��������������0������������������.��!��1�����1�� 1��������������.��!1��3�� åå�����æ���â��Ä�â<@��â�>ç�
����������������������������������������������>����������������������<@�����=�����<����<=������=�����������������@�����B����<�����<�����<�������:�����>�����B����������<������@�����:����<<������<�����=�����<�����������>����<B����<>�����������><����=�����=�����>������������:�����@�����:�����=�����=@����=:����=>�����������>�����B�����<�����=B����=<����==����>������=�����������������@�����=�����>�����>�����<:�����������������������B�
��������������.��#���1�#!�������������������.��� � åå�£���I�3�3�>JóÄ�
207
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 212: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/212.jpg)
åå�£������������������������������������������������������������������������£�������
������������=������B������:��������������������=�
åå�2���������I£J��������������������������������������������������������������2���������������
������=@=�����������:�������@�B<��������>::�������<=:<�������B��<�������:�>:�
������1�;�����0���.�#�����)�!�����.�.�#���(�0���.��excel���.�.�#1�0���!�������'���.�.�!���������.��0��������1���.��!1�æ<���<ç���������.�������G�/��.�H�1������G��.��!�H��'��������������4��xlsfinfoI���� �.�.�#�J���4��������.������1���1�excel���.�.�#1��
� � åå�æ.O0���/��.ç��������Ió0���!�����óJÄ�208
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 213: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/213.jpg)
åå�.O0��.O0�������!����.�)�!����0����/��.�
åå�/��.�/��.���ó��.��!�ó����ó�/��.�ó����ó�/��.�ó�
�#��;���������1������0���.#������.����.��!���1�����������413�åå�����������Ió0���!�����ó�ó��.��!�óJÄ�
åå��������������������������������������������������������������������������������������<�
�����������������<�����=������������<�����=�����>������<�����=�����>�����B�
�+�.��� 0��������� 0��!�� #��#�.���!���� ���� ��.��!��� �� �� 10������ 0���.#�� 1�excel���.�.�#1��
åå�����æ���â��Ä�â=��â@çÄ�åå���
������������������������������������������������������������������<�����������<�����=�����>������������������<�����=�����<�����=�����>�����B������������<�����=�����>�����=�����>�����B�����@������<�����=�����>�����B�����>�����B�����@�����:������>�����B�����@�����:�����:������������������������B�����@�����:�������������������������������
209
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 214: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/214.jpg)
�����@�����:�����������������������������������<������:�����������������������������������<�����=�
�åå���ô��.�Ió����!�����ó���ó��.��!�9��óJÄ�
�
�-���������� C��������� ��%��#�� �� C�������/� #������ (�0��� ���� excel���.�.�#1������� ������;����3�
210
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 215: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/215.jpg)
�
�'���������� �������4�����1���0���.�#��1���.��4��#�1;����3�åå�£���������Ió��������ó�ó���1#�óJÄ�
åå�0���������Ió��������ó�ó"����.��!�óJÄ��
åå�£�£�������������������������<�
åå�0�0��������=����������=�����������������������
'��.������ �������4�����0���������C�����������%��#�3�åå�*���/1�������!.I£�0JÄ�
211
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 216: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/216.jpg)
åå�*�����������������������������������������������������*�������æ�ç����æ��������������������ç�
����æ�ç����æ������14��ç�����æ�ç����æ������14��ç�����æ<ç����æ������14��ç�
�������C��������#�������������� ���#�������������������=���.�/�4��#���0��1#���
åå�0��1#������0��.Iæ�������������������ç���=�JÄ��$���%���#10���4����1�0��1!�3�
åå��4������æ�����çÄ��(�1��%�������?��������.�� ���������4���3�
åå����.��!����æ����������@çÄ��*�%��#����C�������#��3�
212
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 217: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/217.jpg)
åå��!��#���/1�������!.I��4��������.��!�JÄ��-����������#������#��!��0��#��C���������#�����3�
åå#������#��!����/1�������!�I0��1#����!��#JÄ��-������������#��������#��!��0��#��C�����������#�����3�
åå��#��������#��!����/1�������!�I#������#��!����!��#JÄ�
�213
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 218: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/218.jpg)
DODATAK B – JEDNA PRIMENA KODOVA ZA ISPRAVLJANJE GREŠAKA U KRIPTOGRAFIJI
'�����.#1���0��#��� ��������1�0�����1�#���������0��������������#��1���.�����.������������������#��0.����#�/�#��1%���������1�4����.���#�/�0���.�#���'����� ���1� 1�;4���#�� ��.�� 1� 1����� �����.������ ������ ��� �����%�.�� �0�#.���������������.������������������#��0.����#�/�#��1%���������1�4����.����������� #��� �� #��0��.��� 0��!�� �������� ������� �� ��.����!���� 1� .���������4����.���#���.����������� ������%#�� ����� ��� ��.��1� ������� #��0��#���� �.���� �� ��.��������0����� �/� #��0����.�� #���� ��� ����#.��� ���� ������#.��� ��%��� 1%�.1�1� 1���.1��������/�#��0����.����������������
�-�����%#��������.�����
(�� ��!�� ��� 0���.������� ������%#�� ����� 0�����;����� �������� �� ��� �����0���.������� $��0��.��� �.��� �.���� �� ��� ��� 0���.���3� 0���.��� ���#�������� ���� 4����.���#��� ������ #���� ��� ������� ��� ������.�����.����!�������/� 4����.���#�/� �.���� �� 0���.��1� ��� 0����� 0��1#�� 0��#��4����.���#��� #������ �� �1����� '� ��.�#1� ����� ��.������ �4����������214
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 219: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/219.jpg)
0�������%��/� 1����� �/� �������/� #��0����.�� #���� 1� ���;���� 1� ������������1�0��!����$��0����.��1��1��������4��������������������Komponenta 1� 5�0���.����� �0��!��1�#��������������#��0.����#��#��1%�����.�����%����� ���0��1%���� ��� ��� #��1%� 41��� ��������� ��� �1%����� ��%��� 0��#���������!����/� ������ � #���� ��� ���1 �� 0���� �� 1� 0��������� �#�1;�������� '���1���� �1%��1� #���� ����� .���#�� 0�01������� ���1 �� ��� #��1%� �������.�� �� ��#���0�1���1%������������.������6�#����%��������������#��1%����;��������1���4��4����.�����������.��%����#��0.��.�����Komponenta 2� 5�0���.�����0��!�����.�.����#�����������#���#!��1������#��1�#���� �� #���.�� *��5�������� #������ '� ���� 0��!�1� #��0.����#�� #��1%�����#������*��5��������#��������'���������0��!��� ������1�.��#���;��.������.������0����.�/��#��0��1��.�����0�����#��1��#�!�����������1�#���������.������ %�.��� ������ �� 0�.01��� ������� ����� ��1%���� �.��;��%#��� 0���1� 0����������G4����.���#��#��0.��������M��Komponenta 3 D� 0���.����� 0��!�� ����������� ���� #���� #���� 0��0����0���.��1� ��� #�������� ���� 4����.���#��� ������� '� ������ �1%��1� 0�!���%���0��!�� #���� 1� �4�� ���;�� ��� 0��0��!���� ���� 0��0��!�� �� ������ ���.�������1� 0��!��1�1� ��� ����������� 4����.���#��� �4��!�� #���� ��� �0���� 1�0������1���� �1������%�������;�������#�;���������������������;���0��!���������������� ���� �������!������ ������������1�#���� ���#������1��?������.����#��0��.��������������#���������%�� �1���0��0��!��0���.�����������������;���0��!�� #���� 1���� �������!����� ����� �� ��� ���1� ���1�.�.�� ��4�����/� 0��#��.�����#�5�������!����� �������� #��1��� �������!����� ����� 1� !���1� �������������#����.��.����/��������!�����(�0����1 ���� ��� ��� ��� #��.�%��� .�%#�� 1� ���� �.��1�� ���� �� ��4����� �������1�.�.� 0������ ������� ���#.��� ��� 0���.���� #��0����.��� +�0�����0���������� %�.���� �.���� ����� ��� #���.�.�� 0��!��� #�������� �����������!����������������.�����������0�����������.����1�����������1�.�����#�5�������!���1�������1���#����� ����#�����������.��1�����0������1������
215
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 220: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/220.jpg)
����!�����������������#����
Komponenta 4 – 0���.�������������1�.�/��#1�0��1��.1����.�������#��1��#�!�������.������� ���� ���%���1� 1����� 1� �.��1�� $���.�� �� ��� ��0�������� 0�#�.#�/������#�������������1���������������!��������?1������%�.�/�������'�����������1�#���.�� �� �1%����� ��.������� I������ Random interliverJ�� ,�/��#1� ��.���������0������ ��������#������������#������Komponenta 5 - 0���.����� ����%#1� �0���!��1� H£6*M� 1� #����� �� 4������#��0.����#�� #��1%� %�.�� ��1��� ��� ����������� ���� #��� ���� #����� ��� 0����������.�/��#�������.�������������1 ��1���1����1��4��0���.#���1%��������4�������.���#����0������������4���������.��0��� �����G6��5.����0��M�0����#.���.�����#��0.���.����Komponenta 6 - 0���.����� 0���.�#� #���� ��� ���1�.�.� G£6*M� �0���!����� �4������0���.�#�1��4��%1����#��1%��1����������1�4����.���1����1%���������������#��1%��(�����1�����0���.#����������1 ���.#��.�����������1�4����.���1�����#��1%��6���0���.�#���������������1�0���.#�����#�����.��������0�#.�����.�.��0���.��.��4����.���#�/�0���.�#���Komponenta 7 - 0���.�����0��!��1�#��������0�%�������0��!��1����1�#��������1������ #�����#� ;���� ��� ��� ���1� ����������� ���� 4����.����� ����������� #��1%�#���������#��1%���%�.�����������������������4����.��������#��1%���6���0��!���������.�%���0��!�����1�#��0����.� ���Komponenta 8 - 0���.����� 0��!�� #���� ��� ����.�%��� 0��!�1� 1� #��0����.�� <��,�/��#����.������������0��������������������������������4����.������#�����1;������������������#��1%��Ë��(�0������������1��4���1%���� ��.����������������1�����������1�4��� �����������;�����,�%������1������#�����.����#����1����0�.����0�.��4���������.�4����.���Komponente 9 i 10� 5�0���.�����1����0��������0��!���1���������1�0��!����0��#��#���/��������������#��1%�#���������#��1%���%�.��������1�#��0����.��=�
216
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 221: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/221.jpg)
��� ��������1�� +�.��� 0����� �� 0������1��� ����%#�� �0���!���� G£6*M� ����#������������#�������0���.#���#����1��4��%1��#��1%��+�.�����0������1���*��5�������� ��#����� #���� #����1��� �� ��.���� ����#��� '#���#�� ��� ��4������ ���1�.�.�0���� ��#������ �����#� #��1%1� #���� ��� ��������� 1� 0��!�1� I�J�� .�� ���%�� ��� ���#��0��.��� 0��!��1��� ����������� 10����� �� ��� ��� ��0������ �.��� #���� �������1 ��.����������1� �.��� ����4����.���#���0���.�#�����������#��0.����#��#��1%��������1 ��1���1����0����#.������.���0��0����4����.���#���#��0.���������������������������.����.�.�0���.�#���Analiza ekvivalentnog kanala
�������� �#�����.���� #������ 0�����1���� 0������;����� ��#��� #���%����#��1��#�!������#������ ��� .�������#��1��#�!����#����1.�?1���1����0���#��������� ���1 � 0�1����� 0����� �������!����� �� �������� 0�� ��� �����#���#.���.�#����������#����1�������������%�.������;��������.��4��� ���1.���.����#�����1�4����1�0�1�������0������0��#����1����1����1��10�.��41�#�������� �0��������� �����#�� �� ��#�����1� #���%��1� �����#�� #���� ��.���� #���� ���������!����0������� ���4������������#���������
����������#�����.����#����������� ��� ����� ��� �#�����.��� #����� 0���.����� �.�� #����� #���� ��� �0���� ��� ��������%�.�� ��%����� ��� ��� ��� 0��#������ ��� ��!�� ������� #���� ���;�� ������1� ���
217
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 222: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/222.jpg)
�#�����.��� #������� -������ #����� ��� ��!�� 0���.����� �#�����.��� #����� #���� ��%�.�� ��;�� ��.�� 1� #���%���� #��1��#�!������ #��������� A���� #������ ���;����#������ ��#������ ��.�������� ����.������� �� #����� �� �1����� ���1#�� #���� ��0����������#������������;�������1.�!��1��1���#�������0������1���1�0�#�.#�/������#��1����;��1�0��1#���64������������������� ���0�#�.#�������#�������0��������� .������ 0��������� ���*��5���������#��� �� ��.������� %���� ��� ����.�#������0���� ��4����#�������0��1#����� ��.�����0��1#��������0��#��#�������'� .�#1�0������0��1#���������;����1.�!��1��1���#����1.�#1���1����;���0��1#��0�#�.#������#��� $���� 0��1#�� .����� ��� 0������1� .���1�� 0������1��� �� ����.������� #������4���� #������� 0��1#�� �� �� ��� �.�� ����#��� 0���!���� #���� 1� 4���� ��#���#�����������0���������.��������#�.�#������#��#����1���.��������1����4�������� 1�����%���� ��0���?���� 0��#�� !����� ���;���� 0��1#��� '� 0��������� ������0��������*��5����������#������#����1�1�������.��������#���� ����� #����� ��� ��!�� 0���.����� 4����.���#�� #����� �� 0��1.��� �1���� A����#���������;����#��������#��������.���������#��1��#�!�����#������'�����#����1�0��1#�� ��� #��1%�Ë�#���� �� 0������ 0��#�� �1����� #����� #���� ��� ���1#���� �� ���������A1��#�������0��1.���1�#����1���0��������0��#��0�#�.#�/������#���'�!���1�0�.���������#�/�0�������������.�������#�������0������1�������.������������4�������I���������0��������������1������0���������.����J�#���������������1#1�1�#��1��#�!����� #����� �� �1����� +�.���� #��1%� Ë �#��1����� �� *��5���������#������� �� �������� #���� .�#�� #��1��#�!����� #����� ���� #����� ���� ������#��.���1� ��� ����?��� �0��� �����.�� 0�#�.#�/� �����#��� ���1#�� ��� 0�����1� ����#��1%�Ë�����#��1���*��5����������#�����������4������0��1#��0���.�����#��1%�˪�#������������#�#��1%1�Ë����0���������.��������;���� ��� ��� ��#��1%���� ��� ��� ��������� �#�����.���� #������ �������������� ���� ���� #������ 0��#�� #���� �.��1����� 0����� 0��1#�� ����#��������#�0�!�.�.����6���#����� ������4����4�����������.��%����#�������� �1���� �� ��� ���� ��%��� ��� 0�.������ A�����1� .�����1�� #���� ��� 4���� ���#��������?�����1������������0����.��������1�����:<@����������1�#������.��������#�����4��������������1 ����%���#���������������!�����������.��#��������;����0�.� ��0��;��������������#����#����������������0�������������!�������
218
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 223: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/223.jpg)
Uloga zaštitnog koda i interlivera
-���#��#������.��1���������1 ��1�0�.01��.����������.��������/�������1 �����.��������.���'������.�����.�0������.����!���������.�� ����.��#������#������ ������ ������� ��� �0�#.�� 0����#.������ �.����� ������� ��� 0�.������� ��#��0�1�����.��1����1��.����#���.����.���������0��.10�3�� ��4�������������#��� �0��������������#��� ��������������#��
Izbegavanje grešaka� 0�����1���� 0��%������ ��.��#�� �����#�� ��.���/� ���/�����#��� ���� ��.��#��� 0��.������� 6�#�� .�/��#�� �� ������ ��� ��4���#���.�.����/�������I����#�����J�#����1%�.1�1�1�0��!�1��#���!������#��������#��� �� ���#�.��� ��4��� ������.���� #���� 1%�.1�1� 1� �4����� ������� I#������������J����4�������������#��0�����1�����������1�#������������.�.�������������0���0�.1�1�0��������#��0����.���.�����Ispravljanje grešaka� ��� .�/��#��#�������0��%�����.���#�����#���6��.�/��#��10�������.�#.1������0��������.��������#�����;�������#�;����������.�/��#���������1 ��.�.��������!���������.�4���.������0���.#���������#����1�!���1���4������� �.���0���.#��4�������#��� 7���������;����/�#��0����.�������.����1� ���.�.��� #����� #���� 0������1����� ���� 0���.#��� I#��1%� KJ�� #���� ��� 1� .�#1�0������ ����;��� ����#����� (�� ���� ��%��� ��� ����1 ��� 0����� 1� #��.�%�����.1�!�������������.��.�0���.������!������'�0����#.����1��.����#���� �������*��5��������#����6���#����0����������#��������1���4����������������1�4�.����0�������1�����0���������#��!��.�����/�0�#�.#�/�I������burstJ������#���6�������1�����#1�0�����1�1��.����������.����/�#��1��#�!�������.���������%1�����0���.�#���*��5��������#�����1�0����10���9C� #����� �� #���� ��������/�� ��4������/� !�#��%��/� #������ *��5�������� #��� ���4��#�#���#������0���.�����#����PUb� c� ¹V�0��#��0�����-����� (2 )nGF ��*��5�������� #��� 1���� ���#1� ���1����.�1� �������!��1� I0��#�� 0������#��.�1#.1��J� �� .�#��0�.�;����#��0���������������.�#!��1� �� �0��������������#��� ��4�� �� ��� !����0��.�������0/����� ��� #���.�.�� ����#����.��.�1� �������!��1�I�����.����#���#.���.�#�J�� ���������������1�1��?���������������������!�����
219
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 224: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/224.jpg)
������������.�#.1������������!��������4����10����.�#�/�������.��#���� ��������;��� �����#����.��.�1��������!��1��Smanjenje grešaka� ��� 1������� ������ ��� .�/��#�� #���� 1.�%�� ��� �����������.���/������#��#������������1 ���0���.���'��������1%���1����4������������1��.1� .�/��#�� ��.�������� ��.�������� #���.�� ��.��1� 0��0��.����� �����.�� 1� ����#��1�� ��.��� ��� 0��0��.����� ��;�� ��� 41��� ���������� ��� #���.���� �1%��1�0���1.�!��1� #���� ��� ����.�� �� ��#��� ���!�������� ������ 1� #���� 0���.�����0�%�.���.�����0�1��������.�����6�#����.��������1����������.��1%����.��1���#�� ������� #���� 4��� 0�� ����� #��0��#��.��� 0��.0�.�����1 �� #���� ������.���.�������#�������������.���������#���� Motiv za uvo�enje zaštitnih kodova i interlivera
�����������.�.��/�#���������.���������������������.�����4����.���1�1�0������1��� #���%���� #��1��#�!������ #��������� 7����� ��� ����/� !������ ��� 4��� ���0����?���� �#�����.��� #����� #���� ���� �������%#�� ��4���� �� 4����.���#���#��1��#�!������ #�������� ���������#� �#�����.���� #������� ����� 4�������.�������4���0����������!���#10�����.����#�������#�������!������(����!�� �0���4����.����� ���0��.�� ������#���%����#��1��#�!������#��������� 0��1.��� �1���� '� ���� 0�����1� ��� ����� ���1#1�1� 4����.���#��#��1��#�!����� #����� 0��#�� #���� ������ !���� ��� 0�������� #��1%��� "�����.������#��1�����#����1�������1�1������.�����.������������������0��0����1����������4�� ���� 1� ��� �����%�.�/� ��4��� '� ���� �0.��#.���� �����1� 4����.���#���#���������������.�#��������#��1%��0��������0��#��#������4��������#���,�%������!���� ��� 0����#.��.�� #��1��#�!����� #����� %���� ��� ��#������� #�0�!�.�.� ����������������3�
. Y ����UËÄ Ë�V Y �
220
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 225: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/225.jpg)
�����.���#��#��1��#�!�����#��������1�����*������������.���#���#�����.����4�����;������#�������� ��%������!�3�6����� 0��4���� #��� 4����.���#�/� 0���.�#�� ��� �����4����.� #���� ��� 0��1.����#�� 01.� 1� 0���!���� ��#��� �#���!���� 4����.���#�/� 0���.�#��� �1���� ��%������#������4����.���#��0���.�#��������������.���4����.���#�������1���1�#������#1�����5�5���5�����/�0��./����/����#���4����.���#��0���!��������������������%�.���4����.���#����������������#1�1����<�5����>�5���$��� ������� ��� 0����1.�� 0��4���� �����4����.�� 1� 4����.����� ������ ��.���� ��������� �� �#�����!���� �� ��1���� #��1��#�!������ #��������� 6�� ������ ��� 1����0�����1����.�.��/�#�������� �0��������������#��I�������rror correcting codeJ����.�/��#�����0��1��.������4��.��#��1��#�!������$�0�!�.�.� #���� ��� �0��������� �����#�� 1� ���� �1%��1� 0���������� ��#������������1� 4�.�� .�#�� ��� ������1� ������������ #�����#�� ��� ��;����� (�� 0�������4����.���#��#��������1#�������������#�������.���4����.���#�������������1�4�.��1�.���1����0����1�0��1#1�4��������#��1��������1%��1�#��1%�Ë����#�#��������1#���� ����� ���� #��� �� �����%�.�/�4����.���#�/� ���������� ������0������#��1%�Ë�� %�#� �.�� ���� 0�;������ ��� ��� #��1%�Ë�41��� 1���.���� .�#�� ��� ��� 1���������������!����ºUËÄ Ë�V Y �������.��������0����1.�/�0�����������10�/�4��0���.����������1�.�.���Ë YY ˪����#���˪�#���.��#���#��0.����#��#��1%������������� #��0������ ����?1� 1#10��� #���%���� �������!���������� #���� �����/��� 1�������� �������!����º�����?1� �.�/� �� �����%�.�/� #����� ������ ��4�������#���������#�����1����%��1�#��1%��Ë��
221
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 226: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/226.jpg)
��.����������.�/��#��#������#���.�������0��������0�#�.#�/������#���������������1.�?���� ��� ���� #��� ���;�� 0�#�.#�� ����#��� 6�� .�/��#�� �� #��� #���%��/�#��1��#�!����/� #������ #���.�� ��� 0��������� 0���������� ���.�.��/� #����� ����#���������0��������������#����������;���������#��1%������������%������!������1.����1.�%1����.������������������4��.���#�����0����������� ����4����.���#��#��0.���������� �� �� .����/���1�1 ��0�.�����1�.��������������!������#����������
222
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 227: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/227.jpg)
RE�NIK POJMOVA
A Algoritam - �0����������������#���0��4������Arnost�D����%��������4�.���+��n-�����.�4��3�n��4������!��1��#���%��1��B BSC – 4����������.��%���#������BSS –�4����������.��%���������Blok kod�D���0������#10���%��#����1��.���1;�����0���.�����.�1#.1�1������G Generator matrica� D� ��.��!�� #���� �� #���.�� ��� #�������� 0��1#��� ���?�����#����/���%���D Dekodovanje – .��������!����#�������%��1���4����0��1#����E Entropija – �����#���%����������?���.�����I Informacioni izvor – ������.����#��!����4����#����0���.�����1�0��1#����
223
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 228: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/228.jpg)
K Kapacitet kanala - ��#������� 0���%��� #���%���� �������!���� ��� �����1�#������#������������#��#���%�����������!�������1���1��Kodna re��-�4��������#��!��#��������0���.��������4����������0��1#����Kriptoanaliza - 1��.��.�����1#�������4�����1���������/�0��1#����Komunikacioni kanal� -� ���������!���� �.�� �� ������ 1� 0����.��� 0��1!�� ����?1�0����������0��������.������Kompletan kod�-�0����#���#���%����#�����.�4���������;����#���� ������.����Kodovanje�-�.��������!������4����0��1#��1�#�������%����Kriptološki klju� - 4������� �#��!�� � �� �1;����� 0���1��� ��4���� �1%����/��������$���.����#���0�%�.���.�����������.���1��������������������������������Kriptograf - ��!��#���������������������Kriptoanaliti�ar - ��!��#����������������.����������4���������������Kriptografija - ��1#����0�������1�������.������������������Kriptoanaliza - ��1#�������4�����1�������.����������������� L Linearni kod – 4��#�#�� #��� %���� ��� .�1#.1��� 0���.������� �� �#.��#���0��.������M MAC - #������0����1��1.��.�%��.��0��1#���Minimalna distanca� -� 0���.����� ��������1� C������1� ��.��!1� I��� �1��J�����?1�4����#������������%�.��#�������%���
224
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 229: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/229.jpg)
Minimalna distanca dekodovanja� -� �#��� ��� ��#�������� 1� #����� �� �#��0�����������%���#��1���1����4��;1�#���1���%��N Nula kodna re� – #�������%��%�����������1��� O One-time pad - 0����#.���������#����0��0������10��������������.��%����#��1%����$��1%�����������������1%�������%����� ���������#1��1;��1�#�����0��1#���$��1%���������#��������0��������O�ekivana dužina koda�-��%�#����������.�����1;��1�#����/���%���Jednosmerna funkcija -� �1�#!���� #���� �� ��#�� ����%1���� 1� ������� ���1� ������%1������1����������.��#���������1 ���P Poruka - 0���.�#� #���� �� �������1��� 0��#�� #��1��#������� #������ ����?1�0����������0��������.��������;�����41���#���������1������������������Perfektna tajnost�D�.�����#����#�����#��0.�����#����/�������#�����������������%1���#��������PKI - �����.�1#.1�����������#��1%����������;��4��1�����/�#��1%���0��#��#���/��4��4�?1����1.��.���#�!��1�1��������������#������;�����PRNG - ������.��� ��� �����������0�1���1%����/�4������������1� ���!��������.�����#�����������?��������1%�������%����
225
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 230: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/230.jpg)
R RSA - #��0.�����#�� �.��� �� ������ #��1%���� 0�.��.����� ��� .����� *��.���A������ �� ��������� �:B>�� ���1���.� *��� ������ �� ��� ��;���.�� ��#.�����!�������#�/�4���������������#1�0�����1����0�����.��������1��-������251���S Stacionarni izvor�D��������!����������%����.�.�.�#���������������������Sindrom�D�0�������0�����������%���������#�!�������.��!����T TRNG - ������.����1%����/�4�������6�#��������.����������1 ��#��.�1��.��1�0����������������!����������������Težina re�i�D�4����������!��1�4���������#��!���F Faktorizacija � -� ��.�����������#�/�0��.�/�4��������� %����!�� ��� #10��0��.�/�4��������H Hemingovo rastojanje - #���.�� �� ��� ����?������ �����#�� ����?1� ��� ����������#���1;�����Hafmanov kod�D����#������%���#���������������!���������;����1�0��1#�����������1�0����.�/�����.�� ����4����0��1#���
226
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 231: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/231.jpg)
C CRC – I����� Cyclic Redudancy CheckJ�� $��� ����#�� 0�������� #���.�� �� �����.�#.�����������#���64�%���0����������������9*9���0��������Cikli�ni kod�-����������#����1�#�����#��0�������#�������%��0���.�����.�#�?��#���1���%���Š Šifra - ������.��� ��� ��������������1� ��� 0�.���� �����%�.�� .�0��� �������� 6�����0������1����#���%�����������������.��%���������.��%�����0��1.�����0��#.�%���.������Šifrat - ���1�.�.� �1�#!����������������� ���� .��������!�����.������0��1#��#���� �����������1��0���������0�����#��1%���Šifrovanje - 0��!��.��������!�����.�������.�#.��1������.��� �
227
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 232: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/232.jpg)
228
______________________________________________________________________________________Osnovi teorije informacija i kodovanja
![Page 233: US - Osnovi Teorije Informacija i Kodovanje](https://reader037.vdocuments.pub/reader037/viewer/2022102611/55725c23497959da6be8ab40/html5/thumbnails/233.jpg)
Na osnovu člana 23. stav 2. tačka 7. Zakona o porezu na dodatu vrednost („Službeni glasnik RS”, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Se-nata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga je odobrena kao osnovni udžbenik na Univerzitetu.
CIP - Каталогизација у публикацијиНародна библиотека Србије, Београд
519.72(075.8)004.22(075.8)
МИЛОСАВЉЕВИЋ, Милан, 1952- Osnovi teorije informisanja i kodovanja /Milan Milosavljević, Saša Adamović. - 1. izd. - Beograd : #Univerzitet #Singidunum, 2013 (Loznica : Mladost grup). - 228 str. : ilustr. ; 24 cm
Tiraž 300. - Rečnik pojmova: str. 223-227. - Bibliografija: str. 201.
ISBN 978-86-7912-506-41. Адамовић, Саша, 1985- [аутор]a) Теорија информација b) КодирањеCOBISS.SR-ID 200845580
© 2013.Sva prava zadržana. Nijedan deo ove publikacije ne može biti reprodukovan u bilo kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglas-nosti izdavača.