kommunikationstechnik b teil 4 – informationstheorie
DESCRIPTION
Kommunikationstechnik B Teil 4 – Informationstheorie. www.dhbw-stuttgart.de. Stephan Rupp Nachrichtentechnik. Inhalt. Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz. Informationstheorie. Quellenkodierung und Kanalkodierung - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/1.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 2014
Kommunikationstechnik B Teil 4 – Informationstheorie
Stephan Rupp
Nachrichtentechnik
www.dhbw-stuttgart.de
![Page 2: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/2.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20142
Inhalt
Informationstheorie
• Einführung
• Information und Wahrscheinlichkeit
• Entropie
• Entscheidungsgehalt
• Redundanz
![Page 3: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/3.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20143
Informationstheorie
Quellenkodierung und Kanalkodierung
• Was bewirkt die Quellenkodierung?
• Was bewirkt die Kanalkodierung?
• Wozu der Aufwand?
Nachrichten-quelle
Nachricht, z.B. Text, SMS, E-Mail, ...
Information
Redundanz
Kodierte Nachricht
Information
Redundanz
Quellen-kodierung
Kanalkodierung
Information
Redundanz
Übertragung
Kanal
![Page 4: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/4.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20144
Inhalt
Informationstheorie
• Einführung
• Information und Wahrscheinlichkeit
• Entropie
• Entscheidungsgehalt
• Redundanz
![Page 5: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/5.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20145
Information und Wahrscheinlichkeit
Würfelexperiment
Beispiel:
• fairer Würfel pxi = 1/6,
• 2 Würfe: pxi,xj = pi * pi = 1/36
• allgemein: pxi,xj = pxi * pxj
Zeichenquelle
Zeichenvorrat: X ={ x1, x2, x3, x4, x5, x6}
Wahrscheinlichkeiten:
px1, px2, px3, px4, px5, px6
Ideen:
(1) Zufallsexperiment löst Ungewissheit auf,
liefert also Information, d.h. Ixi ~ 1/pxi
(2) Information bei 2 Würfen: Ix1,x2 = Ix1 + Ix2
xi
![Page 6: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/6.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20146
Information und Wahrscheinlichkeit
Information eines Zeichens
• Definition:
• Masseinheit: bit
• Beispiele:
– binäres Zeichen X={0, 1}: pxi = 2-1 => Information = 1 bit
– hexadezimales Zeichen: ?
– dezimales Zeichen?
– Würfel?
– Zeichen im BDC-Format?
Ixi = ld(1/pxi) = - ld(pxi)
![Page 7: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/7.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20147
Inhalt
Informationstheorie
• Einführung
• Information und Wahrscheinlichkeit
• Entropie
• Entscheidungsgehalt
• Redundanz
![Page 8: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/8.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20148
Entropie
Informationsgehalt einer Zeichenquelle
Zeichenquelle
Definition: Entropie
• Informationsgehalt der Quelle =
• Information aller Zeichen
• gewichtet mit deren Wahrscheinlichkeit
Beispiel:
Zeichenvorrat: X ={ x1, x2, x3, x4, x5, x6}
Wahrscheinlichkeiten: px1, px2, px3, px4, px5, px6
H(X) = ∑ pi Ii = - ∑ pi ld(pi)
Ü4.6 -.12
![Page 9: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/9.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 20149
Inhalt
Informationstheorie
• Einführung
• Information und Wahrscheinlichkeit
• Entropie
• Entscheidungsgehalt
• Redundanz
![Page 10: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/10.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 201410
Entscheidungsgehalt
Wann ist die Entropie einer Quelle maximal?
Beispiele:
• fairer Würfel pxi = 1/6: H0 = ?
• Quelle mit 10 Zeichen?
Zeichenquelle
Beispiel:
Zeichenvorrat: X ={ x1, x2, x3, x4, x5, x6}
Wahrscheinlichkeiten: px1, px2, px3, px4, px5, px6
Definition: Entscheidungsgehalt H0 = maximale Entropie
![Page 11: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/11.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 201411
Inhalt
Informationstheorie
• Einführung
• Information und Wahrscheinlichkeit
• Entropie
• Entscheidungsgehalt
• Redundanz
![Page 12: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/12.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 201412
Redundanz
Die Differenz zwischen Entscheidungsgehalt und Entropie
Ü4.15 -.18
Nachrichten-quelle
Nachricht, z.B. Text, SMS, E-Mail, ...
Informationsgehalt
Redundanz
Entropie max. Entropie
Redundanz
Definition: Redundanz = H0 – H(X)
![Page 13: Kommunikationstechnik B Teil 4 – Informationstheorie](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813659550346895d9de3c1/html5/thumbnails/13.jpg)
Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann 4. Semester, Nachrichtentechnik, 201413
Kommunikationstechnik B
ENDE Teil 4