dpt. télécommunications, services & usages théorie de l information h. benoit-cattin 1...
Post on 03-Apr-2015
104 Views
Preview:
TRANSCRIPT
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 1
Théorie de l’information
Hugues BENOIT-CATTIN
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 2
• 1. Introduction ……………………….. D3-7
• 2. Sources discrètes & Entropie ……. D8-16
• 3. Canaux discrets & Capacité …….. D17-21
• 4. Codage de source ………………. D23-39
• 5. Codage de canal …………………. D41-73
• 6. Cryptographie ……………………. D75-D112
• 7. Conclusion ……………………….. D113
Plan
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 3
1. Introduction
Vue d’ensemble d’un système de communicationindépendante des moyens techniques & physiques
1948 : Shannon Théorie de l'information
Réflexion sur les techniques de communication (XIX°)- Mécanique, accoustique- Ondes radio-électrique- Télégraphe (code morse)- Téléphone, ….
Système de communication = fonctions physiques réalisables Mauvaise compréhension des perturbations, des débits …
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 4
GSM codage de source & canal
TV Num codage de source & canal
Réseaux codage de canal (erreurs)
@business cryptage
Ca ne sert à rien !
1960 / conquête spatiale codage de source
Aujourd'hui
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 5
• Paradigme de Shannon = modèle sys. com.
Source = je parleCanal = l'air ambiantPerturbations = bruit sonoreDestinataire = tu écoutes
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 6
• Modèle détaillé
Th. Signaux décrit messages et perturbations
Modulation modifie les signaux pour les propager
Electronique réalise les fonctions
Th. Information propose une mesure quantitative de
l'information et étudie sa représentation,
sa transmission, sa dégradation
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 7
Source : siège d'évènements aléatoires qui constituentle message émis EntropieCanal : transmet et dégrade le message Capacité
Des messages différents portent la même information, le codagecherche le message avec les meilleurs propriétés.
Codage de source supprime la redondance, reduit le coût
Codage de canal protège contre les perturbations
Cryptage protège contre les curieux
Deux théorèmes fondamentaux :
Codage de source Codage de canal
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 8
2. Sources discrètes & EntropieSources débitant des messages sous forme discrète !
Source discrète d'information : suite de variables aléatoiresdiscrètes X1, X2, … Xn
Mot : succession finie de symboles
Alphabet : totalité des D lettres [X] = [x1,x2, …., xn]
Symbole ou lettre : élément fondamental irréductiblecontenant une information, cad réalisation particulière de lasource d'information.
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 9
Source discrète sans mémoire : source pour laquelle laprobabilité d'apparition d'un symbole ne dépend pas dessymboles précédents )(,...),/(
21 nnnn iiii xpxxxp
Source discrète à mémoire : source pour laquelle la probabilitéd'apparition d'un symbole dépend du ou des symboles précédents
Source sationnaire : source pour laquelle les probabilitésd'apparition des différents symboles ne dépendent pas del'origine des temps
kxpxpknn ii
)()(
Source à débit contrôlable : source pouvant générer desmessages comme suite à une commande externe (Télégraphe, .)
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 10
Source à débit non contrôlable : source générant desmessages avec un débit fixé, propriété de la source (CD audio)
Source discrète à contraintes fixes : source pour laquellecertains symboles ne peuvent être utilisés qu'en des conditionsdéterminées (Morse, …)
Source discrète à contraintes probabilistes : source àmémoire. Dans un état, la source peut générer n'importelequel des symboles avec une probabilité qui dépend dessymboles précédents (texte …)
Source de Markov : source pour laquelle la probabilité degénérer un symbole ne dépend que du symbole à l'instant n-1
)/(,...),/(121
nnnnn iiiii xxpxxxp
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 11
Quantité d'information & Entropie• Quantité d'information propre
Propriété de l'information = imprévisibilité
Quantité d'information propre : ))(1()( xpfxh
Avec f croissante & f(1)=0
2 evt. indépendants apportent la somme de leur quantité d'info
)()())(
1()
)(
1())().(
1()),(1(),( yhxh
ypf
xpfypxpfyxpfyxh
f fonction logarithme (Base 2 >> bit)
))(log())(1log()( xpxpxh
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 12
Règle de Bayes : ),()().()().(),( xypxpxypypyxpyxp
)),(1log(),( yxpyxh
))(1log()( yxpyxh
),()()()()(),( xyhxhxyhyhyxhyxh
)()( xhyxh si x et y indépendants
Ex cartes
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 13
• EntropieHyp : source discrète finie stationnaire sans mémoire
n..., 1,2,ipour )( ii xXpp
Emission = variable aléatoire X
11
n
iip
n
iii
n
iii ppppXhEXH
11
)log(.)1log(.))(()(
Quantité d'information moyenne associéeà chaque symbole de la source = entropie
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 14
• Ex : Source binaire
pp
pp
1)0(
)1(
1ou 0 si 0
10pour )1log().1()log(.)(
p
pppppXH
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 15
• Redondance
)()(max XHXHR )(
)(1
max XH
XH
• Propriétés de l ’entropieContinuité : l'entropie est une fonction continue de chaquevariable pi.
Additivité : de part la définition de l'information propre.
Positive :
Bornée :
0),...,,()( 21 npppHXH
)log()1
,...,1
,1
()( nnnn
HXH
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 16
• Entropie & Débit d ’informationLe débit d'information d'une source est donné par le produitde l'entropie de la source (valeur moyenne de l'info /symbole)par le nombre moyen de symboles par seconde soit :
kième extension : source Sk dont l'alphabet Qkaire est obtenuen groupant par bloc de k celui de la source S
• Source Qaire
Source Qaire : source S dont l'alphabet possède Q éléments
symboleun d' moyenne durée avec ).( )( 1
sbits
XHDX
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 17
3. Canaux discrets & CapacitéCanal : milieu de transmission de l'information situé entre la sourceet la destination. Le canal opère une transformation entre l'espacedes symboles à l'entrée et celui de la sortie.
Canal discret : les espaces d'entrée et de sortie sont discrets
Canal continu : les espaces d'entrée et de sortie sontcontinusCanal sans mémoire : si la transformation d'un symbole x àl'entrée en un symbole y en sortie ne dépend pas destransformations antérieures
Canal stationnaire : si les transformations ne dépendent pas del'origine des temps
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 18
mnnn
m
m
yxyxyx
yxyxyx
yxyxyx
YX
...
......
...
.
21
22212
12111
),(...),(),(
......
),(),(),(
),(...),(),(
),(
21
22212
12111
mnnn
m
m
yxpyxpyxp
yxpyxpyxp
yxpyxpyxp
YXP
m
jjii yxpxp
1
),()(
n
ijij yxpyp
1
),()(
• Probabilités marginales
))(log(.)()(1
i
n
ii xpxpXH
))(log(.)()(1
j
m
jj ypypYH
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 19
)()(),(
0)/()/(
YHXHYXH
XYHYXH
)()(),(
)()/(et )()/(
YHXHYXH
YHXYHXHYXH
• Canaux non perturbés
)),(log(.),(),(1 1
ji
n
i
m
jji yxpyxpYXH
• Entropie réunie ou conjointe
))/(log(.),()/(1 1
ji
n
i
m
jji yxpyxpYXH
• Entropie conditionnelle ou équivoque
• Canaux très perturbés
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 20
Transinformation & capacité
• Information mutuelle
))()(log();( xpyxpyxi );();( xyiyxi
• Transinformation
))().(
),(log(.),();(
1 1 ji
jin
i
m
jji ypxp
yxpyxpYXI
)/()()/()();(
),()()();(
XYHYHYXHXHYXI
YXHYHXHYXI
Dpt. Télécommunications, Services & Usages Théorie de l ’information H. Benoit-Cattin 21
• Capacité d’un canal
• Redondance d’un canal
• Efficacité d’un canal
));(( YXIMaxC
);( YXICRc
C
YXIc
);(
Ex canal binaire
C
YXIc
);(1
top related