מבוא לתורת הצפינה 51078 ד"ר משה רן מצגת זו תכלול כנראה...

מבוא לתורת הצפינה51078

"ר משה רןד

. MostlyTek Ltdכל הזכויות שמורות לחברת

אין לצלם, לשכפל או להעתיק בכל צורה שהיא ללא קבלת אישור בכתב מד"ר משה רן

Dr. Moshe Ran / 2מבוא לתורת הצפינה

נושאי לימוד

: מבוא לתורת האינפורמציה, קיבול ערוץ גאוסי לפי שנון, סכמת מבוא תקשורת עם מקודד-מפענח, קיום קודים טובים, אסטרטגיות לבקרת שגיאות:

FEC, ARQ קודי בלוק, קודי קונוולוציה, הגבר קידוד ,CODING GAIN ,ביצועים של קודים מול חסם שנון.

1פרק

, (n,M,d)אלף-בית, קוד בלוק מעל אלף-בית, פרמטרים של קוד מושגי יסוד: יכולת גילוי של קוד, יכולת תיקון של קוד, מודלים לערוצים , Hammingמרחק

-BSC ערוץ עם מחיקות, ערוץ סימטרי ,q-ary ערוץ גאוסי, מפענח , .סבירות-מקסימלית, מפענח חסום-מרחק

2פרק

: חבורה, חבורה קומוטטבית, תת-חבורה, חבורה ציקלית, חזרה באלגברהפרוק לקוסטים, חוגים, שדות סופיים, מרחב וקטורי, צרוף ליניארי במרחב ווקטורי, אי תלות, תת מרחב ליניארי, בסיס, מרחב וקטורי סופי, מימד של

מרחב ווקטורי, מרחב דואלי, מטריצות, פעולות שורה על מטריצה, מטריצה ., ייצוג סיסתמטיRREמסוג

3פרק

, קוד דואלי, יצוג סיסתמטי G,H מבנה של קודים ליניארים, קודים ליניאריים: , מערך סטנדרטי, פענוח עם מערך MDSלקוד ליניארי, חסם סינגלטון,

סטנדרטי, סינדרום שגיאה, פענוח בעזרת סינדרום.

4פרק

, קודים מושלמים, טכניקות Hamming: קודי דוגמאות לקודים ליניאריים, Reed-Mullerלבניית קודים-הרחבה, קיצור, ניקוב, בניות של קודים, קודי

פענוח לפי לוגיקת רוב.

5פרק

שו"ת 6

שו"ת4

שו"ת4

שו"ת4

שו"ת4

שו"ת8


נושאי לימוד

, פולינום xn-1: תאור בעזרת חוג פולינומים מודולו קודים ציקליים –מבואיוצר ומטריצה יוצרת, פולינום בדיקה ומטריצת בדיקה, ייצוג סיסתמטי לקוד

(Megit Decoderציקלי, פולינום סינדרום, טכניקות פענוח פשוטות )

6פרק

: אלמנט פרימיטיבי, פולינומים מינימליים, שדה מבנה של שדות סופייםהרחבה, שדה פיצול, השורשים של היחידה, מבט על קוד ציקלי מכוון של שדה

הרחבה.

7פרק

כקוד Hamming: תאור מטריצי בשדה הרחבה, קוד דוגמאות קודים ציקליים Golayציקלי, קודים ציקליים לתיקון שתי שגיאות, קוד לתיקון שלוש שגיאות

8פרק

9פרק .BCH לקוד PGZהגדרות בסיסיות, דוגמאות. מפענח : BCH קודי

10פרק הגדרות בסיסיות, דוגמאות.: Reed-Solomonקודי 11פרק עם קודי קונוולוציה RSמבוא לקודי קונוולוציה, שרשור קודי

שו"ת 4

שו"ת4

שו"ת4

שו"ת4

שו"ת 4

שו"ת 4


ספרי עזר

Lin S. and Costello D.J : Error control Coding, Prentice-Hall, 1983.

Blahut R.A - Theory and Practice of Error Control Codes. Addison-Wesley 1983.

R.H. Morelos-Zaragoza: The art of Error Correcting Coding, John Wiley, 2002

100%ציון סופי: בחינה

תרגילי בית: אין חובת הגשה


מערכת תקשורת להעברת מידע

מערכתמערכת

תקשורתתקשורת

מידע

מקורי

מידע

משוחזר

תווך דרך ממקור מידעמטרה: להעביר מידע )אינפורמציה( צרכן.ל

בד"כ המידע מיוצג בצורה חשמלית, ואם אינו כזה מתרגמים אותו לאות חשמלי. התרגום נעשה ע"י מתמר

מתמר א' מתמר ב'מידע

מקורי

מידע

משוחזרתווך

אות חשמלי

: שרשרת העיבוד מיציאת מתמר א' עד כניסה למתמר תווך תקשורתב'


- סכמה תקשורת כללית

מקור מידע

משדר

מקור רעש

ערוץ מקלט צרכן יעד-מיד

ע

הודעהאות

)סיגנל(אות נקלט )סיגנל(

הודעה משוחזר

ת

1 2 3 4 5

– מקור מידע )אנלוגי, או ספרתי( מיצר "הודעה" או רצף של הודעות ליעד 1המידע

בערוץ - משדר מתמיר את "הודעות" המקור ל"אותות" המתאימים להעברה2

- תווך תקשורת הוא "המדיום" בו מתפשט האות המשודר מהמשדר עד 3המקלט

- מקלט מבצע את הפעולה ההפוכה למשדר, וממיר אות נקלט להודעה4

- היעד הוא המכשיר או האדם לו נועדה ההודעה5


בעיות:

"אי תאום" בין מקור מידע לערוץ התקשורת•

"רעש בערוץ"- הערוץ מעוות את האות בשל הפרעות )רעש תרמי, •הפרעות מצרכנים אחרים וכו'(

תוצאה – האות המשוחזר אינו תואם במדויק לאות המקור.

:דוגמאות

א( מקור- אות דיבור. מתמר א' – מיקרופון, ערוץ – קו טלפון, מתמר ב'-אוזניה/רמקול

ב( מקור – תמונה, מתמר א' – סורק, ערוץ – קו טלפון, מתמר ב' - מדפסת

: איך להעביר מידע בכמות הכי בעיה מרכזית של תורת התקשורת גדולה האפשרית דרך הערוץ עם מינימום )רצוי אפס( עוותים,

למרות הפרעות בערוץ ואי התאמת מקור לערוץ?


(Shannonת מערכת תקשורת עקרונית )מסכ

מערכת תקשורת "מתמטית" גנרית המתאימה לבעיה המרכזית של התקשורת

(1948 )סכימת שנון,

אות משודר בערוץ

אות נקלט =

משודר + רעש ערוץהודעה נקלטת = רצף

סימנים מתוך , Yאלף-בית, מ.א.

y(t)תהליך אקראי

מקור מקודד מקור

מקודד ערוץ

ערוץ

מפענח ערוץ

מפענח מקור

צרכן

הודעה = רצף סימנים מתוך

, Xאלף-בית, מ.א. x(t)תהליך אקראי

u x

yu


(ך )סכימת שנון המש

"ניתן לפרק את הבעיה לשתי בעיות בלתי תלויות שלכל אחת מהן יש "פתרון עקרוני

בעיית יצוג אות מקור בצורה הכי טובה שאפשר – "מקודד –המקור"

בעיית התאמת האות להעברה בערוץ בצורה הכי טובה –שאפשר – "מקודד ערוץ"

המעבירים את כל בהינתן מקור מידע וערוץ, קיימים מתמרים "אידיאליים" – א, ב המידע מהמקור לצרכן עם אפס עיוותים.

גם אם המערכת היא "אנלוגית" באופייה כדאי והכרחי לתאר אותה במונחים של "עולםספרתי" אם רוצים לנצל אופטימלית את המערכת

,תורת האינפורמציה היא התורה המתמטית של תקשורת – מגדירה חסמים לביצועיםומדדים כמותיים: כמה אינפורמציה ממוצעת יש במקור )אנטרופיה(? , מה קצב העברה

מקסימלי בערוץ )קבול ערוץ(?

הבעיה: הפתרון של "תורת שנון" הוא עקרוני, נותן יחוס לבצועים אבל לא מצביע על דרך המימוש של מערכת התקשורת "הגנרית"


תורת הצפינה עוסקת בצמד מקודד-מפענח ערוץ

בו פורסמה "התורה המתמטית של התקשורת" שהניחה את 1948משנת )בו "הומצאו" קודי טורבו( – היה 1993היסודות לתורת תיקון השגיאות ועד

פער בין התאוריה לקודי תיקון השגיאות הידועים. תחום המחקר והיישום של קודים לתיקון שגיאות עם ביצועים 93משנת –

מתקרבים לחסמים התאורטיים פעיל מאוד. השיטות החדשות מחליפות בהדרגה את השיטות הקלאסיות: שרשור שלRS

עם קוד קונוולוציה. ,בפרק המבוא – נדון בחסמים, בביצועים של קודים מול חסמים תאורטיים

נפתח דלת לשיטות המתקדמות )נושאים מרתקים לעבודות גמר, מחקר...( (, עם קשר 83מרבית הקורס ידון בשיטות הקלאסיות )ספרי לימוד משנת..

הדוק לתורת התקשורת. נלמד את הרקע המתמטי הנחוץ להבנת תורת תיקון השגיאות.


מושגי יסוד בתורת המידע

?)מה זה "מידע" )אינפורמציה

ככל שהצרכן ב"יעד"מופתע יותר מהמידע ששודר יש "יותר מידע" בהודעה שנשלחה.

הגדרת כמות מידע של מקור מידע בדיד -

2 2

j

1log log [bits]

information in bits in message j

P Probabilty of sending message j

j jj

j

I PP

I

כמות מידע יכולה להשתנות מהודעה אחת לשניה, כי Pj אינובהכרח שווה בהודעות שונות. נניח, מקור מידע בדיד עם אוסף

, הודעות Pj הודעות, לכ"א יש הסתברות שונה של mסופי של בלתי-תלויות.

= מספר המיצג את האינפורמציה הממוצעת של Hאנטרופיה,

מקור המידע 2

1 1

1log bits

m m

j j jj j j

H P I PP


תורת המידע )המשך(

,קצב מקורR נתון ע"י , bits/s

H entropy, T duration of message

HR

T

:הערות על אנטרופיה בתקשורת

אנטרופיה נותנת משמעות "פיזיקלית" למושג מידע )אינפורמציה( בהקשר הבא:

- ככל שיש בניסוי יותר תוצאות, אי הוודאות גדולה יותר. כדי "לנחש" תוצאה צריך "יותר מידע".

שאלות 4 ביט )4 הודעות שוות הסתברות. צריך 16 - אם שולחים, נניח, ביטי מידע.4בינריות( כדי "לנחש" איזו הודעה נשלחה. כלומר, הודעה הכילה

- האנטרופיה מודדת את אי-הודאות )מידת האקראיות( בתוצאה מתקבלת למ.. המידע שיש במשתנה האקראי על עצמו הוא האנטרופיה שלו.Xא.

- הפיתוח הקלאסי של תורת המידע מתחיל בהגדרות פורמליות לאנטרופיה של ומהן ניגזרת הגדרת Y למ.א. Xמ.א. בודד ושל "אנטרופיה הדדית" בין מ.א.

אינפורמציה.


מושגי יסוד בתורת המידע )המשך(

H(X) אנטרופיה

X=ai המקבל ערכים אפשריים Xאנטרופיה של מ.א. Pi של ערכים אפשריים עם ההסתברויות Axמתוך אוסף

שיש בממוצע הוא מידה לתכולת המידע או "אי הוודאות" i לכל ערך X=aiבמאורע

) ( 0 )= iff 1 for one (

) ( log)| |( )= iff 1/ | | for all (

i

i

H X p i

H X X p X i

2

1) ( ) ( log

) (xx A

H X P xP x

| | cardinalityX



X,Yאנטרופיה הדדית של

המקבלים ערכים X,Yאנטרופיה הדדית של מ.א. AY מתוך אוסף Y=bj ו Ax מתוך אוסף X=aiאפשריים

הוא מידה P(x,y) של ערכים אפשריים עם ההסתברויותשיש בממוצע במאורע לתכולת המידע או "אי הוודאות"

(,Y=bj (X=ai

2

1) , ( ) , ( log

) , (x Yx A y A

H X Y P x yP x y



H(X|Y)אנטרופיה מותנית

–Yנתון Xאנטרופיה מותנית של

מודדת את אי הוודאות הממוצעת שיש בכניסה לערוץ Y)"הודעה"( בהינתן הודעה ניקלטת )מדידה(

X,

2

A

1) | ( ) ( ) | ( log

) | (

1 = ) , ( log

) | (

Y x

Y

y A x A

x y A

H X Y P y P x yP x y

P x yP x y


אנטרופיה - המשך

כלל שרשרת לאנטרופיה

אינפורמציה הדדית )הערך הממוצע בו קטנה האי-וודאות שלX (Yכאשר לומדים את הערך של

) , ( ) ( ) | ( ) ( ) | (H X Y H X H Y X H Y H X Y

) , ( ) ( ) | (I X Y H X H X Y


סיכום - אנטרופיה

H(X,Y)

H(X)

H(Y)

H(X|Y) H(Y|X)I(X,Y)


Shannonמשפטי

קידוד מקור מידע:לא ניתן לדחוס מקור מידע ללא איבוד מידע עם פחות ביטים

של המקור. יש צמד מקודד-מפענח H(X) מאשר האנטרופיה מקור "אופטימלי" המאפשרים לדחוס-לפרוס עד לחסם

האנטרופיה.

קידוד ערוץ עם רעש: C קטן ממספר R אם קצב המקור )אנטרופיה ליחידת זמן(

המציין קצב מקסימלי של העברת מידע בערוץ )"קיבול ערוץ"(, ניתן להעביר מידע ללא שגיאות בערוץ, למרות הרעש בערוץ. יש

צמד מקודד-מפענח ערוץ אופטימליים המאפשרים להגיע עד לקיבול הערוץ עם שגיאה קטנה כרצוננו.

) , ( ) ( ) | (

is maximum with repspect to all possible information

sources used as input to the channel

C Max I X Y Max H X H X Y

Max


Shannonמשפטי AWGN – ערוץ קידוד ערוץ עם רעש

דרך ערוץ רציף ברוחב P נניח שולחים אות עם הספק ממוצע N עם הספק ממוצע AWGN ורעש מתחבר לבן B (Hz)סרט

מתווסף לאות. אזי –

C קצב מקסימלי של העברת אינפורמציה בערוץ( קיבול הערוץ=(

C תלוי אך ורק באופי הערוץ

2log 1 bpsP

C BN

20

log 1P

R C BN B

קידוד ערוץ במקרה של ערוץ רציף משפט

AWGN ואילוץ רעש ממוצע בערוץN =N0B

N0 noise PSD (one sided)


- המשךAWGNקיבול ערוץ

:המחשה לקיבול ערוץ

10

2

3

1000 10log 1000 30

log )1 1000( 30 /dB

B kHz

P PdB

N N

C B kb s

כמה ביטים של מידע. נצילות Hzברור שניתן לשדר בכל ספקטרלית של מערכת תקשורת מוגדרת ע"י

max

b

Spectral Efficiency units: bps/Hz or b/S/Hz

Spectral Efficiency for Shannon system=

Spectral Efficiency for practical system with bit rate of R [ ]b

C

BR

bpsB


הסתברות שגיאה

BER = Average Bit Error Rate, Pb

PER = Average Packet error rate or message error rate, Pm

For Fading Channels – Outage Probability is the preferred criteria: Pr (BER > T)

Probability that the BER will exceed a specified threshold, OR Pr (PER > T)

Probability that the PER will exceed a specified threshold

kPb <<1 ביטים, וכן kאם הודעה מכילה

1 )1 (km b bP P kP


SNR Average Signal Power יחס אות לרעש

Average Noise Power

PSNR

N

2

2

) (10log 10log

) (signal

dB noise

PS s t

N P n t

קשר בסיסי בין SNR ליחס אות לרעש מנורמל 0

bE

N

0 0 0

1b b

b

E PT P

N N N R יחס אות לרעש מנורמל בקליטה – תלוי אך

וביחס בין הספק Rb - ורק בקצב הביטים לצפיפות ספקטרלית של הרעש. Pנקלט

גודל זה אינו תלוי –במודולוציה, או בשיטת הקידוד לתיקון שגיאות .


המשך נוסחאות

0 0 0

1b b

b b

E PT P P B

N N N R N R

0

b

dB bdB dB

E P B

N N R

0

b b

dBdBdB

E R P

N B N

של האות המאופנן Bובין רוחב הסרט Rbהיחס בין קצב הביטים ( Spectral Efficiency )או גם Bandwidth Efficiencyנקרא

]bps/Hz[של סכמת האפנון -


המינימלי הנדרש Eb/N0חשב את יחס אות לרעש לביט מידע דוגמא:

.B>>Rלמערכת תקשורת המעבירה מידע בערוץ גאוסי רציף, בהנחה שמתקיים

2

/

min

log 1

2 1R B

PC B R C

N

P

N

קשר בין יחס אות לרעש מינימלי ובין רוחב Rסרט ערוץ וקצב האינפורמציה

/

0

0

00

/

[ / ] [ / ]

2 1 ln 2

ln 2 0.69

2

1.

1 1

/

59

2R Bb

b

b

B RR B

b

P NE Watt bps PT N Watt Hz

ER B

E P B

N N R

R

B

B

N

N

Ed

R

B

שנון- קיבול ערוץ


/BPSKדוגמא: נניח אפנון

0

2 1 2 1

/

R BbE

N R B

1

0

1

2 11 0

1b

dB

E

N

אם יתקיים – Shannonלפי

יש מערכת מקודד- מפענח המעבירים ללא שגיאות את המידע דרך התווך.

הנו: BER=10-5ז.א הגבר קידוד עבור -5b b

0 0

E Ecoding gain= 9.6 0 9.6 at BER=10

N NUncoded coded

dB dB

– בהתבסס על 80 בשנות ה NASAסכמת הקידוד הכי חזקה שאומצה ע"י ד"ב. היום ניתן להגיע עם 7.4 עם קוד קונוולוציה נתנה לא יותר מ RSשרשור

Turbo Codes ו LDPC 0.2~ עדdB.מחסם שנון


Bandwidth –Efficiency Plane

0/ 1.59dBbE N

R/B


Bandwidth Efficiency Plane

(Bandwidth Efficiency)מתאר הנצילות הספקטרלית הציר האנכיdB ב Eb/N0הציר האופקי הוא יחס

גבול קיבול ערוץ הוא הערך בו מתקיימת המשוואה

מיפוי שיטות האפנון השונות בנקודת עבודה של

– BPSK , QPSK אותו Eb/N0 אך ל QPSK 2 נצילות ספקטרלית 1 נצילות BPSKבעוד של

M נצילות ספקטרלית גדלה מונוטונית עם M-PSKלשיטת –– M-QAMשיטה הכי יעילה מבחינת נצילות ספקטרלית קבועBER - R/B ומקטינים Eb/N0 )אופקי-ימין( מגדילים 1לאורך קוו – - BER )אנכי-יורד( מקטינים נצילות ספקטרלית לשיפור 2לאורך קוו –

Eb/N0 קבוע )אלכסון עולה( - משפרים נצילות ספקטרלית ע"ח הגדלת 3לאורך קוו –

Eb/N0

BER .נשמר קבוע

R

B

R C

510eP

2logR

MB

מהגבול של קיבול 10dBמערכות מעשיות רחוקות ב כ ערוץ...!


Bandwidth Efficiency Plane

– שני המשאבים P הספק משודר , רוחב סרט B יכולים להיות משמעותיים במערכות תקשורת.

נרצה להקטין למינימום את ההספק מערכת מוגבלת הספק :המשודר )דוגמא: ערוץ לווין(.

( אוו אלכסון יורד )קוו 2תנועה במישור נצילות ספקטרלית: אנכי למטה )קוו מחייבת הקטנה דרסטית ב Eb/N0(. הגרף תלול – לכן הקטנה מזערית ב 3

R/B

נרצה להגביל למינימום את מערכת מוגבלת רוחב סרט :רוחב הסרט המוקצה לשידור. הדרך: להשתמש במודולציות עם

M רמות המעבירות log2M סיביות מידע במשך T 21 שניות logR M

B B T

קטן יותר הנצילות הספקטרלית גדלה BTככל ש

מבוא לתורת הצפינה 51078 ד"ר משה רן מצגת זו תכלול כנראה...

Documents