הרצאות 01-36- סיכום וידאו
TRANSCRIPT
1הרצאה מרחב הסתברות
מורכב מ, מרחב הסתברות מסומן ב, קבוצת התוצאות האפשריות של הניסוי. 1 שלכל אחת מהן קיימת הסתברות, אוסף תת הקבוצות של , מאורעות. 2)) מאורעA(, פונקצית ההסתברות. 3 ) [0,1]P A
אקסיומות של פונקצית ההסתברות1 .( ) 0P ,ההסתברות של קבוצה ריקה היא אפס
( ) 1P , ההסתברות של 1 היא
1אם . 2 2, ...A Aאז , הם מאורעות זרים( )i iii
P A P A
כונות שנובעות מהאקסיומותתAאם . א B אז ( ) ( )P A P B
) ולכן A מכיל את B: הוכחה \ )B A B A 2 לפי אקסיומה ,0
( ) ( ) ( \ ) ( )P B P A P B A P A
): A שלא נמצאים ב כל האיברים ב CA. ב ) 1 ( )CP A P A CA: הוכחה A , 1לפי אקסיומה ,( ) 1 ( ) ( )CP P A P A
תתי קבוצות2איחוד . ג
( ) ( ) ( ) ( )P A B P A P B P A B ): קבוצות זרות3נפריד את האיחוד ל : הוכחה \ ), ( ), ( \ )A B A B A B B A ,ההסתברות היא:
( ) ( \ ) ( ) ( \ )P A B P A B P A B P B A ): קבוצות זרות2 לAנפריד את \ ), ( )A A B A B ,ההסתברות היא:
( ) ( \ ) ( )P A P A B P A B ): קבוצות זרות2 לBנפריד את \ ), ( )A B A B A ,ההסתברות היא:
( ) ( \ ) ( )P B P B A P B A נחבר ונקבל את המשפט
( )
( ) ( ) ( \ ) ( \ ) ( ) ( )
( ) ( ) ( ) ( )P A B
P A P B P A B P B A P A B P A B
P A B P A P B P A B
תתי קבוצות3איחוד . ד
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )P A B C P A P B P C P A B P A C P B C P A B C תתי קבוצותnאיחוד . ה
1 21 11
( ) ( ) ... ( ... )n
i i i j ni n i j ni
P A P A P A A P A A A
תתי קבוצותnאיחוד . ו
11
( )n n
i iii
P A P A
2הרצאה אקסיומה
( )i iii
P A P A
) כאשר הקבוצות זרות(
סתירה[0,1]המספרים כסך המאורעות נגדיר את קבוצת
היא אפסxההסתברות של כל , מייצג מאורעxכל מכאן נקבל, 1ההסתברות של כל הקטע היא
0 10 1 0
1 ([0,1]) { } ({ }) 0xx
P P x P x
לא בת מניההבעיה פה היא שהקבוצה
)דיסקרטיות(קבוצות בנות מניה A ל ע מ "ראת בת מניה אם קיימת העתקה חח נקAקבוצה
בסדר מסוייםAכלומר אפשר לסדר את האיברים ב האקסיומה נכונה רק עבור אוסף בר מניה של תתי קבוצות
פרמוטציות n! איברים הוא nמספר הפרמוטציות על
בפרמוטציהiקום ה נשאר במi האיבר -נקודת שבת
נגדיר תתי קבוצות של כל הפרמוטציותB -פרמוטציות ללא נקודות שבת CA B -פרמוטציות עם נקודות שבת iA - פרמוטציות בהן iהיא נקודת שבת
כלומר, iקודת שבת במקום קבוצת הפרמוטציות עם נקודות שבת היא איחוד כל הפרמוטציות עם נ
1
n
ii
A A
הסתברויות
1 2
( 1)!( )!( 2)!( )
!( )!( ... )
!k
i
i j
i i i
nP An
nP A An
n kP A A An
לכן
1 21 11 1
( ) ( ) ( ) ... ( ... )
( 1)! ( 2)! ( )! 1 1 1 1( ) ... ...1 2! ! ! 1! 2! 3! !
n n
i i i i j ni n i j ni i
A A P A P A P A P A A P A A A
n n nn n n kP Akn n n k
היאB" אי סדר"הסתברות
0
1 1 1 1 ( 1) 1( ) 1 ( ) 1 ( ) 1 ...1! 2! 3! ! !
ikC
iP B P B P A
k i e
תזכורת
0 !
ix
i
xei
3הרצאה הסתברות מותנית
)נניח , )Pונניח , מרחב הסתברותB מאורע נתון כך ש ( ) 0P B
מוגדרת על ידי B בהנתן A ההסתברות המותנית של Aלכל מאורע ( )( | )
( )P A BP A B
P B
)או בצורה יותר נוחה ) ( | ) ( )P A B P A B P B
נוסחת ההסתברות הכוללת
1נניח 2B B , 1וגם1 2
2
( ) 0( ) 0
( ) 0P B
P B BP B
) 1בפרט אם 2B B (
Aאז ההסתברות של , מאורע כלשהוA1: נתונה על ידי 1 2 2( ) ( ) ( | ) ( ) ( | )P A P B P A B P B P A B 1שים לב שמתקיים ( 2( ) ( ) 1P B P B (
הכללהiנניח
i
B , וגם: ( ) 0 ( ) 0i j ii j P B B P B ,Aמאורע כלשהו
( ) ( ) ( | )i ii
P A P B P A B
הוכחה( )i
i
A A B אפשר להתייחס לחיתוכים iA Bכי הסתברות החיתוכים היא , כאל זרים( ) 0i jP B B .
), מכאן ) ( ) ( | ) ( )ii i
P A P A B P A B P B
תזכורת
ספרים מהצורה כשנתון טור מ1
0 1
k
k
xk
,מגדירים פונקציה ופותרים לפי:
1
0
0
( )1
1'( )1
1( ) ln(1 )1
(0) 0
k
k
k
k
xf xk
f x xx
f x dx c x cx
f c
4הרצאה )Bayes(נוסחת בייס
)נתונות שתי הסתברויות ) 0, ( ) 0P A P B הוא" A בהנתן Bהסתברות "לבין " B בהנתן Aהסתברות "הקשר בין
( )( | ) ( | )( )
P AP A B P B AP B
הוכחה)ל "צ | ) ( ) ( | ) ( )P A B P B P B A P A
הסתברות מותנית מוגדרת בצורה ( )( | )
( )P A BP A B
P B
) מכאן | ) ( ) ( )P A B P B P A B
ומצד שני ( )( | )
( )P B AP B A
P A
) ולכן | ) ( ) ( )P B A P A P B A
)שני האגפים שווים ) ( )P A B P B A
הכללהiם א
i
A והסתברות החיתוכים היא אפס : ( ) 0i ji j P A A
אז
( )
( | ) ( )( | )( | ) ( )
i ii
j jj
P B
P B A P AP A BP B A P A
jA והמכנה הוא המשקל הכולל של כל iAהמונה בשבר הוא המשקל של
מאורעות בלתי תלוייםA, Bת בלתי תלויים אם מאורעו( ) ( ) ( )P A B P A P B
)אם בנוסף : הערה ) 0P B אז מתקיים ( ) ( ) ( )( | ) ( )
( ) ( )P A B P A P BP A B P A
P B P B
)" B בהנתן Aהסתברות " שווה לAכלומר הסתברות | ) ( )P A B P A
הכללה
1 2, ,..., nA A Aמאורעות בלתי תלויים אם
11
( ) ( ) ( )
( ) ( ) ( ) ( )
( )
i j i j
i j k i j k
n n
i iii
P A A P A P AP A A A P A P A P A
P A P A
כל קבוצה של חיתוכים שווה למכפלה של האיברים בחיתוך
אי תלות בזוגות
1 2, ,..., nA A A מאורעות בלתי תלויים בזוגות אם ( ) ( ) ( )i j i jP A A P A P A לכל i j
:דוגמה לאי תלות בזוגות{ , , , }u v x y , הסתברות כל איבר היא({ }) ({ }) ({ }) ({ }) 1/ 4P u P v P x P y
} קבוצות 3נגדיר , }, { , }, { , }A u v B u x C v x מתקיים :
( ) 1/ 2( ) 1/ 2 ( ) ( ) ( )( ) ({ }) 1/ 4
P AP B P A B P A P BP A B P u
ובאותו אופן גם ( ) ( ) ( )( ) ( ) ( )
P A C P A P CP B C P B P C
: אבל הסתברות של חיתוך שלושת הקבוצות לא שווה למכפלה
( ) ( ) 0( ) ( ) ( ) (1/ 2)(1/ 2)(1/ 2) 1/8
P A B C PP A P B P C
5רצאה ה תכונות
1 2, ,..., nA A A מאורעות בלתי תלויים אם 1 2 1 2
( ... ) ( ) ( ) ( )k ki i i i i iP A A A P A P A P A
)אם . 1 , )A Bאז גם , בלתי תלויים( , ), ( , ), ( , )C C C CA B A B A Bהוכחה, בלתי תלויים:
( ) ( \ ) ( ) ( ) ( ) ( ) ( ) ( )(1 ( )) ( ) ( )C CP A B P A A B P A P A B P A P A P B P A P B P A P B הכללה
1אם 2, ,..., nA A A 1 אז 2, ,..., nB B B בלתי תלויים כאשר i iB A או Ci iB A) 2ישnקומבינציות אפשריות (
1אם . 2 2{ , ,..., }nA A A A 1 אז 2, ,..., nB B B בלתי תלויים כאשר לכל iB שייכים איברים שונים מ A , וiB היא
)איחוד או חיתוך(קומבינציה שלהם 1לדוגמה אם 2 3, ,A A A 1 בלתי תלוים אז גם 2 3( ),A A A 1 בלתי תלויים וגם 3 2( ),A A Aוכו '
נוליניסויי בר פעמים באופן בלתי תלויp ,nהטלת מטבע מסוג
1qהסתברות , להצלחהpהסתברות : pמטבע מסוג p לכשלון nאם נסמן : הטלות בלתי תלויותiA בתור הצלחה בהטלה i , 1אז המאורעות 2, ,..., nA A Aהם בלתי תלויים n הצלחות ו kבה יש , הסתברות של סדרת הטלות.1 kכשלונות היא :
1 1 1 1( ... ... ) ( ) ( ) ( ) ( )C C C C k n kk k n k k nP A A A A P A P A P A P A p q
הטלות הוא nבסדרה של ) יש חשיבות לסדר ההטלות( הצלחות kמספר האפשרויות לסידור nk
kא הצלחות היkולכן ההסתברות שבסדרת הטלות היו n knp q
k
מאפס , שאם סוכמים את ההסתברות של כל האפשרויות להצלחות בסדרה) הפעם באמת(קל לראות 1 הצלחות מקבלים הסתברות nהצלחות ל
0( ) 1
nk n k n n
k
np q p q
k
(..)k ,1הסתברות שההצלחה הראשונה תהיה בהטלה ה . 2 kP q p האפשרויות למיקום ההצלחה הראשונה נקבלאם נסכום את
1
1 0
1 11
k k
k k
pq p p q pq p
6הרצאה מטבעותnמודל הטלת
1 2{( , ,..., ) | {0,1}}n ia a a a 2 קיימיםnאיברים
משתנה מקרי)נתון מרחב הסתברות , , )F P
כל התוצאות האפשריות, חב המדגם מר F חיובית( אוסף תת קבוצות עם הסתברות?( P[0,1]מתאימה בין מאורעות להסתברות בתחום , פונקצית הסתברות
משתנה מקריX:משתנה מקרי הוא פונקציה שמקיימת { : ( ) }X x F ) ה הסתברותיש לקבוצ(
לפי תכונה מסוימת שהאיבר מקיים, מספר ממשי מתאימה לכל איבר ב X, כלומר
משתנה מקרי בדיד משתנה מקרי נקרא בדיד אם הטווח שלו סופי או בר מניה
פונקצית ההסתברויות של משתנה מקרי בדיד} (X בדידנתון משתנה מקרי } ( , לכלx נסמן ( ) ({ : ( ) })XP x P X x
( )XP x היא פונקצית ההסתברויות של X פריסת ההסתברויות של תוצאות " ומתארת אתX" )ים שמקיימכלומר ההסתברות של תת הקבוצה שמכילה את כל האיברים ב )X x
תכונות פונקצית הסתברות של משתנה מקרי בדיד1 .: ( ) 0Xx P x
2 .( ) 1Xx
P x ההסתברות ש x כלומר יש , זה לא אינטגרל כי הסכום הוא בדיד( מקבל ערך כלשהו
0XPמספר סופי של נקודות בהן (
pמודל ניסוי ברנולי עם פרמטר X מספר הצלחות ב nניסויים
[0,1,..., ] : ( ) k n kX
nk n P k p q
k
)בכל שאר הנקודות הפונקציה שווה אפס (
Bin( , )X n p ,X עם הפרמטרים בינומית מפולג n, p Yמספר הניסוי בו מתרחשת ההצלחה הראשונה 1[0,1,..., ] : ( ) k
Yk n P k pq ) שאר הנקודות הפונקציה שווה אפסבכל ( Geom( )Y p ,Y עם פרמטר גיאומטרית מפולג p
7הרצאה פונקצית הסתברות של פואסון
,0]נסתכל על מופעים אקראיים בפרק זמן ]T נניח שני תנאים, קטעים שוויםnנחלק את פרק הזמן ל
ם הם בלתי תלוייםמופעים בקטעים זרי. 1ככל שהקטע קטן יותר כך ההסתברות למופע , הסתברות למופע בקטע פרופורציונלית לאורך הקטע. 2
קטנה יותר
), היא קבוע כפול אורך הקטעIההסתברות בקטע )P I c I . נסתכל על מופע בתת קטע כעל הצלחה
ההסתברות להצלחה בכל הטלה היא , בהטלת מטבעTP cn n
,)cT (
) מופעים בפרק הזמן היא kההסתברות ל ) 1k n kn
P kk n n
0 לכל k n ) n ולכן התחום
0הוא לכל k( nנפתח את הביטוי כאשר :
1 1 1 1
! 1 ( 1) ( 1)( ) 1 1 1 1 1!( )! !
1 ( 1) ( 1) 1 1!
k n k n k n kkk
k k
n kk
e
n n n n n kP kk n n k n k n n k n nn n
n n n kk n n n n n
)הביטוי שואף ל )!
k
P k ek
הגדרה יש פונקצית הסתברות של פואסון Xבמילים אחרות ל , מפולג פואסונית עם פרמטר Xמשתנה מקרי
) אם עם פרמטר )!
k
XP k ek
, נסמןPois( )X
פונקצית הסתברות פואסונית מהווה מודל טוב למשתנה מקרי שהוא מספר המופעים תחת שני התנאים
של אי תלות בין קטעים שונים והסתברות פרופורציונלית לאורך הקטע
מקסימום של פונקצית הסתברות פואסונית :נסתכל על המנה, קציה מקבלת מקסימוםנבדוק מתי הפונ
1
( 1) ( 1)!( ) ( 1)
!
k
Xk
X
eP k k
P k kek
1k עבור 1המנה גדולה מ , 1 עבור 1וקטנה מk , 1כלומר עבורk הגרף מתחיל לרדת , ושם מתקבל המקסימום
לוג הגיאומטריתכונת חוסר הזיכרון של הפי)Poisאם )X p אז ( | ) ( )P x n k x n P x k
nההסתברות של , כלומר kכשמתחילים מ , כשלונות ברציפותn כשלונות שווה להסתברות של k כשלונות ברציפות כשמתחילים מאפס
תכונת חוסר הזיכרוןרק בפונקציות הסתברות גיאומטריות קיימת : הערה
הוכחה
1
1 0
1( )1
k j k j j
k j kP x j p q pq q pq q
q
)החיתוך של ), ( )x n k x n הוא ( )x n k ולכן ( )( | ) ( )
( )
n kk
nP x n k qP x n k x n q P x k
P x n q
8הרצאה פונקצית הסתברות בינומית שלילית
?r לגובה בהגעהxמהי פונקצית ההסתברות של רכיב , נסתכל על מסלול שריג ללכת ימינה pכאשר בכל נקודה יש סיכוי , r כאשר המסלול יעבור בגובה xמה יהיה הערך של , כלומר לעלות למעלהqוסיכוי
1נסמן את מרחב המדגם כווקטור בינארי אינסופי 2{( , ,...) | { , }}ia a a U R
r ה U לפני ה R הוא מספר הופעות Xהמשתנה המקרי יהיה מספר הכשלונות לפני ההצלחה ה X, בתור כישלוןRואת , בניסוי ברנולי בתוך הצלחהUנסמן את
r
פונקצית ההסתברות היא 1
: ( ) k rX
r kk P k q p
k
:p, r יש פונקצית הסתברות בינומית שלילית עם פרמטרים Xל
נשתמש בזהות הקומבינטורית 1
( 1) ( 1)k k k kn n
n n kC CC
k k
ונקבל
1( ) ( 1) ( )k r k k r k k k r k r
X r r
r k rP k q p CC q p C q p q p
k k
)הביטוי ) ( )k rX
rP k q p
k
נקרא פונקצית הסתברות בינומית שלילית
פונקצית הסתברות של משתנה מקרי מוזזYאם X a אז פונקצית ההסתברות של Y היא ( ) ( )Y XP k P k a
פונקצית הסתברות של פסקלYמתקיים , rהניסויים הדרושים עד להצלחה מספר בתור מספר Yנגדיר משתנה מקרי X r ) X זה
) ההצלחותr זה מספר הכשלונות ו Y, מספר הכשלונות) היא Yפונקצית ההסתברות של ) ( )Y XP k P k r והיא נקראת פונקצית ההסתברות של פסקל עם
)Pasc ומסומנת ב p, rפרמטרים , )r p ,Pasc(1מתקיים ) Geom( )p p
משתנים מקרים רציפים
)אם קיימת פונקציה , הוא רציף בהחלטXנאמר שמשתנה מקרי )Xf x כך ש ( ) ( )b
Xa
P a X b f x dx
הערות)אז ההסתברות הייתה ) פונקציה שמחזירה ערכים בדידים( היה בדיד Xאם . 1 ) ( )X
a x bP a X b P x
,
כאשר הסכום הוא על מספרים בדידים בתחום
)אז , רציףXאם . 2 ) ( ) 0a
Xa
P X a f x dx ולכן
( ) ( )P a X b P X a ( ) ( )P a X b P X b ( )P a X b
תכונות של פונקצית צפיפות1 .( ) 0Xf x
2 .( ) 1Xf x dx
הערך של (עד כדי מספר בר מניה של נקודות שאפשר לשנות בה פונקצית צפיפות היא יחידה . 3 )האינטגרל שלה לא משתנה
9הרצאה הסתברות של משתנים מקריים רציפים
Xf הוא משתנה שמאופיין על ידי פונקצית צפיפות Xמשתנה מקרי רציף בהחלט
משתנה מקרי אחיד] מתוך Xנבחר נקודה באקראי , ]a b , פונקצית הצפיפות שתתאר את המשתנה המקרי היא פונקציה
]אחידה לכל אורך הקטע , ]a b ,מהצורה
( )0X
c a x bf x
else
כך שמתקיים תנאי הנרמול11 ( ) ( )
b
Xa
f x dx cdx c b a cb a
)U, הוא אחיד בקטעXהמשתנה המקרי , )X a b) uniform(
פונקצית צפיפות מעריכית או אקספוננציאלית0 נגדיר פונקצית צפיפות מהצורה, פרמטר
0( )
0 0
x
Xce x
f xx
לפי תנאי הנרמול
0
1 ( ) xX
cf x dx ce c
חוסר הזיכרון של הצפיפות המעריכית)expטענה אם )X ) פונקציה מעריכית עם פרמטר ( אז( | ) ( )P t s X t X P s X
הוכחה היאu מחזיר ערכים גדולים מ Xההסתברות ש , מתקייםuלכל
: ( ) x u
u
u P u X e dx e
)החיתוך של שני המקרים , כמו במקרה הבדיד גם כאן ), ( )t X t s X הוא ( )t s X ולכן ( )( )( | ) ( )
( )
t ss
tP t s X eP t s X t X e P s X
P t X e
הצפיפות המעריכית היא היחידה עם תכונת חוסר הזיכרון: הערה
גאוסית/ צפיפות נורמלית , פונקצית צפיפות מהצורה
2 / 2( ) xXf x ce) נראה כמו הפעמון של גאוס(
לפי תנאי הנרמולcנמצא את 2
2 2 2 2 2
/ 2
22 / 2 / 2 2 ( ) / 2 2 / 2 2
0 0
1 ( )
2
xX
x y x y r
f x dx ce dx I
I ce dx ce dy c e dxdy c d re dr c
מכאן 12
c
ולכן 2 / 21( )
2x
Xf x e
נגדיר 2 / 21( ) ( )
2
xux P X x e du
, מכאן נקבל הסתברות כללית( ) ( ) ( )P a X b b a
)מתקיים , כאשר בגלל הסימטריה של פונקצית הצפיפות ) 1 ( )x x X(0,1), פולג נורמלית מX N
)נורמלית כללית(צפיפות גאוסית 2
2( )
21( )2
x
Xf x e
0 כאשר שני הפרמטרים הם,
xהמקסימום מתקבל ב , ונקודות הפיתול מתקבלות בx )2 מפולג נורמלית Xש אומרים , )X N
,0הצורה הגאוסית התקנית היא עבור : הערה 1
10הרצאה נורמלית/ צפיפות גאוסית
2
21( )2
x
Xf x e
0 המקסימום מתקבל בx
2
2( )
21( )2
x
Xf x e
קבל ב המקסימום מתx , נקודות פיתול נמצאות בx
נוסחת התקנון
כדי לחשב את ערכי האינטגרל 2
2( )
212
xb
a
e dx
) 2פילוג נורמלי עם הפרמטרים, ( מספיק לדעת
את ערכי האינטגרל 2
212
b x
a
e dx
) לפי הטבלה0,1פילוג נורמלי עם הפרמטרים (
aלכל b , ההסתברות( )P a X b כאשר X 2 מפולג נורמלית~ ( , )X N היא
22
,1 12 21 1 1( ) ( )
2 2
x dxu du bxb b u
Xaa a
P a x b f x dx e dx e du
~ מפולג נורמלית Zנקח משתנה מקרי (0,1)Z N ,ונקבל
( ) a b b aP a X b P Z
פונקצית התפלגות) בצורה X נגדיר פונקציה פונקצית התפלגות של Xלמשתנה מקרי ) ( )XF x P X x
מהדוג
~נקח exp( )X
0
0 0( ) ( )
1 0x
X u x
xF x P X x
e du e x
תכונות פונקצית התפלגות1 . lim ( ) 0Xx
F x
2 . lim ( ) 1XxF x
3 .( )XF xפונקציה לא יורדת 4 .( )XF x קיים ערך לפונקציה בכל נקודה והוא שווה לגבול מימין( רציפה מימין( ), )בהחלט( משתנה מקרי רציף Xאם . 5 )XF xפונקציה רציפה
X בפונקציה שווה להסתברות ש xהקפיצה בכל נקודה . 6 x , ( ) lim ( ) ( )X Xy xF x F y P x X
משפט
)הקשר בין , Xנסתכל על משתנה מקרי )XF x ל ( )Xf x הוא ( ) ( )x
X XF x f u du
'או ( ( ) ( )X XF x f x בכל x בו ( )XF xגזירה (
הוכחה
( ) ( ) ( )x
X XF x P X x f u du
11הרצאה משתנים מקריים רציפים מאופיינים על , משתנים מקריים בדידים מאופיינים על ידי פונקצית הסתברות
)ואת שניהם אפשר לאפיין על ידי פונקצית התפלגות , ידי פונקצית צפיפות ) ( )XF x P X x
)כל פונקציה שמקיימת ) 0, ( ) 1f f ,יכולה לשמש , ציפה מימין בכל נקודהור, היא לא יורדת כפונקצית התפלגות
)רציפות מימין ולא יורדות( סוגי פונקציות התפלגות 3קיימים בדידמתאימה למשתנה מקרי , פונקציה קבועה חוץ ממספר בר מניה של קפיצות-פונקצית מדרגות . 1 רציףימה למשתנה מקרי מתא, בכל נקודה) מימין ומשמאל( פונקציה רציפה -פונקציה רציפה . 2 מעורבמתאימה למשתנה מקרי , פונקציה רציפה חוץ ממספר בר מניה של קפיצות-פונקציה מעורבת . 3
משפט)ותהי , משתנה מקריXיהיה )XF x0קיים קבוע , פונקצית ההתפלגות שלו 1 ) 1ונסמן (
)קיימות פונקצית התפלגות בדידה )dF x , ופונקצית התפלגות רציפה( )cF x כך שמתקיים ( ) ( ) ( )d c
XF x F x F x
ופונקצית , כל פונקצית התפלגות ניתנת לכתיבה כסכום של פונקצית התפלגות בדידה, כלומר התפלגות רציפה
12הרצאה טרנספורמציה של משתנה מקרי
משפט) משתנה מקרי בעל צפיפות Xיהי )Xf x , תהי( )h x פונקציה מונוטונית ממש לכל x , נגדיר משתנה מקרי
Y שהוא טרנספורמציה של X ,( )Y h X
1אזי 1( ) ( ) ( ( ))Y Xdf y h y f h ydy
התנאי במשפט לפונקציה מונוטונית אינו מדויק: ערהה
)13הגדרה בהרצאה (Xע בתחום שמוגדר בתור התומך של " תהיה פונקציה חחhהדרישה היא ש )2למשל הפונקציה )h x x מקיימת את הדרישה רק אם התומך של X נמצא רק על הציר החיובי או רק )ע" חחhים אלה הפונקציה כי בתחומ(על הציר השלילי
ע בתומך צריך להשתמש במשפט עם הסכימה"אם הפונקציה לא חח
דוגמה
~ משתנה מקרי עם פילוג אקספוננציאלי Xנתון exp( )X , פונקצית הצפיפות היא0
( )0 0
x
Xe x
f xx
Y משתנה מקרי שהוא טרנספורמציה של X 3 3
1 1/3
12/3
( )( )
1( )3
Y X y h x xx h y yd h ydy y
היא Yמכאן פונקצית הצפיפות של 1/ 3
2/31 1
1 03( ) ( ) ( ( ))0 0
y
Y X
e yd yf y h y f h ydy
y
הוכחה לפי ההגדרה, עולה ממש1hולכן גם , עולה ממשhנניח ש . מקרה א
1 1( ) ( ) ( ( ) ) ( ( )) ( ( ))Y XF y P Y y P h X y P X h y F h y )ההחלפה של )h X y 1 ב( )X h yנה בגלל ש נכוhהיא פונקציה עולה
לכן לפי כלל השרשרת, פונקצית הצפיפות היא הנגזרת של פונקצית ההתפלגות1 1 1 1 1( ) ( ) ( ( )) ( ( )) ( ) ( ( )) ( )Y Y X X X
d d d df y F y F h y f h y h y f h y h ydy dy dy dy
שוב לפי ההגדרה, גם יורדת ממש1h, יורדת ממשhעבור . מקרה ב
1 1( ) ( ) ( ( ) ) ( ( )) 1 ( ( ))Y XF y P Y y P h X y P X h y F h y )כאן ההחלפה של )h X y 1 היא ב( )X h y
1 1 1 1 1( ) ( ) 1 ( ( )) ( ( )) ( ) ( ( )) ( )Y Y X X Xd d d df y F y F h y f h y h y f h y h ydy dy dy dy
)1hלכן המינוס מתבטל, הוא ביטוי שלילי(
13הרצאה )מהצורה , X שהוא טרנספורמציה של משתנה מקרי Yפונקצית צפיפות של משתנה מקרי )Y h X , כך
1היא , וגזירה) Xמונוטונית ממש בתומך של (ע " היא חחhש 1( ) ( ) ( ( ))Y Xdf y h y f h ydy
דוגמה,0]נסתכל על שטח ריבוע עם צלע באורך 4]A , פונקצית הצפיפות שלAהיא
1 0 4( ) 4
0A
af a
else
2Xמתקיים , Xנסמן את השטח ב A 2
1
1
( )
( )1( )
2
x h a a
a h x xd h xdx x
היאXמכאן פונקצית הצפיפות של
1 1
1 0 161( ) ( ) ( ( )) ( ) 82 0
X A A
xdf x h x f h x f x xdx x else
תומך של משתנה מקרי] נתמך בקטע Xנאמר ש , ]a b אם ( [ , ]) 0P X a b ) ההסתברות שלXמחוץ לקטע שווה לאפס (
נתמךXיותר בו יהיה הקטע הסגור הקטן בXהתומך של
משפט) משתנה מקרי בעל צפיפות Xיהי )Xf x
)תהי )h x פונקציה גזירה כך שלכל y 1 יש מספר סופי של מקורות 2, ,..., kx x x בתומך של X) המספרk )1 פונקציות הפוכות k קיימות yבהתאם לכל ). yתלוי ב )i ix h y
)כאשר , Yפונקצית הצפיפות של )Y h Xהיא
1 1
1( ) ( ) ( ( ))
k
Y i X ii
df y h y f h ydy
דוגמהX משתנה מקרי מפולג נורמלית ~ (0,1)X N Y 2 משתנה מקרי שמקייםY X
2 2
2
11
12
11
12
1 11 1 2 2 2
1
( )
( )
( )
1( )2
1( )2
1 1 1( ) ( ) ( ( ))2 2
yk y y
Y i X ii
y h x x
h y yx
h y yd h ydy yd h ydy y
df y h y f h y e e edy y y y
טענה~ משתנה מקרי אחיד Uניח נ [0,1]U U
)דרישה לא הכרחית( פונקצית התפלגות עולה ממש בתומך Fתהי )1נגדיר ) ( )h x F x , 0בתחום 1x
)אזי אם )Y h U ל Y תהיה פונקצית התפלגות F
הוכחה1( ) ( ) ( ( ) ) ( ( )) ( ( )) ( ( )) ( )Y UF y P Y y P h U y P U h y P U F y F F y F y
היא אחידהYכלומר ההתפלגות של
דוגמה
~נחפש exp( )Y , פונקצית ההתפלגות היא( ) 1 yYF y e , 1ולכן 1( ) ( ) ln(1 )Yh x F x x
Y עם התפלגות אקספוננציאלית היא 1( ) ln(1 )Y h U U
14הרצאה בדידתוחלת של משתנה מקרי
תוחלת מבטאת את מרכז הכובד של פונקצית ההתפלגותExpectancy -למרות התוחלת היא לא בהכרח ערך שיכול להתקבל בניסוי, הערך הצפוי
לדוגמה
, ההסתברות לכל צד היא חצי, 5 וצד שני מסומן ב 3בניסוי של הטלת מטבע שצד אחד שלו מסומן ב . 1 4ולכן התוחלת היא
0.2 אז התוחלת היא 0.8 היא 5 וההסתברות לקבל 0.2 היא 3לקבל אם ההסתברות . 2 3 0.8 5 4.6
הגדרה) והיא שווה ל EX מסומנת ב Xהתוחלת של , משתנה מקרי בדידXיהי )X
xEX xP x , בתנאי שסכום זה
)מה היא עבור מספר סופי או בר מניה של נקודותהסכי(מוגדר היטב
אז מפרקים את הסכימה לסכימה של הצד החיובי והצד השליליxאם הסכימה היא על שני צידי הציר
0 0( ) ( ) ( )X X X
x x x
S S
EX xP x xP x xP x S S
Sאם S אז EX S S Sאם S אז EX Sאם S אז EX Sאם S אז EXלא קיים
תוחלת של משתנה מקרי מפולג פואסונית
1
0 0 1 1 0
~ Pois( )
( )!
( )! ( 1)! ( 1)! !
k
X
k k k k
Xk k k k k
e
X
P k ek
EX kP k ke e e e e ek k k k
מקסימום והיא מתקבלת באזור ההתוחלת היא
תוחלת של משתנה מקרי מפולג גיאומטרית
1
1
0 1 1
~ Geom( )( )
( )
kX
k kX
k k k
X pP k pq
dEX kP k kpq p qdq
1qטור החזקות מתכנס בקטע ולכן אפשר להחליף בין הסכימה לגזירה
2 21 1 0
1 11 11 (1 )
k k k
k k k
d d d d p pp q p q p q pdq dq dq dq q q p p
התוחלת היא 1p
מיתתוחלת של משתנה מקרי מפולג בינו
1
0 0 1 1
1 1
0
~ Bin( , )
( )
( )
1 ( ) ( 1 )
k n kX
n n n nk n k n k k n k k
Xk k k k
nnn k k n n
k
X n pn
P k p qk
n n n dEX kP k k p q pq kp q p pk k k dp
nd dp q p p p q np p q np p p npkdp dp
התוחלת של מספר ההצלחות היא מספר הניסויים כפול ההסתברות להצלחה בכל ניסוי
15הרצאה תוחלת של משתנה מקרי רציף
הגדרה) משתנה מקרי רציף בעל פונקצית צפיפות Xיהיה )Xf x , התוחלת שלX מוגדרת על ידי
( )XEX xf x dx
נגדיר, בתנאי שאינטגרל זה מוגדר היטב0
0
( ) ( ) ( )X X X
I I
EX xf x dx xf x dx xf x dx I I
Iאם I אז EX I I Iאם I אז EX Iאם I אז EX Iאם I אז EXלא קיים
תוחלת של משתנה מקרי עם פונקצית צפיפות אחידה
2 2
[ , ]1
( )0
1 1( )2 2
X
b
Xa
X U a b
a x bf x b a
else
b a a bEX xf x dx xdxb a b a
תוחלת של משתנה מקרי עם פונקצית צפיפות אקספוננציאלית
'0
exp( )
0( )
0
1( ) ...
x
X
xX
u v
X
e xf x
else
EX xf x dx x e dx
תוחלת של משתנה מקרי עם פונקצית צפיפות נורמלית
2
2
2
( )2
( , )
1( )2
x
X
X N
f x e
EX
למה) צפיפות פונקצית אם )Xf x סימטרית סביב נקודה a כלומר ( כלשהי( ) ( )X Xf a x f a x ( , ואם התוחלת
I,אם לפחות אחד מ (קיימת I אזי , ) הוא סופיEX a
הוכחה
1
( ) ( ) ( ) ( )X X X
I
EX xf x dx x a f x dx a f x dx I a
0Iצריך להוכיח ש
( ) ( ) ( ) 0
u x adu dx
X XI x a f x dx uf a u du
oddª even
)הפונקציה ) ( )Xg u f a u היא פונקציה זוגית לכן האינטגרל מתאפס
תוחלת לפי פונקצית התפלגות)נתונה פונקצית התפלגות )XF x , השטח המסומן שווה
כלומר, לתוחלת אם היא קיימת וסופית
0
0
( ) 1 ( )X XEX F x dx F x dx
טענה
0 0
0 0
1 ( ) ( )
( ) ( )
X X
X X
A F x dx xf x dx
B F x dx xf x dx
EX A B
הוכחה )A(הוכחה של הביטוי הראשון
( ) 1
00 0'
( ) 1 ( ) 1 ( )Xv F x
X X Xu v
A
x f x dx x F x F x dx
אם התוחלת קיימת אז הביטוי 0
( )Xuf u du
סופי ולכן lim ( ) 0Xxx
uf u du
,מתקיים
1 ( ) ( ) ( ) ( )
lim 1 ( ) lim ( ) 0
x u
X X X Xx x x
X Xx xx
x F x x f u du xf u du uf u du
x F x uf u du
ולכן 0
( )Xxf x dx A
1
x
A
B
16הרצאה תוחלת של משתנה מקרי מעורב
הגדרהXאת פונקצית ההתפלגות של , משתנה מקרי מעורבX ניתן לכתוב כסכום של פונקצית התפלגות
1(בדידה ופונקצית התפלגות אחידה ( ( ) ( ) ( )d c
XF x F x F x ~ הוא משתנה מקרי בדיד כך ש Yנניח ש ( )dY F x , וZ הוא משתנה מקרי רציף כך ש ~ ( )cZ F x
בצורה הבאהXנגדיר את התוחלת של EX EY EZ
תוחלת של טרנספורמציה של משתנה מקרי
דוגמהX משתנה מקרי עם פילוג נורמלי ,~ [0,1]X N נגדיר משתנה מקרי Y 2 בצורהY X
2
2
2
2
2
2
2 2 2
0 0 0 0
2 2
0( )
0 : ( ) ( ) ( ) ( )
( ) ( ) ( ) 2 ( ) 1
1 1( ) ( ) 2 ( )2 2
1 1 1( ) 22 2 2
1 222
X
Y
y
Y Y X
y udy udu
y y u
Y
u
u
f u
y F y P Y y P X y P X y
P y X y y y y
df y F y f y edy y y
EY yf y dy y e dy ye dy ue uduy
u e du x
2
2
'0
... 1x
vxe dx
משפטX משתנה מקרי בעל פונקצית צפיפות ( )Xf x , וY משתנה מקרי שמקיים ( )Y h X) h היא פונקציה
קיימת אזיEYאם , )רציפה חוץ ממספר סופי של נקודות
( ) ( )XEY h x f x dx
ובמקרה הבדיד התוחלת היא( ) ( )X
xEY h x P x
דוגמה
1 1
1 1
~ Geom( )
1/1( ) ( ) ( )
1/
X k k kX
x k k
X pep q e
eqEe h x P x e pq ep eqq e
17הרצאה משפט
) משתנה מקרי בעל צפיפות Xאם )Xf x ו hנגדיר , )פונקציה(נספורמציה היא טר( )Y h X , אם
) קיימת אז EY, התוחלת ) ( )XEY h x f x dx
, או במקרה הבדיד( ) ( )Xx
EY h x P x
הוכחה נוכיח רק עבור המקרה הבדיד ועבור פונקציה עולה וגזירה חוץ ממספר סופי של נקודות
1
1
( )
( )
1 1( ) ( ) ( ( )) ( ) ( )
x h yddx h y dydy
Y X XdEY yf y dy y h y f h y dy h x f x dxdy
מומנטים
הגדרה: מוגדר על ידי X של kהמומנט מסדר , משתנה מקריXאם k
kk m EX ,בתנאי שתוחלת זו קיימת :הערות
תמיד מוגדר היטבkm זוגי kאם . 12 .0 1m , 0לכלX
דוגמה
1
2 22
0 0 2 1
2 2 22 2 2
2 22 2 2
~ Pois( )
( ( 1) ) ( 1)! ! ! !
1( 1)! ! !
k k k k
k k k k
EX m
k kk
k k k
X
m EX k e e k k k e k k e kk k k k
d de k k e ek k d d k
2
2 2 22 ( 1 )de e e e
d
דוגמה~ (0,1)X N
0km אי זוגי kעבור , עבורkזוגי :
2 2 2
1 12 2 2
'0 0
1 2 22 2 2
x x xk k k k
ku v
m EX x e dx x xe dx x e
2
2
2 2
0
2 22
0
( 1)
( 1) ( 1)
xk
xk
k
k x e
k x e k m
)2קיבלנו נוסחה רקורסיבית 1)k km k m ,ובצורה מפורשת
2 0(2 1)(2 3) 3 1 (2 1)!!km k k m k
התוחלתתכונות יסודיות של )בהנחה שהתוחלת קיימת(Xאם . 1 a אז EX a Yאם . 2 X a אז EY EX a Yאם . 3 cX אז EY cEX 4 .Z X Y אזEZ EX EY
18הרצאה שונות
2var מוגדרת בצורה Xהשונות של ( )X E X , כאשרEX , השונות מייצגת את פיזור פונקצית )מרכז המסה (EX סביב הנקודה Xההסתברות של
והיא , מהתוחלת) במקום את המרחק בריבוע(מייצגת את המרחק ) standard deviation(סטיית התקן
2stddevמוגדרת בצורה var ( )X X E X
תכונות1 .2 2( ) ( )E X E X a כאשר aנקודה כלשהי
הוכחה
22 2 2
2 2 2 2 2
0
( ) ( ) ( ) ( ) ( )( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( )
E X a E X a E X X a a
E X a E X a E X a E X
2 .2 2var ( )X EX EX 0aבשוויון האחרון בהוכחה הקודמת נבחר , הוכחה
2 2 2
22 2 2 2 22 1
var
( ) ( ) ( )
( ) var ( )EXX
E X a E X a
EX E X X EX EX m m
סימונים2varנסמן stddevX X XEX X X
דוגמאות בדידות משתנה מקרי עם פילוג פואסוני. 1
22 2 2 2
~ Pois( )
X XX
X
X
משתנה מקרי עם פילוג בינומי. 2
22
0 0 0 0
2 22 2 2 2
2 20 0
~ Bin( , )
( ( 1) ) ( 1)
( 1) (
X
n n n nk n k k n k k n k k n k
Xk k k k
np
n nk n k k n k
k k
X n pn n n n
k p q k k k p q k k p q kp qk k k k
n nd dp k k p q np p p q np p p qk kdp dp
2 2
2 2 2 2 2 2
1
2 2 2 2 2 2 2 2
)
( 1)( ) ( 1)
( ) (1 )
n
n
X XX X
np
p n n p q np p n n np n p np np
np n p np np n p np p npq
משתנה מקרי עם פילוג גיאומטרי. 3
2
2 2
2 21 2
( 1) 2 2 21 1 0
( 1) ( 1) 2
2 22 2 2 2 2 2
~ Geom( )
1 2( 1) ( 1) 11
1 2 1
1 2 1 1 2 1 2 (1 )
k k kX X
k k k
X X X X XX
X XX X
X p
d d qk k pq pq k k q pq q pqdp dp q p
qp p pq q p q p q
p p p p p p p
19הרצאה תכונות של השונות
Xאם . 1 a2אז , קבוע var 0X X 2אם . 2 0X אז קיים קבוע a כך ש X a ,הוכחה
2 2
2 2 2
2
00
( ) 0
1 ( ) 0 ( ) 1
X X X
Y Y
Y X X Y
EY F z dz F z
21הפונקציה ( )Y
F z21אם האינטגרל הוא אפס אז , ואי שלילית, היא מונוטונית לא עולה ( ) 0Y
F z
2ידוע ש ( ) 0Y
F z 0 עבורz ) 2כי הערך העצמיYש מצד שני מצאנו ) לא מקבל ערכים שליליים
2 ( ) 1Y
F z 0 עבורz , 2לכן ( )Y
F z 2לכן , 0 היא פונקצית מדרגה שקופצת ב 0Y ) 2כל הערכים שלY )0נמצאים בנקודה
2 0 0X
X
Y Y XX
3 .var( ) var( )X a X ,הוכחה
2 2 22 2( )X a X a X X XE X a E X a a E X
4 .2var varcX c X ,הוכחה
2 2 22 2 2 2 2 2( )cX cX X X X XE cX E cX c E c X c E X c
5 .stddev stddevcX c X
הערה
כדי לבדוק שהשונות 22X XE X 2מספיק לבדוק אם , מוגדרת וסופיתEX ) EXקיים וסופי (
2EXכי גורר E X גורר EX
)נניח , הוכחה של הגרירה הראשונה )Xx f x dx
,מתקיים
1 1
1 11 1
1 1
1
( ) ( ) ( ) ( )
( ) ( ) ( )
X X X X
X X X
E X x f x dx x f x dx x f x dx x f x dx
x f x dx f x dx x f x dx
דהשונות של משתנה מקרי עם פונקצית צפיפות אחי
12 2
0
2 2 2
1/ 4
22 2 2
~ [0,1]
13
1 1 1( )3 4 12
~ [ , ]( )
~ [0,1]
( )( )12
X
X U
X U
EX x dx
EX EX
X U a bX a b a U
U U
b ab a
שונות של משתנה מקרי עם פונקצית צפיפות אקספוננציאלית
2
2 22
'0
2 2 22 2 2
1/
~ exp( )
2...
2 1 1( )
x
u v
X
X
EX x e dx
EX EX
שונות של משתנה מקרי עם פונקצית צפיפות נורמלית
2 2 2
2
2 2 2
~ (0,1)( ) 1
~ ( , )~ (0,1)
var var( ) var var
X
X
X NEX EX
X NX Z
Z N
X Z Z Z
20הרצאה פונקציה יוצרת מומנטים
הגדרה: משתנה מקרי נגדיר Xאם ( ) sX
Xs M s Ee 1 .( )XM s מוגדרת לכל s 2 .( )XM sנסמן ב , מקבלת ערכים סופיים או אינסוףXI את קבוצת כל הנקודות בהן ( )XM s ,
{ | ( ) }X XI s M s X ,(0)לכל . 3 1XM 0 לכן XI
טענה
XI 0מנוון לנקודה / סגור / פתוח / אינסופי / סופי ( תמיד קטע( לא מורכב מקטעים נפרדיםXIכלומר
דוגמה
( )
0 0
~ exp( )
( )
( , )
sX sx x s xX
X
X
sM s Ee e e dx e dx s
sI
)פות יש צפיXאם ל , הערה )Xf x , אז הפונקציה( )XM s היא בדיוק התמרת לפלס של ( )Xf x
( ) ( )sxX XM s e f x dx
דוגמה
1 1
1 1
~ Geom( )
1 ln(1/ )( ) ( ) 1
ln(1/ )( , ln(1/ ))
ss
sX sk k s s k sX
k k
X
X p
pe qe s qM s Ee e pq pe qe qe
s qI q
נגזרות)נגזור את )XM s
( ) ( ) ( ) ( )sx sx sxX X X X
d d dM s e f x dx e f x dx xe f x dxds ds ds
0sאם נציב נקבל שהנגזרת הראשונה שווה למומנט מסדר ראשון
01(0) ( ) ( )X X X
d M xe f x dx xf x dx EX mds
0sבגזירה שניה אם נציב נקבל שהנגזרת השניה שווה למומנט מסדר שני
22
2
22
22
( ) ( )
(0)
sxX X
X
d M s x e f x dxds
d M EX mds
משפט0s מכיל קטע פתוח סביב XIנניח , כלומר( , ) XI , וש( )XM s גזירה k 0 פעמים בs , אזי קיים
) ו X של kהמומנט ) (0)kk Xm M
המשך דוגמה~נקח exp( )X , נבטא את( )XM sכטור טיילור
0 0
1 !: ( )1 / !
k
k k
X kk k
a
s k ss M ss s k
)קיבלנו )! (0)kk Xk
ka M
, ולכן!
k k kkm a
sאם בתחום , לסיכום עבור כלשהי ניתן לכתוב את ( )XM s כטור בצורה 0
( ) kX k
kM s c s
k!אז מתקיים km k c
פונקציה אופייניתXנגדיר התמרת פורייה של , משתנה מקרי( )Xf x
( ) ( )itX itxX Xt Ee e f x dx
1 .( )X tכל מוגדר וסופי לt , כי( ) 1X t
2 .(0) 1X
3 .( ) (0)k kX ki m ) בהנחה ש( ) (0)k
Xקיימת (
21הרצאה בביש'י שוויון צא
דוגמה12נתון מצבר שמוציא מתח של 1V V , רוצים לחבר אותו למכשיר שיכול להשרף אם הוא מקבל מתח
15Vשל יותר מ ?מה ההסתברות שהמכשיר ישרף
,12לפי הנתון , את המתח של המצברXנסמן ב 1XEX , 15)צריך למצוא את )P X , אם פונקצית
הצפיפות היתה נתונה זה היה 15
( )Xf x dx
, 15)חסם להסתברות אפשר למצוא )P X בעזרת אי שוויון
החסם הוא (בביש'צ2
2
1 1( 12 3)3 9
P X (
בשבי'אי שוויון צ חסומה bהתוחלת לסטייה מסטיית התקן ביותר מ , וסטיית תקן משתנה מקרי בעל תוחלת Xיהי
2
2
2
( )
1( )
P X bb
P X aa
1.
2.
בישב'יותר קטנה מהחסם של צהרבה בדרך כלל ההסתברות תהיה : הערה
הוכחהbשוויון השני נובע מהראשון אם מציבים האי (הוכחת האי שוויון הראשון a(,
)בהנחה שקיימת פונקצית צפיפות )Xf x ,מתקיים
2 2 2( ) ( ) ( )X XE X x f x dx
נפצל את האינטגרל לשלושה תחומים ונוריד את התחום האמצעי
2 2
0
... ... ... ( ) ( ) ( ) ( )b b b
X Xb b b
dx dx dx x f x dx x f x dx
2מתקיים 2( )x b לכל x באינטגרל הראשון )( , ]x b ( ובאינטגרל השני)[ , )x b (לכן
2 2 2 2 2( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )b b
X X X Xb b
x f x dx x f x dx b f x dx b f x dx b P X b P X b
2 2 2 2
2
2
( ) ( ) ( ) ( ) ( )
( )
b P X b P X b b P X b P X b b P X b
P X bb
דוגמה4מתי מתקיים 4( )EX EX?
~נקח (0,1)Z N , 2בהתפלגות נורמלית המומנט הוא 2 1(2 1)!!, 0k km k m ולכן ,
4
4 4
3( ) 0 0EZEZ
~2נקח ( , )X N , נשתמש בטרנספורמציהX Z , 4 4
4 4 4 3
( )
( ) ( ) 4( )
EX E Z EX
EX E Z E Z Z
2 2 36( ) 4( )Z Z 4
Zהחזקות האי זוגיות של ולכן נוריד את התוחלת של , הם אפסZהמומנטים האי זוגיים של 4 2 2 4 4 2 2 4 4 2 2 4
4 2( ) 6( ) 6 3 6E Z Z m m מכאן
4 4 2 2 4 4 43 6 ( )EX EX
אי שוויון ינסן)ו , משתנה מקריXיהי )h x אזי, )נגזרת ראשונה חיובית, שמחה( פונקציה קמורה
( ) ( )Eh X h EX בהנחה שהתוחלות קיימות וסופיות
הדוגמ)4נקח )h x x , 4מתקיים 4( )EX EX
דוגמה
~נקח [1,3]X U , נקח1( )h xx
, הפונקציה קמורה בתומך שלX) לפי ינסןלכן )[1,3]בקטע ,1 1EX EX
בדיקה3
1
1 1 1 ln 3ln 3 12 22 21 1
2
E dxX x
EX
תוספת לאי שוויון ינסן) כך ש Iאם קיים קטע ) 1P X I ) I מכיל את התומך של X ( ו( )h x קמורה רק ב I , אי שוויון ינסן עדיין
מתקיים
הוכחה1, נקח זוג נקודות, בגרף של פונקציה קמורה 2,x x , כל נקודהx בינהן אפשר לייצג על ידי קומבינציה
1, לינארית שלהן 2 1( )x x t x x 0 כאשר 1t , 1או בצורה קצת שונה 2(1 )x tx t x , בגלל1 קטן מגובה הישר המחבר בין xשהפונקציה קמורה ערך הפונקציה בנקודה 2( ), ( )h x h x
1 2 1 2( (1 ) ) ( ) (1 ) ( )h tx t x th x t h x
1, נקודותnאפשר להכליל ולקחת קומבינציה של 1 2 2 ... n nx t x t x t x 1 כאשר 2 ... 1nt t t , מאותן סיבות יתקיים
1 1 2 2 1 1 2 2( ... ) ( ) ( ) ... ( )n n n nh t x t x t x t h x t h x t h x
itהסתברות בix משתנה מקרי המקבל את הערך Xנניח ש 1שהביטוי " קל לראות" 1 2 2 ... n nt x t x t x הוא התוחלת של X , 1ושהביטוי 1 2 2( ) ( ) ... ( )n nt h x t h x t h x הוא
)התוחלת של )h X ,וזה בדיוק אי שוויון ינסן ( ) ( )h EX Eh X
22הרצאה וקטור אקראי
דוגמה
,0שמקבל את הערכים , משתנה מקריXנניח בהסתברות 112
כל אחד 0 1/ 21 1/ 2
pX
p
Y שמקבל את הערכים לפי ההסתברויות , משתנה מקרי0 1/ 41 3/ 4
pX
p
Xמה ההסתברות ש Y?
0Xהמאורע בו מכיל את הוקטורים ( , ) (0,0), (0,1)X Y ,ובאופן דומה { 0} {(0,0), (0,1)} ( 0) 1/ 2{ 1} {(1,0), (1,1)} ( 1) 1/ 2{ 0} {(0,0), (1,0)} ( 0) 1/ 4{ 1} {(0,1), (1,1)} ( 1) 3 / 4
X P XX P XY P YY P Y
))נציב בטבלה הבאה , ) (0,0))P X Y a ונקבל את שאר התאים מיידית
1Y 0Y
1/ 2 1/ 2 a a 0X
1/ 2 1/ 4 a 1/ 4 a 1X
/3 סכום 4 1/ 4
/0,1]במקרה הזה , [0,1] כך שהסתברות שאר התאים לא חורגת מ aאפשר לבחור כל 4]a , לפי
הטבלה ( ) ({(0,0), (1,1)}) 1/ 4 2P X Y P a
דוגמה את הנמוכה ביותרYוב , ה ביותר את התוצאה הגבוהXנסמן ב , פעמים3 פאות 4מטילים קוביה עם
)נמלא טבלה של הסתברות הוקטור , )X Y
1Y 2Y 3Y 4Y
1X 1/ 64 0 0 0
2X 6 / 64 1/ 64 0 0
3X 12 / 64 6 / 64 1/ 64 0
4X 18 / 64 12 / 64 6 / 64 1/ 64
3Xכדי לקבל את ההסתברות של , צריך לסכום את השורה השלישית12 6 1 1964 64 64 64
וקטור אקראי1, משתנים מקרייםnנתונים 2, ,..., nX X X , 1הוקטור 2( , ,..., )nX X X Xנקרא וקטור אקראי
וקטור אקראי בדיד1, אקראינאמר שוקטור 2( , ,..., )nX X X X בדיד אם הוא יכול לקבל רק מספר סופי או בר מניה של
)וקטוריים(ערכים
פונקצית ההסתברות של וקטור אקראי בדיד נתונה על ידי
1 ,..., 1 1 1( ,.., ) ( ,..., )nX X n n nP x x P X x X x
תכונות פונקצית ההסתברות
1
1
1
,..., 1
,..., 1,..,
( ,.., ) 0
( ,.., ) 1n
nn
X X n
X X nx x
P x x
P x x
1.
2.
)שאם " קל לראות: "הערה , )X Y הוא וקטור בדיד אז גם הרכיבים ,X Yבדידים
)הקשר בין )XP X x ל , ( , )X YP X x Y y , הוא,( ) ( , )X X Yy
P X x P X x Y y
1בוקטור אקראי , באופן כללי 2( , ,..., )nX X X X ,תברות של הרכיב הראשון פונקצית ההס1 1 1( )XP X x
היא
1 1 2
2
1 1 , ,..., 1 1 2 2,...,
( ) ( , ,..., )n
n
X X X X n nx x
P X x P X x X x X x
אחרkXבאופן דומה עבור כל רכיב
הגדרותלפונקצית הסתברות של כל הרכיבים
1 2, ,..., nX X XPנקרא פונקצית הסתברות משותפת
אחד בלבדלפונקצית הסתברות של רכיבkXPנקרא פונקצית הסתברות שולית
קשר בין פונקצית הסתברות משותפת לשולית אפשר לחשב את כל פונקציות ההסתברות השולית, אם נתונה פונקצית הסתברות משותפת
תפתלא ניתן לחשב את פונקצית ההסתברות המשו, גם אם נתונות כל פונקציות ההסתברות השולית
23הרצאה תזכורת1הוקטור 2( , ,..., )nX X Xנקרא וקטור אקראי
)וקטוריים(וקטור אקראי הוא בדיד אם הוא יכול לקבל מספר סופי או בר מניה של ערכים פונקצית הסתברות משותפת מוגדרת בצורה
1 ,..., 1 1 1( ,..., ) ( ,..., )nX X n n nP x x P X x X x
פונקצית הסתברות שולית מוגדרת בצורה
1 1 2
2
1 1 , ,..., 1 1 2 2,...,
( ) ( , ,..., )n
n
X X X X n nx x
P X x P X x X x X x
דוגמה1נתון וקטור אקראי בדיד 2 8( , ,..., )X X X , 1ההסתברות המשותפת של 2 3, ,X X Xהיא
1 2 3 1 2 8
4 5 6 7 8
, , 1 2 3 , ,..., 1 1 2 2 8 8, , , ,
( , , ) ( , ,..., )X X X X X Xx x x x x
P x x x P X x X x X x
וקטור אקראי רציף1וקטור אקראי 2( , ,..., )nX X X אם קיימת פונקציה ) בהחלט( הוא רציף
1 ,..., 1( ,..., )nX X nf x x , כך שלכל קבוצה
מתקיים, nA" טובה"
11 ,..., 1 1 2(( ,..., ) ) ( ,..., )nn X X n n
A
P x x A f x x dx dx dx
פונקצית צפיפות משותפת
1 ,..., 1( ,..., )nX X nf x x 1 נקראת פונקצית הצפיפות המשותפת של 2( , ,..., )nX X X
תכונות פונקצית צפיפות משותפת1 .
1 ,..., 1( ,..., ) 0nX X nf x x
2 .1 ,..., 1 1 2( ,..., ) 1
nn
X X n nf x x dx dx dx
3 .1 ,..., 1( ,..., )
nX X nf x x ערך שונה של הפונקציה על ( נקבעת ביחידות עד כדי קבוצות נקודות עם נפח אפס
2nכאשר (עקום ( או משטח) 3כאשרn (טגרללא משפיע על האינ(
דוגמה נגדיר פונקצית צפיפות בצורה, 2פונקצית צפיפות אחידה ב
2 2 1( , )
0c x y
f x yelse
cנחשב את
2, ,
11 ( , ) ( , )X Y X Yf x y dxdy f x y dxdy cdxdy c c
)ההסתברות ש , )X Y יהיה בעיגול ברדיוס 12
2כלומר , 2 2( , ) {( , ) | (1/ 2) }X Y A x y x y ,היא
,1 1(( , ) ) ( , )
4X YA A
P X Y A f x y dxdy dxdy
הכללה נתונה על ידיDהצפיפות האחידה ב , dבעל נפח , n תחום ב Dאם
1
1,..., 1
1/ ( ,..., )( ,..., )
0n
nX X n
d x x Df x x
else
)(ההסתברות היא )V A D = הנפח של החיתוך(
1( )(( ,..., ) )n
V A DP x x Ad
דוגמה את עיגול היחידהDנסמן ב
( , )X Y וקטור אקראי אחיד בעיגול היחידה ( , ) ~ ( )X Y U D )צריך למצוא את הצפיפות השולית )Xf x
,( ) ( , )X X Yf x f x y dy
1עבור 1x 2
2
12
,
1 1/
2
2( ) ( , ) 1
2 1 1 1( )
0
x
X X Y
x
X
f x f x y dy x
x xf x
else
טענה)1אם ל ,..., )nX X יש פונקצית צפיפות משותפת
1 ,..., 1( ,..., )nX X nf x x 1 פונקצית הצפיפות שלXהיא
1 11
1 ,..., 1 2( ) ( ,..., )n
nX X X n nf x f x x dx dx
הוכחה2nנוכיח עבור ,( , )X Y
), נסתכל על פונקצית ההתפלגות ) ( )XF x P X x , נסמן בA את חצי המישור משמאל ל x
, ,( ) (( , ) ) ( ', ) ' ( ', ) 'x
X Y X YA
P X x P X Y A f x y dx dy f x y dy dx
נגזור את פונקצית ההתפלגות ונקבל את פונקצית הצפיפות
, ,( ) ( ) ( ', ) ' ( , )x
X X X Y X Yd df x F x f x y dy dx f x y dydx dx
דוגמה( , )X Yצית הסתברות מהצורהעם פונק, וקטור אקראי בדיד
,1
( , ) 20
jX Y
c i jP i j
else
x לישר yפונקצית ההסתברות מוגדרת על משולש אינסופי בין ציר ( y(
1
10
( ) // 1, 2,...2
1 1 1( ) 2 2 // 1, 2,...2 2 2 2 2 2 2
Y j
i
X j i j i ij i j
cP j j j
c c c cP i c i
מפולג גיאומטרית עם הסתברות Xש " קל לראות"12
,~ Geom(1/ 2)X , לכן12
c
24הרצאה פונקצית התפלגות של וקטור אקראי
)1יהי ,..., )nX Xפונקצית ההתפלגות של הוקטור היא, וקטור אקראי
1 ,..., 1 1 1 2 2( ,..., ) ( ,..., )nX X nF x x P X x X x
תכונות פונקצית ההתפלגותהפונקציה . 1
1 ,..., 1( ,..., )nX X nF x xבור כל רכיב בנפרד לא יורדת ע
,עבור , לדוגמה ( , )X YF x y 1 אם 2x x אז , 1 , 2( , ) ( , )X Y X YF x y F x y
2 ., ,lim ( , ) lim ( , ) 0X Y X Yx yF x y F x y
3 .,lim ( , ) ( ) ( )X Y XyF x y P X x F x
ובאופן דומה ,lim ( , ) ( )X Y Yx
F x y F y
דוגמה רהנתונה פונקצית התפלגות מהצו
), ( , ) 0X YF x y בכל שאר התחומים (
)2לפי תכונה (נמצא את פונקצית הצפיפות . 1
2
,
0 01 [0,1]
( ) lim ( , ) [0,1] ( ) 22 0
1 1
X X Y Xy
xx xx xF x F x y x f x
elsex
)ההסתברות של מלבן . 2 , )P a X b c Y d היא
( , ) ( , ) ( , ) ( , ) ( , )P a X b c Y d F b d F b c F a d F a c
קשר בין פונקצית התפלגות לפונקצית צפיפותקצית הצפיפות נתונה פונ. א
1 ,..., 1( ,..., )nX X nf x x ,אפשר לבטא את פונקצית ההתפלגות בצורה
1
1 1,..., 1 1 1 ,..., 1 1' ' ' '( ,..., ) ( ,..., ) ... ( ,..., )n
n n
xx
X X n n n X X n nF x x P X x X x f x x dx dx
2nעבור (, נתונה פונקצית התפלגות. ב (
, ,( , ) ( ', ') ' 'yx
X Y X YF x y f x y dy dx
y ולפי xנגזור לפי
, , ,
2
, , ,
( , ) ( ', ') ' ' ( , ') '
( , ) ( , ') ' ( , )
y yx
X Y X Y X Y
y
X Y X Y X Y
F x y f x y dy dx f x y dyx x
F x y f x y dy f x yx y y
ם נתונה פונקצית התפלגות א, באופן כללי
1 ,..., 1( ,..., )nX X nF x x , אז פונקצית הצפיפות היא נגזרת חלקית
המשתניםnלפי כל אחד מ
, ( , )X YF x y
, ( , )X YF x y
2
2
12
2
x x
y y
1
1
1 1,..., 1 ,..., 11
( ,..., ) ( ,..., )n n
n
X X n X X nn
f x x F x xx x
הגדרה)1נניח ,..., )nX X1נאמר ש , וקטור אקראי רציף או בדיד,..., nX Xבלתי תלויים אם
1 2 1 2, ,..., 1 2 1 2( , ,..., ) ( ) ( ) ( )n nX X X n X X X nF x x x F x F x F x
מסקנהX,נניח ש Yוקיימת פונקצית צפיפות , בלתי תלויים, ( , )X Yf x y ,מתקיים
2 2
, ,( , ) ( , ) ( ) ( ) ( ) ( ) ( ) ( )X Y X Y X Y X Y X Yf x y F x y F x F y F x F y f x f xx y x y x y
ובאופן כללי
)1בוקטור רציף ,..., )nX Xמתקיים
1,..., nX Xהצפיפות המשותפת שווה למכפלת הצפיפויותאם ורק אםי תלויים בלת
1 1,..., 1 11
( ,..., ) ( ) ( ) ( )n n i
n
X X n X X n X ii
f x x f x f x f x
)1בוקטור בדיד ,..., )nX Xמתקיים
1,..., nX X ההסתברות המשותפת שווה למכפלת ההסתברויותאם ורק אם בלתי תלויים
1 1,..., 1 11
( ,..., ) ( ) ( ) ( )n n i
n
X X n X X n X ii
P x x P x P x P x
25 הרצאה תזכורת
,X Y משתנים אקראיים בלתי תלויים אם ורק אם , ( , ) ( ) ( )X Y X YF x y F x F y
נגדיר שני מאורעות , או בצורה אחרת{ }{ }
A X xB Y y
מתקיים,
({ } { }) ( ) ( ) ( ) ( ) ( )P X x Y y P X x P Y y P A B P A P B
דוגמה,X Y שלוקטור משתנים אקראיים נניח( , )X Yיש פונקצית צפיפות
,משותפת ( , )X Yf x y,
X,נניח ש Yמתקיים , בלתי תלויים, ( , ) ( ) ( )X Y X Yf x y f x f y
נגדיר שני מאורעות { }{ }
A a X bB c Y d
ונחשב את ההסתברות של,
)מלבןה(החיתוך שלהם
,
( )( )
( ) ( , ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
b d b d
X Y X Ya c a c
b d b
X Y Xa c a
P AP B
P A B f x y dy dx f x f y dy dx
f x f y dy dx P B f x dx P A P B
X,בגלל שהמשתנים , Y תלוי ב Bוהמאורע , X תלוי ב Aהמאורע , מסקנה Y בלתי תלויים גם המאורעות ,A Bבלתי תלויים
דוגמה
X,נתון Yבלתי תלויים ,~ exp(1), ~ exp(2)X Y פונקצית הצפיפות המשותפת היא, מכאן
2 22 2 , 0( , ) ( ) ( )
0 0 0
x y x y
XY X Ye e e x y
f x y f x f yelse
)צריך למצוא את )P Y X) אינטגרל על המשולש האינסופי בין צירy לישר x y(
2
2 3
0 0
1( ) 23
x
x y x
x
e
P Y X e e dy dx e dx
דוגמה))עיגול היחידה( , ) ~X Y U
X,האם Yפונקציות הצפיפויות הן? בלתי תלויים
2 2
,
2 2
1 1( , )
0
2 21 1 1 1 1 1( ) ( )
0 0
X Y
X Y
x yf x y
else
x x y yf x f y
else else
c
a b
d ( )P A B
( )P A
( )P B
), על הישר האפור האנכי ) 0Xf x ) על הישר , באותו אופן, )בגלל שחלק ממנו נמצא בתוך העיגול
), האופקי ) 0Yf y ,נפגשים מחוץ לעיגולהישרים ,, ( , ) 0X Yf x y ,מכאן
0 ( , ) ( ) ( ) 0XY X Yf x y f x f y X,לכן Yתלויים
פונקציה של משתנים מקריים
דוגמה~נסמן ב , רכיביםnנתונה מערכת המורכבת מטור של exp( )kX אורך חיים של רכיב k
kXכלומר , בלתי תלויים1 1,..., 1 1
1
( ,..., ) ( ) ( ) k
n n
nx
X X n X X nk
f x x f x f x e
)1minצריך למצוא את , צריך למצוא את אורך החיים של המערכת ,..., )nY X X
1
1 11
( ) ( ) { }
1 ( ) ( ) { } ( )
( ) 1 ( ) ~ exp( )
n
Y kk
n n nx n y
Y k kk kk y
n y n yY Y
F y P Y y P X y
F y P Y y P X y P X y e dx e
F y e f y n e Y n
דוגמה
X,נקח Yבלתי תלויים ,~ (0,1)~ (0,1)
X NY N
2נסמן , 2R X Y , צריך למצוא את הפילוג שלR
2 2 22
22
21 1( )2 2 2 / 22 2
0 0
/ 2/ 2
( , )
1 1( ) ( ) ( ) 12 2
0( ) 1 ( )0
rx y rR
rr
R R
R h X Y
F r P R r P X Y r e dxdy d e d e
re rF r e f relse
)פונקצית הצפיפות )Rf r נקראת צפיפות Rayleigh
u v x
x
x
26הרצאה דוגמה
בעלי אורך חיים אקספוננציאלי עם פרמטר , נתונה מערכת עם רכיבים בלתי תלויים את הזמן בו נחליף את הרכיב השלישי שיתקלקלXנסמן ב
אז , את אורך החיים של השניVוב , את אורך החיים של הרכיב הראשון שהתקלקלUאם נסמן ב X U V
צריך למצוא פונקצית צפיפות משותפת , באופן כללי ( )U V
X
f xבלתי תלויים של שני משתנים ,U V , עם
)פונקציות צפיפות ), ( )U Vf u f v
( ) ( ) ( )XF x P X x P U V x
)ההסתברות )P U V x , היא אוסף הנקודות בחצי המישור מתחת האלכסון
)), xDנסמן את התחום ב , ) )xP U V D
,(( , ) ) ( , ) ( ) ( )x
x u
x U V U VD
P U V D f u v dudv du f u f v dv
,בגלל האי תלות מתקיים ( ( , ) ( ) ( )U V U Vf u v f u f v(
( , )
( ) ( ) ( )x u
X U V
g u x
F x f u f v dv du
היא, Xפונקצית הצפיפות של
( ) ( ) ( , )X Xdf x F x g u x dudx x
לפי כלל לייבניץgנגזור את
( , ) ( ) ( ) ( ) ( )x u
U V U Vg u x f u f v dv f u f x ux
מכאן
( ) ( ) ( )X U Vf x f u f x u du
פונקצית צפיפות של סכום), נתונות פונקציות צפיפות ), ( )U Vf u f v , כאשר,U Vפונקצית הצפיפות של , בלתי תלוייםU Vהיא
( ) ( ) ( ) ( * )( )U V U V U Vf x f u f x u du f f x
קונוולוציה
g,נתונות שתי פונקציות אינטגרביליות h , לפעולה( * )( ) ( ) ( )g h x g u h x u du
, נקרא הקונוולוציה של
,g h ), הפעולה קומוטטבית, הערה * )( ) ( * )( )f g x g h x , אפשר לראות את זה מתוך( ) ( )U V V Uf x f x
המשך דוגמה
( ) 2
0 0
0( ) ( )
0
( ) ( * )( ) ( ) ( ) ( ) ( )
x
U V
x xu x u x
U V U V U V U V
e xf x f x
else
f x f f x f u f x u du f u f x u du e e du xe
יפות גאמהצפ~ Gama( , )X r אם פונקצית הצפיפות של X היא
1 0( ) ( 1)!
0
rr x
X
x e xf x r
else
)0, 1,2,3...r (
תכונות1 .Gama(1, ) exp( ) 2 .Gama( , )*Gama( , ) Gama( , )r s r s
פונקצית הסתברות של סכוםU,אם V ו , מקריים בדידים בלתי תלויים משתנים( ), ( ) 0U VP k P k רק עבור kמתקיים, שלמים
( ) ( ) ( )U V U Vk
P n P k P n k
דוגמה
U,נתונים V ,1, עם פילוג פואסוני, בלתי תלויים
2
~ Pois( )~ Pois( )
UV
1 2 1 2 1 2 1 2
1 2
( ) ( )( ) ( ) ( )( )1 2 1 2 1 2
1 20 0
( )
( )1 !( )! ( )! ! ( )! ! !( )! !
n
k n k k n k nn nk n k
U Vk k k
nP n e e e e ek n k k n k n k n k n
) השתנו בגלל ש הגבולות של הסכימה( ), ( ) 0U VP k P k רק עבור kחיובי ( מכאן
1 2 1 2Pois( )*Pois( ) Pois( )
דוגמה
U,נתונים V ,עם פילוג בינומי, בלתי תלויים ,~ Bin( , )~ Bin( , )
U n pV m p
Xנגדיר , U V , מתקיים~ Bin( , )X n m p
m מייצג תוצאה בסדרה של Vו , ניסוייםn מייצג תוצאה בסדרה של Uשזה מתקיים אם " קל לראות"Uאז הסכום , ניסויים V מייצג תוצאה בסדרה של n mניסויים
תוחלת של פונקציה של וקטור אקראי
דוגמה בלנוקי, 25בדוגמה מהרצאה
2 / 22 2
~ (0,1)~ (0,1)
0( )0
r
R
X NY N
re rR X Y f relse
היאRלכן התוחלת של 22 / 2
0 2rER r e dr
)N(0,1)האינטגרל דומה לשונות של משתנה עם פילוג (
תוחלת טרנספורמציה של וקטור)1יהי ,..., )nX X וקטור אקראי בעל צפיפות
1 ,..., 1( ,..., )nX X nf x x , 1וקיים משתנה מקרי( ,..., )nY h X X
היאYהתוחלת של
11 ,..., 1 1... ( ,..., ) ( ,..., )nn X X n nEY h x x f x x dx dx
המשך דוגמה
2 2 2 2
2 2
2( )2 2 22 2 2
,0 0 0
( , )
1 1( , ) ( , )2 2
x y r r
X Y
R h X Y X Y
ER h x y f x y dxdy x y e dxdy d re rdr r e dr
27הרצאה )תזכורת (משפט
1( ,..., )nX X וקטור אקראי בעל צפיפות 1 ,..., 1( ,..., )
nX X nf x x ,1( ,..., )nY h X Xטרנספורמציה
היאYהתוחלת של
11 ,..., 1 1... ( ,..., ) ( ,..., )nn X X n nEY h x x f x x dx dx
דוגמה
, נתונות שתי צלעות במלבן~ U[0,1]~ U[0,1]
XY
Aנסמן את שטח המלבן ב , XY
Aצריך למצוא את השונות של 2 2
1 1 1 1
0 0 0 01 1 1 1
2 2 2 2 2
0 0 0 0
( )
14
19
1 1 79 16 144
A
A
EA EA
EA xydxdy xdx ydy
EA x y dxdy x dx y dy
מסקנותEX,כאשר התוחלות . 1 EYגם , קיימות( )E X Y קיים ושווה ל EX EY) אי תלות/ ללא קשר לתלות(
הוכחה
, , ,
( ) ( )
( ) ( ) ( , ) ( , ) ( , )
X Y
X Y X Y X Y
f x f y
E X Y x y f x y dxdy x f x y dy dx y f x y dx dy EX EY
X,אם . 2 Yוהתוחלות , בלתי תלויים,EX EYגם, קיימות EXY קיים ושווה ל EXEY הוכחה
, ( , ) ( ) ( ) ( ) ( )X Y X Y X YEXY xyf x y dxdy xf x yf y dxdy xf x dx yf y dy EXEY
ת המשפטהוכח)1נניח ,..., ) 0nh x x
1 ,..., 1 10 0 0
(1 ( )) ( ) ( ,..., )nY X X n n
D
EY F y dy P Y y dy f x x dx dx dy
)1 היא קבוצת כל הוקטורים Dכאשר קבוצה ,..., )nx x 1 שמקיימים( ,..., )nh x x y
1 1{( ,..., ) | ( ,..., ) )n nD x x h x x y נהפוך את סדר האינטגרציה ונשנה את הגבולות בהתאם
1
1 1
1
( ,..., )
,..., 1 1 1 ,..., 1 10
( ,..., )
... ( ,..., ) ... ( ,..., ) ( ,..., )n
n n
n
h x x
X X n n n X X n n
h x x
f x x dy dx dx h x x f x x dx dx EY
דוגמה
1 2
2 21 2 1 2
2 21 2 , 1 2 1 2
0 0
( , )
( , )X XD
h x x x x
P x x y dy f x x dx dx dy
y ,2 היא קבוצת כל הנקודות מחוץ למעגל ברדיוס Dכאשר 21 2{( , ) | }D x y x x y
אקראיטרנספורמציה של וקטור
דוגמה)2, לשתי הצלעות יש פילוג אחיד, נחזור לדוגמה של המלבן , ) ~ U [0,1]X Y
נגדיר טרנספורמציה מהצורה( , ) ( , )
min{ , }max{ , }
X Y U VU X YV X Y
,צריך למצוא את פונקצית הצפיפות המשותפת ( , )U Vf u v) למה???(!
0הצפיפות שונה מאפס רק במשולש בתחום 1u v
,0 1: ( , ) (min( , ) ,max( , ) )U Vu v F u v P X Y u X Y v
)minהתנאי , )X Y u הוא אוסף הנקודות ( , )X Y
)maxהתנאי , )X Y v הוא אוסף הנקודות ( , )X Y
החיתוך שלהן הוא אוסף הנקודות22uvא והשטח הו u 1 מתוך שטח הריבוע שהוא
לכן
22
2
, ,
2(min( , ) ,max( , ) ) 21
( , ) ( , ) 2U V U V
uv uP X Y u X Y v uv u
f u v f u vu v
)הפילוג של , )U Vהצפיפויות השוליות, אחיד במשולש 1
0
( ) 2 2(1 ) ( ) 2 2v
U Vu
f u dv u f v du v
משפט
1( ,..., )nX X וקטור אקראי בעל צפיפות 1 ,..., 1( ,..., )
nX X nf x x ,T1קיים גם (ע " טרנספורמציה חחT (
1 1
1 1 1
1
( ,..., ) ( ,..., )( ,..., )
( ,..., )
n n
n
n n n
T x x y yy h x x
y h x x
)i ,1נניח שלכל ,..., )i nh x xגזירה
1 1
11 ,..., 1 ,..., 1( ,..., ) Im{ }: ( ,..., ) ( ( ,..., ))
n nn Y Y n X X nxy y y T f y y f T y yy
כאשר xy
הוא יעקוביאן בערך מוחלט
1
,det( ) , ( ) ii j
j
hx A Ay y
v
u
u v
u
v
v
u
28הרצאה התפלגות מותנית
הגדרותA מאורע עם הסתברות חיובית ( ) 0P A Xמשתנה מקרי
פונקצית התפלגות מותנית )מאורע עם הסתברות שונה מאפס (A בהנתן Xפונקצית התפלגות של
| ( | ) ( | )X AF x A P X x A
פונקצית צפיפות מותנית
| |( | ) ( | )X A X Adf x A F x Adx
|כאשר ( | )X AF x Aגזירה
תוחלת מותנית
|( | ) ( | )X AE X A xf x A dx
פונקצית הסתברות בדידה
|({ } )( | ) ( | )
( )X AP X x AP x A P X x A
P A
דוגמה עם אורך חיים אקספוננציאלי, נתונות שתי נורות בלתי תלויות
' יותר מנורה בבהנתן שזמן החיים שלה ארוך' של נורה א" חוק הסתברות"צריך למצוא ~' אורך החיים של נורה א exp( )X ,ושל נורה ב '~ exp( )Y
Xכלומר , ההסתברות שאורך החיים שווה Y ,חישוב באמצעות אינטגרל של פונקצית . היא אפס,הצפיפות המשותפת ( , )X Yf x yהישר על y xששטחו אפס
}נגדיר מאורע }A X Y , בגלל סימטריה ביןX ו Y מתקיים ( ) 1/ 2P A
X בהנתן Xנחשב את Y
|( )( | ) ( | ) ( | )
( )X AP X x X YF x A P X x A P X x X Y
P X Y
)נחשב את ההסתברות )P X x X Y
צריך לבצע אינטגרל של פונקצית הצפיפות בשטח הבא
2
0 0
1 1( )2 2
x uu y x xP X x X Y e e dy du e e
0xעבור (לכן ( 2
| ( | ) 1 2 x xX AF x A e e
פונקצית הצפיפות המותנית היא2
| |( | ) ( | ) 2 2x xX A X A
df x A F x A e edx
x
y x
התוחלת המותנית היא
2 3( | ) (2 2 )2
x xE X A x e e dx
הדוגמ~נתון Pois( ), ~ Pois( )X YX Y בלתי תלויים
Xמספר מופעים מסוג א ,'Yבפרק זמן מסויים' מספר מופעים מסוג ב )צריך לחשב את | 6)E X X Y ,מופעים6אם בסך הכל היו ' התוחלת של מספר המופעים מסוג א
}נגדיר 6}A X Y ,מתקיים~ Pois( )X YX Y , לכן6
( ) ( )( )6!
X Y X YP A e
|
6
6
| 6( )
6
({ } ) ( 6 ) ( ) ( 6 )( | )( ) ( ) ( )
! (6 )! 6!( | ) 0,1, 2,..., 6!(6 )!( )
6!
Y X
X Y
Y A
y yY X
y y
Y XY A
X Y X YX Y
py
P Y y A P Y y X y P Y y P X yP y AP A P A P A
e ey y
P y A yy y
e
|קיבלנו התפלגות בינומית ~ Bin 6, Y
X Y
Y A
לכןnpהתוחלת של משתנה מקרי עם התפלגות בינומית היא 6( | ) Y
X Y
E Y A
הגדרה( , )X Y בעל צפיפות משותפת וקטור אקראי, ( , )X Yf x y ,נגדיר
,|
|
( , )( | )
( )
( | ) ( | )
X YY X
X
Y X
f x yf y x
f x
E Y X yf y x dx
29הרצאה חישוב שונה של צפיפות מותנית
|נחשב את ( | )Y Xf y xבדרך שונה
| |( | ) ( |{ })Y X Y XF y x P y x X x }נגדיר מאורע }A x X x ונקבל
|({ } )( | )
( )Y AP Y y AP y A
P A
}הסתברות החיתוך }Y y A היא
, ,({ } ) ( , ) ( , )X Y X YP Y y A F x y F x y היאAוהסתברות
( ) ( ) ( )X XP A F x F x ונקבל2נחלק מונה ומכנה ב
, ,
, ,|
( , ) ( , )( , ) ( , ) 2
( | )( ) ( )( ) ( )
2
X Y X Y
X Y X YY A
X XX X
F x y F x yF x y F x y
P y AF x F xF x F x
0כאשר נקבל
,
|
( , )( | )
( )
X Y
Y XX
F x yxF y x
f x
על ידי גזירה של פונקצית ההתפלגות המותנית נקבל את פונקצית הצפיפות המותנית2
,,
| |
( , ) ( , )( | ) ( | )
( ) ( )
X YX Y
Y X Y XX X
F x y f x yx yf y x F y xy f x f x
נוסחת הצפיפות השלמה
|( ) ( | ) ( )Y Y X Xf y f y x f x dx
)אנלוגי לנוסחת ההסתברות השלמה(
הוכחה נשתמש בהגדרת הצפיפות המותנית
,|
( , )( | )
( )X Y
Y XX
f x yf y x
f x
נקבל
,| ,
( , )( | ) ( ) ( ) ( , ) ( )
( )X Y
Y X X X X Y YX
f x yf y x f x dx f x dx f x y dx f y
f x
משפט
||
( | ) ( )( | )
( )Y X X
X YY
f y x f xf x y
f y
)אנלוגי לנוסחת בייס( הוכחה טריוויאליות מתוך הגדרת הצפיפות המותנית
דוגמה~, נתון [0, ]X L) ל 0מגרילים מספר בין L( , כאשרLמשתנה מקרי עם פונקצית צפיפות מהצורה
22 / 2 0( )0
l
Lcl e lf l
else
Xצריך למצוא את פונקצית הצפיפות של
שלבים2יש לניסוי , הסבר לפי פונקצית הצפיפות הנתונהLהגרלת . 1 L ל 0 באופן אחיד בין Xהגרלת . 2
~מהנתון [0, ]X Lמקבלים את הצפיפות המותנית
|
1 0( | )
0X L
x lf x l l
else
ת השלמה נקבללפי נוסחת הצפיפו
2 2 2
2
2 / 2 / 2 / 2|
/ 2
1( ) ( | ) ( )
20( )0 0
l l xX X L L
x x
x
X
f x f x l f l dl cl e dl c le dl cel
ce xf x cx
נחשב את התוחלת2 / 2
0
2 2...xEX xe dx
תוחלת מותנית), נתון וקטור אקראי , )X Y , התוחלת שלX בהנתן Yהיא
( )
( | ) ( | ) ( ) ( )h y
y Y y YE X Y E X Y y h y h Y
)הערה | )E X Y הוא משתנה מקרי שתלוי ב Y) טרנספורמציה עלY(
משפט ההחלקה
( | )E E X Y EX
), באגף שמאל, הסבר | )E X Y הוא התוחלת של X בהנתן שערך Yוזה שווה לפונקציה כלשהי של , ידועY
( | ) ( )E X Y h Y )התוחלת של )h Y עבור כל הערכים של Yה לתוחלת של שווX כאשר Yמקבל כל ערך אפשר
דוגמה pבכל גיחה הוא מצליח לגנוב תפוז בהסתברות , ילד גונב תפוזים מפרדס
בעל הפרדס מצליח לתפוס את הילד בהסתברות צריך למצוא את תוחלת מספר התפוזים שנגנבו עד שבעל הפרדס תופס את הילד בפעם הראשונה
את מספר התפוזים שהילד גנב בכל הגיחותXנסמן ב )כולל( את מספר הגיחות של הילד עד שהוא נתפס פעם ראשונה Nנסמן ב
צריך לחשב את
( | )EX E E X N |X N מתפלג בינומית | ~ Bin( , )X N p N , והתוחלת היא( | )E X N Np
N מתפלג גיאומטרית ~ Geom( )N , התוחלת היא1EN
,לכן
( | ) pE E X N E Np pE N EX
30הרצאה תזכורת
צפיפות מותנית,
|
( , )( | )
( )X Y
Y XX
f x yf y x
f x
נוסחת הצפיפות השלמה
|( ) ( | ) ( )Y Y X Xf y f y x f x dx
נוסחת בייס לצפיפות|
|
( | ) ( )( | )
( )X Y Y
Y XX
f x y f yf y x
f x
דוגמהX מפולג אקספוננציאלית עם פרמטר כאשר הוא משתנה מקרה ,~ exp( )X
0( נתונה על ידי צפיפות ( 2( ) 0f e
~, )26מהרצאה ( קוראים צפיפות גאמה לפונקצית הצפיפות של Gama(2, )
~נשים לב שההתפלגות . 1 exp( )X , היא עבורשל המותניתכלומר פונקצית הצפיפות , ידוע X
| ( | )Xf x ולא פונקצית הצפיפות השולית ( מתפלגת אקספוננציאלית( )Xf x( ,כלומר
| ( | ) xXf x e
ובהתאם התוחלת היא1( | )E X
היאהתוחלת של . 2
2 2
0
2...E e d
אפשר לכתוב בצורהאת פילוג : הערה
~ Gama(2, ) Gama(1, )*Gama(1, ) exp( )*exp( ) ~אם נקח exp( ), ~ exp( )Y Z נקבל Y Z ) כי צפיפות של סכום היא קונוולוציה של הצפיפויות(
והתוחלת היא סכום התוחלות 1 1E EY EZ
לפי נוסחת הצפיפות השלמה. 3
2 2 2 ( )|
0 0
2 3 22 ( )
3 30
Gama(3, )
( ) ( | ) ( )
2 ( ) 2( ) 2 ( )
x xX X
x
x
f x f x f d e e d e d
x e dx x
)1ולכן הוא שווה ל , האינטגרל הוא על פונקצית צפיפות גאמה(
לפי נוסחת בייס. 4
2 32 ( )
| 2
3
( )( | )22
( )
xx
X
e e xf x e
x
|לכן ~ Gama(3, )X x , תהיה 2והתוחלת כמו בסעיף 3( | )E X
X
או לפי משפט ההחלקה, לפי פונקצית הצפיפות, Xש שתי דרכים לחשב את התוחלת של י. 5
2
0 0
1 1( | ) ( )EX E E X E f d e d
הוכחת משפט ההחלקהצריך להוכיח את ( | )EY E E Y X
Y|התוחלת של X היא טרנספורמציה כלשהי של X
|( | ) ( | ) ( )Y XE Y X yf y x dy h X
)תוחלת של ה )h Xהיא
|( | ) ( ) ( ) ( ) ( | ) ( )X Y X XE E Y X E h X h x f x dx yf y x dy f x dx
,לפי הגדרת הצפיפות המותנית |
( , )( | )
( )X Y
Y XX
f x yf y x
f xלכן
,, ,
( )
( , )( ) ( , ) ( , ) ( )
( )Y
X YX X Y X Y Y
X
f y
f x yy dy f x dx yf x y dy dx y f x y dx dy yf y dy EY
f x
קווריאנס
הגדרה
,cov( , ) (( )( ))X Y X YX Y E X Y
תכונות1 .2
,cov( , ) X X XX X
2 .cov( , )X Y EXY EX EY X,אם . 3 Y בלתי תלויים אז cov( , ) 0X Y EXY EX EY ,),X Yבלתי מתואמים (
,0אם 0EX EY אז )covאם , ) 0X Y , היחס בין,X Yהוא יחס ישר )covאם , ) 0X Y , היחס בין,X Yהוא יחס הפוך
31הרצאה קווריאנס
,cov( , ) (( )( ))X Y X YX Y E X Y EXY EX EY
תכונות1 .cov( , ) var( ) 0X X X 2 .1 2 1 2cov( , ) cov( , ) cov( , )X X Y X Y X Y ) פעולה לינארית במשתנה הראשון(
:הוכחה 1 2 1 2 1 2
1 2 1 2 1 2
cov( , ) ( ) ( )cov( , ) cov( , )
X X Y E X X Y E X X EYEX Y EX Y EX EY EX EY X Y X Y
3 .cov( , ) cov( , )aX Y a X Y 4 .cov( , ) cov( , )X Y Y X
נקבל2,3,4מ 1 2 1 2 1 1 1 2 2 1 2 2cov( , ) cov( , ) cov( , ) cov( , ) cov( , )aX bX cY dY ac X Y ad X Y bc X Y bd X Y
5 .cov( , ) cov( , )X c Y X Y
משפטX,אם Yאז , בלתי תלויים,X Yכלומר , בלתי מתואמיםcov( , ) 0X Y
) נקח וקטור דוגמהל, ההפך לא בהכרח נכון: הערה , )X Yמפולג באחידות במעגל היחידה ,,X Y תלויים
0EX, היא פונקציה סימטריתXבגלל שהצפיפות של , 0ומאותה סיבה גםEY 2 2 2
3
0 0 0 0 0
cos sin cos sin sin 2 0EXY c xydxdy c r r rdr d c r dr d c d
)cקיבלנו) הוא קבוע הנרמול cov( , ) 0X Y EXY EX EY למרות ש ,X Yתלויים
משפט
X,לכל Y מתקיים ,X Y X Y
)cov חוץ מ (הקווריאנס מקיים את שלושת התכונות של מכפלה פנימית , ) 0 0X X X (
1 2 1 2
cov( , ) 0cov( , ) cov( , ) cov( , )
cov( , ) cov( , ) cov( , )
X XaX bX Y a X Y b X Y
X Y Y X Y X
1.2.
3.
שי שוורץלכן לפי אי שוויון קו2cov( , ) cov( , ) cov( , )X Y X X Y Y
2 2, , ,X Y X X Y Y X Y X Y
הוכחה
X
Y
X X
Y Y
כלשהועבור 2 2 2 2 2 2 20 ( ) ( ) ( ) ( ) 2 cov( , )Y XE X Y E X E XY E Y X Y
,נבחר 2
X Y
X
2 2 2 2, , , , ,2 2 2 2
2 4 2 2 2
2,2 2 2 2
, ,2
2 cov( , ) 2
0
X Y X Y X Y X Y X YY X Y Y
X X X X X
X YY X Y Y X X Y X Y
X
X Y
קורולציה,
,cov( , )corr( , ) X Y
X YX Y X Y
X YX Y
לפי אי שוויון קושי שוורץ מתקיים, קורולציה היא קווריאנס מנורמל,1 1X Y
:הערות2הנחה יסודית . 1 2,EX EY ) מומנט מסדר שני סופי( 2 .,X Y 0 מוגדרת רק אם בנוסף, 0X Y
תכונות1 ., ,X Y Y X
2 ., ,sgn( )aX Y X Ya
3 ., ,X c Y X Y
משפטU,אם V 2אז , )בלתי מתואמיםולכן (בלתי תלויים 2 2
U V U V
הוכחה2 2 2 2 2 2 2( ) 2 2U V U V U VE U V EU EV EUV
U,אם V 2אז מתואמים בלתי 0U V 2 ולכן 2 2U V U V
דוגמהXאות Nרעש
Y X N אות נקלט ,0נניח 0EX EN ,,X Nבלתי תלויים
,
2 2
0
2 2
2
, 2 2 2
0( )
1
1
X YX Y
XEX EN
Y X N
XX Y
X X N N
X
EXY EX EY
EX ENEXY E X X N EX EXN
Nהרעש אות שכאשר יחס " קל לראות"
X
וככל שהיחס גדל הקורולציה , 1 הוא אפס הקורולציה היא
קטנה
32הרצאה משפט
( ( ) | ) ( ) ( | )E h U V U h U E V U
דוגמה~, נתון exp( )X , כאשרמשתנה מקרי
)covנחשב את . א , )X עבור כלשהי
cov( , ) ( )1( | )
X E X EX E
EX E E X E
לפי המשפט מתקיים
1( ) ( | ) ( | ) (1) 1E X E E X E E X E E
לכן1cov( , ) 1X E E
)covמתקיים , ) 0X לכל ,צריך להתקיים , הוכחה1 1E
E
נגדיר פונקציה קמורה 1( )y xx
,לפי אי שוויון ינסן מתקיים
1 1( ) ( )Ey y E EE
נתון . ב23 0 1
( )0
felse
1 12 2
0 0
1 1 3 3 1cov( , ) 1 1 3 3 14 2 8
X E E d d
צפיפויות גאוסיות רב מימדיות
דוגמאות1.
2 21 ( )2
,1( , )
2x y
X Yf x y e
,X Yמשתנים בלתי תלויים ,~ (0,1), ~ (0,1)X N Y N , פונקצית הצפיפות נראית כמו פעמון גאוס תלת מימדי
2. 2 21 ( 2 )
2, ( , )
x xy y
X Yf x y Ce
X,הפעם Yתלויים
2 2 2 2 2 2 2 21 1 1 1 1( ) (1 ) (1 ) ( ) (1 )2 2 2 2 2
2
( ) 2y x x x y x x
Xf x C e e dy e C e dy e C
2, מכאן
1~ 0,1
X N
וע הנרמול צריך להיות כאשר קב (21
2C
( , 2מסימטריה
1~ 0,1
Y N
1אפשר לבחור רק 1 ) אחרת השונות יוצאת שלילית(
תבנית ריבועית2ביטוי מהצורה 22ax bxy cy הוא תבנית ריבועית
,ורה או באופן כללי כל ביטוי מהצ1 1
n n
i j i ji j
a x x הוא תבנית ריבועית
Txכל תבנית ריבועית ניתנת לייצוג על ידי הביטוי Ax כאשר,
A היא מטריצה n n ,i ja הם האיברים במטריצה A
1 2col( , ,..., )nx x x x
י סימטריוקטור גאוס)1וקטור אקראי ,..., )nX X נקרא גאוסי סימטרי אם קיימת מטריצה סימטרית Aכך ש
1 ( )2( )
Tx Ax
Xf x Ce
33הרצאה וקטור גאוסי)1וקטור אקראי ,..., )nX X נקרא גאוסי סימטרי אם קיימת מטריצה סימטרית Aכך ש
1
12
,..., 1( ) ( ,..., )T
n
x Ax
X X nXf x f x x Ce
Txכאשר Ax היא תבנית ריבועית
דוגמאות תבניות ריבועיות
2 2
2 2
1 ( )2
,
1 ( 2 )2
,
1 0( , )
0 1
1( , )
1
x y
X Y
x xy y
X Y
f x y Ce A
f x y Ce A
הערות מטריצה אלכסוניתAהרכיבים בלתי תלויים אם ורק אם . 1עבור מטריצות מסוימות האינטגרל על , יכולה לשמש בתור תבנית ריבועיתAלא כל מטריצה . 2
לדוגמה, ות יכול להיות לא סופיהצפיפ2 2
2
1 ( 4 )2
,
2
1 0( , )
0 4
( ) ( )
x y
X Y
yY Y
A f x y Ce
f y Ce f y dy
מטריצה חיובית
)1 נקראת חיובית אם לכל Aמטריצה ,..., )nx x x
,0Tx Ax ,כלומר ,
1 10
n n
i j i ji j
a x x
0Txו Ax ,, הוא וקטור האפסx אם ורק אם 1
1 10 ( ,..., ) (0,...,0)
n n
i j i j ni j
a x x x x
טענה
הפונקציה 12( )
Tx Ax
Xf x Ce
מוגדרת חיוביתAאם ורק אם , היא פונקצית צפיפות
טענהA מוגדרת חיובית אם ורק אם : 0ii כל הערכים העצמיים של Aחיוביים A המינורים הראשיים חיוביים מוגדרת חיובית אם ורק אם כל
:הערות במטריצה סימטרית הערכים העצמיים תמיד חיוביים- )עמודה ראשונה, שורה ראשונה(דטרמיננטה שכוללת את האיבר הראשון במטריצה , מינור ראשי-
תכונות)1אם . 1 ,..., )nX X וקטור גאוסי אז לכל i ,iX2א משתנה מקרי גאוסי עם פילוג הו~ (0, )i iX N )1אם . 2 ,..., )nX Xאז כל וקטור שמורכב מקבוצה של , וקטור גאוסי סימטריm n משתנים
1( ,..., )
mi iX X
הוא גם גאוסי סימטרי )1אם . 3 ,..., )nX X X
וקטור גאוסי סימטרי
Yו MX
n מטריצה Mכאשר (, nאז גם , )כלומר הפיכה, לא סינגולריתYוקטור גאוסי סימטרי
2דוגמה לתכונה )גם אם , )X Yהצפיפויות השולויות יכולות להיות גאוסיות, לא וקטור גאוסי
2 2
2
,
, 01( , ) , 0
0
x y
X Y
x yef x y x y
else
נחשב את הצפיפות השולית2 2 2 2 2
2 2 2 2 2
0
1 1 1( )2 2
x y x y x
Xf x e e dy e e dy e
~לכן (0,1), ~ (0,1)X N Y N
X,רק אם Y בלתי תלויים אז ( , )X Yהיה וקטור גאוסי
3הוכחה של תכונה
)נתונה טרנספורמציה )Y T X MX
1הטרנספורמציה ההפוכה היא , 1( )X T Y M Y
1 11 ( ) ( )1 2( ) det
TM y A M y
Yf y C M e
1נסמן 1 1( ) ( ), detTA M A M C C M , 1נקבל בחזקה 1 1 1( ) ( ) ( ) ( )A
T T T TM y A M y y M A M y y Ay
לכן12( )
Ty A y
Yf y Ce
Yעם מטריצה , גאוסית סימטריתA
פטמש2B מוגדרת חיובית כך ש B מוגדרת חיובית יש מטריצה יחידה Aלכל מטריצה A , 1מסמנים/ 2B A
מסקנהX וקטור גאוסי סימטרי עם מטריצה A
/1נגדיר טרנספורמציה 2Y MX A X Y 1 וקטור גאוסי סימטרי עם מטריצה 1 1/ 2 1/ 2( ) ( ) ( ) ( )T TM A M A A A I
דוגמה
2 1/ 22
1 1~ (0, )
1 ~ (0,1)
X N A A
X N
34הרצאה תזכורת
Aמוגדרת חיובית צפיפות של וקטור גאוסי סימטרי. 1
1
12
,..., 1( ) ( ,..., )T
n
x A x
X X nXf x f x x Ce
)גם של תת קבוצה מהוקטור(כל הצפיפויות השוליות הן גאוסיות . 2
Yאם . 3 MX
Yגם ,
כלומר הצפיפות שלו היא , הוא וקטור גאוסי12( )
Ty A y
Yf y Ce
, כאשר
1 1( ) ( )TA M A M
/1אם . 4 2Y A X
Y אז
A( הוא וקטור גאוסי תקני I(
מטריצת קווריאנס
Xקטור אקראי עבור ו
X נגדיר מטריצה בצורה הבאה ,, ,( )i ji j X X
)עבור , לדוגמה , , )X Y Z
, , ,
( , , ) , , ,
, , ,
X X X Y X Z
X Y Z Y X Y Y Y Z
Z X Z Y Z Z
תכונות1 .X היא מטריצה סימטרית
2, מופעות השונותבאלכסון. 2,X X X
1אם . 3 11
...n
n n i ii
Z a X a X a X
, אזvar( ) TZ a a
הוכחה
2,
1 1 1 1 1 1var( ) cov( , ) cov , ... cov( , )
i j
n n n n n nT
Z i i j j i j i j i j X Xi j i j i j
Z Z Z a X a X a a X X a a a a
מטריצת קווריאנס תמיד מוגדרת אי שלילית. 4כתיבה אחרת של מטריצת קווריאנס . 5 ( )( )T
X E X EX X EX
0iEXכאשר , יבמקרה הפרט ,המטריצה נראת מהצורה
1 1 1
1
( )n
TX
n n n
X X X XE XX E
X X X X
דוגמה
X
X וקטור אקראי עם מטריצת קווריאנס
Y MX
Yמטריצת הקווריאנס של ,
Tיא הXM M
( ) ( )( ) ( ) ( )T T T T T T TY XE YY E MX MX E MXX M ME XX M M M
טענה
Xאם
1אז , A וקטור גאוסי סימטרי עם מטריצה X A
הוכחה
1/ 2 1/ 2 1/ 2
1/ 2
1/ 2 1/ 2( ) ( )
( ) ( )TX A A X A X
A
A A
)A1גם , היא מטריצה סימטרית/ 2A1כן ל, סימטרית/ 2 1/ 2( )TA A (
/1נסמן 2U A X
Uהתבנית הריבועית של ,
Uלכן פונקצית הצפיפות של , I היא
היא 2 21
1 ( ... )2( ) nu u
Uf u Ce
כלומר, האיברים בלתי תלוייםו, הוא גאוסי תקניiUכל איבר cov( , ) var( ) 1cov( , ) 0
i i i
i j
U U UU U
Uלכן מטריצת הקווריאנס של
U היא I
1/ 21/ 2 1/ 2 1/ 2 1/ 2 1
( )( ) ( ) ( ) ( )
A XA A A I A A
וקטור גאוסי לא סימטרי1 ( ) ( )2( )
Tx A x
Xf x Ce
תוחלות הוא וקטור ה
תכונות1 .1
X A
2 .EX
35הרצאה תזכורת
)אם , )X Yאז , בלתי תלויים( , )X Y גם בלתי מתואמים )cov( , ) 0X Y (אבל לא להיפך
)אם , )X Y בלתי מתואמים אז מטריצת הקווריאנס היא 2
( , ) 2
00
XX Y
Y
לכן ,
2
2
1 0
10
X
Y
A
2 2
2 212 X Y
x y
f Ce
דוגמה2
2 2, , ( , , ) exp 2
2X Y Zxf x y z C y z xz yz y z
)נמצא את הצפיפות המשותפת . א , 2 )X Y Z X Y
, Aמציאת . 11 0 10 2 11 1 2
A
פונקצית הצפיפות מקבלת מקסימום כאשר הפולינום באקספוננט מקבל מקסימום. 2מכאן נמצא את , בגלל הסימטריה התוחלת מקבלת במקסימום של הצפיפות, בצפיפות גאוסית
( , , )X Y Z ...( , , ) (3, 1,3)X Y Z
מציאת מטריצת הקווריאנס. 3
1
3 1 21 1 1
2 1 2A
נסמן 2
U X Y ZV X Y
( , )U V כטרנספורמציה לינארית של וקטור גאוסי( הוא וקטור גאוסי(
)מצאנו ש , , ) (3, 1,3)X Y Z ולכן 3 ( 1) 3 52(3) ( 1) 7
( , ) (5,7)
U
V
U V
U,צריך למצוא את V
2,
, 2,
2, ,
2, ,
,
6 99 17
1var( ) (1 1 1) 1 ... 6
1
2var(2 ) (2 1 0) 1 ... 17
0cov( , 2 ) ... 9
U U VU V
V U V
U X Y Z
V X Y Z
U V
X Y Z
X Y
X Y Z X Y
1מכאן , ...U VA
)באופן כללי הטרנספורמציה מ , , )X Y Z ל ( , )U V היא 1 1 1
( )2 1 0
M
XU V Y
Z
לכן
, , , , ,
1 21 1 1
1 12 1 0
1 0
TU V X Y Z X Y ZM M
2)נמצא את . ב 5)P X Z Y
2Wנגדיר X Z Y ) W(3)2, ) משתנה מקרי גאוסי (3) ( 1) 4EW ,2 ... 9W
~מכאן (4,9)W N , לכן5 4 1( 5) 1
39P W P Z
36הרצאה חזאים
)נתון וקטור אקראי , )X Y , בהנחה ש,X Yלכל כאשר, תלויים Xיש ל , קבועYתוחלת שונה )קיימת פונקציה , כלומר )g X , שנותנת עבור כלX את הניחוש הקרוב ביותר לערך של Y
נגדיר את תוחלת הסטייה הריבועית בצורה הבאה
2( ( ))E Y g X X,אם . 1 Yאז , בלתי תלויים( )g X a) 2והמינימום של , )פונקציה קבועה 2( ( )) ( )E Y g X E Y a
aמתקבל עבור EY
טענה)נגדיר ) ( | )h x E Y X x , לכל פונקציהg 2 אחרת מתקיים 2( ( )) ( ( ))E Y h X E Y g X
X,אם . 2 Yאז המינימום מתקבל עבור , כרח בלתי תלויים אינם בה( ) ( | )g X E Y X
דוגמהX0], משתנה מקרי חיובי, ]Y U X
היא Yהתוחלת של , ידועXעבור כל 2X
)לכן הפונקציה תהיה , )2Xh X
)הפונקציה )h X נקראת החזאי האופטימלי של Y באמצעות X , והיא מסומנת בˆ ( | )Y E Y X
הוכחה)נראה שעבור כל )g X2מתקיים , אחר 2( ( )) ( ( ))E Y h X E Y g X
22
2 2
( ( )) ( ) ( ) ( )
( ( )) 2 ( ) ( ) ( ) ( ( ) ( ))
E Y g X E Y h X h X g X
E Y h X E Y h X h X g X E h X g X
עבור הביטוי 2 ( ) ( ) ( )E Y h X h X g X ,שפט ההחלקהנשתמש במ
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )E Y h X h X g X E E Y h X h X g X X E h X g X E Y h X X
התוחלת ( )E Y h X Xכי כאשר , היא אפסXידוע אפשר לפרק את הביטוי בצורה הבאה
0
( ) ( ) ( ) ( ) 0E Y h X X E Y X E h X X h X h X
ובסך הכל 2 ( ) ( ) ( ) 0E Y h X h X g X
קיבלנו
2 2 2 2
0
( ( )) ( ( )) ( ( ) ( )) ( ( ))E Y g X E Y h X E h X g X E Y h X
)המינימום מתקבל עבור ( ) ( )g X h X(
דוגמה
,
1 ( , )( , )
0X Y
x y Dyf x y
else
1
1
D
,,
1
( , )( | )
( )
1( ) ln( )
X YX Y
X
Xx
f x yf y x
f x
f x dy xy
הואY של יהחזאי האופטימל1 1 1
,,
( , ) 1 1 1ˆ ( | ) ( | )ln( ) ln( ) ln( )
X YX Y
x x x
f x y XY E Y X yf y x dy y dy y dyx x y X
חזאי לינארי) תנחפש את מקדמי הפונקציה הלינארי )g X aX b 2 עבורם הביטוי( ( ))E Y g Xקבל מינימום מ
2 2 2 2 2( ) 2 2 2E Y aX b EY a EX b aEXY bEY abEX ונמצא את המקסימוםa, bנגזור לפי
2 2
2
2 2
( ) 2 2 2 0
( ) 2 2 2 0
...
XY XYY X
X X
d E Y aX b aEX EXY bEXdad E Y aX b b EY aEXdb
a b
משפט החזאי הלינארי האופטימלי נתון על ידי
,2
ˆ X YL X Y
X
Y X
או
,L̂ Y X
X YY X
Y X
דוגמהNעם פרמטר , ניסויי ברנוליp ,Xמספר ההצלחות ,Nפילוג עם ~ Pois( )N
ˆצריך למצוא את ˆ ˆ ˆ, , ,L LX X N N
X̂ pN ˆלכן גם , לינאריX̂החזאי הכללי
LX pN
נתון
,( )( | )
( )!ˆ( | ) ( | )
q n k
N Xe qp n k n k
n k
E N X k k q N E N X X q
לליגם כאן החזאי הלינארי שווה לחזאי הכ