Mutual informatiom

Royi Itzhak

Compobio course

Entropy

מדד למידת אי הוודאות של מ"מ אקראי בהתפלגות מסוימת •

במדעי המחשב אנטרופיה היא מדד למספר הביטים הדרושים להעברת מידע

לדוגמא נתון מטבע הוגן מהי מידת האנטרופיה של התוצאות•

פעמים יוצא עץ10%אם המטבע לא הוגן ו

פעמים יוצא עץ1%אם המטבע לא הוגן ו

( ) ( ) log ( )

( ) ( ) log ( )

i ii

H x P x P x

H x P x P x dx

2 2( ) (0.5*log 0.5 0.5*log 0.5) 1H X

2 2( ) (0.99*log 0.99 0.01*log 0.01) 0.0808H X

2 2( ) (0.9*log 0.9 0.1*log 0.1) 0.469H X

Mutual Entropy

,

( , ) ( , ) log ( , )

( , ) ( ) log ( )

i j i ji j

H x y P x y P x y

H x y P x P x dxdy

עבור כל צירוף , 0.25מה האנטרופיה של שני הטלות של מטבע הוגן ,באופן פשוט

. 2=2*-0.25*4- עץ ועץ ,עץ ופלי , פלי עץ,פלי פלי. לכן האנטרופיה תהיה

0.9אם המטבע לא הוגן והסיכוי להגריל עץ הוא

אזי ההסתברות המשותפת היא

והאנטרופיה המשותפת תהיה

-0.81*log2(0.81)-2*0.09*log2(0.09)-0.01*log2(0.01)=0.936

T H

T 0.9*0.9=0.81

0.9*0.1=0.09

H 0.9*0.1=0.09

0.1*0.1=0.01

Mutual information

x,yאינפורמציה משותפת של שני משתנים •היא מדד להורדת אי הוודאות של כל משתנה

בנפרד בהנתן המשתנה השני

I(x,y)=H(x)+H(y)-H(x,y)

Mutual information of 3 states

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1 4 3 3 3 5 5 6 4 6 5 4 5 5 4 1

2 4 5 5 5 3 4 3 5 5 2 3 3 1 1 1

3 1 3 5 4 6 2 1 2 1 1 1 2 1 5 2

4 1 1 1 1 2 1 3 4 3 3 3 6 5 5 4

5 2 1 5 2 3 1 5 1 1 5 3 4 3 1 3

6 5 2 3 5 2 4 3 1 5 1 5 3 3 2 3

7 5 3 4 5 5 3 2 3 5 3 5 4 5 2 1

8 1 2 2 2 1 4 2 3 3 4 6 4 5 5 4

9 4 4 1 2 3 1 2 2 4 1 4 5 3 1 3

10 2 3 2 1 2 3 3 2 3 5 3 3 3 2 5

example• for example feature 1 • H(y)=-3*0.333*log(0.333)=1.58• H(x)=[1/15*log(1/15)+0+0.2*log(0.2)+0.2*log(0.2)+0.333*log(0.333)+0.2*log(0.2)]*-

1=2.1819

• H(x,y)=

• -[5*1/15*log(1/15)+3*log(2/15)+0.2*log(0.2)]=2.922• I(x,y)=1.585+2.1819-2.922=0.844

0 0 1/15

0 0 0

0.2 0 0

1/15 1/15 2/15

1/15 2/15 2/15

0 1/15 0

example• for example feature 4• H(y)=-3*0.333*log(0.333)=1.585• H(x)=[0.333*log(0.333)+1/15*log(1/15)+4/15*log(4/15)+2/15*log(2/15)+2/15*log(2/15)+

1/15*log(1/15)]*-1=2.339

• H(x,y)=

• -[6*1/15*log(1/15)+2/15*log(2/15)+0.2*log(0.2)+0.4*log(0.4)]=2.943• I(x,y)=1.585+2.339-2.942=0.982

4/15 1/15 0

1/15 0 0

0 0.2 1/15

0 1/15 1/15

0 0 2/15

0 0 1/15

Ixy=Hx+Hy-Hxy

i H(x) H(y) H(x,y)I(x,y)=H(x)+H(y)-

H(x,y)

1 2.149255 1.5848 3.056565 0.67751

2 2.149255 1.5848 3.006239 0.727836

3 2.206239 1.5848 3.189898 0.60116

4 2.332915 1.5848 2.923231 0.994503

5 2.149255 1.5848 3.006239 0.727836

6 2.149255 1.5848 3.189898 0.544177

7 2.072906 1.5848 3.139572 0.518153

8 2.440224 1.5848 2.923231 1.101812

9 2.206239 1.5848 3.373557 0.417501

10 1.689482 1.5848 2.955913 0.318389

Mutual informaion feature 8

• The real values of the data in the 8th row

Continues mutual information- Uniform decoder

• Blank condition Vs two visual stimuli of full field two orientations one is horizontal and the other vertical orientation

Spatial map of mutual information

The map presents the mutual information content in areas V1 and V2; Red stands for high and blue for low mutual information values.

Clustering

3 kind of orientations using the average of the signal value across frames 37-40.Represnted only by three highest mutual information pixels that not localized on the edges of blood vessels. Pink-blank , green – horizontal , black - vertical