多端子情報理論のマトロイド的構造

.

.

. ..

.

.

多端子情報理論のマトロイド的構造

Joe Suzuki

Osaka University

情報理論ミニワークショップ

2013年 3月 26日於奈良先端科学技術大学院大学

Joe Suzuki (Osaka University) 多端子情報理論のマトロイド的構造情報理論ミニワークショップ 2013 年 3 月 26 日於奈良先端科学技術大学院大学 1

/ 23

はじめに

お話のねらい

多端子情報理論からネットワーク情報理論へ

Polymatroid/Co-Polymatroidの概念がなぜ必要か

Han Te Sun “Multicasting Multiple Correlated Sources to Myltiple Sinksover a Noisy Channel Network”, IEEE Trans. on Inform. Theory, Jan.2011


/ 23

Han 2011

ネットワーク N = (V ,E ,C )

G = (V ,E ): DAGV : 有限集合 (nodes)E ⊂ {(i , j)|i = j , i , j ∈ V } (edge)Φ,Ψ ⊂ V , Φ ∩Ψ = ϕ (source and sink nodes)

Source X ns = (X

(1)s , · · · ,X (n)

s ) (s ∈ Φ): stationary ergodicXΦ = (Xs)s∈Φ, XT = (Xs)s∈T (T ⊂ Ψ)

Channel 入出力 Y ,Z の推移確率 C = (ci ,j),

ci ,j := limn→∞

1

nmaxY n

I (Y n,Z n) (capacity)

各 (i , j) ∈ E で statistically independentstrong converse property


/ 23

Han 2011

N のCapacity Function ρN (S), S ⊂ Φ

(以下、集合 Aの補集合を Aと書くものとする)　

(M, M) (cut)EM := {(i , j) ∈ E |i ∈ M, j ∈ M} (cut set)

c(M, M) :=∑

(i ,j)∈E ,i∈M,j∈M

cij

各 ϕ = S ⊂ Φ, t ∈ Ψについて、ρt(S) := minM:S⊂M,t∈M

c(M, M)

ρN (S) := mint∈Ψ

ρt(S)


/ 23

Han 2011

(n, (Rij)(i ,j)∈E , δ, ϵ) 符号

Xs : Xs の取りうる値の集合

各 s ∈ Φ, (s, j) ∈ E について、fsj : X ns → [1, 2n(Rsj−δ)]

hsj = ψsj ◦ wsj ◦ φsj ◦ fsj : X ns → [1, 2n(Rsj−δ)]

各 i ∈ Φ, (i , j) ∈ E について、fij :∏

k:(k,j)∈E

[1, 2n(Rki−δ)] → [1, 2n(Rij−δ)]

hij = ψij ◦ wij ◦ φij ◦ fij :∏

k:(k,j)∈E

[1, 2n(Rki−δ)] → [1, 2n(Rij−δ)]

各 t ∈ Ψについて、gt :∏

k:(k,t)∈E

[1, 2n(Rkt−δ)] → X nΦ

λn,t := Pr{XΦ,t = X nΦ} ≤ ϵ


/ 23

Han 2011

Han 2011

.

定義: (Rij)(i ,j)∈E が、G = (V ,E )で achievable

.

.

.

. ..

.

.

(n, (Rij)(i ,j)∈E , δ, ϵ) 符号が存在

.

定義: XΦが、N = (V ,E ,C )で transmissible

.

.

.

. ..

.

.

任意の τ > 0で、(Rij)(i ,j)∈E が、G = (V ,E )で achievable

.

定理 1

.

.

.

. ..

.

.

XΦが、N = (V ,E ,C )で transmissibleであることと、以下は同値

H(XS |XS) ≤ ρN (S) , ϕ = S ⊂ Φ

.

.

.

1 (Xs)s∈Φが独立 =⇒∑i∈S

H(Xi ) ≤ ρN (S) , ϕ = S ⊂ Φ

.

.

.

2 Ri = H(Xi ) , i ∈ S =⇒∑i∈S

Ri ≤ ρN (S) , ϕ = S ⊂ Φ


/ 23

Han 2011

例 1

Φ = {s1, s2}, Ψ = {t1, t2}, cij = 1, (i , j) ∈ E

@@@R

��

@@@R

��

��

@@@R

��

@@@R

? ? ?

s1 s2

t1 t2

@@@R

��

@@@R

��

��

@@@R

��

@@@R

? ? ?

X1X2 X1X2

X1 X2

X1 X2X1 ⊕ X2


/ 23

Han 2011

X1,X2 ∈ {0, 1}が一様で独立のとき、条件が成立

ρt1({s2}) = ρt2({s1}) = 1

ρt1({s1}) = ρt2({s2}) = 2

ρt1({s1, s2}) = ρt2({s1, s2}) = 2

ρN ({s1}) = min(ρt1({s1}), ρt2({s2})) = 1

ρN ({s2}) = min(ρt1({s2}), ρt2({s2})) = 1

ρN ({s1, s2}) = min(ρt1({s1, s2}), ρt2({s1, s2})) = 2

H(X1|X2) = H(X1) = 1

H(X2|X1) = H(X2) = 1

H(X1X2) = H(X1) + H(X2) = 2


/ 23

Han 2011

例 2

Φ = {s1, s2}, Ψ = {t1, t2}, 0 < p < 1

cij :=

{1 (−→)h(p) := −p log2 p − (1− p) log2(1− p) (−→)

@@@R

��

@@@R

��

��

@@@R

��

@@@R

? ? ?

s1 s2

t1 t2

@@@R

��

@@@R

��

��

@@@R

��

@@@R

? ? ?

X1X2 X1X2

X1 X2

X1 X2A(X1 ⊕ X2)

AX1 AX2


/ 23

Han 2011

X1,X2 ∈ {0, 1}が一様、雑音 pの対称通信路のとき、条件が成立

ρt1({s2}) = ρt2({s1}) = h(p)

ρt1({s1}) = ρt2({s2}) = 1 + h(p)

ρt1({s1, s2}) = ρt2({s1, s2}) = min{1 + 2h(p), 2}

ρN ({s1}) = min(ρt1({s1}), ρt1({s2})) = h(p)

ρN ({s2}) = min(ρt1({s2}), ρt2({s2})) = h(p)

ρN ({s1, s2}) = min(ρt1({s1, s2}), ρt2({s1, s2})) = min{1 + 2h(p), 2}

H(X1|X2) = h(p)

H(X2|X1) = h(p)

H(X1X2) = 1 + h(p)

A: m × n, m = nh(p) (Korner-Marton, 1979)


/ 23

Han 2011

Direct: H(XS |XS) ≤ ρt(S), S ⊂ Φ =⇒ λn,t → 0

Rij = cij + τ , 0 < δ <τ

2fij の出力が 2n(Rij−δ)個 (cij +

τ

2< Rij − δ = cij + τ − δ < cij + τ)

En: {hij = fij}なる (i , j) ∈ E が存在する事象

λn,t = Pr{En}Pr{X nϕ,t = X n

ϕ |En}+ Pr{En}Pr{X nϕ,t = X n

ϕ |En}

が十分大きな nについて、Pr{X nϕ,t = X n

ϕ |En}で上界

.

ランダム符号化 {fij}(i ,j)∈E

.

.

.

. ..

.

.

各 z ∈∏

k:(k,i)∈E [1, 2n(Rk,i−δ)]で、fij(z) ∈ [1, 2n(Rij−δ)]が独立で一様


/ 23

Han 2011

Direct (その 2)

xΦ = (xS , xS) ∈ X nΦ, x

′Φ[S] = (x′S , x

′S) ∈ X n

Φ, xS = x′S, xs = x′s , s ∈ S

zj(xΦ) =

{xj (j ∈ Φ)

(fkj(xΦ))(k,j)∈E (j ∈ Φ)V0: 先祖で少なくとも 1つが Φにある i ∈ V の集合B := {i ∈ V0|zi (xΦ) = zi (x

′Φ[S]))}

Pr{fij(xΦ) = fij(x′Φ[S])|zi (xΦ) = zi (x

′Φ[S])} = 2−n(Ri,j−δ) ≤ 2−n(cij+τ/2)

t ∈ Ψ, S ∈ Φの各 (N, N), N = V について、EN := {(i , j)|i ∈ N, j ∈ N}Pr(B = N) ≤ Pr{B = N|B ⊂ N}=

∏(i ,j)∈EN

Pr{fij(xΦ) = fij(x′Φ[S])|zi (xΦ) = zi (x

′Φ[S])}

≤∏

(i ,j)∈EN

2−n(cij+τ2) ≤ 2−n(

∑(i,j)∈E ci,j+

τ2) ≤ 2−n(ρt(S)+

τ2)

Pr{zt(xΦ) = zt(x′Φ[S]} = Pr(B = V ) ≤ 2|V |2−n(ρt(S)+

τ2)


/ 23

Han 2011

定義: xΦ ∈ Tλ(XΦ)

各 ϕ = S ⊂ Φについて、|1nlog

1

p(xS)− H(Xs)| < λ

.

.

.

1 (xS , xS) ∈ Tλ(XΦ)なる xS ∈ X nS は、高々2n(H(XS |XS )+2λ)個

.

.

.

2 Pr{X nΦ ∈ Tλ(XΦ)} < λ


/ 23

Han 2011

Direct (その 3)

FS,t(xΦ): zt(xΦ) = zt(x′Φ[S]) xS = x′S, xs = x′s , s ∈ S なる

x′Φ[S] = (x′S , x′S) ∈ Tλ(XΦ)が存在するとき 1、それ以外で 0

F (xΦ) := maxϕ =S⊂Φ,t∈Ψ

FS,t(xΦ)

Pr{FS,t(xΦ) = 1} ≤ 2n{H(XS |XS )+2λPr{zt(xΦ) = zt(x′Φ[S]}

≤ 2|V |2n{H(XS |XS )+2λ−ρt(S)− τ2} ≤ 2|V |2−

τ4n , λ :=

τ

8

E [F (xΦ)] = Pr{F (xΦ) = 1} ≤∑

ϕ=S⊂Φ,t∈ΨPr{FS,t(xΦ) = 1} ≤ 2−cn

E [∑

xΦ∈X nΦ

p(xΦ)F (xΦ)] =∑

xΦ∈X nΦ

p(xΦ)E [F (xΦ)]

≤∑

xΦ∈Tλ(XΦ)

p(xΦ)Pr{F (xΦ) = 1}+ Pr{XΦ ∈ Tλ(XΦ)} ≤ 2−cn + λ


/ 23

Matroid

Matroid

.

定義: 非空有限集合 E とその部分集合の族 I の対がMatroid

.

.

.

. ..

.

.

.

. . 1 ϕ ∈ I

.

..

2 I ⊂ J ⊂ I =⇒ I ∈ I

.

.

.

3 I , J ∈ I, |I | < |J| =⇒ I ∪ {e} ∈ I なる e ∈ J\I が存在

例 3: ある正則行列の列の集合 E と、その一次独立な部分集合の族 I　

Matroidの階数関数 ρ : 2E → Z≥0, ρ(X ) := max{|I ||I ⊂ X , I ∈ I}

.

.

.

1 0 ≤ ρ(X ) ≤ |X |

.

.

.

2 X ⊂ Y ⊂ E =⇒ ρ(X ) ≤ ρ(Y )

.

.

.

3 ρ(X ) + ρ(Y ) ≥ ρ(X ∪ Y ) + ρ(X ∩ Y )

(実際、|I | = ρ(X ∩ Y ), |J| = ρ(X ∪ Y )とおくと、J ∩ (X ∩ Y ) = I ,|J ∩ X | ≤ ρ(X ), |J ∩ Y | ≤ ρ(Y ), |J ∩ X |+ |J ∩ Y | = |J ∩ X ∩ Y |+ |J|


/ 23

Matroid

PolymatroidとCo-Polymatroid

E : 非空有限集合

.

定義: ρ : 2E → R≥0が E 上の polymatroid

.

.

.

. ..

.

.

.

.

.

1 0 ≤ ρ(X ) ≤ |X |

.

.

.

2 X ⊂ Y ⊂ E =⇒ ρ(X ) ≤ ρ(Y )

.

.

.

3 ρ(X ) + ρ(Y ) ≥ ρ(X ∪ Y ) + ρ(X ∩ Y )

.

定義: σ : 2E → R≥0が E 上の co-polymatroid

.

.

.

. ..

.

.

.

.

.

1 0 ≤ σ(X ) ≤ |X |

.

.

.

2 X ⊂ Y ⊂ E =⇒ σ(X ) ≤ σ(Y )

.

.

.

3 σ(X ) + σ(Y ) ≤ σ(X ∪ Y ) + σ(X ∩ Y )


/ 23

Matroid

例 4: H(XS |XS)は、Φ上の co-polymatroid

H(XS |XS) = H(XΦ)− H(XS)

より、H(XS)が polymatroidであることをいえば十分

H(XS) + H(XT )− H(XS∩T )− H(XS∪T )

=∑

xS∪T∈XS∪T

P(xS∪T ) logP(xS∪T )

P(xS)P(xT )/P(xS∩T )≥ 0


/ 23

Matroid

例 5: ρt(S) = minM:S⊂M,t∈M c(M , M)は、Φ上の polymatroid

任意に A,B ⊂ Φを固定する。X ⊃ A,Y ⊃ B を

ρt(A) = c(X , X ) , ρt(B) = c(Y , Y )

となるように選ぶと、A ∩ B ⊂ X ∩ Y ,A ∪ B ⊂ X ∪ Y より、

ρt(A ∩ B) ≤ c(X ∩ Y ,X ∩ Y )

ρt(A ∪ B) ≤ c(X ∪ Y ,X ∪ Y )

= c(X , X ) + c(Y , Y )− c(X ∩ Y ,X ∩ Y )

−c(X\Y ,X\Y )− c(Y \X ,Y \X )

≤ ρt(A) + ρt(B)− ρt(A ∩ B)


/ 23

Matroid

Slepian-Wolf distributed source codingと network codingの分離

Ct := {(Rs)s∈Φ|∑i∈S

Ri ≤ ρt(S)}

RSW = {(Rs)s∈Φ|H(XS |XS) ≤∑i∈S

Ri , ϕ = S ⊂ Φ}

.

定理 2: 以下の 2条件は同値

.

.

.

. ..

. .

H(XS |XS) ≤ ρN (S) , ϕ = S ⊂ Φ (1)

RSW ∩ Ct = ϕ , t ∈ Ψ (2)

注意: (1)(2)は、以下の同値な (3)(4)より弱い。

{(Rs)s∈Φ|H(XS |XS) ≤∑i∈S

Ri ≤ ρN (S) , ϕ = S ⊂ Φ} = ϕ (3)

RSW ∩ (∩t∈ΨCt) = ϕ (4)


/ 23

Matroid

Han 1980

σ(S): co-polymatroidρ(S): polymatroid

{(Rs)s∈Φ|σ(S) ≤∑i∈S

Ri ≤ ρ(S), ϕ = S ⊂ Φ} = ϕ

⇐⇒ σ(S) ≤ ρ(S) , ϕ = S ⊂ Φ (5)

@@

@@

@

@@

@@

@@

-

6

R1

R2

a1b1

a2b2a12b12

a1 ≤ R1 ≤ b1

a2 ≤ R2 ≤ b2

a12 ≤ R1 + R2 ≤ b12


/ 23

Matroid

|Φ| = 1では、一般に ρN (S)は、polynatroidではない

定理 2の証明: (1)は、

H(XS |XS) ≤ ρt(S) , t ∈ Ψ, ϕ = S ⊂ Φ

と同値で、(5)と ρt(S)が polynatroidであることより、(2)と同値

.

Slepian-Wolf distributed source codingと network codingの分離

.

.

.

. ..

.

.

ρN (S)が polymatroidであれば、可能 (逆は成立しない)


/ 23

Matroid

まとめ

マトロイド理論との関係

Slepian-Wolfと Network Codingが分離可能な条件

について、さらに調べていきたい。


/ 23

多端子情報理論のマトロイド的構造

Documents