ターボ復号法の情報幾何的理解と...

ターボ復号法の情報幾何的理解と改善の可能性

池田思朗 (九工大) 田中利幸 (都立大) 甘利俊一 (理研)

2002年 12月 1日

ターボ復号法の情報幾何と改善の可能性 1

概要

• 誤り訂正符号• ターボ符号の性能と問題点• 情報幾何に基づく理解• まとめ

確率的情報処理としての移動体通信技術


本研究の目的

情報幾何を基に，ターボ符号に代表される繰り返し復号法を扱う数学的枠組を与える．その結果を用い，

• 繰り返し復号法の解の幾何的な構造• アルゴリズムの収束性，解の安定性• 新たなコスト関数に基づくアルゴリズム• 最適な復号解からのずれなどが明らかになる．



誤り訂正符号とは

−1−1 −1 ...−1+1 +1 −1 +1−1 −1 −1 ...

+1 −1−1

移動体通信では通信路の雑音によって正しく信号が送れない場合がある．



誤り訂正符号とは

誤り訂正符号とは，雑音を含む通信路を通して必要な情報を送るための技術である．例えば，各ビットを {+1,−1} で表現し，これを雑音のある通信路を通して送ることを考える．

通信路は簡単のため，2値対称通信路 (BSC)を考える．

+1

−1

+1

−1

��

1 − σ

σ

σ

1 − σ



通信路とノイズ

送信するビット列はビット毎にある確率で誤って受信される．

送信: +1 −1 +1 −1 −1 +1 −1 −1 +1 +1 −1 · · ·受信: +1 −1 −1 −1 −1 +1 +1 −1 +1 +1 −1 · · ·誤り訂正符号の目的は，受信したビット列のみから必要な情報を復元しようというものである．



パリティ検査

一つの手段がパリティ検査である．送りたい情報を

x = (x1, · · · , xN )T , xi ∈ {−1,+1}

というベクトルで表現する．x を情報語と呼ぶ．これだけ

では誤りは訂正できないので，情報語と同時に検査語

y = (y1, · · · , yL)T , yk ∈ {−1,+1}も送ることにする．yはあらかじめ決められた規則に従ってx から計算されたベクトルである．



パリティ検査

情報語: x = (x1, · · · , xN )T ∈ {−1,+1}N

検査語: y = (y1, · · · , yL)T ∈ {−1,+1}L, x の関数

送信語: (x,y) 受信語: (x, y)

Code Observation

x,y � NoisyChannel

� x, y

(x, y) からもとの x を復元する．



誤り訂正符号の考え方 (符号化)

��

��

��

情報語 2N

x

送信語 2N+L

(x,y)

符号化: 2N の符号を 2N+L の送信語のどれかに割り当てる．y は x の関数であるので，(x,y) は 2N の自由度を持つ．



誤り訂正符号の考え方 (通信路)

��

2N+L

(x,y)

2N+L

(x, y)

送信語は雑音によって 2N+L のどれかに割り当てられる．



誤り訂正符号の考え方 (復号)

��

��

受信語 2N+L

(x, y)

復号語 2N

x

受信語 2N+L から復号語 x を計算する．



誤り訂正符号の考え方 (符号化)

��

��

��

��

��

��

��

情報語 2N

送信語 2N+L

2N+L の点のなかに 2N の情報語をうまくうめこむ．



誤り訂正符号の考え方 (復号)

��

��

��

��

��

受信語 2N+L

復号語 2N

それぞれの “勢力範囲” が適切に設定されていれば，“誤り ”

が訂正できる．



シャノン理論

誤り訂正符号の限界について以下の定理が知られている．

R =N

N + L< 1 −H2(σ)

であれば，N,N + L→ ∞ の極限で，うまく符号を設計すれば，復号誤り確率を任意に小さくできる．ただし，

H2(σ) = −σ log2 σ − (1 − σ) log2(1 − σ)

である．



限界は実現可能か

R を一定に保ち，N を大きく取った場合，シャノンの示した限界を達成できる実用的な符号は見付かっていない．

理由: 復号が難しい復号の問題は 2N+L の受信語から 2N の情報語のひとつを選ぶ手続きである．

2N の計算量がかかっては実現は不可能であり，少なくともN の多項式時間での復号ができなければ実用的ではない．



誤り訂正符号に求められる性質

• シャノンの示した限界に近い誤り訂正能力性能を持つ．• 実用可能な復号アルゴリズムを持つ．• ある程度長い情報語に対して構成が可能なもの．ターボ符号の登場



ターボ符号とは

1993年に提案された Berrou らによって提案された．復号法では，繰り返しアルゴリズムを用いる．

実験的な結果

• シャノンの示した限界に迫る誤り訂正能力を持つ．• 復号の計算は多項式時間で可能である．理論的な結果

• 基本的な性質が未知 :

アルゴリズムの収束性，安定性，解の持つ性質



ターボ符号の仕組み

Turbo Encoder

x

符号器 � y�

符号器 � y�

�

�

�

� �

�

�

�

x�y��y�

BSC�� x� �y�� y�

�

Turbo Decoder

復号器 � ��

復号器 ��

�x� �y�

�x� �y�

�

�

��

�

�



ターボ符号の例:1



ターボ符号のポイント• 2つの成分符号 (再帰的組織畳込み (RSC) 符号)を組合わせる．

– 畳み込み符号によって任意の長さに拡張可能．

– BCJR (Bahl, Cocke, Jelinek, Raviv) アルゴリズムによって効率的に復号可能 (計算量はオーダー N)．

– 単独ではターボ符号ほどの性能はでない．

• 2つの検査語をひとつの長い検査語と思って復号することは計算量的に不可能．

• 2つの復号器の結果を調整するために，新たな変数を導入し，繰り返しアルゴリズムを用いる．



MPM復号

ターボ符号の究極の目的は次の MPM 復号を求めることである．MPM復号は，次の η を計算し，各ビットの正負を判定することと等しい．

ηdef=∑�

xp(x|x, y1, y2), η = (η1, · · · , ηN )T

x = sgn(η).

これは単純には 2N の計算が必要に見える．しかし，うまくすれば，各ビットを別々に計算できることから，N のオーダーで計算できる可能性もある．



ターボ符号の目的: MPM復号

ここでは ω(x) = 1/2N とすると，

p(x|x, y1, y2) =p(x, y1, y2|x)∑�p(x, y1, y2|x)

∝ p(x, y1, y2|x)

とかける．



ターボ符号

• ターボ符号は前の繰り返し計算によって ξ1, ξ2 を調整しながら，2つの復号器の結果が一致する点を求める．

• 復号器 1は ξ2 による x の事前分布と p(x, y1|x) から x

の事後確率を計算し，事後確率を基にMPM復号を行う．

• 復号器 2は ξ1 による x の事前分布と p(x, y2|x) から x

の事後確率を計算し，事後確率を基にMPM復号を行う．



BSC の仮定から

p(x|x) = exp(βx · x −Nψ(β)) = exp(c0(x) −Nψ(β))

p(y1|x) = exp(βy1 · y1 − Lψ(β)) = exp(c1(x) − Lψ(β))

p(y2|x) = exp(βy2 · y2 − Lψ(β)) = exp(c2(x) − Lψ(β))

c0(x)def=βx · x, c1(x)

def= βy1 · y1(x), c2(x)

def= βy2 · y2(x)

β =1

2ln

1 − σ

σ, ψ(β) = ln(e−β + eβ)



成分符号が用いる分布

各成分符号で用いる事後分布は事前分布をω(x; ξ2) = exp(ξ2 · x − ψ(ξ2))，ただし ξ2 = (ξ1

2 , · · · , ξN2 )T ,

ξi2 ∈ R として

p1(x; ξ2)def= p(x|x, y1; ξ2) =

p(x, y1|x)ω(x; ξ2)∑�p(x, y1|x)ω(x; ξ2)

= exp(c0(x) + c1(x) + ξ2 · x − ϕ1(ξ2))

p2(x; ξ1)def= p(x|x, y2; ξ1)

= exp(c0(x) + c2(x) + ξ1 · x − ϕ2(ξ1))



ターボ復号の解

それぞれの確率分布は次のような形をしている

p(x|x, y1, y2) = exp( c0(x) + c1(x) + c2(x) − logC)

p1(x; ξ2) = exp( c0(x) + c1(x) + ξ2 · x − ϕ1(ξ2))

p2(x; ξ1) = exp( c0(x) + ξ1 · x + c2(x) − ϕ2(ξ1))

として求める．




最終的な推定結果は，

p1(x; ξ∗2) = exp( c0(x) + c1(x) + ξ∗

2 · x − ϕ1(ξ∗2))

p2(x; ξ∗1) = exp( c0(x) + ξ∗

1 · x + c2(x) − ϕ2(ξ∗1))

を用い，

p0(x; ξ∗1 + ξ∗

2) = exp(c0(x) + ξ∗1 · x + ξ∗

2 · x − ϕ0(ξ∗1 + ξ∗

2))

とする．直感的には

• c1(x) の影響を ξ∗1で表現し，

• c2(x) の影響を ξ∗2で表現する．




なぜ p0(x; ξ∗1 + ξ∗

2) を用いるのか．θdef=ξ1 + ξ2 として，

p0(x;θ) = exp(c0(x) + θ · x − ϕ0(θ))

= exp(∑

i

(β(xi + θi)xi − ϕ0(θi)))

=∏

i

exp(β(xi + θi)xi − ϕ0(θi))

となるから，各ビットの平均を取るのが容易となる．



情報幾何の準備:MPM復号

まず，次の多様体を定義する．

M0={p0(x; θ)

∣∣∣θ = (θ1, · · · , θN )T∈RN}

M1={p1(x; ξ2)

∣∣∣ξ2 = (ξ12 , · · · , ξN

2 )T ∈ RN}

M2={p2(x; ξ1)

∣∣∣ξ1 = (ξ11 , · · · , ξN

1 )T∈RN}




ある x の確率分布 q(x) から M0 への m–射影によって求まるパラメータを π ◦ q(x) と書くことにする．

π ◦ q(x) = argmin�∈RN

D[q(x); p0(x;θ)]

D[q(x); p0(x; θ)] =∑�

q(x) logq(x)

p0(x;θ)

この M0 への m–射影はMPM復号と同値である．




Sq�x�

��

m�projection

M� � fp��x� ��g

MPM 復号の情報幾何




定義より真の MPM 復号を示すパラメータ θ は

θ = π ◦ p(x|x, y1, y2)

である．これは計算できない．

一方

• π ◦ p1(x; ξ2),

• π ◦ p2(x; ξ1)

は全ての ξ1, ξ2 ∈ RN に対して計算可能である．



ターボ復号の情報幾何的表現

1. t = 0 に対し ξt1 = 0 とおき， t = 1 とする．

2. p2(x; ξt1) から M0 への射影を求め，ξt+1

2 を計算する．

ξt+12 = π ◦ p2(x; ξt

1) − ξt1.

3. p1(x; ξt+12 ) から M0 への射影を求め，ξt+1

1 を計算する．

ξt+11 = π ◦ p1(x; ξt+1

2 ) − ξt+12 .

4. π ◦ p1(x; ξt+12 ) と π ◦ p2(x; ξt+1

1 ) が収束しなければ step 2

へ戻る．



ステップ2

m−projection

m−projection

��

��

��

��

��

�

M1

βxξ∗

2 p1(x; ξ∗2)

��

��

��

��

��

M0

βxξ∗

1ξ∗2

ξ∗1 ξ∗

2

p0(x; θ∗)� �

��

��

��

��

��

� M2

βxξ∗

1p2(x; ξ∗

1)



ステップ3

m−projection

m−projection

��

��

��

��

��

�

M1

βxξ∗

2 p1(x; ξ∗2)

��

��

��

��

��

M0

βxξ∗

2 ξ∗1

ξ∗1 ξ∗

2

p0(x; θ∗)� �

��

��

��

��

��

� M2

βxξ∗

1p2(x; ξ∗

1)



ターボ符号の情報幾何的表現

m−projection

m−projection

��

��

��

��

��

�

M1

βxξ∗

2 p1(x; ξ∗2)

��

��

��

��

��

M0

βxξ∗

2 ξ∗1

ξ∗1 ξ∗

2

p0(x; θ∗)� �

��

��

��

��

��

� M2

βxξ∗

1p2(x; ξ∗

1)



収束点の満たす条件

収束点では ξ∗1, ξ∗

2, θ∗ の間に次の関係がある．

1) m–条件

π ◦ p1(x; ξ∗2) = π ◦ p2(x; ξ∗

1) = θ∗,

2) e–条件

θ∗ = ξ∗1 + ξ∗

2

1) は次のように書き直せる∑�

xp1(x; ξ∗2) =

∑�

xp2(x; ξ∗1) =

∑�

xp0(x;θ∗),



収束点の満たす条件: 1) M(θ)

M(θ∗)M0

M1M2

p0(x; θ∗)

p1(x; ξ∗2)

p2(x; ξ∗1)

p(x|x, y1, y2)

M(θ) = {p(x)|∑�

xp(x) =∑

�xp0(x;θ)}



収束点の満たす条件: 2) E(θ∗)

E(θ∗)

M0

M1M2

p0(x; θ∗)

p1(x; ξ∗2)

p2(x; ξ∗1)

p(x|x, y1, y2)

E(θ) = {p = Cpt00 p

t11 p

t22 |∑

r tr=1}



収束点の持つ性質

M(θ∗)

E(θ∗)

M0

M1M2

p0(x; θ∗)

p0(x; θ)

p1(x; ξ∗2)

p2(x; ξ∗1)

p(x|x, y1, y2)

p0(x;θ∗), p1(x; ξ∗2), p2(x; ξ∗

1) ∈M(θ∗)

p0(x;θ∗), p1(x; ξ∗2), p2(x; ξ∗

1), p(x|x, y1, y2) ∈ E(θ∗)確率的情報処理としての移動体通信技術


真の解からのずれ

p(x|x, y1, y2) による平均 η と確率伝搬法による解 η(θ∗) の差は以下のように近似できる．

η � η(θ∗) +1

2

∑r �=s

Brsη(θ∗).

ただし，

Brsdef=

(∂r −

∑k

IkkAkr∂k

)(∂s −

∑j

IjjAjs∂j

)

Airdef= ∂rηi(θ

∗,) = Cov[xi, cr(x)].



収束性を向上する

1) η1(ξ∗2) = η2(ξ

∗1) = η0(θ

∗),

2) θ∗ = ξ∗1 + ξ∗

2.

を満たすパラメータを求めるアルゴリズムを考える．例えば，

E = |η1(ξ2) − η0(θ)|2 + |η2(ξ1) − η0(θ)|2

を 0とするように最急降下法を考えることができる．一回の勾配を求めるために通常の確率伝搬法を 2回用いれば良い．



ターボ符号の例1

符号

受信語

:真の解

:ターボ解




符号

受信語

:真の解

:ターボ解




復号結果




符号

受信語

:真の解



例2: 誤差の評価

MPM 解: →

ターボ解: →

誤差修正後: →



例3: 新たなアルゴリズム

符号

受信語

:真の解



まとめ

• 情報幾何によってターボ復号法を表現した．• その表現に基づき，アルゴリズムの収束性，誤差についての解析が可能となる．我々も初歩的な結果をここに示した．


ターボ復号法の情報幾何的理解と...

Documents