index of fe.math.kobe-u.ac.jp (experimental site) -...

半正定値計画—多項式最適化問題への応用—

“計算による数理科学の展開”（科研A講演会）神戸大学理学部,２００７年７月３１日

東京工業大学大学院情報理工学研究科小島政和

Introduction to SDP – p.1/113

目的半正定値計画入門多項式最適化問題に対する半正定値計画緩和

内容第１部半正定値計画問題 (SDP)の基礎—５０分第２部多項式最適化問題への応用—１００分参考文献

SDP — Semidefinite Program


第１部半正定値計画問題 (SDP)の基礎1. LP vs SDP

2. SDPの魅力3. 等式標準形4. 半正定値行列および対称行列の内積5. 一般のSDP

6. SDPの例7. 双対定理8. SDPに対する数値解法，ソフトウェア9. 主双対内点法の基本的な考え方

LP (Linear Program) =線形計画問題SDP (Semidefinite Program) =半正定値計画問題


第２部多項式最適化問題への応用1. 多項式最適化問題2. 非負多項式と２乗和多項式 (SOS)3. 無制約多項式最適化問題

3-1. SOS緩和— Dual approach3-2. SOS緩和のSDPへの変換3-3. SDP緩和— Primal approach

4. 不等式制約条件付き多項式最適化問題4-1. SOS緩和— Dual approach4-2. SDP緩和— Primal approach

5. 疎性の活用5-1. 無制約多項式最適化の場合5-2. 不等式制約条件付き多項式最適化の場合

6. 数値計算結果7. おわりに

SOS — Sum of Squares


第１部 SDPの基礎

1. LP vs SDP



LP (Linear Program) =線形計画問題SDP (Semidefinite Program) =半正定値計画問題


SDP(半正定値計画)は LP(線形計画)の対称行列空間への拡張

LP: min. −X11 − 2X12 − 5X22

sub.to 2X11 + 3X12 +X22 = 7, X11 +X12 ≥ 1,

X11 ≥ 0, X12 ≥ 0, X22 ≥ 0.

SDP: min. −X11 − 2X12 − 5X22

sub.to 2X11 + 3X12 +X22 = 7, X11 +X12 ≥ 1,

X11 ≥ 0, X12 ≥ 0, X22 ≥ 0,(

X11 X12

X12 X22

)

� O (半正定値).

共通：X11, X12, X22 に関する線形目的関数．X11, X12, X22 に関する線形等式，線形不等式条件．許容領域（制約を満たすX11, X12, X22 の集合）は凸集合．


SDP(半正定値計画)は LP(線形計画)の対称行列空間への拡張

LP: min. −X11 − 2X12 − 5X22

sub.to 2X11 + 3X12 +X22 = 7, X11 +X12 ≥ 1,

X11 ≥ 0, X12 ≥ 0, X22 ≥ 0.

SDP: min. −X11 − 2X12 − 5X22

sub.to 2X11 + 3X12 +X22 = 7, X11 +X12 ≥ 1,

X11 ≥ 0, X12 ≥ 0, X22 ≥ 0,(

X11 X12

X12 X22

)

� O (半正定値).

拡張：SDPは半正定値制約条件

(

X11 X12

X12 X22

)

� O を含めることが出来る．SDPの許容領域は一般に多面体にはならない．


第１部 SDPの基礎—５０分

1. LP vs SDP




多彩な応用システムと制御—線形行列不等式 (LMI) [12]

組み合わせ最適化問題，非凸最適化問題の半正定値計画緩和最大カット問題 [22]0-1整数計画問題 [47]多項式最適化問題 [41, 72]

ロバスト最適化 [4]

量子化学 [20, 79]

確率過程 [8, 44]

. . .

サーベイ論文— Todd [66], Vandenberghe-Boyd [73]ハンドブック— Wolkowicz-Saigal-Vandenberghe [74]和文文献— [80, 81, 82]Tutorial Lecture — Kojima [34]

Web page — Helmberg [23], Wolkowicz [75]Introduction to SDP – p.9/113

理論Self-concordant理論 [58]

Euclid的 Jordan代数 [15]

線形計画問題に対する主双対内点法の拡張 [1, 25, 37, 51, 59]


SDPは凸計画問題の中核


第１部 SDPの基礎—５０分

1. LP vs SDP




(LP) min a0 · x

sub.to ap · x = bp (p = 1, . . . ,m), Rn ∋ x ≥ 0.

ap ∈ Rn : データ, n次元ベクトル (p = 0, 1, 2 . . . ,m),

bp ∈ R : データ,実数 (p = 1, 2 . . . ,m),

x ∈ Rn : 変数, n次元ベクトル,

ap · x =∑n

i=1[ap]ixi (内積).


(LP) min a0 · x


(SDP) min A0 • X

sub.to Ap • X = bp (p = 1, . . . ,m), Sn ∋ X � O.

Sn : n× n対称行列からなる線形空間,

Ap ∈ Sn : データ, n× n対称行列 (p = 0, 1, 2 . . . ,m),

bp ∈ R : データ,実数 (p = 1, 2 . . . ,m),

X ∈ Sn : n× n変数, n× n対称行列;

X = (Xij) ∈ Sn,

Xij = Xji ∈ R (1 ≤ i ≤ j ≤ n),

X � O ⇔ X ∈ Sn は半正定値,Ap • X =

∑n

i=1

∑n

j=1[Ap]ijXij (Ap とX の内積).


(LP) min a0 · x


(SDP) min A0 • X


⇑

m = 2, n = 2, b1 = 7, b2 = 9, X12 = X21,

X =

(

X11 X12

X21 X22

)

, A0 =

(

−1 −1

−1 −5

)

,

A1 =

(

2 1.5

1.5 1

)

, A2 =

(

2 0.5

0.5 3

)

.

min −X11 − 2X12 − 5X22

sub.to 2X11 + 3X12 +X22 = 7, 2X11 +X12 + 3X22 = 9,(

X11 X12

X12 X22

)

� O.



1. LP vs SDP




(SDP) min A0 • X


Sn ∋ X � O : semidefinite constraint.定義: X � O ifuT Xu =

∑n

i=1

∑n

j=1Xijuiuj ≥ 0 for ∀u ∈ Rn.

定義: X ≻ O if uT Xu =∑n

i=1

∑n

j=1Xijuiuj > 0 for ∀u 6= 0.

X � O (≻ O) ⇔ n個の固有値がすべて非負 (正).


(SDP) min A0 • X


Sn : n(n+ 1)/2次元線形空間.

X + Y ∈ Sn for ∀X ∈ S

n, ∀Y ∈ Sn.

αX ∈ Sn for ∀α ∈ R, ∀X ∈ S

n.線形独立性．n(n+ 1)/2個基底.

(

1 0

0 0

)

,

(

0 1

1 0

)

,

(

0 0

0 1

)

: S2 の基底.

A, X ∈ Sn の内積： A • X =

n∑

i=1

n∑

j=1

AijXij = trace AX.


(SDP) min A0 • X


Rn+ ≡ {x ∈ R

n : x ≥ 0} と Sn+ ≡ {X ∈ S

n : X � O} 共通点.

Rn+ は閉凸錐自己双対; (Rn

+)∗ ≡{

y ∈ Rn : y • x ≥ 0, ∀x ∈ R

n+

}

= Rn+.

x, y ∈ Rn+, x · y = 0 =⇒ xiyi = 0 (i = 1, . . . , n).

Sn+ は閉凸錐自己双対; (Sn

+)∗ ≡{

Y ∈ Sn : Y • X ≥ 0,∀X ∈ S

n+

}

= Sn+.

X, Y ∈ Sn+, X • Y = 0 =⇒ XY = O.

Rn+, S

n+ は対称錐の特殊な場合⇒対称錐上の線形計画問題 [15]．



1. LP vs SDP




等式標準形 min A0 • X

(SDP) sub.to Ap • X = bp (p = 1, . . . ,m), X � O.

⇑

複数の行列変数をもった等式標準形：(SDP)’ min

∑t

q=1 Aq0 • Xq

sub.to∑t

q=1 Aqp • Xq = bp (p = 1, . . . ,m),

Snq

∋ Xq � O (q = 1, . . . , t).

Ap ≡

A1p O · · · O

O A2p · · · O

......

. . ....

O O · · · Atp

, X ≡

X1 O · · · O

O X2 · · · O...

.... . .

...O O · · · Xt

.




⇑

複数の行列変数をもった等式標準形：(SDP)’ min

∑t

q=1 Aq0 • Xq

sub.to∑t

q=1 Aqp • Xq = bp (p = 1, . . . ,m),

Snq

∋ Xq � O (q = 1, . . . , t).

nq = 1 (q = 1, . . . , t) ⇒, (SDP)’は LPの等式標準形．ここで，Aq

p ∈ R, Xq ∈ R.

一般のSDPは等式標準形 (SDP)に帰着出来るか?




⇑ ?

システムと制御からの例

min λ

sub.to

(

XA + AT X + CT C XB + CT D

BT X + DT C DT D − I

)

� λI,

X � −λI.

ただし，X ∈ Sn and λ ∈ Rは変数, A, B, C, D はデータ行列.

U � V or V � U ⇐⇒ U − V � O




一般に，任意のSDPを等式標準形 (SDP)に帰着出来るか?

理論的には “Yes”. しかし，非実用的，困難.

むしろ，等式条件付き LMI (Linear Matrix Inequality)標準形に変換するほうが容易で，かつ，実用的な場合が多い．


一般のSDP

min x1, . . . , xk, Xq (q = 1, . . . , t)の線形関数sub.to x1, . . . , xk, Xq (q = 1, . . . , t)の線形等式,

x1, . . . , xk, Xq (q = 1, . . . , t)の線形（行列）不等式,x1, . . . , xk ∈ R (実変数),S

nq

∋ Xq� O (q = 1, . . . , t) (半正定値行列変数).

等式条件付き LMI (Linear Matrix Inequality)標準形への変換

各Xq ∈ Snq を S

nq の基底 Eqij (1 ≤ i ≤ j ≤ nq)を用いて

Xq =∑

1 ≤ i ≤ j ≤ nq

Eqijy

qij,

と表現し，一般の SDP に代入する. ただし yqij : 実変数，E

qij :

(i, j), (j, i)要素のみが 1でその他の要素が 0の nq × nq 行列.


一般のSDP

min x1, . . . , xk, Xq (q = 1, . . . , t)の線形関数sub.to x1, . . . , xk, Xq (q = 1, . . . , t)の線形等式,

x1, . . . , xk, Xq (q = 1, . . . , t)の線形（行列）不等式,x1, . . . , xk ∈ R (実変数),S

nq

∋ Xq� O (q = 1, . . . , t) (半正定値行列変数).

等式条件付き LMI (Linear Matrix Inequality)標準形

minimize y1, . . . , yℓ の線形関数subject to y1, . . . , yℓ の線形等式,

y1, . . . , yℓ の線形 (行列)不等式,y1, . . . , yℓ ∈ R (実変数).

双対をとると⇒自由変数をもった等式標準形.CSDP, PENON, SDPA, SDPT3, SeDuMiを適用可能．



1. LP vs SDP




対称行列 Aの固有値

最大固有値 = min {λ : λI � A}

= min {λ : λI − A � O} .

最小固有値 = max {λ : A − λI � O} .

対称行列の固有値を含んだ問題を SDPとして定式化．Linear Matrix inequality (LMI) A(·) � O

max λ sub.to A(·) − λI � O.

ただし, A(·)は行列，ベクトル変数の線形写像．例えば

A(X) =

(

XA + AT X + CT C XB + CT D

BT X + DT C DT D − I

)

� O.

[12] S. Boyd, L. El Ghaui, E. Feron and V. Balakrishnan, LinearMatrix Inequalities in System and Control Theory, SIAM,Philadelphia, 1994.


Schur complement

A ∈ Sk, 正定値, X ∈ R

k×ℓ, Y ∈ Sℓ.

⇒

Y − XT A−1X � O ⇔

(

A X

XT Y

)

� O.

Xに関して２次 Xに関して線形

A = I, X = x ∈ Rk, Y = y ∈ Rのとき，

y − xT x ≥ 0 ⇔

(

I x

xT y

)

� O.


分数凸計画問題

min(Lx − c)T (Lx − c)

dT xsub.to Ax ≥ b.

L, A : 行列，c : 実数, d, b : 列ベクトル, dT x > 0 if Ax ≥ b.

m

min ζ sub.to ζ ≥(Lx − c)T (Lx − c)

dT x, Ax ≥ b.

m ζ −(Lx − c)T (Lx − c)

dT x≥ 0 ⇔

(

(dT x)I Lx − c

(Lx − c)T ζ

)

� O.

SDP: min. ζ sub.to

(

dT xI Lx − c

(Lx − c)T ζx

)

� O, Ax ≥ b.

⇒ SOCP (Second-order cone program)



1. LP vs SDP




LPの主問題，双対問題P min a0 · x s.t ap · x = bp (p = 1, . . . ,m), x ≥ 0.

D max∑m

p=1 bpyp s.t∑m

p=1 apyp + s = a0, s ≥ 0.

SDPの主問題，双対問題P min A0 • X s.t Ap • X = bp (p = 1, . . . ,m), X � O.

D max∑m

p=1 bpyp s.t∑m

p=1 Apyp + S = A0, S � O.

弱双対性LP : x · s = a0 · x −

∑m

j=1 bpyp ≥ 0 for ∀ feasible x, y, s.

SDP : X • S = A0 • X −m∑

j=1

bpyp ≥ 0 for ∀ feasible X, y, S.

0 ≤ X • S = S • X =(

A0 −∑m

p=1 Apyp

)

• X

= A0 • X −∑m

p=1(Ap • X)yp

= A0 • X −∑m

j=1 bpyp.


LPの主問題，双対問題P min a0 · x s.t ap · x = bp (p = 1, . . . ,m), x ≥ 0.

D max∑m

p=1 bpyp s.t∑m

p=1 apyp + s = a0, s ≥ 0.

SDPの主問題，双対問題P min A0 • X s.t Ap • X = bp (p = 1, . . . ,m), X � O.

D max∑m

p=1 bpyp s.t∑m

p=1 Apyp + S = A0, S � O.

強双対性　 ∃ feasible (x, y, s) (x ≥ 0, s ≥ 0) ⇒

LP : x · s = a0 · x −∑m

j=1 bpyp = 0 at ∀ optimal (x, y, s).

∃ interior feasible (X, y, S) (X ≻ O, S ≻ O) ⇒

SDP : X • S = A0 • X −m∑

j=1

bpyp = 0 at ∀ optimal (X, y, S).

強双対性のためには,“∃ interior feasible (X,y,S)”が必要! ⇒例— [73]


自由変数をもった等式標準形とその双対問題自由変数をもった等式標準形

P min A0 • X + dT0 z

sub.to Ap • X + dTp z = bp (p = 1, . . . ,m),

Sn ∋ X � O, z ∈ R

ℓ (自由変数).

ただし， dp ∈ Rℓ (p = 0, 1, . . . ,m).

m 双対等式条件付き LMI標準形

D maxm∑

p=1

bpyp

sub.to A0 −m∑

p=1

Apyp � O,

m∑

p=1

dpyp = d0.



1. LP vs SDP




既存の数値解法— NEOS Solver [57]内点法主双対スケーリング, CSDP(Borchers [10]),SDPA(Fujisawa et al. [17, 18, 76]),SDPT3(Toh-Todd-Tutuncu [69]), SeDuMi(Sturm [64])双対スケーリング, DSDP(Benson-Ye-Zhang [3])

非線形最適化に基づく方法Spectral bundle method(Helmberg-Rendl [24])Gradient-based log-barrier method(Burer-Monteiro [13])PENON(Kocvara [32]) — Generalized augmentedLagrangianSaddle point mirror-prox algorithm(Lu-Nemirovski-Monteiro [48])

中規模までの SDP (e.g. n, m ≤ 5000)，高精度大規模 SDP (e.g., n, m ≥ 10, 000)，低精度




•並列化:SDPA ⇒ SDPARA (Y-F-K [77]), SDPARA-C (N-Y-F-K [55]DSDP ⇒ PDSDP (Benson [2])CSDP ⇒ Borchers-Young [11]

Spectral bundle method ⇒ Nayakkankuppam [56]Introduction to SDP – p.37/113



Online SolverNEOS Solver — CSDP, SDPA, SDPT3, DSDP,

PENON, SeDuMiSDPA Online [18] — SDPA

その並列版SDPARA, SDPARA-CIntroduction to SDP – p.38/113


1. LP vs SDP



基本的な考え方線形計画問題に対する主双対内点法と同じ


P min A0 • X s.t. Ap • X = bp (∀p), X ∈ Sn+.

D max∑m

p=1 bpyp s.t.∑m

p=1 Apyp + S = A0, S ∈ Sn+.

中心パスを追跡→ an opt. sol. in the primal-dual space.

(X(µ), y(µ),S(µ))

0 ← µ

(X*, y*,S*)

中心パスの定義？中心パスの追跡法—参考文献 [82]



D max∑m

p=1 bpyp s.t.∑m

p=1 Apyp + S = A0, S ∈ Sn+.

対数 barrier付き主双対SDP, µ > 0.

P(µ) min A0 • X − µ log det X

s.t. Ap • X = bp (p = 1, . . . ,m), X ≻ O.

D(µ) max∑m

p=1 bpyp + µ log det S

s.t.∑m

p=1 Apyp + S = A0, S ≻ O.

− log det X : 境界に近づかないための対数 barrier項X ∈ the interior of Sn

+ ≡ {X ∈ Sn : X � O} ⇔ det X > 0.

X ∈ the boundary of Sn+ ⇔ det X = 0.



D max∑m

p=1 bpyp s.t.∑m

p=1 Apyp + S = A0, S ∈ Sn+.

対数 barrier付き主双対SDP, µ > 0.

P(µ) min A0 • X − µ log det X

s.t. Ap • X = bp (p = 1, . . . ,m), X ≻ O.

D(µ) max∑m

p=1 bpyp + µ log det S

s.t.∑m

p=1 Apyp + S = A0, S ≻ O.

C = {(X(µ), y(µ),S(µ)) : µ > 0} : 中心パス

(X(µ), y(µ),S(µ))

0 ← µ

(X*, y*,S*)

(X(µ), y(µ), S(µ)) ∈ C

m

Ap • X = bp (∀p), X ≻ 0,∑m

p=1 Apyp + S = A0, S ≻ 0,

XS = µI.


第２部多項式最適化問題への応用1. 多項式最適化問題 (POP)

2. 非負多項式と２乗和多項式 (SOS)3. 無制約多項式最適化問題

3-1. SOS緩和— Dual approach3-2. SOS緩和のSDPへの変換3-3. SDP緩和— Primal approach




SOS — Sum of SquaresIntroduction to SDP – p.43/113

POP: min f0(x) sub.to fj(x) ≥ 0 (j = 1, . . . ,m).

Rn : n-次元 Euclid空間，n-次元ベクトルの空間.

x = (x1, . . . , xn) ∈ Rn : ベクトル変数.

fj(x) : x ∈ Rn に関する n変数多項式 (j = 0, 1, . . . ,m).

例. n = 3

min f0(x) ≡ x31 − 2x1x

22 + x2

1x2x3 − 4x23

sub.to f1(x) ≡ −x21 + 5x2x3 + 1 ≥ 0,

f2(x) ≡ x21 − 3x1x2x3 + 2x3 + 2 ≥ 0,

f3(x) ≡ −x21 − x2

2 − x23 + 1 ≥ 0,

x1(x1 − 1) = 0 (0-1整数条件),

x2 ≥ 0, x3 ≥ 0, x2x3 = 0 (相補性条件).

多項式最適化問題の記述力は高い．非線形最適化+組合せ最適化での大域的最適化の数理モデル.



SDP緩和 (＝多項式２乗緩和)に対する２種類の approach

Primal approach Dual approach

POP ⇒ 一般化 Lagrange双対問題m 自明な不等式の追加双対 ⇓

Polynomial SDP ⇓ SOS緩和⇓ 線形化双対 ⇓

SDP(緩和) [41, 27] ⇔ SDP(緩和) [60, 61, 41]

[41] J.B.Lasserre, SIAM J. on Optimization, 11 (2001)796–817. [27] GloptiPoly.[60] P.A.Parrilo, Math. Prog., 96 (2003) 293–320.[61] SOSTOOLS.解説— [83]小島,システム／制御／情報 48 (2004) 477-482.[71] SparsePOP.







SDP(緩和) [41, 27] ⇔ SDP(緩和) [60, 61, 41]

主双対内点法を用いると，SDP, SDPを同時に解く．近似最適解は SDPから得られる．







SDP(緩和) [41, 27] ⇔ SDP(緩和) [60, 61, 41]

制約付きPOPでは，SDPの列，{SDPr}を生成．各 SDPr

はPOPの目的関数値の下界 ζr と近似最小解 xr を生成する．理論的には，比較的緩い条件の下で，ζr → POPの最適値，xr → POPの最適解．SDPrのサイズは急激に増大，発散する⇒実用上の困難．







SDP(緩和) [41, 27] ⇔ SDP(緩和) [60, 61, 41]

多項式の疎性の活用— Kim, Kojima, Muramatsu and Waki[30, 35, 72], SparsePOP [71], Lasserre [42].

多項式 SDPへの拡張— Kojima [33], Hol and Scherer [29],Henrion and Lasserre [27].

対称錐上の多項式多項式最適化問題への拡張— Kojma andMuramatsu [38, 39]


疎性を持った多項式 SDP-SOCP問題の例

min∑n

i=1 aixi

s.t.

(

1 0

0 1

)

+

(

bj cj

cj dj

)

xj +

(

1 1

1 1

)

xjxj+1

+

(

−2 1

1 −1

)

xj+1 � O,

(多項式行列不等式)

0.3(x3k + xn) + 1 − ‖(xk + βi, xn)‖ ≥ 0 (j, k = 1, . . . , n− 1),

(多項式２次錐不等式)

1 − x2p − x2

p+1 − x2n ≥ 0 (p = 1, . . . , n− 2).

ここで ai, bj , dj ∈ (−1, 0), cj, βj ∈ (0, 1)は乱数で定める．


第２部多項式最適化問題への応用

1. 多項式最適化問題2. 非負多項式と２乗和多項式 (SOS)

3. 無制約多項式最適化問題3-1. SOS緩和— Dual approach3-2. SOS緩和のSDPへの変換3-3. SDP緩和— Primal approach




SOS — Sum of SquaresIntroduction to SDP – p.50/113

f(x) : n変数非負多項式 ⇔ f(x) ≥ 0 (∀x ∈ Rn).

N : n変数非負多項式の集合.

n変数多項式 f(x) : SOS (Sum of Squares of Polynomials)m

f(x) : (複数個の) n変数多項式の２乗和，すなわち

∃有限本の n変数多項式 g1(x), . . . , gk(x); f(x) =k∑

i=1

gi(x)2.

Σ : SOSの集合. Σ2r ⊂ Σ : 高々 r 次の n変数多項式の２乗和.

例. n = 2. f(x) = (x21 − 2x2 + 1)2 + (3x1x2 + x2 − 4)2 ∈ Σ4.

例. n = 2. f(x1, x2) = (x1x2 − 1)2 + x21 ∈ Σ4.

inf{f(x1, x2) : (x1, x2) ∈ R2} = 0; 0 < x1 → 0, x2 = 1/x1,

6 ∃最小点Introduction to SDP – p.51/113

f(x) : n変数非負多項式 ⇔ f(x) ≥ 0 (∀x ∈ Rn).

N : n変数非負多項式の集合.

n変数多項式 f(x) : SOS (Sum of Squares of Polynomials)m

f(x) : (複数個の) n変数多項式の２乗和，すなわち

∃有限本の n変数多項式 g1(x), . . . , gk(x); f(x) =k∑

i=1

gi(x)2.

Σ : SOSの集合. Σ2r ⊂ Σ : 高々 r 次の n変数多項式の２乗和.

理論的には，Σ ⊂ N，Σ 6= N . ただし，f(x) 6∈ Σなるf(x) ∈ N は稀少．実用的上これを同一視 =⇒ SOS最適化,緩和.n = 1のときは，Σ = N . ∀n ≥ 1で，２次 n変数非負多項式の集合 = Σ2.







6. 数値計算結果7. おわりに Introduction to SDP – p.53/113

P: minx ∈ R

nf(x) (ただし f(x)は x ∈ R

n の 2r 次 n変数多項式)

!! 復習 !!



P ⇒ 双対問題m 自明な不等式の追加双対 ⇓


SDP(緩和) ⇔ SDP(緩和)


P: minx ∈ R



半無限計画 (Pの双対問題) m

P ’: max ζ sub.to f(x) − ζ ≥ 0 (∀x ∈ Rn)

m

f(x) − ζ ∈ N (n変数非負多項式の集合)

ここで，xは変数ではない！不等式を記述するインデックス.f(x)

x

ζζ *


P: minx ∈ R



半無限計画 (Pの双対問題) m

P ’: max ζ sub.to f(x) − ζ ≥ 0 (∀x ∈ Rn)

m

f(x) − ζ ∈ N (n変数非負多項式の集合)

Σ2r ⊂ Σ ⊂ N ⇓ P ′ の部分問題 = P の緩和P": max ζ

sub.to f(x) − ζ ∈ Σ2r (高々 r 次の n変数多項式の２乗和)

P の最小値 = P ′ の最大値 ≥ P”の最大値⇓

SDP(半正定値計画問題)に帰着f の次数 2r に対応して，SDP緩和問題が１つ作られる．SDP緩和問題の列が作られるのは制約付きPOPの場合．POPの (近似)最適解は，SDPの双対問題から得られる．


高々 r 次の n変数多項式の２乗和の集合

Σ2r ≡

{

k∑

i=1

gi(x)2 : k ≥ 1, gi(x)は高々 r 次の n変数多項式}

高々 r 次の n変数多項式の基底をなす単項式よりなるベクトルur(x)T = (1, x1, x2, . . . , xn, x

21, x1x2, x1x3, . . . , x

2n, . . . , x

r1, . . . , x

rn)T

とすると，任意の r 次の n変数多項式 g(x)は，g(x) = aT ur(x) for ∃a ∈ R

d(r)

と表現できる．ただし，d(r) ≡(

n+ r

r

)

は ur(x)の次元.

例: n = 2, r = 2

g(x1, x2) = 1 − 2x1 − 4x21 + 5x1x2 − 6x2

2

= (1, −2, 0, −4, 5,−6)(1, x1, x2, x21, x1x2, x

22)

T

= aT u2(x),


Σ2r ≡

{

k∑

i=1

gi(x)2 : k ≥ 1, gi(x)は高々 r 次}

=

{

k∑

i=1

(

aTi ur(x)

)2: k ≥ 1, ai ∈ R

d(r)

}

=

{

ur(x)T

(

k∑

i=1

aiaTi

)

ur(x) : k ≥ 1, ai ∈ Rd(r)

}

={

ur(x)TV ur(x) : V は d(r) × d(r)半正定値行列}

.


例１．高々 3次の 1変数多項式の２乗和の集合

Σ6 ≡

{

k∑

i=1

gi(x)2 : k ≥ 1, gi(x)は高々 3次}

=

1

x

x2

x3

T

V

1

x

x2

x3

: V は 4 × 4半正定値行列


例２．高々 2次の 2変数多項式の２乗和の集合

Σ4 ≡

{

k∑

i=1

gi(x)2 : k ≥ 1, gi(x)は高々 2次}

=

1

x1

x2

x21

x1x2

x22

T

V

1

x1

x2

x21

x1x2

x22

: V は 6 × 6半正定値行列


例３．SOS最適化 =⇒ SDP：f(x) = −11x+ 2x2 − 3x3 + 4x4

max ζ sub.to f(x) − ζ ∈ Σ4 (高々 2次の 1変数多項式の２乗和)

m

max ζ Sum of Squares

sub.to f(x) − ζ =

1

x

x2

T

V11 V12 V13

V12 V22 V23

V13 V23 V33

1

x

x2

3 × 3 V � O

m 等式の両辺での 1, x, x2, x3, x4 の係数が一致SDP (半正定値計画問題)

max ζ sub.to −ζ = V11, −11 = 2V12, 2 = 2V13 + V22,

−3 = 2V23, 4 = V33, V � O

一般には，等式条件は ζ と V の要素に関する線形方程式系．


例４．SOS最適化 =⇒ SDP：f(x) = −11x1 + 2x1x2 + 3x21 + 4x2

2

max ζ sub.to f(x) − ζ ∈ Σ2 (高々 1次の 2変数多項式の２乗和)

⇓

max ζ Sum of Squares

sub.to f(x) − ζ =

1

x1

x2

T

V11 V12 V13

V12 V22 V23

V13 V23 V33

1

x1

x2

3 × 3 V � O

m 等式の両辺での 1, x1, x2, x1x2, x21, x

22 の係数が一致

SDP (半正定値計画問題)max ζ sub.to −ζ = V11, −11 = 2V12, 0 = 2V13,

2 = 2V23, 3 = V22, 4 = V33,V � O

一般には，等式条件は ζ と V の要素に関する線形方程式系．


P: minx ∈ R



Polynomial SDP m 自明な不等式の追加P ’: min f(x) sub.to ur(x)ur(x)T � O (常に成り立つ条件)．

ur(x)T = (1, x1, x2, . . . , xn, x21, x1x2, x1x3, . . . , x

2n, . . . , x

r1, . . . , x

rn)T

m ur(x)ur(x)T を展開して書き直す

P”: min∑

α ∈ F

cαxα sub.to∑

α ∈ F

Gαxα � O．

cα ∈ R, Gα : ur(x)ur(x)T と同じサイズの行列，xα = xα1

1 · · · xαnn : 単項式．


u2(x)u2(x)T = (1 x1 x2)T (1 x1 x2)

=

1 x1 x2

x1 x21 x1x2

x2 x1x2 x22

=

1 0 0

0 0 0

0 0 0

x(0,0) +

0 1 0

1 0 0

0 0 0

x(1,0)

+

0 0 1

0 0 0

1 0 0

x(0,1) +

0 0 0

0 0 1

0 1 0

x(1,1)

+

0 0 0

0 1 0

0 0 0

x(2,0) +

0 0 0

0 0 0

0 0 1

x(0,2)


P: minx ∈ R



Polynomial SDP m 自明な不等式の追加P ’: min f(x) sub.to ur(x)ur(x)T � O (常に成り立つ条件)．

ur(x)T = (1, x1, x2, . . . , xn, x21, x1x2, x1x3, . . . , x

2n, . . . , x

r1, . . . , x

rn)T

m ur(x)ur(x)T を展開して書き直す

P”: min∑

α ∈ F

cαxα sub.to∑

α ∈ F

Gαxα � O．

線形化 ⇓各 xα を実数変数 yα で置き換える

SDP: min∑

α ∈ F

cαyα sub.to∑

α ∈ F

Gαyα � O．

x : Pの許容解⇒ x : P”の許容解⇒ yα = xα (α ∈ F) : SDPの許容解;目的関数値は同じ．ゆえに，SDPはPの緩和問題.x1 = y(1,0,...,0), . . . , xn = y(0,...,0,1) が Pの近似解.


例３のSDP緩和：f(x) = −11x+ 2x2 − 3x3 + 4x4 →最小化Polynomial SDP m 自明な不等式の追加

min f(x) = −11x+ 2x2 − 3x3 + 4x4

sub.to

1

x

x2

1

x

x2

T

≡

1 x x2

x x2 x3

x2 x3 x4

� O.

線形化 m 各 xα を yα で置き換えるmin −11y1 + 2y2 − 3y3 + 4y4

sub.to

1 0 0

0 0 0

0 0 0

+

0 1 0

1 0 0

0 0 0

y1 +

0 0 1

0 1 0

1 0 0

y2

+

0 0 0

0 0 1

0 1 0

y3 +

0 0 0

0 0 0

0 0 1

y4 � O.


P: minx ∈ R



!! 復習 !!

SDPはSOS緩和から導かれるSDPの双対問題．








!! 復習!!





SDP(緩和) [41, 27] ⇔ SDP(緩和) [60, 61, 41]

SDPの列，{SDPr}を生成．各 SDPrはPOPの目的関数値の下界 ζr と近似最小解 xr を生成する．理論的には，比較的緩い条件の下で，ζr → POPの最適値，xr → POPの最適解．


POP: min f0(x) s.t. x ∈ S ≡ {x ∈ Rn : fj(x)≥0 (j = 1, . . . ,m)}

!! 通常の Lagrange関数，Lagrange緩和 !!

Lagrange関数: L(x,w) = f0(x) − w1f1(x) · · · − wmfm(x).

ただし，w ∈ Rm+ ≡ {w = (w1, . . . , wm) ∈ R

m : wj ≥ 0}.Lagrange関数の性質： ∀w ∈ R

m+ に対して，

x ∈ S ⇒ fj(x) ≥ 0 (∀j) ⇒

L(x,w) = f0(x) − w1f1(x) · · · − wmfm(x)≤ f0(x)

Lagrange緩和問題： ∀w ∈ Rm+ を固定して， min

x ∈ RnL(x,w)

したがって， minx ∈ R

nL(x,w) ≤ min

x ∈ Sf0(x) (∀w ∈ R

m+ )

Lagrange双対問題： maxw ∈ R

m+

minx ∈ R

nL(x,w)

wj ≥ 0を ϕj(x) ∈ Σに⇒一般化 Lagrange緩和,双対問題Introduction to SDP – p.74/113


一般化 Lagrange関数:L(x, ϕ) = f0(x) − ϕ1(x)f1(x) · · · − ϕm(x)fm(x).ただし，ϕ(x) ∈ Σm ≡ {ϕ(x) = (ϕ1(x), . . . , ϕm(x)) : ϕj ∈ Σ}.

一般化 Lagrange緩和問題： minx ∈ R

nL(x, ϕ)

一般化 Lagrange関数の性質： ∀ϕ(x) ∈ Σm に対して，x ∈ S ⇒ fj(x) ≥ 0 (j = 1, . . . ,m) ⇒ L(x, ϕ) ≤ f0(x)

したがって， minx ∈ R

nL(x, ϕ) ≤ min

x ∈ Sf0(x) (∀ϕ(x) ∈ Σm)

一般化 Lagrange双対問題： maxϕ(x) ∈ Σm

minx ∈ R

nL(x, ϕ)

•適当な条件のもとで， maxϕ(x) ∈ Σm

minx ∈ R

nL(x, ϕ) = min

x ∈ Sf0(x)

• maxϕ(x) ∈ Σm

minx ∈ R

nL(x, ϕ)の近似⇒ SDP.





minx ∈ R

nL(x, ϕ)

部分問題： maxϕ(x) ∈ Σm

2r

minx ∈ R

nL(x, ϕ)

ただし，Σm2r = {ϕ(x) = (ϕ1(x), . . . , ϕm(x)) : ϕj(x) ∈ Σ2r}.

m

max ζ sub.to L(x, ϕ) − ζ ≥ 0, ϕ(x) ∈ Σm2r.

⇓

SOS緩和 r：max ζ sub.to L(x, ϕ)−ζ = ψ(x) ∈ Σ2ω, ϕ(x) ∈ Σm2r.

ただし，2ω は L(x, ϕ)の次数.





minx ∈ R

nL(x, ϕ)

⇓

SOS緩和 r：max ζ sub.to L(x, ϕ)−ζ = ψ(x) ∈ Σ2ω, ϕ(x) ∈ Σm2r.

ただし，Σm

2r = {ϕ(x) = (ϕ1(x), . . . , ϕm(x)) : ϕj(x) ∈ Σ2r} ,

2ω は L(x, ϕ)の次数

r ↑ ⇒精度 ↑, SOS緩和 rのサイズ ↑↑.さらに，ϕj(x) = ur(x)T V jur(x), V j � O,

ψ(x) = uω(x)T V m+1uω(x), V m+1 � O を代入⇒ SDPr.Introduction to SDP – p.77/113

SOS緩和の例min f0(x) = −11x+ 2x2 − 3x3 + 4x4 sub.to 1 − x2 ≥ 0.r = 1, ω = 2.

SOS緩和 r：max ζ sub.to L(x, ϕ)− ζ=ψ(x) ∈ Σ4, ϕ(x) ∈ Σ2×1.

L(x, ϕ) = f0(x) − ϕ(x)(1 − x2),

Σ2×1 =

{

(

1 x)

V 1

(

1 x)T

: V 1 � O

}

,

Σ4 =

{

(

1 x x2)

V 2

(

1 x x2)T

: V 2 � O

}

.

max ζ

sub.to f0(x) −(

1 x)

V 1

(

1 x)T

(1 − x2) − ζ

=(

1 x x2)

V 2

(

1 x x2)T

for ∀x ∈ R,

V 1 � O, V 2 � O.

=の両辺を比較⇒ SDPr.Introduction to SDP – p.78/113


⇓ r ≥ 0,2ω ≈ max{2r + degfj (j = 1, . . . ,m), degf0}

= 一般化 Lagrange関数の次数Poly. SDPr: min f0(x)

sub.to ur(x)ur(x)Tfj(x) � O (j = 1, . . . ,m),

uω(x)uω(x)T � O.

ur(x)T = (1, x1, x2, . . . , xn, x21, x1x2, x1x3, . . . , x

2n, . . . , x

r1, . . . , x

rn)T

m ur(x)ur(x)Tfj(x), uω(x)uω(x)T を展開して書き直す

min∑

α ∈ F

cαxα sub.to∑

α ∈ F

Gjαxα � O,∑

α ∈ F

Hαxα � O.

線形化 ⇓各 xα を実数変数 yα で置き換える ⇒ SDP

min∑

α ∈ F

cαyα sub.to∑

α ∈ F

Gjαyα � O,∑

α ∈ F

Hαyα � O.



緩和の精度を決めるパラメータ rについてSOS緩和 r：max ζ sub.to L(x, ϕ)−ζ = ψ(x) ∈ Σ2ω, ϕ(x) ∈ Σm

2r.

ただし，Σm2r = {ϕ(x) = (ϕ1(x), . . . , ϕm(x)) : ϕj(x) ∈ Σ2r}.

SDP緩和 r —以下の問題の展開・線形化Poly. SDPr: min f0(x)

sub.to ur(x)ur(x)Tfj(x) � O (j = 1, . . . ,m),

uω(x)uω(x)T � O.

ur(x)T = (1, x1, x2, . . . , xn, x21, x1x2, x1x3, . . . , x

2n, . . . , x

r1, . . . , x

rn)T

rをすべての j に共通にとったが，SOS緩和 r，Poly. SDPr

の多項式次数のバランスをとるため，fj(x)の次数に依存:ωmax = max{⌈deg fj(x)/2⌉ : j = 0, 1, . . . ,m},

ω ≥ ωmax, rj = ω − ⌈deg fj(x)/2⌉ (j = 1, . . . ,m).

ω がPoly. SDPω, SOS緩和ωのサイズとPOPの近似解の精度を決める—最大で次数 2ωの SOSを使用．



複数個の最適解をもつ場合について

これまで述べた方法で，最適値は近似できるが，最適解は近似出来ない．Gloptipoly [27]最適解が有限個である場合には，Henrionand Lassere [28]の方法を使ってすべての最適解を近似計算出来るが，規模の大きい問題に対してはコストが高い．SparsePOP [71]目的関数に微小な線形関数を加えて最適解を１つにする;目的関数を

f0(x) + ǫn∑

i=1

pixi

で置き換える．ただし，pi ∈ [0, 1]は乱数，ǫは微小な正数，例えば ǫ =1.e-4.


P: minx ∈ R



!! 復習 !!






多項式の疎性の活用— Kim, Kojima, Muramatsu and Waki[30, 35, 72], SparsePOP [71], Lasserre [42].


例題: 一般化した Rosenbrock関数の最小化f(x) =

∑n

i=2

(

100(xi − x2i−1)

2 + (1 − xi)2)

.

SOS緩和max ζ

s.t. f(x) − ζ ∈ (SOS of deg-2. poly. in x1, . . . , xn)

SOS緩和のサイズ x1, . . . , xn の高々4次の単項式の種類 =(n+4)C4; n ≥ 20の問題は解くことが困難.目的関数 f(x)の Hesse行列は sparse Cholesky分解可能!

sparse SOS緩和max ζ

s.t. f(x) − ζ ∈∑n

i=2 (SOS of deg-2. poly. in xi−1, xi)

sparse SOS緩和のサイズ ≤ “2変数の高々4次の単項式の種類” ×(n− 1) = 15(n− 1).f(x)の Hesse行列は３重対角；sparse Cholesky分解可能.

=⇒一般化Introduction to SDP – p.86/113

P: minx ∈ R



Hf : f(x)の Hessian行列の疎パターンHf ij = ⋆ if i = j or ∂2f(x)/∂xi∂xj 6≡ 0, 0 otherwise.

f(x) : c-sparse ⇔ Hf が sparse Cholesky分解可能.

例. f(x) = x41 + 2x2

1x22 − x2x3 + x4

3 − 3x3x24 + x4

4 − x4x5 + x65.

R =

⋆ ⋆ 0 0 0

⋆ ⋆ ⋆ 0 0

0 ⋆ ⋆ ⋆ 0

0 0 ⋆ ⋆ ⋆

0 0 0 ⋆ ⋆

= LLT , L =

⋆ 0 0 0 0

⋆ ⋆ 0 0 0

0 ⋆ ⋆ 0 0

0 0 ⋆ ⋆ 0

0 0 0 ⋆ ⋆

.

この Cholesky分解では fill-inが起きない．


P: minx ∈ R





(a) sparse Cholesky分解は chordal graph G(N,E)で特徴付けられる; N = {1, . . . , n}, E = {(i, j) : Hf ij = ⋆} + “fill-in”.

chordal ⇔ 4本以上の edgeからなる ∀サイクルは chordをもつ．

R =

⋆ ⋆ 0 0 0

⋆ ⋆ ⋆ 0 0

0 ⋆ ⋆ ⋆ 0

0 0 ⋆ ⋆ ⋆

0 0 0 ⋆ ⋆

chordal

1

2 3 4

5

C1 = {i, i+ 1} (i = 1, . . . , 4)—最大クリーク族


P: minx ∈ R







R =

⋆ ⋆ 0 0 0

⋆ ⋆ ⋆ 0 ⋆

0 ⋆ ⋆ ⋆ 0

0 0 ⋆ ⋆ ⋆

0 ⋆ 0 ⋆ ⋆

chordalでない

1

2 3 4

5


P: minx ∈ R







R =

⋆ ⋆ 0 0 0

⋆ ⋆ ⋆ 0 ⋆

0 ⋆ ⋆ ⋆ ⋆

0 0 ⋆ ⋆ ⋆

0 ⋆ ⋆ ⋆ ⋆

a chordal extension

1

2 3 4

5C1 = {1, 2}, C2 = {2, 3, 5},C3 = {3, 4, 5} —最大クリーク族


P: minx ∈ R






(b) C1, C2, . . . , Cq ⊂ N を G(N,E)の最大クリークの族とする.


s.t. f(x) − ζ ∈∑q

k=1 (SOS of polynomials in xi (i ∈ Ck))


例題: 一般化した Rosenbrock関数の最小化—再出f(x) =

∑n

i=2

(

100(xi − x2i−1)

2 + (1 − xi)2)

, deg f = 2ω, ω = 2.

f(x)のHesse行列の疎パターン行列Hf は３重対角で，対応する chordal graphは

1 2 n-1 n

Ci = {i− 1, i} (i = 2, . . . , n} : 最大クリーク族


s.t. f(x) − ζ ∈n∑

i=2

(SOS of deg-ω. poly. in xi−1, xi)


例題: さらに一般化した Rosenbrock関数の最小化f(x) =

∑n

i=2

(

100(xi − x2i−1)

2 + (1 − xi + xn)2)

.

f(x)のHesse行列の疎パターン行列Hf は３重対角で，対応する chordal graphは

1 2 n-1

n

Ci = {i− 1, i, n} (i = 2, . . . , n− 1} : 最大クリーク族


s.t. f(x) − ζ ∈n−1∑

i=2

(SOS of deg-2. poly. in xi−1, xi, xn)


POP: min f0(x) s.t. fj(xIj)≥0 (j = 1, . . . ,m). Dual approach

仮定 f0 : c-sparse, i.e., Hf0 が sparse Cholesky分解可能,fj : xi (i ∈ Ij ⊂ {1, . . . , n})のみの関数.

⇓ 一般化 Lagrange関数 L(x, ϕ)が c-sparseになるように構成

例: min f0(x) =∑4

i=1(−x3i )

s.t. fj(xj, x4) = −j × x2j − x2

4 + 1 ≥ 0 (j = 1, 2, 3).

L(x, ϕ) = f0(x) −∑4

j=1 ϕj(xj, x4)fj(xj, x4)

Hesse行列の疎パターンR =

⋆ 0 0 ⋆

0 ⋆ 0 ⋆

0 0 ⋆ ⋆

⋆ ⋆ ⋆ ⋆


POP: min f0(x) s.t. fj(xIj)≥0 (j = 1, . . . ,m). Dual approach

仮定 f0 : c-sparse, i.e., Hf0 が sparse Cholesky分解可能,fj : xi (i ∈ Ij ⊂ {1, . . . , n})のみの関数.

⇓ 一般化 Lagrange関数 L(x, ϕ)が c-sparseになるように構成

L(x, φ) = f0(x) −∑m

j=1 ϕj(xIj)fj(xIj

).

ここで，ϕj ∈ ΣIj

2rj≡ “xi (i ∈ IJ)の高々rj次の多項式の２乗和”.

sparse SOS緩和ω — Dual approach：max ζ

s.t. L(x, ϕ) − ζ ∈q∑

i=1

“SOS of poly.(deg ≤ ω) in xi (i ∈ Ck)”

ϕj ∈ ΣIj

2r (j = 1, . . . ,m).

ただし，ω = ⌈deg L(x, ϕ)/2⌉.Introduction to SDP – p.96/113

例: min f0(x) =∑4

i=1(−x3i )

s.t. fj(xj, x4) = −j × x2j − x2

4 + 1 ≥ 0 (j = 1, 2, 3).

ω = 2 ≥ ⌈{max{deg fj(x)/2 (j = 0, 1, . . . , 3)}⌉, rj = 1

L(x, ϕ) = f0(x) −∑3

j=1

1

xj

x4

T

V j

1

xj

x4

fj(xj, x4)

sparse SOS緩和ω — Dual approach：max ζ

s.t. L(x, ϕ) − ζ ∈3∑

i=1

1

xi

x4

x2i

xix4

x24

T

W j

1

xi

x4

x2i

xix4

x24

(∀x),

V j � O,W j � O (j = 1, 2, 3).Introduction to SDP – p.97/113

例: min f0(x) =∑4

i=1(−x3i )

s.t. fj(xj, x4) = −j × x2j − x2

4 + 1 ≥ 0 (j = 1, 2, 3).

ω = 2 ≥ ⌈{max{deg fj(x)/2 (j = 0, 1, . . . , 3)}⌉, rj = 1

sparse SDP緩和ω — Primal approach : 以下の展開・線形化：min f0(x)

s.t.

1

xj

x4

1

xj

x4

T

fj(xj, x4) � O (j = 1, 2, 3),

1

xi

x4

x2i

xix4

x24

1

xi

x4

x2i

xix4

x24

T

� O (i = 1, 2, 3).


ソフトウェアSparsePOP (Waki-Kim-Kojima-Muramatsu [71])— MATLAB, dense and sparse SDP緩和SeDuMi — SDPの主双対内点法

ハードウェアCPU — 2 x 2.66GHz Intel Xeon,主記憶— 4.0GB

記号： ω = 2 ⇒使われた次数最大の自乗和多項式Σ2ω.

ǫobj =|最適値の下界値−近似最適値 |

max{1, |最適値の下界値 |},

ǫfeas =等号，不等号条件での最大誤差.


一般化 Rosenbrock関数の最小化

f(x) =∑n

i=2

(

100(xi − x2i−1)

2 + (1 − xi)2)

, deg f = 2ω, ω = 2.

計算時間，秒n ǫobj Sparse Dense

4 4.5e-7 0.1 0.18 8.8e-7 0.1 0.8

16 4.0e-7 0.1 996.3200 1.2e-5 1.4 —400 2.3e-5 2.7 —800 6.7e-5 5.3 —


max{1, |最適値の下界値 |}.


Chained Singular関数の最小化

f(x) =∑

i∈J ((xi + 10xi+1)2 + 5(xi+2 − xi+3)

2

+(xi+1 − 2xi+2)4 + 10(xi − 10xi+3)

4) , deg f = 2ω, ω = 2.

J = {1, 3, 5, . . . , n− 3}

計算時間，秒n ǫobj Sparse Dense

4 1.4e-7 0.1 0.28 1.0e-7 0.2 1.7

16 3.9e-8 0.3 1526.8200 4.2e-8 3.9 —400 8.4e-8 7.9 —800 4.4e-8 17.4 —


max{1, |最適値の下界値 |}.


Global Library [21]からのテスト問題 67題変数の個数 ≤ 20,ほとんどの問題で，2次目的関数，2次等式，2次不等式条件．各変数の下界値，上界値を強化.

dense SDP緩和で近似解が得られた問題は 66/67.

sparse SDP緩和で近似解が得られた問題は 66/67;解けなかった問題は異なる．ほとんどの問題で sparse SDP緩和が速い．いくつかの問題では圧倒的に速い．

記号： ω = 2 ⇒使われた次数最大の自乗和多項式Σ2ω.



ǫfeas =等号，不等号条件での最大誤差.


ex5_4_2.gms — Global Library [21]のテスト問題min x1 + x2 + x3

sub.to x4 + x6 ≤ 400, −x4 + x5 + x7 ≤ 300,

−x5 + x8 ≤ 100, x1 − x1x6 + 833.33x4 ≤ 83333.33,

x2x4 − x2x7 − 1250x4 + 1250x5 ≤ 0,

x3x5 − x3x8 − 2500x5 ≤ −1250000,

lbdi ≤ xi ≤ ubdi (i = 1, 2, . . . , 8).

ω ⇒使われた次数最大の自乗和多項式Σ2ω.

Sparse Dense (Lasserre)

ω ǫobj ǫfeas 秒 ǫobj ǫfeas 秒2 4.9e-10 4.5e5 0.2 2.3e-10 4.4e5 0.9

3 2.2e-9 6.4e-03 0.99 2.0e-11 2.0e-2 143.0


alkyl.gms — Global Library [21]のテスト問題min −6.3x5x8 + 5.04x2 + 0.35x3 + x4 + 3.36x6

sub.to −0.820x2 + x5 − 0.820x6 = 0,

0.98x4 − x7(0.01x5x10 + x4) = 0,

−x2x9 + 10x3 + x6 = 0,

x5x12 − x2(1.12 + 0.132x9 − 0.0067x29) = 0,

x8x13 − 0.01x9(1.098 − 0.038x9) − 0.325x7 = 0.574,

x10x14 + 22.2x11 = 35.82, x1x11 − 3x8 = −1.33,

lbdi ≤ xi ≤ ubdi (i = 1, 2, . . . , 14).



ω ǫobj ǫfeas 秒 ǫobj ǫfeas 秒2 1.3e-2 7.6e-1 0.5 6.6e-3 7.1e-1 25.7

3 1.8e-9 9.6e-9 4.2 out of memory


ex5_2_2_case1 — Global Library [21]のテスト問題min −9x1 − 15x2 + 6x3 + 16x4 + 10x5 + 10x6

sub.to −x3 − x4 + x8 + x9 = 0, x1 − x5 − x8 = 0,

x2 − x6 − x9 = 0, x7x8 − 2.5x1 + 2x5 ≤ 0,

x7x9 − 1.5x2 + 2x6 ≤ 0,

x7x8 + x7x9 − 3x3 − x4 = 0,

lbdi ≤ xi ≤ ubdi (i = 1, 2, . . . , 9).



ω ǫobj ǫfeas 秒 ǫobj ǫfeas 秒2 8.8e-4 1.8e+2 1.3 4.6e-7 1.3e-2 1.1

3 9.3e-7 8.3e-2 6.7 2.8e-10 6.9e-3 456.5


最適制御問題 [14]に対する sparse SDP緩和

min1

M

M−1∑

i=1

(

y2i + x2

i

)

s.t. yi+1 = yi +1

M(y2

i − xi), (i = 1, . . . ,M − 1), y1 = 1.

ω = 2 ⇒使われた次数最大の自乗和多項式Σ2ω.

M 変数の個数 ǫobj ǫfeas 秒600 1198 3.4e-08 2.2e-10 3.4800 1598 5.9e-08 1.6e-10 3.8

1000 1998 6.3e-08 2.7e-10 5.0



ǫfeas =等号条件での最大誤差.


微分代数方程式dy1(t)

dt= y3(t), y2(t)(1 − y2(t)) = 0,

y1(t)y2(t) + (1 − y2(t))y3(t) − t = 0, y1(0) = y01 (初期条件).

y1, y2, y3 : [0, 2] → R : 未知関数, t : 独立変数既知な２つの解: y(t) = (t, 1, 1), y(t) = (y0

1 + t2, 0, t)

⇓離散化 (∆t = 0.02)＋目的関数

多項式最適化問題 (n = 297)

ω = 2 ⇒使われた次数最大の自乗和多項式Σ2ω.

y01 目的関数 relax. order r 秒0∑

y2(ti) ↑ 2 30.91∑

y1(ti) ↑ 2 33.9


0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

既知な解の１つ　 y(t) = (t, 1, 1),を近似Introduction to SDP – p.109/113

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.5

1

1.5

2

2.5

3

既知な解の１つ　 y(t) = (y01 + t2, 0, t)を近似


(a) Lasserre’s SDP緩和 [41]—理論的な収束，しかし，実用上は膨大な計算量が必要

(b) Sparse SDP緩和 [36, 30, 72]= Lasserre’s SDP緩和 + sparsity—少ない計算量，より大きなPOP,理論的な収束 [42]

(c) (Sparse) SDP緩和を解く際の数値的な安定性(d) 大規模POP ⇒大規模 (Sparse) SDP緩和

⇒より大規模なSDPの解法，並列計算(e) 応用

多項式SDP [27, 29, 33, 38, 39]—システムと制御への応用確率過程，確率を含んだ最適化問題[6, 7, 8, 44, 45, 46, 84]偏微分方程式，微分代数方程式，最適制御 [42, 50]


References

[1] F. Alizadeh, J.-P.A. Haeberly and M.L. Overton, Primal-dual interior-point methods for semidefiniteprogramming: convergence rates, stability and numerical results, SIAM J. on Optim., 8 (1998) 746–768.

[2] S. J. Benson, Parallel Computing on Semidefinite Programs, Preprint ANL/MCS-P939-0302,http://www.msc.anl.gov/∼benson/dsdp/pdsdp.ps (2002).

[3] S. J. Benson, Y. Ye and X. Zhang, Solving large-scale sparse semidefinite programs for combinatorialoptimization, SIAM J. on Optim, 10 (2000) 443–461.

[4] A. Ben-Tal and A. Nemirovski, Robust convex optimization, Math. of Oper. Res., 23 (1998) 769–805.

[5] A. Ben-Tal, M. Kocava, A. Nemirovski, and J. Zowe, Free material optimization via semidefiniteprogramming: the multiload case with contact conditions, SIAM J. on Optim., 9 (1999) 813–832.

[6] D. Bertsimas, K. Natara jan, and C.P. Teo, Probabilistic combinatorial optimization: Moments,semidefinite programming, and asymptotic bounds, SIAM J. on Optim, 15 (2004) 185?209.

[7] D. Bertsimas and I. Popescu, On the relation between option and stock prices: A convex optimizationapproach, Operations Research, 50 (2002) 358?374.

[8] D. Bertsimas and J. Sethuraman, Moment problems and semidefinite programming, in Semidefiniteprogramming, H. Wolkowicz, R. Saigal and L. Vandenberghe, eds., 469–509, 2000.

[9] B. Borchers, SDPLIB (SDP test problems), http://infohost.nmt.edu/∼borchers/sdplib.html.

[10] B. Borchers, CSDP 2.3 user’s guide, Optimization Methods and Software, 11 & 12 (1999) 597–611.Available at http://www.nmt.edu/˜borchers/csdp.html.

[11] B. Borchers and J. Young, Implementation of a primal-dual method for SDP on a parallel architecture,Dept. of Mathematics, New Mexico Tech, Socorro, NM 87801, September 2005.

1

[12] S. Boyd, L. El Ghaui, E. Feron and V. Balakrishnan, Linear Matrix Inequalities in System and ControlTheory, SIAM, Philadelphia, 1994.

[13] S. Burer and R.D.C. Monteiro, A nonlinear programming algorithm for solving semidefinite programsvia low-rank factorization, Math. Prog., 95 (2003) 329–357.

[14] T. F. Coleman and A. Liao, An efficient trust region method for unconstrained discrete-time optimalcontrol problems, Comput. Optim. Appl., 4 (1995) 47–66.

[15] L. Faybusovich, Linear systems in Jordan algebra and primal-dual interior-point algorithms, Journalof Computational and Applied Mathematics, 86 (1997) 149–75.

[16] K. Fujisawa, M. Kojima and K. Nakata, Exploiting sparsity in primal-dual interior-point methods forsemidefinite programming, Math. Prog., 79 (1997) 235–253.

[17] K. Fujisawa, M. Fukuda, M. Kojima and K. Nakata, Numerical evaluation of SDPA (SemiDefiniteProgramming Algorithm), in: H. Frenk, K. Roos, T. Terlaky and S. Zhang eds., High PerformanceOptimization, (Kluwer Academic Press, 2000) 267–301.

[18] K. Fujisawa, M.Fukuda, Y.Futakata, K.Kobayashi, M.Kojima, K.Nakata, M.Nakata, M.Yamashita,SDPA Online Homepage, http://homepage.mac.com/klabtitech/sdpa-homepage/

[19] M. Fukuda, M. Kojima, K. Murota and K. Nakata, Exploiting sparsity in semidefinite programmingvia matrix completion I: General framework, SIAM J. on Optim., 11 (2000) 647–674.

[20] M. Fukuda, B.J. Braams, M. Nakata, M.L. Overton, J.K. Percus,M. Yamashita and Z. Zhao, Large-scalesemidefinite programs in electronic structure calculation, B-413, Dept. of Math. and Comp. Sciences,Tokyo Inst. of Tech., Meguro, Tokyo 152-8552, Feb. 2005.

[21] Global Library, http://www.gamsworld.org/global/globallib.htm.

[22] M. X. Goemans and D. P. Williamson, Improved approximation algorithms for maximum cut andsatisfiability problems using semidefinite programming, Journal of the ACM, 42 (1995) 1115–1145.

2

[23] C. Helmberg, SDP home page, http://www-user.tu-chemnitz.de/∼helmberg/semidef.html

[24] C. Helmberg and F. Rendl, A spectral bundle method for semidefinite programming, SIAM J. onOptim., 10 (2000) 673–696.

[25] C. Helmberg, F. Rendl, R. J. Vanderbei and H. Wolkowicz, An interior-point method for semidefiniteprogramming, SIAM J. on Optim., 6 (1996) 342–361.

[26] D. Henrion and J.-B. Lasserre, GloptiPoly: Global optimization over polynomials with Matlab andSeDuMi, ACM Trans. Math. Software, 29 (2003) 165–194.

[27] D. Henrion and J. B. Lasserre, Convergent relaxations of polynomial matrix inequalities and staticoutput feedback, IEEE Transactions on Automatic Control, 51 (2006) 192–202.

[28] D. Henrion and J.-B. Lasserre, Detecting global optimality and extracting solutions in Glop- tiPoly,in Positive Polynomials in Control, D. Henrion and A. Garulli, eds., Lecture Notes in Control andInform. Sci. 312, Springer-Verlag, Berlin, 2005, pp. 293?310.

[29] C. W. J. Hol and C. W. Scherer, Sum of squares relaxations for polynomial semidefinite programming,Proc. Symp. on Mathematical Theory of Networks and Systems (MTNS), Leuven, Belgium, 2004.

[30] S. Kim, M. Kojima and H. Waki, Generalized Lagrangian Duals and Sums of Squares Relaxations ofSparse Polynomial Optimization Problems, SIAM J. on Optim., 15 (2005) 697–719.

[31] E. de. Klerk, T. Terlaky and K. Roos, Self-dual embeddings, in H. Wolkowicz, R. Saigal and L. Vanden-berghe, eds., Handbook of Semidefinite Programming, Theory, Algorithms, and Applications, KluwerAcademic Publishers, Massachusetts (2000).

[32] M. Kockvara, http://www2.am.uni-erlangen.de/∼kocvara/pennon/

[33] M. Kojima, Sums of Squares Relaxations of Polynomial Semidefinite Programs, B-397, Dept. of Math.and Comp. Science, Tokyo Institute of Technology, Meguro, Tokyo 152-8552, November 2003.

3

[34] M. Kojima, Tutorial lectures “Introduction to semidefinite programs, Semidefinite Programming andIts Applications”, Singapore, January 9-13, 2006. http://www.is.titech.ac.jp/∼kojima/talkJ.html

[35] M. Kojima, S. Kim and H. Waki, A general framework for convex relaxation of polynomial optimizationproblems over cones, Journal of Operations Research Society of Japan, 46 (2003) 125–144.

[36] M. Kojima, S. Kim and H. Waki, Sparsity in Sums of Squares of Polynomials, Math. Prog. 103 (2005)45–62.

[37] M. Kojima, S. Shindoh and S. Hara, Interior-point methods for the monotone semidefinite linearcomplementarity problem in symmetric matrices, SIAM J. on Optim., 7 (1997) 86–125.

[38] M. Kojima and M. Muramatsu, An Extension of Sums of Squares Relaxations to Polynomial Opti-mization Problems over Symmetric Cones, Math. Prog., 110 (2007) 315–336.

[39] M. Kojima and M. Muramatsu, A Note on Sparse SOS and SDP Relaxations for Polynomial Opti-mization Problems over Symmetric Cones, Computational Optimization and Applications, to appear.

[40] M. Kojima, M. Shida and S. Shindoh, Local convergence of predictor-corrector infeasible-interior-pointalgorithms for SDPs and SDLCPs, Math. Prog., 80 (1998) 129–161.

[41] J. B. Lasserre, Global optimization with polynomials and the problems of moments, SIAM J. onOptim., 11 (2001) 796–817.

[42] J. B. Lasserre, Convergent Semidefinite Relaxation in Polynomial Optimization with Sparsity, SIAMJ. on Optim., to appear.

[43] J. B. Lasserre, D. Henrion, C. Prieur, E. Tr?lat, Nonlinear optimal control via occupation measuresand LMI-relaxations, to be registered as a LAAS-CNRS report, March 2007.

[44] J. B. Lasserre and T. Prieto-Rumeau, SDP vs. LP Relaxations for the moment approach in someperformance evaluation problems, Stochastic Models, 20 (2004) 439–456.

4

[45] J.B. Lasserre and T.P. Rumeau, SDP vs. LP relaxations for the moment approach in some performanceevaluation problems, Stochastic Models, 19 (2003) 1?27.

[46] J.B. Lasserre, T.P. Rumeau and M. Zervos, Pricing a class of exotic options via moments and SDPrelaxations, Mathematical Finance, 16 (2006) 469?494.

[47] L. Lovasz and A. Schrijver, Cones of matrices and set-functions and 0-1 optimization, SIAM J. onOptim., 1 (1991) 166–190.

[48] Z. Lu, A. Nemirovski and R.D.C. Monteiro. Large-Scale Semidefinite Programming via Saddle PointMirror-Prox Algorithm, Technical report, School of Industrial and Systems Engineering, Georgia In-stitute of Technology, Atlanta, Georgia 30332, USA, November, 2004.

[49] Z.-Q. Luo, J. F. Sturm and S. Zhang, Conic convex programming and self-dual embedding, OptimizationMethods and Software, 14 (2000) 169–218.

[50] M. Mevissen, M. Kojima, J. Nie and N. Takayama, Solving partial differential equations via sparse SDPrelaxations, B-442, Dept. of Math. and Comp. Sciences, Tokyo Institute of Technology, Oh-Okayama,Meguro, Tokyo 152-8552, June 2007.

[51] R. D. C. Monteiro, Primal-dual path-following algorithms for semidefinite programming, SIAM J. onOptim., 7 (1997) 663–678.

[52] R. D. C. Monteiro and Y. Zhang, A unified analysis for a class of a new family of primal-dual interior-point algorithms for semidefinite programming, Math. Prog., 81 (1998) 281–299.

[53] R.D.C. Monteiro, First- and second-order methods for semidefinite programming, Math. Prog., 97(2003) 209–244.

[54] K. Nakata, K. Fujisawa, M. Fukuda, M. Kojima and K. Murota, Exploiting sparsity in semidefiniteprogramming via matrix completion II: Implementation and numerical results, Math. Prog., 95 (2003)303–327.

5

[55] K. Nakata, M. Yamashita, K. Fujisawa and M. Kojima, A parallel primal-dual interior-point methodfor semidefinite programs using positive definite matrix completion, Parallel Computing, 32 (2006)24–43.

[56] M. V. Nayakkankuppam. Solving Large-Scale Semidefinite Programs in Parallel, Technical Report,Department of Mathematics and Statistics, University of Maryland, Baltimore County, March 2005.

[57] NEOS Solver, http://neos.mcs.anl.gov/neos/solvers/index.html

[58] Yu. E. Nesterov and A. Nemirovski, Interior Point Polynomial Algorithms in Convex Programming,SIAM Publication, Philadelphia, 1994.

[59] Yu. E. Nesterov and M. J. Todd, Primal-dual interior-point methods for self-scaled cones, SIAM J.on Optim., 8 (1998) 324–364.

[60] P. A. Parrilo, Semidefinite programming relaxations for semialgebraic problems’, Math. Prog., 96(2003) 293–320.

[61] S. Prajna, A. Papachristodoulou, and P. A. Parrilo, SOSTOOLS: Sum of Squares Optimization Toolboxfor MATLAB—User’s Guide, Control and Dynamical Systems, California Institute of Technology,Pasadena, CA, 2002; available online from http://www.mit.edu/∼parrilo/sostools/.

[62] M. Putinar, Positive polynomials on compact semi-algebraic sets, Indiana University MathematicsJournal, 42 (1993) 969–984.

[63] S. Schmieta and F. Alizadeh, Associative and Jordan algebras, and polynomial time interior-pointalgorithms for symmetric cones, Mathematics of Operations Research, 26 (2001) 543–564.

[64] J. F. Sturm, Using SeDuMi 1.02, a MATLAB toolbox for optimization over symmetric cones, Opti-mization Methods and Software, 11 & 12 (1999) 625–653.

[65] M. J. Todd, A study of search directions in primal-dual interior-point methods for semidefinite pro-gramming, Optimization Methods and Software, 11 & 12 (199) 1–46.

6

[66] M. J. Todd, Semidefinite optimization, Acta Numerical 10 (2001) 515–560.

[67] K. C. Toh, Solving large scale semidefinite programs via an iterative solver on the augmented systems,SIAM J. on Optim., 14 (2004) 670–698.

[68] K.C. Toh and M. Kojima, Solving some large scale semidefinite programs via the conjugate residualmethod, SIAM J. on Optim., 12 (2002) 669–691.

[69] K. C. Toh, M. J. Todd and R. H. Tutuncu, SDPT3 — a MATLAB software package for semidefiniteprogramming, version 1.3, Optimization Methods and Software, 11 & 12 (1999) 545–581. Available athttp://www.math.nus.edu.sg/˜mattohkc.

[70] L. Tuncel, Potential reduction and primal-dual methods, in H. Wolkowicz, R. Saigal and L. Vanden-berghe, eds., Handbook of Semidefinite Programming, Theory, Algorithms, and Applications, KluwerAcademic Publishers, Massachusetts (2000).

[71] H. Waki, S. Kim, M. Kojima and M. Muramatsu, SparsePOP : a Sparse Semidefinite ProgrammingRelaxation of Polynomial Optimization Problems, B-414, Dept. of Math. and Comp. Sciences, TokyoInstitute of Technology, Meguro, Tokyo, 152-8552, Japan, March 2005, Revised June 2007.

[72] H. Waki, S. Kim, M. Kojima and M. Muramatsu, Sums of squares and semidefinite programmingrelaxations for polynomial optimization problems with structured sparsity, SIAM J. on Optim., 17(2006) 218–242.

[73] L. Vandenberghe and S. Boyd, Semidefinite Programming, SIAM Review 38 (1996) 49–95.

[74] H. Wolkowicz, R. Saigal and L. Vandenberghe, eds., Handbook of Semidefinite Programming, Theory,Algorithms, and Applications, Kluwer Academic Publishers, Massachusetts (2000).

[75] H. Wolkowicz, http://liinwww.ira.uka.de/bibliography/Math/psd.html

[76] M. Yamashita, K. Fujisawa and M. Kojima, Implementation and Evaluation of SDPA6.0 (SemiDefiniteProgramming Algorithm 6.0), Optimization Methods and Software, 18 (2003) 491–505.

7

[77] M. Yamashita, K. Fujisawa and M. Kojima, SDPARA: SemiDefinte Programming Algorithm Parallelversion, Parallel Computing, 29 (2003) 1053–1067.

[78] Y. Ye and K. Anstreicher, On quadratic an dO(nL) convergence of a predictor-corrector algorithm forLCP, Math. Prog., 62 (1993) 537–551.

[79] Z. Zhao, B.J. Braams, M. Fukuda, M.L. Overton and J.K. Percus, The reduced density matrix methodfor electronic structure calculations and the role of three-index representability, The Journal of Chem-ical Physics, 120 (2004) 2095–2104.

[80] 小島政和, 半正定値計画問題と内点法, 応用数理, 6 (1996) 270–279.

[81] 小島政和, 半正定値計画の組み合わせ最適化への応用に向けて，オペレーションズ・リサーチ, 40 (1997) 216–221.

[82] 小島政和, 土谷隆, 水野眞治, 矢部博, 内点法, 朝倉書店, 2001.

[83] 小島政和, 脇隼人, 多項式最適化問題に対する半正定値計画緩和, システム／制御／情報, 48 (2004) 477–482.

[84] K. Suzuki, N. Miyoshi and M. Kojima, 拡散過程の生存確率に対する半正定値計画を用いた数値計算手法, B-438,Dept. of Math. and Comp. Sciences, Tokyo Institute of Technology, Meguro, Tokyo, 152-8552, Japan,January 2007

8

index of fe.math.kobe-u.ac.jp (experimental site) -...

Documents