JJ J N I II 1/43JJ J N I II 1/43
MA 3071 Pengantar Optimisasi
Topik 8Masalah Optimisasi Tanpa Kendala
Agus Yodi Gunawan
FMIPA
Institut Teknologi Bandung, Indonesia
JJ J N I II 2/43JJ J N I II 2/43
BentukPada bagian ini akan dibahas masalah optimisasi tanpa kendalaa.Masalah optimisasi yang dibahas berbentuk
Minimum f (x)x ∈ Ω,
,
dimana f : Ω→ R adalah fungsi skalar bernilai real dan Ω ⊆ Rn.
Untuk masalah tanpa kendala ini, selama pembahasan Ω = Rn (kecualijika disebutkan secara eksplisit).
Gradien dari f didefinisikan oleh matriks berukuran 1 × n, yaitu∇f (x) =
(∂f∂x1· · · ∂f
∂xn
).
Matriks simetri Hess dari f didefinisikan oleh matriks berukuran n×n,∇2f (x) =
[∂2f (x)
∂xi∂xj
].
aSumber rujukan: D.G. Luenberger dan Y. Ye,"Linear and Nonlinear Programming", Springer,2008.
JJ J N I II 3/43JJ J N I II 3/43
Titik solusi & arah feasibelDiberikan fungsi kontinu f : Ω→ R pada himpunan kompak Ω. Terda-pat dua jenis titik solusi:
¬ Titik minimum lokal. Titik x∗ dikatakan titik minimum lokal darifungsi f di Ω jika ada ε > 0 sehingga f (x) ≥ f (x∗) untuk setiapx ∈ Ω dimana |x − x∗| < ε. Hal khusus, jika f (x) > f (x∗) untuksetiap x ∈ Ω, 0 < |x−x∗| < ε, maka x∗ disebut titik minimum lokaltegas dari fungsi f di Ω.
Titik minimum global. Titik x∗ dikatakan titik minimum globaldari fungsi f di Ω jika f (x) ≥ f (x∗) untuk setiap x ∈ Ω. Jikaf (x) > f (x∗) untuk setiap x ∈ Ω,x 6= x∗, maka x∗ disebut titikmaksimum global tegas dari fungsi f di Ω.
Arah feasibel. Diberikan titik x0 ∈ Ω. Suatu vektor d dikatakan arahfeasibel di x0 jika ada konstanta α0 > 0 sehingga x0 + αd ∈ Ω, untuksetiap α ∈ [0, α0].
JJ J N I II 4/43JJ J N I II 4/43
Syarat perlu orde-pertamaMisalkan diberikan fungsi skalar f : Ω → R ∈ C1 pada himpunankompak Ω.
Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku∇f (x∗)d ≥ 0.
Hal khusus, jika x∗ merupakan titik interior/dalam dari Ω. Misal ketikaΩ = Rn, yang berkaitan dengan kasus optimisasi tanpa kendala,
Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω danjika x∗ merupakan titik interior di Ω, maka ∇f (x∗) = 0T .
Catatan:
¬ Jika P , maka Q (P ⇒ Q). P merupakan syarat cukup untuk Q; Qmerupakan syarat perlu untuk P .
C1 : himpunan fungsi kontinu dengan turunan parsial pertamanyakontinu di Ω.
JJ J N I II 5/43JJ J N I II 5/43
BuktiJika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku∇f (x∗)d ≥ 0.
Misalkan d merupakan arah feasibel di titik minimum lokal x∗. Makaada α0 sehingga untuk setiap α ∈ [0, α0], x(α) = x∗ + αd ∈ Ω.
Selanjutnya, definisikan fungsi g : [0, α0]→ R,
g(α) = f (x(α)) = f (x∗ + αd),
yang merupakan fungsi satu peubah terhadap α. Terapkan hampiranTaylor sampai orde linear di sekitar α = 0 pada g(α),
g(α) = g(0) + αg′(0) = f (x∗) + α∇f (x∗)d,
dimana g′(0) merupakan turunan berarah f dalam arah d. Karena x∗
titik minimum lokal, maka
g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ ∇f (x∗)d ≥ 0.
JJ J N I II 6/43JJ J N I II 6/43
Optimisasi tanpa kendalaJika x∗ merupakan titik minimum lokal dari fungsi f di Ω danjika x∗ merupakan titik interior di Ω, maka ∇f (x∗) = 0T .
Dalam kasus optimisasi tanpa kendala, Ω = Rn dan x∗ merupakan titikdalam. Maka,
g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ ∇f (x∗)d ≥ 0,
berlaku untuk setiap arah feasibel d ∈ Rn. Maka ∇f (x∗) = 0T .
Di kalkulus, ∇f (x∗) = 0T merupakan definisi bahwa x∗ adalah titikstasioner.
Karena ini merupakan syarat perlu untuk titik minimum, maka titikstasioner belum tentu merupakan titik minimum.
JJ J N I II 7/43JJ J N I II 7/43
Contoh1: tanpa kendalaMinimum f (x1, x2) = x2
1 − x1x2 + x22 − 3x2
(x1, x2) ∈ Ω = R2,.
Hitung ∇f (x1, x2) = 0T , diperoleh
2x1 − x2 = 0,−x1 + 2x2 = 3,
diperoleh x1 = 1, x2 = 2, titik stationer tunggal. Apakah (1, 2) meru-pakan titik minimum?
JJ J N I II 8/43JJ J N I II 8/43
Contoh1: tanpa kendalaMinimum f (x1, x2) = x2
1 − x1x2 + x22 − 3x2
(x1, x2) ∈ Ω = R2,.
Hitung ∇f (x1, x2) = 0T , diperoleh
2x1 − x2 = 0,−x1 + 2x2 = 3,
diperoleh x1 = 1, x2 = 2, titik stationer tunggal. Apakah (1, 2) meru-pakan titik minimum?
Perhatikan:
f (x1, x2) = x21 − x1x2 + x2
2 − 3x2 = (x1 −x2
2)2 +
3
4(x2 − 2)2 − 3,
atau f (x1, x2) > −3 = f (1, 2).
Jadi (1, 2) merupakan titik minimum global.
JJ J N I II 9/43JJ J N I II 9/43
Contoh2: dengan kendalaMinimum f (x1, x2) = x2
1 − x1 + x2 + x1x2
Kendala x1 ≥ 0, x2 ≥ 0,.
Di titik (1/2, 0), f (1/2, 0) = −1/4.
Perhatikan
f (x1, x2) = x21 − x1 + x2 + x1x2 = (x1 −
1
2)2 + x2(1 + x1)−
1
4,
atau f (x1, x2) > −14
= f (1/2, 0).
Jadi (1/2, 0) merupakan titik minimum global.
Tetapi ∇f (1/2, 0) = (0, 3/2)T 6= 0T ,
Catatan: arah feasibel d harus memuat komponen keduanya (kordinatx2) tak negatif. Maka ∇f (1/2, 0)d ≥ 0 untuk setiap arah feasibel d.
JJ J N I II 10/43JJ J N I II 10/43
Syarat perlu orde-keduaMisalkan diberikan fungsi skalar f : Ω → R ∈ C2 pada himpunankompak Ω.
Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku¬ ∇f (x∗)d ≥ 0, jika ∇f (x∗)d = 0, maka dT∇2f (x∗)d ≥ 0.
Hal khusus, jika x∗ merupakan titik interior/dalam dari Ω. Misal ketikaΩ = Rn, yang berkaitan dengan kasus optimisasi tanpa kendala,
Jika x∗ merupakan titik minimum lokal dari fungsi f di Ωdan jika x∗ merupakan titik interior di Ω, maka¬ ∇f (x∗) = 0T , untuk setiap arah feasibel d, dT∇2f (x∗)d ≥ 0.
Kondisi dapat diinterpretasikan bahwa matriks Hess ∇2f (x∗) bersifatsemidefinit positif.
JJ J N I II 11/43JJ J N I II 11/43
BuktiJika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku¬ ∇f (x∗)d ≥ 0, jika ∇f (x∗)d = 0, maka dT∇2f (x∗)d ≥ 0.
Kondisi ¬ telah dibahas di slide sebelumnya. Sekarang jika yangterjadi.
Misalkan d merupakan arah feasibel di titik minimum lokal x∗. Makaada α0 sehingga untuk setiap α ∈ [0, α0], x(α) = x∗ + αd ∈ Ω.
Seperti sebelumnya, definisikan fungsi g : [0, α0]→ R,
g(α) = f (x(α)) = f (x∗ + αd),
yang merupakan fungsi satu peubah terhadap α. Dalam kasus sekarang,g′(0) = 0. Terapkan hampiran Taylor sampai orde kuadratik di sekitarα = 0 pada g(α),
JJ J N I II 12/43JJ J N I II 12/43
BuktiTerapkan hampiran Taylor sampai orde kuadratik di sekitar α = 0 padag(α),
g(α) = g(0) +α2
2g′′(0) = f (x∗) +
α2
2dT∇2f (x∗)d,
Karena x∗ titik minimum lokal, maka
g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ dT∇2f (x∗)d ≥ 0.
Contoh2: Kondisi terjadi hanya jika komponen kedua d, d2 = 0.Dalam kasus ini dT∇2f (x∗)d = 2d21 ≥ 0, kondisi dipenuhi.
Untuk kasus optimisasi tanpa kendala, analogi dengan pembahasan se-belumnya.
JJ J N I II 13/43JJ J N I II 13/43
Bentuk kuadratikMisalkan A matriks simetri berorde-n dan x ∈ Rn. Fungsi
QA(x) = xTAx =< Ax,x >,
dinamakan bentuk kuadratik yang terkait dengan matriks A.
Jika P matriks ortogonal sehingga PTAP = D = diag (λ1, · · ·λn) ma-triks diagonal, dan x = Py, maka
xTAx = (Py)TA(Py) = yTDy =n∑
k=1
λky2k,
dimana λk adalah nilai eigen dari matriks A yang berpasangan den-gan vektor eigen pembentuk kolom ke-k matriks P. Formula tersebutdisebut Kaidah Sumbu Utama.
JJ J N I II 14/43JJ J N I II 14/43
Matriks bentuk kuadratBentuk kuadratik QA(x) = xTAx =< Ax,x >, dikatakan
¬ definit positif (semidefinit positif), jika xTAx > 0 (xTAx ≥ 0) un-tuk x 6= 0;A dikatakan matriks definit positif (semidefinit positif);
definit negatif (semidefinit negatif), jika xTAx < 0 (xTAx ≤ 0) un-tuk x 6= 0;A dikatakan matriks definit negatif (semidefinit negatif);
® tak definit, jika xTAx mempunyai nilai negatif dan positif. Adikatakan matriks tak definit.
Persamaan irisan kerucut: xTAx = 1. JikaAmatriks simetri berukuran2× 2,
¬ xTAx = 1 menyatakan elips jika A matriks definit positif; xTAx = 1 menyatakan hiperbola jika A matriks tak definit;® xTAx = 1 tak memiliki kurva, jika A matriks definit negatif.
JJ J N I II 15/43JJ J N I II 15/43
Indikator matriks bentuk kuadrat...1Jika A matriks simetri berukuran n× n,
¬ A definit positif (semidefinit positif)⇔ semua nilai eigen A positif(tak negatif);
A definit negatif (semidefinit negatif)⇔ semua nilai eigen A negatif(tak positif);
® A tak definit, jika mempunyai nilai eigen negatif dan nilai eigenpositif.
JJ J N I II 16/43JJ J N I II 16/43
Indikator matriks bentuk kuadrat...2A matriks simetri berukuran n× n definit positif jika dan hanya jika
¬ A definit positif⇔ nilai determinan setiap submatriks utama adalahpositif;
A definit negatif ⇔ nilai determinan submatriks berganti tanda,dimulai dengan tanda negatif untuk determinan submatriks utamapertama;
® A tak definit, jika tidak memenuhi ¬ atau .a11 a12 a13 a14a21 a22 a23 a24a31 a32 a33 a34a41 a34 a34 a44
Submatrik utama ke−1, ke−2, dst.
JJ J N I II 17/43JJ J N I II 17/43
Contoh3: dengan kendalaMinimum f (x1, x2) = x3
1 − x21x2 + 2x2
2
Kendala x1 ≥ 0, x2 ≥ 0,.
Jika kita asumsikan solusi merupakan titik dalam, dari syarat perlu ordepertama, ∇f (x1, x2) = 0T ,
3x21 − 2x1x2 = 0,
−x21 + 4x2 = 0,
diperoleh titik stasioner: (0, 0), (6, 9).
Perhatikan untuk f (6, x2), fungsi obyektif satu peubah terhadap x2 men-capai nilai minimum di x2 = 9. Sedangkan untuk f (x1, 9), mencapai ni-lai minimum di x1 = 6. Meskipun demikian, (6, 9) bukan titik minimumlokal, karena matriks Hess di titik tersebut tidak semidefinit positif,
∇2f =
(6x1 − 2x2 −2x1
−2x1 4
)(6,9)
= ∇2f
(18 −12−12 4
).
JJ J N I II 18/43JJ J N I II 18/43
Syarat cukup orde keduaSyarat cukup orde kedua ini hanya berlaku untuk kasus optimisasi tanpakendala.
Misalkan diberikan fungsi skalar f : Ω → R ∈ C2 pada himpunanΩ ⊆ Rn dan titik x∗ merupakan titik interior di Ω. Misalkan pula:
¬ ∇f (x∗) = 0T ; ∇2f (x∗) matriks definit positif.
Maka titik x∗ merupakan titik minimum lokal tegas dari fungsi f .
Bukti: Terapkan hampiran Taylor sampai orde kuadratik di sekitar x∗,
f (x∗ + αd)− f (x∗) =α2
2dT∇2f (x∗)d > 0.
JJ J N I II 19/43JJ J N I II 19/43
Fungsi konveksSuatu fungsi f (x) yang terdefinisi di himpunan konveks Ω disebut fungsikonveks, jika untuk setiap x1,x2 ∈ Ω dan untuk setiap α ∈ [0, 1] berlaku
f (αx1 + (1− α)x2) ≤ αf (x1) + (1− α)f (x2).
Sedangkan, jika untuk setiap α ∈ (0, 1) dan x1 6= x2 berlaku
f (αx1 + (1− α)x2) < αf (x1) + (1− α)f (x2),
maka f disebut fungsi konveks tegas.
Fungsi g(x) disebut fungsi konkaf (konkaf tegas) jika (−g)(x) merupakanfungsi konveks (konveks tegas).
JJ J N I II 20/43JJ J N I II 20/43
Sifat fungsi konveksSifat-sifat fungsi konveks:
¬ Penjumlahan dua fungsi konveks pada daerah konveks adalah fungsikonveks. Perkalian skalar tak nol dari fungsi konveks pada daerahkonveks adalah fungsi konveks.
Misalkan fungsi konveks f (x) terdefinisi pada suatu himpunan kon-veks Ω. Himpunan Γc = x ∈ Ω : f (x) ≤ c adalah himpunankonveks untuk setiap bilangan real c.
® Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerahkonveks Ω jika dan hanya jika
f (y) ≥ f (x) +∇f (x)(y − x),
untuk setiap x,y ∈ Ω.¯ Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah
konveks Ω yang memuat titik interior x∗ jika dan hanya jika matriksHess ∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .
JJ J N I II 21/43JJ J N I II 21/43
Bukti sifat ®
Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerah kon-veks Ω jika dan hanya jika
f (y) ≥ f (x) +∇f (x)(y − x),
untuk setiap x,y ∈ Ω.
⇒. Diketahui f konveks. Maka untuk setiap α ∈ [0, 1],
f (αy + (1− α)x) ≤ αf (y) + (1− α)f (x).
Untuk α ∈ (0, 1],
f (x + α(y − x))− f (x) ≤ α(f (y)− f (x)),
atauf (x + α(y − x))− f (x)
α≤ (f (y)− f (x)),
dan untuk α→ 0, ∇f (x)(y − x) ≤ f (y)− f (x).
JJ J N I II 22/43JJ J N I II 22/43
Bukti sifat ®
Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerah kon-veks Ω jika dan hanya jika
f (y) ≥ f (x) +∇f (x)(y − x),
untuk setiap x,y ∈ Ω.
⇐. Diketahui berlaku pertaksamaan. Misalkan x1,x2 ∈ Ω dan α ∈[0, 1]. Tulis u = αx1 + (1− α)x2 ∈ Ω. Akan diperlihatkan
f (αx1 + (1− α)x2) ≤ αf (x1) + (1− α)f (x2).
Perhatikan
f (x1) ≥ f (u) +∇f (u)(x1 − u) dan f (x2) ≥ f (u) +∇f (u)(x2 − u).
Kalikan pertidaksamaan yang pertam dengan α dan yang kedua dengan(1−α), kemudian jumlahkan kedua pertidaksamaan dan gunakan definisiu, akan didapat bahwa f memenuhi definisi fungsi konveks.
JJ J N I II 23/43JJ J N I II 23/43
Bukti sifat ¯
Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah kon-veks Ω yang memuat titik interior x∗ jika dan hanya jika matriks Hess∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .
Perhatikan hampiran Taylor f di sekitar x∗,
f (x) = f (x∗) +∇f (x∗)(x− x∗) +1
2(x− x∗)T∇2f (x∗)(x− x∗).
⇐. Diketahui matriks Hess ∇2f (x∗) bersifat semidefinit positif di titikinterior x∗. Maka,
f (x)− f (x∗)−∇f (x∗)(x− x∗) =1
2(x− x∗)T∇2f (x∗)(x− x∗) ≥ 0,
untuk setiap x,x∗ ∈ Ω. Berdasarkan sifat ®, f fungsi konveks.
JJ J N I II 24/43JJ J N I II 24/43
Bukti sifat ¯
Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah kon-veks Ω yang memuat titik interior x∗ jika dan hanya jika matriks Hess∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .
Perhatikan hampiran Taylor f di sekitar x∗,
f (x) = f (x∗) +∇f (x∗)(x− x∗) +1
2(x− x∗)T∇2f (x∗)(x− x∗).
⇒. Diketahui f konveks. Berdasarkan sifat ®, Maka
0 ≤ f (x)− f (x∗)−∇f (x∗)(x− x∗) =1
2(x− x∗)T∇2f (x∗)(x− x∗),
artinya (x− x∗)T∇2f (x∗)(x− x∗) ≥ 0 untuk setiap x ∈ Ω.
JJ J N I II 25/43JJ J N I II 25/43
Dimensi hyperplaneSuatu hyperplane H di Rn adalah himpunanH = x|pTx = k dimanap suatu vektor tak nol di Rn dan k suatu skalar. Vektor p biasanyadisebut vektor normal dari hyperplane (gradien dari f (x) = pTx).
Misalkan x1 ∈ H. Perhatikan himpunan M = H − x1, translasi H oleh−x1. Elemen y ∈ M artinya y = z − x1 untuk suatu z ∈ H. Lebihjauh,
pTy = pT (z− x1) = pTz− pTx1 = k − k = 0,∀y ∈M.
Berarti M =< p >⊥ himpunan komplemen ortogonal dari subruangyang dibangun vektor p. Dengan demikian dimensi dari subruang Madalah (n− 1), dimensi hyperplane H.
JJ J N I II 26/43JJ J N I II 26/43
Separating hyperplane...1Misalkan C himpunan konveks dan misalkan y titik luar dari ClosureC (y bukan titik batas C). Maka ada vektor a sehingga aTy < inf
x∈CaTx.
x0
y
x
Bukti: Misalkan δ = infx∈C|x − y| > 0. Maka ada vektor x0 pada titik
batas C sehingga |x0 − y| = δ. Misalkan pula x ∈ C. Untuk α ∈ [0, 1],titik x0 + α(x− x0) ∈ C, dan
|x0 + α(x− x0)− y|2 > |x0 − y|2
atau2α(x0 − y)T (x− x0) + α2|x− x0|2 ≥ 0.
JJ J N I II 27/43JJ J N I II 27/43
Separating hyperplane...2
x0
y
x
2α(x0 − y)T (x− x0) + α2|x− x0|2 ≥ 0.
Untuk α→ 0,(x0 − y)T (x− x0) ≥ 0,
atau
(x0 − y)Tx ≥ (x0 − y)Tx0 = (x0 − y)Ty + (x0 − y)T (x0 − y)= (x0 − y)Ty + δ2.
Pilih a = (x0 − y)⇒ aTx ≥ aTy.Terdapat hyperplane yang melalui titik luar/eksterior dari C denganhimpunan konveks C di salah satu halfspace-nya.
JJ J N I II 28/43JJ J N I II 28/43
Supporting hyperplane...1Misalkan C himpunan konveks dan misalkan y titik batas di C. Makaada hyperplane yang memuat vektor y dan memuat C di salah satuhalfspace tutupnya.
y
yk
Bukti: Misalkan yk barisan vektor yang merupakan titik luar dariC yang konvergen ke y. Misalkan pula ak barisan vektor satuan(|ak| = 1) yang terkait dengan teorema separating hyperplane,
aTkyk < inf
x∈CaTkx.
JJ J N I II 29/43JJ J N I II 29/43
Supporting hyperplane...2
y
yk
aTkyk < inf
x∈CaTkx.
Karena ak adalah barisan terbatas, maka memiliki subbarisanak, k ∈ K yang konvergen ke a. Dengan demikian,
aTy = limk∈K
aTkyk ≤ lim
k∈KaTkx = aTx.
Suatu hyperplane yang memuat himpunan konveks C di salahsatu halfspace tutupnya dan memuat titik batas di C disebutSupporting hyperplane dari C.
JJ J N I II 30/43JJ J N I II 30/43
Titik ekstrim,titik batas...1Suatu titik x di himpunan konveks X dikatakan titik ekstrim,
jika titik tersebut tidak dapat disajikan sebagai suatu kombinasikonveks tegas dari dua titik berbeda di X .
Dengan kata lain,
jika x = αx1 +(1−α)x2 dengan α ∈ (0, 1) dan x1,x2 ∈ X , makax = x1 = x2.
Misalkan C himpunan konveks, H Supporting hyperplane dari C, danT = H ∩ C. Setiaptitik ekstrim dari T adalahtitik ekstrim C.
JJ J N I II 31/43JJ J N I II 31/43
Titik ekstrim,titik batas...2Misalkan C himpunan konveks, H Supporting hyperplane dari C, danT = H ∩ C. Setiap titik ekstrim di T adalah titik ekstrim di C.
Bukti: Andaikan x0 ∈ T tetapi bukan titik ekstrim di C. Maka x0 =αx1 + (1 − α)x2 untuk suatu α ∈ (0, 1), x1,x2 ∈ C dengan x1 6= x2.Misalkan H = x : aTx = k dengan C dimuat di salah satu halfspacetutupnya, misalnya di halfspace positif. Maka, aTx1 ≥ 0 dan aTx2 ≥ 0.
Karena x0 ∈ H, maka
k = aTx0 = aT (αx1 + (1− α)x2) = α(aTx1) + (1− α)(aTx2).
Hal ini berarti x1,x2 ∈ H. Lebih jauh lagi, x1,x2 ∈ T maka x0 bukantitik ekstrim di T . Hal ini mustahil, andaikan salah haruslah x0 ∈ Ttitik ekstrim di C.
JJ J N I II 32/43JJ J N I II 32/43
Maks-min fungsi konveksMisalkan fungsi f (x) adalah fungsi konveks yang terdefinisipada suatu himpunan konveks Ω dimana nilai minimumnyadicapai di c0. Misalkan pula Γ = x : f (x) ≤ c0. Maka,himpunan Γ adalah himpunan konveks, dan setiap titik min-imum lokal dari f merupakan titik minimum global.
Bukti: Untuk Γ, lihat kembali sifat dari fungsi konveks. Misalkanx∗ ∈ Ω titik minimum lokal dari f . Misalkan pula ada titik lain y ∈ Ωdimana f (y) < f (x∗). Untuk vektor αy + (1 − α)x∗, α ∈ (0, 1), kitamemperoleh
f (αy + (1− α)x∗) ≤ αf (y) + (1− α)f (x∗) < f (x∗).
Akan tetapi hal ini bertentangan dengan x∗ ∈ Ω titik minimum lokaldari f .
JJ J N I II 33/43JJ J N I II 33/43
Maks-min fungsi konveks...1Misalkan fungsi f (x) adalah fungsi konveks yang terdefinisipada suatu himpunan konveks Ω dimana nilai minimumnyadicapai di c0. Misalkan pula Γ = x : f (x) ≤ c0. Maka,himpunan Γ adalah himpunan konveks, dan setiap titik min-imum lokal dari f merupakan titik minimum global.
Bukti: Untuk Γ, lihat kembali sifat dari fungsi konveks. Misalkanx∗ ∈ Ω titik minimum lokal dari f . Misalkan pula ada titik lain y ∈ Ωdimana f (y) < f (x∗). Untuk vektor αy + (1 − α)x∗, α ∈ (0, 1), kitamemperoleh
f (αy + (1− α)x∗) ≤ αf (y) + (1− α)f (x∗) < f (x∗).
Akan tetapi hal ini bertentangan dengan x∗ ∈ Ω titik minimum lokaldari f .
Pernyataan di atas mengindikasikan bahwa untuk fungsi konveks semuatitik minimum berada pada suatu himpunan konveks dan titik minimumlokal sekaligus merupakan titik minimum global.
JJ J N I II 34/43JJ J N I II 34/43
Maks-min fungsi konveks...2Misalkan fungsi f (x) ∈ C1 adalah fungsi konveks yang terdefinisi padasuatu himpunan konveks Ω. Jika terdapat titik x∗ ∈ Ω sedemikiansehingga untuk setiap y ∈ Ω, ∇f (x∗)(y−x∗) ≥ 0, maka titik x∗ adalahtitik minimum global dari f pada Ω.
Bukti: Lihat sifat ® fungsi konveks.
JJ J N I II 35/43JJ J N I II 35/43
Maks-min fungsi konveks...3Misalkan fungsi konveks f (x) terdefinisi pada suatu himpunan konvekstutup dan terbatas Ω. Jika f mempunyai titik maksimum pada Ω, makatitik tersebut merupakan titik ekstrim dari Ω.
y1
y2
x∗
Bukti: Misal x∗ ∈ Ω titik maksimum. Tulis x∗ = αy1 + (1 − α)y2,dengan y1 dan y2 merupakan titik batas di Ω. Karena f fungsi konveks,
f (x∗) ≤ αf (y1) + (1− α)f (y2) ≤ maxf (y1), f (y2).
Karena x∗ titik maksimum, maka x∗ adalah salah satu dari y1 atau y2.Artinya titik maksimum ada di titik batas.
JJ J N I II 36/43JJ J N I II 36/43
Maks-min fungsi konveks...4Andaikan x∗ titik maksimum pada batas ini bukan titik ekstrim. Per-hatikan T1 = H ∩Ω dengan H Supporting hyperplane di x∗. Dimensidari T1 kurang dari sama dengan (n− 1) dan nilai global f di T1 adalahf (x∗) dan harus dicapai di titik batas x1 di T1.
Jika x1 titik ekstrim di T1, maka ia juga titik ekstrim di Ω. Jikabukan, lakukan proses dengan T2 = T1 ∩ H1 dengan H1 ∈ R(n−1)
Supporting hyperplane di x1, dst....sampai paling tidak n kali prosesuntuk memperoleh Tn berdimensi nol yang memuat hanya satu titik.
JJ J N I II 37/43JJ J N I II 37/43
Syarat perlu orde-nolPerhatikan kembali masalah
Minimum f (x)x ∈ Ω,
.
Misalkan f (x) fungsi konveks di Rn dan Ω suatu himpunan konveks.Jika x∗ solusi, maka ada vektor tak nol λ ∈ Rn sedemikian sehingga x∗
memenuhi dua persamaan berikut:
min f (x) + λTx, x ∈ Rn (1)
danmaxλTx, x ∈ Ω. (2)
Perlu dicatat bahwa (1) merupakan masalah optimisasi tanpa kendaladengan fungsi obyektif tak linear, sedangkan (2) merupakan masalahoptimisasi berkendala tetapi dengan fungsi obyektif linear.
JJ J N I II 38/43JJ J N I II 38/43
Bukti syarat perlu orde-nol...1
Hyperplane
Γ
x∗ f(x)
Ω
f(x∗)
B
Misalkan Γ = (r,x) : r ∈ R,x ∈ Rn, r ≥ f (x) ⊂ Rn+1, yang disebutepigraph. Fungsi f (x) bersifat konveks ⇔ Γ himpunan konveks.
Misalkan x∗ ∈ Ω titik minimum f dengan nilai f ∗ = f (x∗). Konstruksihimpunan B dengan cara memperluas Ω secara vertikal dari−∞ sampaidengan f ∗. Himpunan B dapat diperlihatkan merupakan himpunankonveks.
JJ J N I II 39/43JJ J N I II 39/43
Bukti syarat perlu orde-nol...2
Hyperplane
Γ
x∗ f(x)
Ω
f(x∗)
B
Menurut teorema separating hyperplane, maka ada hyperplane Hyang memisahkanB dan Γ; ada vektor tak nol a = (s,λ) dengan s skalardan λ ∈ Rn sehingga H = y : aTy = k, dimana y = (r,x) ∈ Rn+1.Di sini k = sf ∗+λTx∗. Lebih jauh lagi, half space nya diberikan oleh,
sr + λTx ≥ k, x ∈ Rn, f (x) ≤ r,sr + λTx ≤ k, x ∈ Ω, r ≤ f ∗.
JJ J N I II 40/43JJ J N I II 40/43
Bukti syarat perlu orde-nol...3
Hyperplane
Γ
x∗ f(x)
Ω
f(x∗)
B
Ingat k = sf ∗ + λTx∗, half space di atas dapat dituliskan kembalimenjadi
s(r − f ∗) + λT (x− x∗) ≥ 0, x ∈ Rn, f (x) ≤ r,s(r − f ∗) + λT (x− x∗) ≤ 0, x ∈ Ω, r ≤ f ∗.
Agar kedua kondisi dipenuhi, s > 0; selanjutnya pilih s = 1.
JJ J N I II 41/43JJ J N I II 41/43
Bukti syarat perlu orde-nol...4
Hyperplane
Γ
x∗ f(x)
Ω
f(x∗)
B
Jadi, half space nya diberikan oleh,r + λTx ≥ k, x ∈ Rn, f (x) ≤ r,r + λTx ≤ k, x ∈ Ω, r ≤ f ∗.
Misalkan (r,x)sol = (f ∗,x∗) solusi minimum dari masalah awal. Kondisiyang pertama akan memberikan
min f (x) + λTx, x ∈ Rn.
Kondisi kedua memberikan
maxλTx, x ∈ Ω.
JJ J N I II 42/43JJ J N I II 42/43
Syarat cukup orde-nolJika ada λ sedemikian sehingga x∗ ∈ Ω solusi masalah minimum danmaksimum pada slide sebelumnya, maka x∗ solusi
Minimum f (x)x ∈ Ω,
Bukti: Misalkan y ∈ Ω. Dari (1) diperoleh
f (y) + λty ≥ f (x∗) + λtx∗.
Lebih jauh lagi, pertidaksamaan di atas dapat dituliskan menjadi
f (y)− f (x∗) ≥ λTx∗ − λTy = λT (x∗ − y).
Berdasarkan (2),
f (y)− f (x∗) ≥ λT (x∗ − y) ≥ 0.
Jadi,f (y) ≥ f (x∗).
JJ J N I II 43/43JJ J N I II 43/43
Latihan1. Cari titik stationer, periksa apakah titik tersebut merupakan titik
minimum/maksimum lokal? apakah fungsi tersebut punya titik min-imum/maksimum global?
f (x) = 3x3 + 7x2 − 15x− 3.
2. Tentukan titik minimum/maksimum f (x1, x2) = x41 + x4
2 − 4x1x2.3. Tentukan titik minimum f (x1, x2, x3) = 2x2
1+x1x2+x22+x2x3+x2
3−6x1 − 7x2 − 8x3 + 9.
4. Hampiran fungsi f (x) oleh suku banyak pn berderajat n mengan-tarkan pada masalah meminimumkan
L(a0, a1, · · · , an) =
∫ 1
0
(f (x)− pn(x))2dx.
Cari formula untuk koefisien-koefisien a0, a1, · · · , an.5. Buktikan: Fungsi f (x) bersifat konveks ⇔ Γ himpunan konveks.