بهینه سازی خطی و غیرخطی و...

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

محدب و غیرخط و خط سازی بهینه

صفوی حمید سید

Digital Signal Processing LabarotarY (DiSPLaY)

بهشت شهید اه دانش

١٣٩۶ دی ٢

۶١ / ١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مطالب فهرست

سازی بهینه مقدمات ١

نامقید سازی بهینه ٢

بهینگ اول مرتبه الزم شرطبهینگ دوم مرتبه الزم شرط

بهینگ کاف شرطنامقید سازی بهینه برای تکراری های روش

شیب تندترین روشنیوتن روش

مقید سازی بهینه ٣

مسئله بیانتساوی قیود با مسئله برای بهینگ اول مرتبه الزم شرط

نامساوی قیود با مسئله برای بهینگ اول مرتبه الزم شرطمقید های مسئله برای بهینگ دوم مرتبه الزم شرط

۶١ / ٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مراج

D. G. Luenberger، and Ye، Y.، “Linear and nonlinear programming،” Fourth Edition،

Springer، . ٢٠١۶ J. Nocedal، and S. J. Wright، “Numerical Optimization،” Second Edition،

Springer-Verlag New York، . ٢٠٠۶ M. S. Bazaraa، H. D. Sherali، C. M. Shetty، “Nonlinear Programming: Theory and

Algorithms،” ٣rd Edition، John Wiley & Sons، . ٢٠٠۶ S. Boyd، and L. Vandenberghe، “Convex optimization،” Cambridge university press،

. ٢٠٠۴ A. Ben-Tal، and A. Nemirovski، “Lectures onmodern convex optimization: analysis،

algorithms، and engineering applications،” Society for Industrial and AppliedMathematics، . ٢٠٠١

۶١ / ٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

سازی بهینه یادگیری لزوم

y = Ax + b

در و است مجهول x پارامتر کاربردها از برخ در است. مهندس مسائل اکثر پایه فوق رابطه.A پارامتر برخ

: مهندس کاربردهای(... و تصویر زدایی نویز تصویر، (بازیابی تصویر پردازش

(... و تصاویر بندی خوشه تصاویر، بندی (طبقه ماشین بینایی

فشرده ری حس

نویز، به نال سی نسبت سازی بیشینه ، مصرف توان سازی (کمینه سیم بی مخابرات

(... و مخابرات کانال ظرفیت یافتنرادار

...

۶١ / ۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

سازی بهینه مقدمات

۶١ / ۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


است: زیر صورت به کل حالت در ریاض سازی بهینه مسئله ی

min (max) f (x)S.t. hi (x) = ٠ i ∈ E

gj (x) ⩽ ٠ j ∈ Ix ∈ C ⊆ Rn

f : Rn → R, Cost Function, Objective Functionhi : Rn → R Equality Constraintgj : Rn → R Inequality ConstraintC ⊆ Rn Convex Set

۶١ / ۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


باشند. م خط هم gj و hi و f توابع : خط سازی بهینه مسئله

خط gj و hi توابع و دوم درجه f تابع : خط قیود با دوم درجه سازی بهینه مسئله

باشند. مx ∈ Zn صحیح: اعداد سازی بهینه مسئله

x ∈ ٠, ١n : دوئ دو سازی بهینه مسئله

یا و باینری متغیرهای دارای سازی بهینه مسئله : ترکیبیات سازی بهینه مسئله

است. صحیح

ی را سازی بهینه مسئله آنگاه باشند، پذیر مشتق پیوسته طور به هم توابع اگر

بهینه را مسئله صورت این غیر در گویند. (smooth) هموار سازی بهینه مسئلهگویند. (non-smooth) ناهموار سازی

۶١ / ٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


شدن ناحیهباشد: م زیر صورت به (Feasible Region) شدن ناحیه شده، ذکر سازی بهینه مسئله برای

F =

x ∈ Rn| hi (x) = ٠, i ∈ E

gj (x) ⩽ ٠, j ∈ I

۶١ / ٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


سراسری: و موضع بهینه نقطه

۶١ / ٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


نامعین ، منف معین نیمه ، منف معین مثبت، معین نیمه مثبت، معین ماتریسهرگاه گوئیم مثبت معین را An×n ماتریس

∀x ∈ Rn, x = ٠; xTAx > ٠

دهیم. م نمایش A ≻ ٠ نماد با وهرگاه گوئیم مثبت معین نیمه را A ماتریس همچنین

∀x ∈ Rn, x = ٠; xTAx ⩾ ٠

دهیم. م نمایش A ≽ ٠ نماد با ومعین (نیمه مثبت معین −A ماتریس هرگاه گوئیم ( منف معین (نیمه منف معین را A ماتریس

باشد. مثبت)است. نامعین آنگاه نباشد، منف یا و مثبت معین نیمه A ماتریس اگر

شود. منف ویژه مقادیر از تا دو حاصلضرب حداقل یعن

۶١ / ١٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثبت معین مثبت معین نیمه نامعین

۶١ / ١١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


رایی هم نرخباشد. را هم L عدد به xk دنباله کنید فرض

داشته وجود µ ∈ (٠, ١) همانند عددی اگر راست، هم L به خط صورت به دنباله این گوئیمکه طوری به باشد

limk→∞

|xk+١ − L||xk − L| = µ

گویند. رایی هم نرخ را µ عددو باشد را هم دنباله اگر

دنباله گوئیم آنگاه ،k→∞ وقت µk → ٠ ه طوری به کند تغییر تکرار هر در µk

دارد. (Superlinear) زبرخط رایی همدنباله گوئیم آنگاه ،k→∞ وقت µk → ١ ه طوری به کند تغییر تکرار هر در µk

دارد. (Sublinear) زیرخط رایی هم

۶١ / ١٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


رود: م کار به زبرخط های رایی هم انواع کردن مجزا برای زیر تعریفهرگاه q > ١ برای راست هم L به q مرتبه از دنباله گوئیم

limk→∞

|xk+١ − L||xk − L|q > ٠

باشد. م دوم مرتبه از رایی هم آنگاه باشد، q = ٢ اگر

باشد. م سوم مرتبه از رایی هم آنگاه باشد، q = ٣ اگر

...

۶١ / ١٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نامقید سازی بهینه

۶١ / ١۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


بهینگ اول مرتبه الزم شرط

آنگاه باشد، f (x) تابع نامقید موضع کننده کمینه x∗ اگر

∇f (x∗) = ٠

کاهش جهتکه باشد داشته وجود s مانند برداری اگر است. پذیر مشتق x∗ نقطه در f (x) کنید فرض

، کوچ کاف اندازه به α > ٠ تمام برای آنگاه ،sT∇f (x∗) < ٠است. x∗ نقطه در f تابع برای کاهش جهت ی s بنابراین .f (x∗ + αs) < f (x∗)

: بهینگ اول مرتبه الزم شرط اثبات

در که شد متصور را s کاهش جهت توان م آنگاه باشد، ∇f (x∗) = ٠ که صورت دراست. x∗ بودن موضع کمینه با تناقض

۶١ / ١۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


بهینگ دوم مرتبه الزم شرط

در (که باشد f موضع کننده کمینه x∗ اگر باشد. پذیر مشتق بار دو f : Rn → R کنید فرضاست. مثبت معین ٢f∇نیمه (x∗) ماتریس صورت این در کند)، م صدق اول مرتبه الزم شرط

اثباتداریم: تیلور بسط از استفاده با

f (x∗ + αs) = f (x∗) + αsT∇f (x∗)︸︷︷︸=٠

+١٢α٢sT∇٢f (x∗) s +O

(α٣)

= f (x∗) + ١٢α٢sT∇٢f (x∗) s +O

(α٣)

⇒ f (x∗ + αs)− f (x∗) = ١٢α٢sT∇٢f (x∗) s +O

(α٣)

۶١ / ١۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


اثبات ادامهکه کند م ایجاب فوق رابطه ، کوچ کاف اندازه به α برای

∀s ∈ Rn, If the optimal solution is x∗ ⇒ f (x∗ + αs)− f (x∗) ⩾ ٠

⇒ ١٢α٢sT∇٢f (x∗) s ⩾ ٠

⇒ sT∇٢f (x∗) s ⩾ ٠⇒ ∇٢f (x∗) ≽ ٠

م x∗ آنگاه باشد، مثبت معین نیمه ∇٢f (x∗) هس ماتریس x∗ نقطه در اگر ر، دی عبارت بهباشد. مسئله موضع کننده کمینه تواند

۶١ / ١٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


بهینگ کاف شرط قضیه:صدق دوم و اول مرتبه الزم شرایط در x∗ و باشد پذیر مشتق بار دو f : Rn → R کنید فرضمثبت معین ∇٢f (x∗) ماتریس هرگاه است f اکید موضع کننده کمینه صورت این در کند،

باشد.

۶١ / ١٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

برای تکراری های روشنامقید سازی بهینه

۶١ / ١٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نامقید سازی بهینه برای تکراری های روش

یافتن برای را ∇f (x) = ٠ دستگاه باید ابتدا نامقید سازی بهینه مسئله کمینه نقطه یافتن برایباشد. f تابع زین نقطه یا و بیشینه کمینه، تواند م ایستا نقاط کنیم. حل f تابع ایستای نقاط

دنباله این که کنیم م تولید طوری را [xk] دنباله f تابع کننده کمینه نقاط یافتن برای بنابراینبر که هایی وریتم ال دهد. کاهش را f تابع تکرار هر در و باشد را f∇هم صفرهای از ی به

هستند. معروف کاهش های وریتم ال به کنند م کار اساس این: کاهش وریتم ال ی کل ساختار

بده قرار و کن شروع x٠ ∈ Rn اولیه نقطه از شده داده ϵ دقت با ‐ (٠) گام

.k = ٠(f (xk+١)− f (xk) < ϵ) شو متوقف است، برقرار توقف شرط اگر ‐ (١) گام

کن. پیدا را sk کاهش جهت ‐ (٢) گام

کن. تعیین را αk الر اس مناسب مقدار ، خط جستجوی از استفاده با ‐ (٣) گام

برو. (١) گام به و k← k + ١ و xk+١ ← xk + αksk بده: قرار ‐ (۴) گام

۶١ / ٢٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نامقید سازی بهینه برای تکراری های روش: کاهش های وریتم ال به مربوط نکات

صدق sTk∇f (xk) = sT

k gk < ٠ شرط در است الزم بودن کاهش برای sk جهت

کرد: اشاره زیر موارد به توان م کاهش های جهت جمله از کند.زیرا است. sk = −gk گزینه ترین بدیه

sTk gk = −gT

k gk = −∥gk∥٢ < ٠

دهید قرار باشد. دلخواه مثبت معین متقارن ماتریس ی Q کنید فرضزیرا است. کاهش جهت ی sk صورت این در .sk = −Qgk

sTk gk = −gT

k Qgk < ٠

است مثبت معین هم(∇٢f (xk)

)−١ آنگاه باشد، مثبت معین ∇٢f (xk) اگرکاهش جهت نتیجه در و

sk = −(∇٢f (xk)

)−١∇f (xk) = −G−١k gk

است. معروف نیوتن جهت به که آید م بدست

۶١ / ٢١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نامقید سازی بهینه برای تکراری های روش

خط جستجوی های روش به موسوم های روش از αk برای مناسب مقدار تعیین

م تعیین طوری تقریبی یا دقیق طور به را αk مقدار ها روش این گیرد. م انجامf (xk + αksk) تابع مشتق دقیق، روش در .f (xk + αksk) < f (xk) که کنند

به توان م تقریبی های روش از شود. م داده قرار صفر مساوی αk به نسبتکرد. اشاره ولف و گلداشتاین آرمیژو، روش

و اول مرتبه الزم شرایط بر مبتن معموال کاهش های وریتم ال در توقف معیار

∥∇f (xk)∥ ⩽ ϵ شرط برقراری توقف، برای مناسب معیار ی باشد. م دوماست. شده داده ϵ برای

۶١ / ٢٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

شیب تندترین روش

۶١ / ٢٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

شیب تندترین روشاساس بر تکراری دنباله و بوده sk = −gk روش این در

xk+١ = xk − αkgk

نقطه که داریم توجه آید. م دست به دقیق خط جستجوی از αk آن در که شود م تولیدگوئیم حالت این در اصطالحا باشد. م x٠ ∈ Rn دلخواه نقطه ی وریتم ال شروع یا آغازینبستگ شروع نقطه به روش این رایی هم است. رایسراسری هم دارای شیب تندترین روش

باشد، نزدی اگر و شود م انتخاب بزرگ گام طول باشد، دور جواب از نقطه اگر چون ندارد.شود. م انتخاب کوچ گام طول

۶١ / ٢۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


ر: دی عبارت به کند. م تولید هم بر عمود جستجوی های جهت شیب تندترین روش

sk = −gk

sk+١ = −gk+١

⇒ sk⊥sk+١

اثبات:αk = argmin f (xk − αgk)

⇒ ∂f (xk+١)

∂α|α=αk = ٠, xk+١ = xk − αgk

⇒ ∂f (xk+١)

∂xk+١

∂xk+١∂α

= ٠ ⇒ −gTk∇f (xk+١) = ٠

⇒ −gTk gk+١ = ٠ ⇒ sk⊥sk+١

۶١ / ٢۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


م بهینه نقطه حوال در پایین رایی هم سرعت شیب، تندترین روش معایب از ی بنابراینبهینه نقطه نزدی در اما دارد، یری چشم کاهش ابتدایی تکرارهای در که حال این با باشد.شده تضمین آن رایی هم که چند هر است. پایین آن رایی هم سرعت ، زاگ زی رفتار دلیل به

است.دوم: درجه f توابع برای شیب تندترین روش

f (x) = ١٢

xTQx− xTb

دادن قرار با مسئله تای ی جواب حالت، این در است. مثبت معین متقارن ماتریس Q آن در کهسازی بهینه مسئله که حال این با .(x∗ = Q−١b) آید م دست به صفر برابر تابع اول مشتقبرای تواند م Q ماتریس معکوس یافتن اما است، بسته فرم صورت به جواب دارای دوم درجه

باشد. زیادی پیچیدگ دارای تر بزرگ سایز با هایی ماتریس

۶١ / ٢۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


شیب تندترین روش تکرارهای کنیم. م بررس دوم درجه تابع برای را شیب تندترین روش حالاست: زیر فرم به

xk+١ = xk − αkgk

دادن قرار صفر مساوی با و دقیق جستجوی روش از αk مقدار و gk = Qxk − b آن در کهآید: م دست به زیر صورت به αk به نسبت f (xk − αkgk) مشتق

f (xk − αkgk) =١٢(xk − αkgk)

TQ (xk − αkgk)− (xk − αkgk)Tb

∂f (xk − αkgk)

∂αk= ٠ ⇒ αk =

gTk gk

gTk Qgk

بود: خواهد زیر صورت به دوم درجه حالت برای شیب تندترین روش تکرارهای بنابراین

xk+١ = xk −(

gTk gk

gTk Qgk

)gk

۶١ / ٢٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مزدوج گرادیان روش

مزدوج: های جهتنظر در را Q مثبت معین و متقارن ماتریس و s١, s٢, ..., sn ⊆ Rn های جهت مجموعه

هرگاه هستند، مزدوج Q به نسبت ها جهت این گوئیم یرید. ب

∀i = j, sTi Qsj = ٠

مزدوج: گرادیان روش در گام طول

αk =gT

k sksT

k Qsk

۶١ / ٢٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نیوتن روش

۶١ / ٢٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نیوتن روش

یرید: ب نظر در را زیر هموار و نامقید سازی بهینه مسئله

minx∈Rn

f (x)

در ام k تکرار در xk نقطه همچنین باشد. پذیر مشتق پیوسته طور به بار دو f تابع کنید فرضنظر در xk+١ = xk + sk جدید نقطه تعیین برای را sk جهت نیوتن روش در باشد. م دست

داریم: sk جهت در و xk نقطه حول f تابع تیلور بسط از گیریم. م

f (xk + sk) = fk + sTk gk +

١٢

sTk Gksk +O

(∥sk∥٢

)= qk (sk) +O

(∥sk∥٢

)از خوبی تقریب qk (sk) آنگاه باشد، بهینه نقطه به نزدی کاف اندازه به sk جهت اگر حالمقدار ام، k تکرار در f (xk + sk) کردن کمینه جای به توان م بنابراین بود. خواهد f (x) تابع

صورت این در یافت. را qk (sk) کمینه

∇qk (sk) = ٠ ⇒ Gksk + gk = ٠ ⇒ Gksk = −gk

۶١ / ٣٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نیوتن روشداشت خواهیم باشد، پذیر وارون Gk که صورت در

sk = −G−١k gk

بود: خواهند زیر صورت به نیوتن تکرارهای نهایت، در

xk+١ = xk + sk = xk − G−١k gk

مهم: نکاتوارون Gk ماتریس تکرار هر در است الزم نیوتن روش بودن تعریف خوش برای

به شود. م مواجه ست ش با نیوتن تکرارهای صورت این غیر در باشد. پذیرمعین Gk ماتریس بهینه نقطه به نزدی کاف اندازه به های x برای ر دی عبارت

بود. خواهد پذیر وارون نتیجه در و است مثبتنیستند. کاهش لزوما نیوتن تکرارهای

الزم تکرار هر در زیرا است. آن زیاد محاسبات وجود نیوتن روش عمده ل مش

شوند. محاسبه دوم مرتبه و اول مرتبه مشتق است

۶١ / ٣١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نیوتن روش

رغم عل ر دی عبارت به است. آن دوم درجه رایی هم در نیوتن روش مزیت عمده

شود. م را هم کمتری تکرار تعداد در روش این تکرار، هر در زیاد محاسباتاندازه به x٠ آغازین نقطه است الزم نیوتن روش رایی هم برای که داریم توجه

است نامعلوم کار ابتدای در x∗ نقطه ه آنجائی از باشد. x∗ به نزدی کافل مش این رف برای شود. م مواجه الت مش با نیوتن روش برای x٠ انتخاباستفاده شیب تندترین مانند سراسری کاهش های روش از ابتدا شود م پیشنهادکه زمان تا باشد) م کند سرعت دارای x∗ نزدی در معموال روش (این نمودروش توان م حالت این در شود. مثبت معین Gk ها، روش این ام k تکرار در

کرد. اعمال را نیوتنمحاسبه باشد، بزرگ مسئله متغیرهای سایز که زمان نیوتن: شبه های روش

به باشد. نم صرفه به و پذیر ان ام عمال هدف تابع دوم مرتبه مشتق معکوسپیشنهاد نیوتن شبه قالب در مختلف های روش ل، مش این حل برای دلیل همین

مشتق معکوس برای مختلف های بهنگام ها، روش این از کدام هر اند. شده داده... و SR1 ،DFP ،BFGS روش همانند اند. کرده معرف هدف تابع دوم مرتبه

۶١ / ٣٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مقید سازی بهینه

۶١ / ٣٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


است: زیر فرم دارای کل حالت در مقید سازی بهینه مسئله ی

min f (x)S.t. Ci (x) = ٠ i ∈ E

Ci (x) ⩾ ٠ i ∈ Ix ∈ Ω ⊆ Rn

محدب مجموعه ی Ω ⊆ Rn و پذیرند مشتق پیوسته طور به بار دو ها، Ci و f توابع آن در که.Ω = Rn که است این بر فرض معموال باشد. م

۶١ / ٣۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


شدن جهتیعن کند. م صدق مسئله قیود در که باشد ای نقطه xk ∈ Rn کنید فرض

Ci(

xk)= ٠, i ∈ E

Ci(

xk)⩾ ٠, i ∈ I

هرگاه گوئیم شدن xk نقطه در را s ∈ Rn جهت

Ci(

xk + αs)= ٠, i ∈ E

Ci(

xk + αs)⩾ ٠, i ∈ I

۶١ / ٣۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

تساوی قیود با مقید سازی بهینه

۶١ / ٣۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


تساوی قیود با مسئله برای بهینگ اول مرتبه الزم شرط

یرید: ب نظر در را زیر سازی بهینه مسئله


Ci (x∗) = ٠ i ∈ E یعن باشد. مسئله برای شدن نقطه ی x∗ کنید فرضکه است آن باشد، x∗ نقطه در شدن جهت ی s ∈ Rn که آن شرط

Ci (x∗ + αs) = ٠⇒ Ci (x∗) + αsT∇Ci (x∗) +O(α٢) = ٠, i ∈ E

که است آن ،x∗ در s بودن شدن برای الزم شرط ، کوچ کاف اندازه به α برای

sT∇Ci (x∗) = ٠

باشد. عمود x∗ نقطه در ∇Ci بر s یعن۶١ / ٣٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


گویند. م ام i قید نرمال بردار را ai (x) = ∇Ci (x) تعریف:s ∈ Rn شدن جهت هر برای بنابراین باشد. سازی بهینه مسئله کننده کمینه x∗ کنید فرض حال

داریم:f (x∗) ⩽ f (x∗ + αs)

ر دی عبارت به

∀s ∈ Rn, sT∇Ci (x∗) = ٠ ⇒ f (x∗ + αs)− f (x∗) ⩾ ٠

داریم تیلور بسط از

f (x∗ + αs) = f (x∗) + αsT∇f (x∗)︸︷︷︸g∗

+O(α٢)

⇒ f (x∗ + αs)− f (x∗) = αsTg∗ +O(α٢)

۶١ / ٣٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مقید سازی بهینهباشیم داشته بایست x∗ کننده کمینه نقطه در بنابراین

sTg∗ = sT∇f (x∗) = ٠

م ایجاد تناقض رابطه در α < ٠ انتخاب با باشد، sTg∗ > ٠ اگر صورت این غیر در زیراذکر به الزم شد. خواهد ایجاد تناقض رابطه در α > ٠ انتخاب با باشد sTg∗ < ٠ اگر و شود

هستند. شدن −s و s جهت دو هر که استکه است آن باشد مسئله کننده کمینه x∗ آنکه برای الزم شرط نتیجه:

∀s ∈ Rn; sTai (x∗) = ٠ i ∈ E ⇒ sTg (x∗) = ٠

صورت این در باشد. قیود نرمال ماتریس A∗ و باشد مسئله کننده کمینه x∗ کنید فرض قضیه:ه طوری به دارد وجود λ ∈ Rn بردار

A∗λ = g∗ ⇔ ∇f (x∗) =m∑

i=١λi∇Ci (x∗)

گویند. م الگرانژ ضرایب بردار را λ بردار۶١ / ٣٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


۶١ / ۴٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


تساوی قیود با سازی بهینه مسئله برای الگرانژی تابع

یرید: ب نظر در را زیر مسئله


کنیم: م تعریف زیر صورت به را الگرانژی تابع مسئله، این برای

L (x,λ) = f (x)−m∑

i=١λiCi (x)

۶١ / ۴١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.



بهینگ اول مرتبه الزم شرط یرید. ب نظر در را minx,λL (x,λ) نامقید سازی بهینه مسئله حال،

از: است عبارت مسئله این ∇xLبرای (x,λ) = ٠ ⇒ ∇f (x)−m∑

i=١λi∇Ci (x) = ٠

∇λL (x,λ) = ٠ ⇒ Ci (x) = ٠, i ∈ E

۶١ / ۴٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.



از: است عبارت الگرانژی مسئله برای اول مرتبه الزم شرط ر، دی عبارت ∇fبه (x) =m∑

i=١λi∇Ci (x)

Ci (x) = ٠, i ∈ E

بنابراین، است. تساوی قیود با سازی بهینه مسئله برای اول مرتبه الزم شرایط همان شرایط، اینکرد. حل سپس و کرد تبدیل نامقید مسائل به توان م را تساوی قیود با مقید مسائل

۶١ / ۴٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال:

minx,y

f (x, y) = −x + y

s.t. C (x, y) = −x٢ + y = ٠

۶١ / ۴۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال: حل∇f (x, y) =

[−١١

]∇C (x, y) =

[−٢x١

]∇f (x, y)− λ∇C (x, y) = ٠C (x, y) = ٠

⇒

[−١١

]− λ

[−٢x١

]= ٠

−x٢ + y = ٠

⇒

−١+ ٢λx = ٠١− λ = ٠−x٢ + y = ٠

⇒ λ = ١ ⇒ x =١٢⇒ y =

١۴

۶١ / ۴۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


خط قیود با نرم سازی کمینه مسئله مثال:

minx

∥x∥٢

s.t. y = Ax

۶١ / ۴۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال: حل

L (x, λ) = ∥x∥٢ − λT (y− Ax)∇xL (x, λ) = ٢x + ATλ

∇λL (x, λ) = −y + Ax٢x + ATλ = ٠−y + Ax = ٠

⇒

٢Ax + AATλ = ٠y = Ax

⇒ ٢y + AATλ = ٠ ⇒ λ = −٢(AAT)−١y

⇒ ٢x + AT(−٢

(AAT)−١y

)= ٠⇒ x = AT(AAT)−١y

۶١ / ۴٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال:

min f (x١, x٢) = x١ + x٢s.t. h١ (x١, x٢) = (x١ − ٢(١ + x٢٢ − ١ = ٠

h٢ (x١, x٢) = (x١ − ٢(٢ + x٢٢ − ۴ = ٠

۶١ / ۴٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال: حلL (x, λ) = f (x١, x٢) + λ١h١ (x١, x٢) + λ٢h٢ (x١, x٢)

∇xL (x, λ) =[١١

]− λ١

[٢ (x١ − ١)

٢x٢

]− λ٢

[٢ (x١ − ٢)

٢x٢

]∇xh١ (x)

∣∣(٠,٠) =

[−٢٠

], ∇xh٢ (x)

∣∣(٠,٠) =

[−۴٠

]

min f (x١, x٢) = x١?s.t. h١ (x١, x٢) = (x١ − ٢(١ + x٢٢ − ١ = ٠

h٢ (x١, x٢) = (x١ − ٢(٢ + x٢٢ − ۴ = ٠

۶١ / ۴٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نامساوی قیود با مقید سازی بهینه

۶١ / ۵٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


نامساوی قیود با سازی بهینه مسئله برای بهینگ اول مرتبه الزم شرطفعال قیود مجموعه تعریف:

قیود مجموعه .Ci (x) = ٠ هرگاه گوئیم (Active) موثر یا فعال x نقطه در را Ci (x) قیدشود: م تعریف زیر صورت به x نقطه در (Active set) فعال

A (x) = i ∈ E ∪ I|Ci (x) = ٠

برای بهینگ اول مرتبه الزم شرایط شود م اثبات تساوی، قیود با سازی بهینه مسئله هماننداز: است عبارت نامساوی قیود با سازی بهینه مسئله

∀s ∈ Rn, ∇Ci (x∗) = ٠, i ∈ E∇Ci (x∗) ⩾ ٠, i ∈ I

⇒ sT∇f (x∗) ⩾ ٠

۶١ / ۵١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


نامساوی قیود با سازی بهینه مسئله برای بهینگ اول مرتبه الزم شرط

ه بطوری λ∗ ∈ Rm بردار وجود با است معادل فوق شرط که شود م اثبات همچنین∇f (x∗) =

∑i∈E∪I

λ∗i∇Ci (x∗)

λ∗i ⩾ ٠, i ∈ I∗ = I ∩ A (x∗)

۶١ / ۵٢ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


Karush-Kuhn-Tacker (KKT) شرایطول نیست سازی پیاده قابل قبل در شده بیان شرایط کار، ابتدای در I∗ بودن نامعلوم دلیل به

کرد: استفاده زیر معادل شرایط از توان م آن جای به که است شده اثبات

g∗ =∑

i∈E∪Iλ∗

i a∗i

Ci (x∗) = ٠, i ∈ E Primal feasibilityCi (x∗) ⩾ ٠, i ∈ I Primal feasibilityλ∗

i ⩾ ٠, i ∈ I Dual feasibilityλ∗

i Ci (x∗) = ٠, i ∈ I Complementary Slackness

شرط را فوق رابطه در آخر تساوی هستند. معروف KKT شرایط به فوق اول مرتبه الزم شرایطگویند. م (Complementary Condition) مل م

۶١ / ۵٣ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


۶١ / ۵۴ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


دستگاه باید باشند، جواب دارای KKT شرایط آنکه برای

g∗ =∑

i∈E∪Iλ∗

i a∗i

باشد. داشته جواب بهینه نقطه در:Linear Indepencency Constraint Qualification (LICQ) شرایط تعریف:

صورت این در باشد. غیرخط قیود با مقید سازی بهینه مسئله شدن نقطه ی x∗ کنید فرضمستقل بهینه نقطه در قیود گرادیان مجموعه هرگاه کند م صدق LICQ شرط در x∗ گوئیم

باشند. خط

۶١ / ۵۵ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مثال:minx١,x٢

e−x١ + e−٢x٢

s.t. x١ + x٢ ⩽ ١x١, x٢ ⩾ ٠

مثال: حل

شده: بازنویس مسئله

minx١,x٢

e−x١ + e−٢x٢

s.t. x١ + x٢ ⩽ ١−x١ ⩽ ٠−x٢ ⩽ ٠

۶١ / ۵۶ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


KKT اول شرط

∇f (x∗) +٣∑

i=١λ∗

i∗∇g∗i (x∗) = ٠

−e−x∗١ + [λ∗١ (١) + λ∗

٢ (−١) + λ∗٣ (٠)] = ٠, ⇒ −e−x∗١ + λ∗

١ − λ∗٢ = ٠ (١)

−٢e−٢x∗٢ + [λ∗١ (١) + λ∗

٢ (٠) + λ∗٣ (−١)] = ٠, ⇒ −٢e−٢x∗٢ + λ∗

١ − λ∗٣ = ٠ (٢)

مل م شرط

λigi (x∗) = ٠i = ١, λ∗

١ (١− x∗١ − x∗٢) = ٠ (٣)i = ٢, λ∗

٢x∗١ = ٠, (۴) i = ٣, λ∗٣x∗٢ = ٠ (۵)

دوگان مسئله بودن شدن شرط

λ∗i ⩾ ٠ (۶)

۶١ / ۵٧ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


مساوی قیود با مسئله برای بهینگ دوم مرتبه الزم شرط

هر برای صورت این در کنند. م صدق KKT اول مرتبه الزم شرایط در (x∗, λ∗) کنید فرضداریم: s ∈ Rn شدن جهت

f (x∗ + s) = L (x∗ + s, λ∗)

داشت: خواهیم x∗ نقطه حول الگرانژی تیلور بسط از حال

f (x∗ + s) = L (x∗, λ∗) + sT∇xL (x∗, λ∗)︸︷︷︸=٠

+١٢

sT∇xxL (x∗, λ∗) s +O(∥s∥٢

)= f (x∗)−

∑λiCi (x∗)︸︷︷︸=٠

+١٢


)

⇒ f (x∗ + s)− f (x∗) = ١٢


)۶١ / ۵٨ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.



باشیم: داشته باید s شدن جهت هر برای هدف، تابع شدن کمینه برای بنابراین

sT∇xxL (x∗, λ∗) s ⩾ ٠

ر: دی عبارت به

∀s ∈ Rn; sTa∗i = ٠, i ∈ E ⇒ sT∇xxL (x∗, λ∗) s ⩾ ٠

شرط صورت این در باشد. x∗ نقطه در قیود نرمال ماتریس A∗ =

a∗١, ..., a∗m

دهید قراربا: است معادل فوق

∀s ∈ Null(

A∗T); sT∇xxL (x∗, λ∗) s ⩾ ٠

۶١ / ۵٩ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.



معین نیمه بایست x∗ نقطه در مماس زیرفضای روی الگرانژی هس ماتریس ر دی عبارت بهباشد. مثبت

مرتبه الزم شرط آنگاه ،A∗TZ = ٠ یعن باشد، Null(

A∗T)

فضای برای پایه ی Z اگرکرد: بیان زیر صورت به توان م را دوم

sTA∗ = ٠ ⇒ ∀s = Zy ∈ Null(

A∗T); yTZT∇xxL (x∗, λ∗)Zy ⩾ ٠

بایست ZT∇xxL (x∗, λ∗)Z یافته) (تقلیل شده تصویر هس ماتریس تر دقیق عبارت بهباشد. مثبت معین نیمه

۶١ / ۶٠ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.


نامساوی قیود با مسئله برای بهینگ دوم مرتبه الزم شرط

اینکه با است برابر دوم مرتبه الزم شرط باشد، داشته وجود نیز نامساوی قیود که صورت درکه تفاوت این با باشد. مثبت معین نیمه ZT∇xxL (x∗, λ∗)Z یافته تقلیل هس ماتریسم x∗ در موثر قیود ماتریسگرادیان A∗ که است A∗T پوچ فضای برای پایه ی Z آن در

باشد.

بهینگ کاف شرطبرای کننده کمینه نقطه ی کنند، م صدق دوم و اول مرتبه الزم شرط در که (x∗, λ∗) نقطه

ZT∇xxL (x∗, λ∗)Z یافته تقلیل هس ماتریس هرگاه باشد م غیرخط سازی بهینه مسئلهاز ل متش ماتریس A∗ که است A∗T پوچ فضای برای پایه ی Z باشد. مثبت معین

باشد. م موثر قیود گرادیان

۶١ / ۶١ ١٣٩۶ دی ٢ محدب و غیرخط و خط سازی بهینه ( بهشت شهید اه (دانش صفوی حمید سید

Thanks for attention.http://display.sbu.ac.ir

Questions and Comments?

DiSPLaY Group, Tehran, Iran

DiSPLaY Group, Faculty of Electrical Engineering, Shahid Beheshti University 1 / 1

http://display.sbu.ac.ir

بهینه سازی خطی و غیرخطی و...

Documents