استاد: جناب آقای دکتر توحیدخواه

دانشگاه صنعتی امیرکبیردانشکده مهندسی پزشکی

بین مبتنی بر مدل کنترل پیشتوزیع شده و کاربرد آن

های بندی سیستم آرایشدراستاد:چندعاملی

جناب آقای دکتر توحیدخواه

ارائه دهنده:

عادله محمدی

1389آذرماه

فهرست مطالب

عاملAgent

ها درك ك#رده سنس8ور را از طري#ق محي8ط ك#ه وج8وديک كند. # ميعمل بر# روي# آن خ8ودمختارو# به صور#ت

3

عامل در قالب يك سيستم فيدبكي

4

خودمختاريAutonomy

وج#ود عام#ل ه#ر ي#ا انس#ان مس#تقيم دخ#الت ب#دون گيري و عم#ل خ#ود داراي اس#تقالل ديگ#ر، در تص#ميم

است.

5

عامل ها خودمختارند :احساس محیط خود و سایر عامل ها رد و بدل اطالعات با سایر عامل هامحاسبه و اجرای اعمال کنترلی الزم

برای رسیدن به سهم خود در تابع هدف

6

7

سیستم های چندعاملیMulti-agent Systems

مفه8وم وق#تي درک ب8ا عام8ل تع8دادي در کن#ار هم ق#رار گرفت#ه ت#ا در خودمخت8اري

ف#ردي، اه#داف R ه8دف جمعي كن#ار عم#دتاكنن#د، دنب#ال را راس#تا هم#ان در واالت#ري پي#دا تجلي چن#دعاملي ه#اي عن#وان سيس#تم

کند ميتحقق هدفی در سطح سیستم

7

88

مفاهيم مربوط به سيستم هاي چندعاملي

همکاریCooperation

توافق عامل ها برای داشتن هدفی مشترک با سایر عامل ها، 1(

که این هدف معموال به صورت آفالین مشخص می شود.

به اشتراک گذاشتن اطالعات به صورت 2(آنالین برای تحقق هدف مشترک

9

Distribution

ویژگی ذاتی سیستم های چندعاملی :توزیع شدگی

یع#نی ه#ر عام#ل توس#ط انتق#ال اطالع#ات محلی با سایر عامل ها باید ”مختارانه“ عمل کند.

10

کنترل توزیع شده

طبیعت ابعاد وسیع سیستم هاکاربردهای ابعاد وسیع •سیستم های قدرت• سیستم های توزیع آب• سیستم ترافیک• سیستم های تولید• سیستم های اقتصادی•

11

DMPC vs. CMPC

ورودی کنترلی کل 12

دینامیک کل سیستم

حلیک

مسئلهبهینه سازی

ورودی های کنترلی محلی

دینامیک تک تک عامل ها

حلچند

مسئلهبهینه سازی

کنترل بهینه غیرمتمرکزOptimal Decentralized Control

• Optimal control problem

subject to decentralized information structure constraints

ک#ه • محلی ه#ای ح#الت ب#ه فق#ط محلی فی#دبک هر اطالعات آنها کامل است دسترسی دارد

13

Optimal Decentralized Controllers

حالت ه#ای ه#ر زیرسیس#تم و همس#ایه ه#ای آن •در اطالع#ات انتق#ال ی#ا گ#یری ان#دازه ب#ا

دسترس استه#ا همخ#وانی • عام#ل بین هماهن#گ اه#داف با

داردمحاسبات موازی و توزیع شده•

14

MPC توزیع شده

هر عامل : متغیرها، تابع هزینه و قیود محلی

مسائل بهینه سازی محلی کوچکتر از مساله بهینه

سازی متمرکز

درجه ای از هماهنگی بین عامل ها نیاز است

تامین اطالعات مورد نیاز

15

آرایش بندی در سیستم های چندعاملی

ايج#اد تع#املي مناس#ب بين تع#دادي از عامل ه#ا •در يک فضاي مشخص

ه##ای • سیس##تم در مهم مس##ائل از یکی بين هم#اهنگي و همك#اري چن#دعاملی مس#ئله

عامل از ب#ه تع#دادي اس#ت ق#رار ك#ه هاس#ت الگوي خاصي دست يابند.

ه#ر گ#اه اين تعام#ل در ي#ك فض#ا نم#ود پي#دا كن#د، •( تعب#ير Formationبن#دي ) آنگ#اه عن#وان آرايش

مناسبي براي آن است. 16

بندي در طبيعت آرايش

بن#دي در ط#بيعت ن#يز قاب#ل مش#اهده اس#ت آرايشو ک#ه می آس#مان در پرن#دگان ب#ه ح#ركت ت#وان

.ه کردها در محيط اشار پخش شدن گونه

17

بندي در طبيعت آرايش

18

انواع هدف در آرایش بندی

19

بندي ثابت آرايش

رس#يدن ب#ه آرايش مناس#ب ب#ه عن#وان ص#ورت مس#ئله مط#رح شود. مي

ه#ا در محي#ط پراكن#ده هس#تند و باي#د ض#من تعام#ل در ابت#دا عامله#ا ب#ه س#مت #آ#ر#ا#ي#ش#ي ك#ه ب#ر# ب#ا #م#حي#ط#،# در# #حض#و#ر# س#ای#ر عا#م#ل

شود،# ه#مگرا شون#د. #هاي# مسئ#له #تعيي#ن مي #ا#ساس #خوا#س#ته#

20

بندي متحرك آرايش

21

حفظ يا تغيير هدف اصلي مناسب آرايش حين تغييرات محيط و در حضور ساير

استها عامل

بندي متحرك انواع آرايشدر محي#ط م#دنظر ق#رار گرفت#ه ره8بر . ي#ك عام#ل ب#ه عن#وان1

ه#ا# در ت#ع#ام#ل# #ب#ا آ#ن، #تص#ميم# من#اس#ب را ا#تخ#اذ و# س#ا#ير عا#مل#كنند. مي

اس#اس ه#دف و ش#رايط ره8بر مج8ازي . 2 ب#ر ك#ه ب#وده ه#ا ب#ه ص#ورت# مج#ازی خ#ود را ب#ا آن م#حي#ط، س#اي#ر عا#مل

كنند. تنظيم مي

ه#اي همس#ايه خ#ود را ب#ا عامل محلي ه#ا ب#ه ص#ورت . عامل3ك#نن#د ض#من ح#ف#ظ #آرايش#، ب#ه هما#هن#گ ک#رده #و س#عي ميتغييرات محيط پاسخ دهند.

22

بندي فضايي/ منطقی آرايش

بندي فضايي آرايشR تع#امالت مختص#اتي ه#دف اص#لي تعري#ف مي ش#ود صرفا

س#اير #عام#ل ب#ا ت ت#ع#امال# همي#ن ك#ه# ب#ه م#ح#دو#د ن#يز# ه#ا فرض است.

االض#الع ه#ا در س#ه گوش#ه ي#ك مثلث متساوي آرایش عامل

ها هدف: حفظ فاصله مساوی بين همه عامل

23

مثال

بندي منطقي آرايش

بن#دي فض#ايي دانس#ت ك#ه ت#وان تعمیم آرايش ميپارامتره#ای #دیگ#ری م#ختص#ات #فض#ایی# ب#ر ع#الوه

گي#ري دخیل هستن#د. نیز# در #تعیین تص#ميم

شبكه پدافند موشكي پارامتره#ايي مث#ل فاص#له امن از يك#ديگر، م#يزان

از #مراك#ز ه#م ف#اص#له و ا#ختف#اء م#يزان پوش#اني، حساس نيز مورد توجه است.

24

مثال

موانع هوشمند/ غيرهوشمند

عامل محي#ط حركت ت#أثير تحت محي#ط در ه#ا مي مح#دوديت مح#دود اين از يكي ها ش#ود.

وجود موانع است.موانع استاتيك

در پارامترهاي هدف تأثيرگذار نيستند.آنه#ا ب#ا تعام#ل و ب#وده هوش#مند غ#ير موان#ع اين

آسان است.

25

در مقاب#ل ممكن اس#ت م#وانعي وج#ود داش#تهR در باش#ند ك#ه ابع#اد ه#دف را تغي#ير داده و بعض#ا

عامل بين رق#ابت ب#روز ممكن ص#ورت ه#ا، R ص#ورت مس#ئله را تغي#ير دهن#د.)ل#زوم اس#ت كال

تطبيق و يادگيري(

26

کاربردها

شبكه سنسورهاي بي سيم در محيط هاي تداخلي•انجام عمليات جستجو )امداد و نجات، مين يابي(•كنترل حركت ماهواره در مدار زمين•روابط بين المللی•امنيت شبكه هاي اينترنتي•مديريت بحران و منابع•سپر دفاع موشكي•محيط نبرد•

27

ارز هاي معادل يا هم واژه

كنند تر بررسي مي های خاصي را دقيق هر يك جنبه•

28

ائتالف Coalition

دنب#ال عامل• را يكس#اني اه#داف R الزام#ا ه#ا انج#ام نمي ادام#ه در اس#ت ولي ممكن كنن#د،

ب#ه وظ#ايف محول#ه در مق#اطع زم#اني خاص#ي يكديگر نياز داشته باشند.

هدف8دار و م8وقت ” ائتالف در ح#الت كلي •می#انی ش#كل ه#دف ي#ك اس#اس ب#ر ك#ه ب#وده

رس#د ك#ه ه#دف از گرفت#ه و زم#اني ب#ه پاي#ان ميبين رفت#ه باش#د ي#ا ادام#ه آن ب#ا اه#داف اولي#ه در ائتالف ادام#ه حض#ور در اينك#ه ي#ا باش#د تض#اد

سودي براي عامل نداشته باشد“ . 29

Flocking behavior حرکت گله ایيكي از انواع رفتارهاي اجتماعي •از عامل• ب#زرگي ي#ك ‌‌‌گروه ب#ا ب#ا هم در ه8دف يكس8ان ه#ا

عاملا#ن#د تعا#مل هم#ه رفت#ار# اين در ي#ك . فاص8له ه#ا #در ح#ر#كت ك#ر#ده و# از برخ#ورد ب#ا س8ر8عت يكس8ان ب#ا مش8خص

كنن#د. م#وانع و #يكدي#گر خو#دداري ميكاربردها:•ب#ا اس#تفاده از گ#روه ب#زرگي از سنس#ورهاي • پ#ايش محي#ط

متحرك تحويل موازي بار به مقصد• انجام عمليات امداد و نجات•

30

Coverage كنترل پوشش Control

ايج#اد همپوش#اني مناس#ب در انج#ام :هدف•يك وظيفه همگاني است

بندي ثابت مشابه آرايش•و • اس#ت محي#ط پوش#ش ه#دف : تف#اوت

تأكيدي بر روي آرايش وجود ندارد

31

Consensusاجماع

رس#يدن هم#ه عامل ه#ا ب#ه ي#ك ح#الت واح#د و يكسان و ايجاد هماهنگي بين آنها

32

RHCحل مساله آرایش بندی با

Why RHC?- Generality: generic state & control cons.

- Reconfigurability: redefine functions & cons. To reflect changes

Why not RHC?

- Computational demand- Theoretical Conservation: proofs of stability

33

RHCتوزیع شده

راه حل غیر متمرکز مزایای زیر را دارد:خودمختاری زیرسیستم ها حفظ می شود.•

• scalable

خودمخت#اری عام#ل ه#ا حف#ظ می ش#ود و نتیج#ه قابل گسترش به تعداد زیادی عامل است.

توزی#ع ش#ده: در تئ#وری فق#ط ی#ک RHCمش#کل راه ح#ل متمرک#ز، پای#داری مج#انبی را تض#مین

می کند.

34

RHCحل مساله آرایش بندی با

ی#ک • و تعری#ف می ش#ود مناس#بی ه#دف تابع مس#اله کن#ترل بهین#ه ب#رای تحق#ق ه#دف نه#ایی ه#ا در رب#ات و هم#اهنگی بن#دی آرایش یع#نی ق#الب کن#ترل پیش بین مبت#نی ب#ر م#دل ح#ل می

شود.هدف این اس#ت ک#ه ب#ا اس#تفاده از روش اف#ق •

ب#ه س#وی را ه#ا عام#ل از گ#روهی بین پیش هدف مشترکی هدایت کرده و پایدار کنیم.

•35

قیود در سیستم های چندعاملی

قی#ود ممکن دارن#د. دینامی#ک ی#ک ه#ر ه#ا عام#ل اس#ت ب#رای ه#ر ی#ک از عام#ل ه#ا ب#ه ط#ور ف#ردی وج#ود داش#ته باش#د مثال ورودی کن#ترلی مح#دود

برای هر عامل. دس#ته دیگ#ری از قی#ود وج#ود دارن#د ک#ه مرب#وط ب#ه

ذ#ات سیستم #هستند#. مثال قید ن#انهولونومیک بس#ته ب#ه ه#دفی ک#ه تعری#ف ش#ده ب#ه وج#ود می

ب#ا ه#م کوپ#ل م#ی کنن#د مث#ال آین#د #و ع#ام#ل ه#ا# را قیود جلوگیری از تصادم.

36

معرفی سیستم و شرایط مساله

برای ه#ر عامل

37

حالت ها و کنترل

{1,..., }ai N

2( ) ( ( ), ( )) ni i iz t q t q t

( ) niu t

( ) ( ), 1,...,i i aq t u t i N

دینامیک هر یک به صورت زیر است

دینامیک خطی و همسان برای عامل ها

معرفی سیستم و شرایط مساله

هر عام#ل تحت قی#ود ورودی و ح#الت زی#ر ق#رار دارد

38

( ) , ( ) , 0i iu t z t t U Z

این اس#ت ک#ه تم#امی عام#ل ه#ا هدف کن8ترلی به طور مجانبی و با همکاری یکدیگر به

ک#ه ی#ک نقط#ه تع#ادل معادل#ه دینامی#ک سیس#تم اس#ت برسند

1( ,..., ) a

a

Nc c cNz z z Z

RHCمتمرکز

همکاری عامل ها با مینیمم کردن تابع هزینه زیر •تحقق می یابد

39

0

2 2 2 2

( , )( , ) i j ij di jL z u q q d q q q u

E

, , وزن های ثابت و مثبت

2

dq q هزینهTracking1 2 3( ) / 3c c c

dq q q q

1 2 3( ) / 3q q q q

RHCمتمرکز

در این مرحل#ه الزم اس#ت فرض#یاتی در نظ#ر گرفت#ه شوند.

مثال اینک#ه تم#ام ح#الت ه#ا قاب#ل ان#دازه گ#یری هستند.زم#ان انج#ام محاس#بات در براب#ر پیش#روی دینامی#ک

حلقه ب#سته ق#ابل #صرفنظر# کر#دن است.#

40

می توان تابع هزینه جمعی را به صورت 2معادل زیر نیز بنویسیم 2

( , ) c

QL z u z z u

centralized open-loop optimalcontrol problem

41

*

( )

2

2

( ( ), ) min ( ( ), ( )) ( ( )),

( ) ( ), ( ) , ( ) , [ , ],

( ; ( )) ( ),

( ) , 0

( ) : { : ( ) , 0}

a a

a

t T

ut

N N

c T

P

nN

J z t T L z u d G z t T

subject to

q s u s u s z s s t t T

z t T z t

whereG z z z P P and

z G z

U Z

RHCمتمرکز

مسئله کنترل بهینه مورد نظر را در زمان

42

0t مقدار دهی اولیه می کنیم

دوره زمانی به روز شدن افق غلطکی

*0( ) ( ),centq u t سیستم حلقه

بستهقانون کنترل افق پیش بین متمرکز به صورت

زیر است* *( ) ( ; ( )), [ , ],0cent centu u z t t t T

RHCتوزیع شده هر دو ع#املی ک#ه ب#ا هم همک#اری می کنن#د همس#ایه

نامیده می شوند.

Gگراف تعامل بین عامل هاست

iبرای هر عامل

43

Decoupled integrated Cost

44

RHCتوزیع شده

هر عام#ل ب#ا دردس#ت داش#تن ح#الت کن#ونی خ#ود •و# ه#مس#ایه# #ه#ایش #مس#اله #کن#ترل #به#ین#ه ح#ل#ق#ه# ب#از#

خود را حل می کند. ، کن#ترل مف#روض iقب#ل از ه#ر آپ#دیت، ه#ر عام#ل •

ب#ر#ای ه#ر# ک#دام# از# همس#ایه ه#ا#ی خ#ود# را #دری#افت می کند.

45

RHC توزیع شده

46

RHC توزیع شده

47

Local compatibility constraint

این قید تضمین می کند که هیچ عاملی در مساله •بهینه سازی از آنچه که همسایه هایش از آن انتظار

دارند، خیلی فراتر نمی رود.

• Degree of consistency between what a vehicle plans to do and what neighbors believe that vehicle will plan to do

متناظر با توان دوم پریود آپدیت است.•

48

Controller

49

پایداری

هدف رساندن حالت ها به مبدا •• Optimal Cost Function as Lyapunov function

• Terminal Constraints

Terminal inequality constraint

Terminal cost function

50

Dual-Mode RHC• Robustness to model uncertainty in the

presence of generic state constraints by making the constraints more conservative.

51

Centralized

52

Distributed

53

مقایسه روش ها

محاس#بات • ب#ه نس#بت توزی#ع ش#ده محاس#بات برت#ری موازی:

بهین#ه • مس#اله ح#ل هنگ#ام در ش#ده توزی#ع روش در سازی هیچ انتقال اطالعاتی بین عامل ها نیاز نیست

بهین#ه • تک#رار مس#اله بهین#ه س#ازی م#وازی در حین در سازی، مسائل با هم در ارتباطند.

هزینه ارتباطی پایینتر•

54

مراجع1. Distributed Receding Horizon Control of Multi-agent Systems, William B. Dunbar,

California Institute of Technology Pasadena, California, 2004

2. Receding Horizon Control of Multi-Vehicle Formations: A Distributed Implementation, William B. Dunbar, Richard M. Murray, Control and Dynamical Systems 107-81, California Institute of Technology, Pasadena, CA 91125, 2004 IEEE CONFERENCE ON DECISION AND CONTROL

3. Distributed Model Predictive Control By Eduardo Camponogara, Dong Jia, Bruce H. Krogh, and Sarosh Talukdar, Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, U.S.A, IEEE Control Systems Magazine

آرايش بن8دي عامل ه8ا ب8ا اس8تفاده از ي8ادگيري تقوي8تي در محيط ه8اي رق8ابتي ب8ا 4.ب8ازي جن8گ، در رس8اله ، دانش8كده مهندس8ي ب8رق،# #دانش#گاه ص#نعتي ام#يركب#يرك8اربرد8

، د8ك8تر8 احمدافش8ار،ع8لي اک8ر8مي زاده، دک8تراي8 مهندس8ي 8ب8رق گ8رايش8 كن8ترل.1389، د8كتر محم8دباقر منهاج8

55

56

با تشکر از توجه شما

57