rough neural networks

دکتر محمد تشنه لب

نصیرالدین طوسیدانشگاه صنعتی خواجه استاد

رافعصبی‌شبکه‌های

طراحی و شبیه سازی پیش بینی داده های هواشناسی و کنترل کننده های شبکه های

عصبی مرسوم و بازه ایمحمد تشنه لب

بسمه تعالی

دانشکده‌برق‌و‌کامپیوتردانشگاه‌‌صنعتی‌خواجه‌نصیر‌الدین‌طوسی

2015 Workshop on Soft Computing and Big Data, ECE Dept. of K. N. Toosi University of Technology, Tehran.

oمقدمه

o رویکرد مجمو عه رافمفاهیم

o شبکه عصبی بازه ای روش

o شبیه سازی


مقدمه

مروری بر کارهای پیشین

روش پیشنهادی

آزمایشات

ینتیجه گیر

4

Хو حمل و نقلچالش های پیش بینی در هوا شناسی:

.ددارندینامیک پیچیده غیرخطی و متغیر با زمان های آب و هوایی پدیده•

.کنند های آب و هوایی از یک مدل خاص تبعیت نمیپدیده•

.روند سیستم آب وهوائی آشوبگونه است•

.عدم قطعیت در اینگونه سیستمها باالست•

راهکار:مدل غیرخطیها با استفاده از یک مدلسازی این پدیده←

ا پیش بینی و مدلسازی داده های هواشناسی حمل و نقل ب: هدفاستفاده از الگوریتم های هوشمند




آزمایشات

ینتیجه گیر





آزمایشات

ینتیجه گیر

6

پیش بینی سینوپتیکی

پیش بینی عددی

پیش بینی با روش های آماری

روش های هوشمند

بامقایسهدرودارندرامنطقیوحسابیتابعهرتقریبومحاسبهتواناییعصبیهایشبکه

.دارندکمتریحساسیتهادادهنوعوهاورودیبهمدلاینمرسوم،هایروش2015 Workshop on Soft Computing and Big Data, ECE Dept. of K. N. Toosi University of Technology, Tehran.


آزمایشات

ینتیجه گیر

روش کار



آزمایشات

ینتیجه گیر

8

شبکه عصبی مصنوعیبی سیسبتم عصب از شبیوه کبارکرد مصبنوعی ررتتبه اصلی شببکه ایده -

ش و ایجاد دانیادریری ها و اطالعات به منظور ، برای پردازش دادهزیستی.است

ی طبور مبواز که بهغیرخطی این شبکه ها از تعدادی عناصر محاسباتیـ .ستاعمل می کنند، تشکیل شده

یامجموعهزیستی،عصبیشبکه•

نورننامبهموازیپردازشگرهایازبرایهماهنگصورتبهکهاست.کنندمیعملمسئلهحل

.تاسیادگیریبهقادرشبکهاین•



آزمایشات

ینتیجه گیر

9

ویژری های شبکه عصبی مصنوعی

قابلیت یادگیریپذیرش اطالعات حجیم همراه با عدم قطعیتتنوع در ساختار شبکه های عصبی ب حسب نیازقابلیت تامینپردازش موازیمقاوم بودن

شبکه عصبی مصنوعی



آزمایشات

ینتیجه گیر

12

یادریری در شبکه های عصبی مصنوعی

ت الزم بر یک شبکه عصبی به واسطه ترایند های یادریری قادر است با اعمال تنظیما.، محیط اطراف خود را بهتر درک کندوزن های سیناپسیروی

انواع الگوریتم های یادگیری •

یادگیری فرایندی است که در آن پارامترهای آزاد یک شبکه عصبی به واسطه ی یک » فرایند تحریکی بیرونی، با محیطی که شبکه در آن قرار گرفته است،

«.تطبیق پیدا می کند

یادگیری با سرپرستی

یادگیری بدون سرپرستی

ترکیبی از هر دو روش

شبکه عصبی مصنوعی



آزمایشات

ینتیجه گیر

11

رافهایمجموعهنظریه

عدمباجدیدریاضیرویکردیکرافهایمجموعهنظریه•

.است(ابهام)قطعیت

شده،مطرح1982درپاوالکتوسطراف،هایمجموعهنظریه•

وابستهمهندسیومصنوعیهوشدررافهایمجموعهکاربردهایازبرخی•

کشفتصمیم،آنالیزماشین،یادگیریهایزمینهدرویژهبهدانش،به

مینرممحاسباتفازی،وعصبیهایسیستمها،دادهپایگاهازاطالعات

.باشد



آزمایشات

ینتیجه گیر

12

نظریه مجموعه های رافهر سیستم اطالعاتی را می توان به وسیله ی یک جدول اطالعات، با سطرهایی از •

.نمایش دادبرچسب خصوصیات برچسب اشیا و ستونهایی با

.بیمار ارائه شده است6یک جدول اطالعات از داده های مربوط به : مثال

p6وp1،p3نسبت به خصوصیت سردرد، بیماران p5و p3وp2در جدول باال بیماران نسبت به خصوصیات p5وp2نسبت به خصوصیات درد عضالنی و آنفوالنزا و بیماران

.از هم هستندغیر قابل تفکیک سردرد، درد عضالنی و دمای بدن

آنفوالنزادمای بدندرد عضالنیسردردبیمارخصوصیات

p1 بلهباالبلهخیر

p2بلهباالخیربله

p3بلهبسیار باالبلهبله

p4 خیرنرمالبلهخیر

p5خیرباالخیربله

p6 بلهبسیار باالبلهخیر

برچسب اشیا



آزمایشات

ینتیجه گیر

13

نظریه مجموعه های راف:مثال

:خصوصیت سردرد مجموعه های مقدماتی زیر را تولید می کنددر مثال فوق

{p6وp4 وp1 } و{p5وp3 وp2 }

:های مقدماتی زیر را تولید می کندسردرد و درد عضالنی مجموعه خصوصیات

{p3 } و{p5وp2 }و{p6وp4 وp1 }

:ندهای مقدماتی زیر را تولید می کمجموعه خصوصیات سردرد، درد عضالنی و دمای بدن

{p6 }و{p4 } و{p3 } و{p5وp2 } و{p1 }



آزمایشات

ینتیجه گیر

14

نظریه مجموعه های رافمجموعه های فرض کنیم: تعریف

هم چنین مجموعه ی . می گویندXکه به ترتیب تقریب پایین و تقریب باال برای

.گفته می شودXناحیه مرزی برای BNکه در آن

BبهتوجهباکهاستاشیائییهمهیمجموعهBبهنسبتXپایینتقریبتعریف،طبقباکهاستاشیائییهمهیمجموعهBبهنسبتXباالیتقریب.هستندXدرمطمئناً

یهمهیمجموعهBبهنسبتXمجموعهمرزیناحیه.باشندXدراستممکنBبهتوجهطبق).کردبندیدستهXخارجدریاXدرراآنهاتواننمیBبهتوجهباکهاستاشیائی

(1شکل



آزمایشات

ینتیجه گیر

15

نظریه مجموعه های راف:مثال

تعریفییک Bنسیبت بیه X، مجموعیه 𝑩𝑵𝑩(X)=0تهی باشد، یعنیی Xچنان چه ناحیه مرزی

باشید، یعنیی نیاتهی Xمیرزی مجموعه ی قطعی گفته می شود و برعکس، چنانچه ناحیه 𝑩𝑵𝑩(X)≠0مجموعه ،X نسبت بهB گفته می شود( نادقیق)راف.

هایمستطیل.استنظرموردمجموعهبیضیدرون.رافمجموعهیک.1شکلهایلمستطیوباالکرانخاکستریوسیاههایمستطیلپایین،کرانسیاه

.دهندمیتشکیلرامرزیناحیهخاکستری


خودرو


باعث خودروهادانش بیشتری در در

می شودخودرو دارنده


خودروهادارای

دانش بازه ای


فضای یاد گیری در محیط ماهیها


یاد گیری در محیط ماهیهاادامه فضای


ادامه فضای یاد گیری در محیط ماهیها



آزمایشات

ینتیجه گیر

22

شبکه عصبی راف

ر برای تخمین توابع با مقادیمدل لینگراس مدل های شبکه عصبی راف بر اساس

..حقیقیورودی حقیقی و مقادیر خروجی

نورن های رافطراحی ساختار شبکه های عصبی بر اساس..

شخیص کاربردهای این شبکه برای کالس بندی تصاویر،سیستم پشتیبان ت

و داده های حجیم که همراه با عدم .. پزشکی و پیش بینی و بیماری ها و

.قطعیت است، اشاره کرد

رافشبکه عصبی مصنوعی



آزمایشات

ینتیجه گیر

23

مدل نورن راف•

ازه ای الگوهایی که معموال مقادیر بکرانه های پایین و باالی یک نورن راف، بر حسب

.این نورن ها را نورن های راف یا بازه ای می نامند. دارند،تعریف می شوند

می در شبکه عصبی را امکان پذیرمحاسبات بازه ای راف، استفاده از نورن رویکرد

.سازد




آزمایشات

ینتیجه گیر

24

مدل نورن راف•


(نمدل میانگی)راف با خروجی میانگین نورن مدل

(مدل وزن دار)راف با خروجی وزن دارنورن مدل



آزمایشات

ینتیجه گیر

25

1مدل ساختار


x1

x2

xn0

xi



آزمایشات

ینتیجه گیر

26

1راف مدل الگوریتم پیشرو شبکه عصبی


0

1 1

1j j i

n

L L i

i

net k w k x k

0

1 1

1j j i

n

U U i

i

net k w k x k

1 1 1 1 1min ,j j jL j L j Uo k f net f net

1 1 1 1 1max ,j j jU j L j Uo k f net f net

.

1 1

1

2

j j

j

U Lo k o ko k

,1j=1,2بطوریکه ,n می باشد. برای الیه تعال ساز دوم، الیه خروجی، الگوریتم پیشرو برای

-ام بصورت زیر محاسبه می شود.kنرون

1

2 2 1

1

n

k k j j

j

net k w k o k

2 2 2

k k ko k f net k



آزمایشات

ینتیجه گیر

27

1الگوریتم آموزش پس انتشار خطای مدل


2 2

2 2

2 22 2 2 2

1 1 1 1 1 1

1 1 1

2 2 2

T n n

k k kn n k k

E k e k e k e k d k o k

2 2 2

2 2 2

2 2 2 2 2

2 2 2 2 1

. . .

. 1. ' .

k k k

k j

k j k k k k j

k k k j

e o netE Ew k k k

w e o net w

e k f net k o k

2 2 2 1

k j k jw k k o k

,21,2که در آن ,k n.می باشد. رابطه تو را می توان به صورت برداری نی نوشت

22

222

2 2 2 2 2 1 2 2 1

11 11 1 1 1 11

' .j j jnn nn n

w k e k f net k o k k o k

با توجه به حد باال و حد پایین بودن پارامترهای بازه ای در الیه تعال ساز اول ) 1 1Lf net و

1 1Uf netساز اول )میانی( در نظر ررتت. تعال (، می توان دو حالت را برای آموزش وزن های الیه



آزمایشات

ینتیجه گیر

28

1آموزش پس انتشار خطای مدل ادامه الگوریتم


-ام الیه دوم jارر در نرون حالت اول: 1 1 1 1

j jj L j Uf net f net :باشد، آنگاه با توجه به

1 1 1 1 1 1 1min ,

j j j jL j L j U j Lo k f net f net f net

1 1 1 1 1 1 1max ,j j j jU j L j U j Uo k f net f net f net

-ام به ترم زیر خواهد بود.iآموزش پارامتر وزن بین این نرون و ورودی

2

222

1 112 221 1 1

1 2 2 2 1 1 1 1

1 2 2 2 2 1 1

1 111

1 1 * ' '

2

j j

j i

j i j j j i

j

L Lj

L

L j L L L

T

j j L in nn

n

o netoo netE E ew k k

w e o net o o net w

w k e k f net k f net k x k

1 1 1

j i jL L iw k k x k

2

222

1 112 221 1 1

1 2 2 2 1 1 1 1

1 2 2 2 2 1 1

1 111

1 1 * ' '

2

j j

j i

j j j j i

j

U Uj

U

U j U U U

T

j j U in nn

n


w e o net o o net w


1 1 1

j i jU U iw k k x k

با توجه به وزن های بازه ای حد باال و حد پایین، تابع حساسیت نی به صورت بازه ای حد باال 1( )U 1و حد پایین( )L .حاصل می شود



آزمایشات

ینتیجه گیر

29



-ام الیه دوم jارر در نرون حالت دوم: 1 1 1 1

j jj L j Uf net f net :باشد، آنگاه با توجه به

1 1 1 1 1 1 1min ,

j j j jL j L j U j Uo k f net f net f net

1 1 1 1 1 1 1max ,

j j j jU j L j U j Lo k f net f net f net

-ام به ترم زیر خواهد بود.iآموزش پارامتر وزن بین این نرون و ورودی

2

222

1 112 221 1 1

1 2 2 2 1 1 1 1

1 2 2 2 2 1 1

1 111

1 1 * ' '

2

j j

j i

j i j j j i

j

U Lj

L

L j U L L

T

j j L in nn

n


w e o net o o net w


1 1 1

j i jL L iw k k x k

2

222

1 112 221 1 1

1 2 2 2 1 1 1 1

1 2 2 2 2 1 1

1 111

11 * ' '

2

j j

j i

j j j j i

j

L Uj

U

U j L U U

T

j j U in nn

n


w e o net o o net w


1 1 1

j i jU U iw k k x k



آزمایشات

ینتیجه گیر

30



همانطور که رابطه های مربو به دو حالت تو نشان می دهند، با توجه به آنکه تابع تعال ساز غیر

خطی درون نرون های حد باال و حد پایین یکی است، در نتیجه مقدار تابع حساسیت حد باال و حد

پایین در هر دو حالت برابر خواهد بود.

222

2

1 2 2 2 2 1 1

1 111

1* ' '

2j j

T

U j j Un nn

n

k w k e k f net k f net k

2

222

1 2 2 2 2 1 1

1 111

1* ' '

2j j

T

L j j Ln nn

n

k w k e k f net k f net k

در نتیجه رابطه به روز رسانی وزن ها در هر دو حالت یکسان می باشد. به همین دلیل می توان به

جای بررسی نرون به نرون در الیه میانی، روابط مربو به آموزش وزن های بین الیه ورودی و الیه

تعال ساز اول را به صورت برداری نوشت. در این صورت خواهیم داشت:

1 111

1

1 1 1 1 1 1 1

1 11 1 1 1 11 1

1'

2iL L i L in nnn n

w k e k f net k x k k x k

1 1111

1 1 1 1 1 1 1

1 11 1 1 1 11 1

1'

2iU U i U in nnn n

w k e k f net k x k k x k

,01,2که در آن ,i n و 1

1

1iL

n

w k

و 1

1

1iU

n

w k

به ترتیب وزن های حد پایین و حد باالی بین

-ام و الیه تعال ساز اول وiورودی 1

1

1n

e k )حاصل پ انتشار خطا در الیه تعال ساز اول )میانی

است.

1 22 1 22

1 2 2 2 2

1 1 11

'

T

n nn n nn

e k w k e k f net k



آزمایشات

ینتیجه گیر

31

2مدل ساختار


x1

x2

xn0

xi



آزمایشات

ینتیجه گیر

32

3ساختار مدل

کل مطابق شخروجی ها، راف مستقل، بدون ترکیب خطی در نورن این ساختار برای الیه میانی از در

ن راف مدل میانگینورن الیه پنهان راف مستقیما به نورن های در آن خروجی . شده استاستفاده 1

. الیه خروجی متصل می شود


راف مستقلنورن مدل ساختار : 1شکل



آزمایشات

ینتیجه گیر

33

3ساختار مدل


x1

x2

xn0

xi

W

1L

W

1U

W

2LL

W

2UU

W

2LU

W

2UL



آزمایشات

ینتیجه گیر

34

عاطفی1ساختار مدل

در این مدل از ترکیب خطی . بوده و تنها تفاوت آنها در نوع آموزش می باشد1این مدل از نظر ساختار مشابه مدل

است، 1همچنین الگوریتم پیشروی آن نیز همانند مدل . خطا و مشتق خطا جهت آموزش وزن ها استفاده می شود


x1

x2

xn0

xi



آزمایشات

ینتیجه گیر

35

با نورن مجموع وزن دار1مدل ساختار


x1

x2

xn0

xi



آزمایشات

ینتیجه گیر

36

مدل های شبکه های عصبی رافکار برد

Y=f(x:𝑥1 ,𝑥2 , … ,𝑥𝑛 )

X= 𝑥1 ,𝑥2 , … ,𝑥𝑛𝑇

شبکه عصبی راف مدل اول•

دومشبکه عصبی راف مدل •

سومشبکه عصبی راف مدل •




آزمایشات

ینتیجه گیر

37

مدل اول–راف شبکه عصبی مصنوعی



آزمایشات

ینتیجه گیر

38

مدل دوم–راف شبکه عصبی مصنوعی



آزمایشات

ینتیجه گیر

39

مدل سوم-راف شبکه عصبی مصنوعی


آزمایشات

ینتیجه گیر

ارزیابی و آزمایشات


آزمایشات

ینتیجه گیر

41

بلوک کلی شبکه عصبی پیش بین:


1مقدمه ای بر بیماری دیابت نوع •

(Bergman)مدل مینیمال برگمن•

خود تنظیم عصبیPIDکنترل کننده •

MLPنتایج شبیه سازی بر مبنای شبکه •

Roughنتایج شبیه سازی بر مبنای شبکه •

نتیجه گیری•

مراجع•

2015 Wor kshop on Soft Computing and Big Data, ECE Dept. of K. N. Toosi University of Technology, Tehr an.

:بخش اول


د و یا انسولین موجود قادر کندیابت، بیماری است که در آن بدن انسولین را به طور مناسب تولید یا مصرف نمی

انسولین هورمونی است که از سلول های بتا واقع در لوزالمعده ترشح .نیست وظایف خود را به خوبی انجام دهد

.می شود و وظیفه اصلی آن کاهش سطح گلوکز خون است

. برای حفظ میزان قند خون خود در مقدار نرمالش به تزریق خارجی انسولین نیاز دارد1فرد مبتال به دیابت نوع

.غیرقابل درمان بوده و فرد مبتال برای تمام عمر نیاز به تزریق انسولین دارد1زیرا دیابت نوع

بار در روز اندازه گیری شده و هر4تا 3درمان رایج در این نوع دیابت، کنترل حلقه باز است که سطح قند خون

در این روش برای تعیین. مرتبه میزان انسولین مورد نیاز بیمار توسط پزشک تعیین و به بیمار تزریق می شود

.انسولین تزریقی از تخمین استفاده می شود و به همین علت روش کارآمد و دقیقی به شمار نمی آیند

ایده استفاده از کنترل حلقه بسته به عنوان راه حلی برای جایگزینی روش های درمان مرسوم، 1970از سال

یک سیستم کنترل حلقه بسته که در واقع مانند یک لوزالمعده مصنوعی عمل کرده و. مورد بررسی قرار گرفت


نظور تعیین شامل سنسور اندازه گیری قند خون، پمپ تزریق خودکار انسولین و الگوریتم کنترلی مناسب به م

ح قند خون در سیستم کنترل حلقه بسته از طریق سنسور سط. مقدار انسولین مورد نیاز برای بیمار می باشد

-60نج اندازه گیری می شود و متناسب با آن میزان انسولین مورد نیاز را برای نگه داشتن سطح قند خون در ر

120mg/dLتوسط پمپ میکانیکی وارد خون می کند .

.شکل زیر دیاگرام بلوکی سیستم کنترل حلقه بسته را برای بیماران دیابتی نشان می دهد


یماری دیابتمدل های متفاوتی برای توصیف ساختار دینامیکی بیماری دیابت در بیماران مبتال به ب

.از پرکاربردترین آنها می توان به مدل برگمن اشاره کرد. ارائه شده است1نوع

اولین فعالیت جدی برای یافتن مدل سیستم گلوکز به اوایل دهه هشتاد برمی گردد که موجب ارائه

:معادالت آن در زیر آورده شده است. مدلی به نام مدل مینیمال برگمن شد

1

2 3

( ) ( ( ) ) ( ) ( ) ( )

( ) ( ) ( ( ) )

( ) ( ( ) ) ( ( ) ) ( )

b

b

b

G t P G t G X t G t D t

X t P X t P I t I

I t n I t I G t h t u t


بلوک دیاگرام کلی آن . استPIDپر کاربردترین کنترل کننده در فرآیندهای صنعتی، کنترلرهای از خانواده در

.شکل زیر نشان داده شده است

y(k)u(k)r(k)

-

برای بدستKdو Kp ،Kiبه صورت زیر است که هدف تنظیم پارامترهای PIDرابطه کلی یک کنترل کننده

. آوردن پاسخ حلقه بسته با مشخصات مطلوب است

∑سیستم تحت کنترل

Kp

Ki

Kd

∑

e

e

e

0

( ) ( ) ( ) ( )

t

p i du t K e t K e d K e t


.زیر استکنترلر خود تنظیم که ضرایب آن توسط شبکه عصبی تخمین زده می شود به صورت شکلPIDاما

KdKiKp

y(k)u(k)r(k)

-

:در این صورت سیگنال کنترلی آن به شکل زیر می شود

.خروجی شبکه عصبی می باشدکه در آن

∑سیستم تحت کنترل کنترلر PID

NN

( )e t

2 2 2

1 2 3( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )p p i i d d p i du k K k e k K k e k K k e k o k e k o k e k o k e k

2o


:بخش دوم


.، نتایج بصورت زیر بدست آمده است[2]با استفاده از پارامترهای داده شده در مرجع


:بخش سوم


rough neural networks

Engineering