ﻲﺒﺼﻋ يﺎﻫ ﻪﻜﺒﺷ -- - - -------- - --------- مرﺎﻬﭼ ﻞﺼﻓ ... 4.pdf ·...

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي

:فصل چهارم پرسپترون و قانون يادگيري هب

هدف فصل4-1

قوانين يادگيري 4-2

يادگيري با ناظر1- 4-2

يادگيري تشديدي2- 4-2

يادگيري بدون ناظر3- 4-2

ساختار پرسپترون4-3

پرسپترون تك نروني4-4

پرسپترون چند نروني4-5

قانون يادگيري پرسپترون4-6

چند نروني آموزش پرسپترون هاي4-7

همگرايي قانون يادگيري پرسپترون و محدوديت هاي پرسپترون تك اليه4-8

شبكه حافظه انجمني خطي4-9

قانون يادگيري هب1- 4-9

آناليز عملكرد قانون هب2- 4-9

قانون شبه معكوس3- 4-9

كاربرد قانون هب4- 4-9

تغييرات قانون يادگيري هب5- 4-9

خالصه نتايج4-10

1

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ل حل شده مسائ4-11

تمرينات12- 4

هدف فصل 1- 4

تا بدينجا ما قادر هستيم براي شبكه هاي پرسپترون با تعداد ورودي هاي محدود نواحي تصميم گيري را بطور ديداري

)visual (مشخص كنيم.

ايد قانوني تعيين مقادير باياس و وزن ها بطور ديداري كار سختي است و ب. اما زماني كه تعداد ورودي ها زياد باشند

و . پرسپترون مي پردازيمبراي مشخص كردن نواحي تصميم گيري پيدا كنيم پس در اين فصل به بيان قانون يادگيري

ب كه يكي از اولين قوانين يادگيري شبكه هاي عصبي و پايه تمامي قوانين پيچيده هپس از آن به سراغ قانون يادگيري

.اشد، مي رويممي ب) associative(تر شبكه هاي انجمني

)Learning rules(قوانين يادگيري 4-2

بطور كلي منظور از قانون يادگيري، روشي براي تعيين مقادير وزن ها و باياس ها در شبكه مي باشد كه به اين روش

.نيز مي گويند) training algorithm(الگوريتم يادگيري

.منظور انجام يك عمل خاص مي باشد كردن شبكه بtrainيك قانون يادگيري در واقع، هدف از

.كه همة آنها در سه گروه اصلي قرار مي گيرند. براي آموزش شكبه هاي عصبي، قوانين يادگيري متنوعي وجود دارد

)Supervised learning(يادگيري با ناظر - 1

)Reinforcement learning(يادگيري تشديدي - 2

)Unsupervised learning(يادگيري بدون ناظر - 3

2


يادگيري با ناظر-4-2-1

)در يادگيري با ناظر، به قانون يادگيري مجموعه اي از زوج هاي داده ها به نام داده هاي يادگيري، )QQ tP ، مي ,

پس از اعمال ورودي . استدهند كه در آن QP ورودي به شبكه و ،Qtشبكه براي ورودي ب، خروجي مطلو QP

مقايسه شده و سپس خطاي يادگيري محاسبه و از آن جهت target( QPQt(هدف به شبكه عصبي خروجي شبكه با

.استفاده مي شود) وزن ها و باياس ها(تنظيم پارامترهاي شبكه

Qt، اعمال شود خروجي شبكه به بعد به شبكه همان ورودي به گونه اي كه اگر دفعه QP ميزان (گردد نزديكتر

قابل ذكر است كه قانون يادگيري در پرسپترون از ).دوم اختالف بردارها سنجيده مي شودرم ننزديكي عموما توسط

.نوع، يادگيري با ناظر مي باشد

يادگيري تشديدي -4-2-2

، به )target(كه در آن به جاي فراهم نمودن جواب مطلوب . يادگيري از نوع تشديدي، نوعي از يادگيري با ناظر است

50مثال به شبكه مي توان گفت كه پاسخ فعلي اش . عددي كه نشانگر ميزان عملكرد شبكه است ارائه مي شودشبكه

يادگيري است كه در آن سيگنال برگشتي كه به متديادگيري تشديدي پس . درصد درست است يا كامال درست نيست

شبكه كمك مي كند تا پارامترهايش را تنظيم نمايد تنها يك سيگنال ارزياب است و يا بعبارتي ديگر اين سيگنال رفتار

.بيشتر در سيستمهاي كنترلي كاربرد دارداين الگوريتم . شبكه را نقادي مي كند

ون ناظريادگيري بد-4-2-3

مطلوبيت جواب شبكه به خود شبكه وارد نمايد موجود نيست در اين نوع يادگيري، هيچ سيگنالي كه اطالعات در مورد

و اين يعني اينكه، هيچ برگشتي از محيط كه بگويد، خروجي ها چه بايستي باشند و يا جواب شبكه چقدر مطلوب است،

، طبقه بندي موجود در الگوهاي ورودي، P به صرف اطالعات ورودي شبكه عصبي در اينجا بايستي تنها. موجود نيست

.شاخص هاي موجود در ورودي ها، ارتباطات موجود بين الگوهاي ورودي را پيدا نمايد و در خروجي شبكه كد نمايد

3

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي دسازماندهي، تنظيم پارامترها در اينجا، موسوم است به عمل خو. براي اين منظور پارامترهاي شبكه بايستي تنظيم شوند

خوشه . خوشه بندي الگوهاي ورودي است بدون اينكه بدانيم كدام الگو به كدام خوشه تعلق دارد،يك مثال بسيار متداول

و شبكه ياد مي گيرد كه الگوهاي ورودي را . در نهايت از روي تشابهات و عدم تشابهات بين الگوها، ايجاد مي شوندها

بندي كند اين نوع يادگيري، در كاربردهايي مثل كوانتيزه كردن بردارها در تعداد محدودي از كالس ها دسته

)Vector quantization (بكار گرفته مي شود.

ساختار پرسپترون-4-3

. نشان داده شده است1-4ساختار كلي شبكه پرسپترون در شكل

1-4شكل

.خروجي شبكه بصورت زير محاسبه مي شود

a = hardlim (W P + b)

.ماتريس وزن شبكه را به فرم كلي زير در نظر بگيريد

1,1 1,2 1,

2,1 2,2 2,

,1 ,2 ,

. . .

. . .. . . . . . . . . . . .

. . .

R

R

S S S R

w w ww w w

W

w w w

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

: را بدين شكل نشان مي دهيمW ام ماتريس iبردار حاصل از عناصر رديف

4

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ,1

,2

,

. . .

i

ii

i R

ww

W

w

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

.پس ماتريس وزن را به فرم زير نيز مي توانيم نمايش دهيم

1

2

. . .

T

T

TS

WW

W

W

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

:خروجي شبكه بدين شكل بدست مي آيد ام از iپس عنصر

( ) ( )lim lim Ti i ia hard n hard W P b= = i+

)Single-Neuron Perceptron( پرسپترون تك نروني -4-4

. يك نرون پرسپترون با دو ورودي نشان داده شده است2-4در شكل

2-4شكل

:خروجي شبكه برابراست با

( ) ( ) ( )1lim lim lim Ta hard n hard W P b hard W P b= = + = +

= ( )bpwpwhard ++ 22,111,1lim

تصميم گيري بدين صورت بدست مي آيدمرز

1 1,1 1 1,2 2 0Tn W P b w p w p b= + = + + =

5

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي براي حل يك مسئله به كمك يك نرون پرسپترون، مي توانيم مرز تصميم گيري را بطور گرافيكي پيدا كنيم نكته اي

به . كه بايد در نظر گرفته شود اين است كه مرز همواره بر بردار وزن، عمود است

.ه كنيد توجb3-4 و a3-4شكل هاي

a.4.3شكل b.4.3شكل

. را پياده سازي كنيمANDفرض كنيد كه مي خواهيم گيت حال

.زوج هاي ورودي و هدف بدين صورت مي باشند

1 1 2 2 3 3 4 4

0 0 1 1, 0 , 0 , 0 , 0

0 1 0 1P t P t P t P t⎧ ⎫ ⎧ ⎫ ⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = = = =⎨ ⎬ ⎨ ⎬ ⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩ ⎭ ⎩

⎫⎬⎭

، targetاين شكل فضاي ورودي را نشان مي دهد دواير سفيد نشان دهندة، . است4-4گرافيك مسئله بصورت شكل

ما مي خواهيم مرزي را پيدا كنيم كه دواير سياه و سفيد را از . ، يك مي باشندtarget و دواير سياه نشان دهندة صفر

.هم جدا نمايد

) 5- 4مانند شكل . (روه در نظر مي گيريمما خط مطلوب را درست وسط دو گ. مسئلة ما داراي بي نهايت جواب است

تصميم گيري عمود باشد از آنجايي كه بردار وزن مي تواند هر اندازه اي داشته حال بايد بردار وزني پيدا كنيم كه بر مرز

. باشد پس براي انتخاب اين بردار نيز بي نهايت گزينه داريم

6


حال بايد باياس را پيدا كنيم اين كار را با انتخاب نقطه اي دلخواه روي مرز . مي باشد1نمونه ك انتخاب ي

تصميم گيري

22

W ⎡ ⎤= ⎢ ⎥⎣ ⎦

1.50

P ⎡ ⎤= ⎢ ⎥⎣ ⎦

1 و برآوردن معادلة . انجام مي دهيم 0TW P b+ =

b = -3: پس

)Multiple-Neuron Perceptron( پرسپترون با چند نرون -5-4

ت ام به صورiكه اين مرز براي نرون . به ازاي هر نرون يك مرز تصميم گيري وجود دارددر پرسپترون چند نروني

1 0TiW P b+ =

s2

يك پرسپترون تك نروني تنها قادر است كه ورودي ها را به دو گروه دسته بندي . تعريف مي شود

مي تواند فضاي ورودي را به چندين گروه نرون در حاليكه يك پرسپترون با چند. ت اس1 يا 0زيرا خروجي آن . كند

و از آنجايي كه هر عنصر خروجي مي تواند . اوت نمايش داده مي شودتقسيم نمايد و هر گروه با يك بردار خروجي متف

. مي باشد نرون برابر با Sتعداد كل دسته بندي هاي ممكن براي يك شبكه پرسپترون با . باشد1 يا 0

)Perceptron Learning Rule( قانون يادگيري پرسپترون -4-6

از طريق ارائه يك مجموعه از داده هايي كه رفتار صحيح براي شبكه را نشان . يري با ناظر استاين قانون، كه از نوع يادگ

.مي دهند عمل مي كند

:براي مثال فرض كنيد كه يك مسئله ساده با زوج هاي ورودي و هدف بصورت زير داريم

7


1 2 31 2

1 1 0, 0 , 0 , 0

2 2 1P t P t P t⎧ ⎫ ⎧ − ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = =⎨ ⎬ ⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩3

⎫⎬⎭

بكه الزم براي حل مسئله بايد دو ورودي و يك خروجي ش. نشان داده شده است6- 4مسئله بطور گرافيكي در شكل

)7-4شكل . (براي سادگي باياس را صفر فرض كرده ايم. داشته باشد

7-4شكل

8-4در شكل . را مشخص كنيم و ضمنا مرز تصميم گيري از مركز گذر خواهد كردپس بايد تنها دو پارامتر

د انتخاب هاي ممكن براي مرز تصميم گيري بي نهايت مي باشد، و بردارهاي وزن متناظر با هر يك از مي بينيم كه تعدا

. قابل مشاهده است9-4مرزهاي انتخابي در شكل

1,12,1 , ww

8 -4شكل 9 -4شكل

.در عمل بردار وزن را به كمك قانون يادگيري پيدا مي كنيم

8

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي در اين مثال خاص ما شبكه اي با دو ورودي و يك . ترهاي شبكه آغاز مي شوديادگيري با انتساب مقادير اوليه به پارام

وزن را مقدار دهي اوليه 2پس كافي است كه تنها . مي كنيم و باياس را در آن صفر فرض كرده ايمtrainخروجي را

W .م را بطور تصادفي مقدار دهي مي نماي1بدين منظور عناصر بردار . كنيم

[ ]1W 1.0 0.8T = −

1Pحال ورودي . را به شبكه اعمال مي كنيم و خروجي را به دست مي آوريم

( ) [ ]1

1lim lim 1.0 0.8

2Ta hard W P hard

⎛ ⎞⎡ ⎤= = −⎜ ⎟⎢ ⎥

⎣ ⎦⎝ ⎠

( ) 06.0lim =−=harda

11 .شد مي باtمي بينيم كه مقدار خروجي صحيح نيست و برابر با صفر است در صورتي كه =

. مي بينيد10-4پاسخ شبكه را در اين مرحله در شكل

10 -4شكل 11 -4كل ش

. متمايل شود1P مي بينيم كه جهت بردار وزن براي عملكرد صحيح شبكه بايد بيشتر به سمت 10-4با توجه به شكل

در اين صورت مطمئن هستيم كه قرار دهيم 1كه يك راه اين است 1W P=1Pاما اين . درست، گروه بندي مي شود

را درست دسته بندي 11- 4روش براي مسائل كمي دشوارتر كار اين است براي نمونه با اين كار نمي توانيم شكل

.كنيم

9

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي 1Pراه ديگر اين است كه بردار جديد بيشتر در سمت 1Wاين عمل باعث مي شود كه . جمع كنيم1W را با بردار 1P

1P . مي شود به جهت 1Wو تكرار اين عمل باعث نزديك تر شدن هر چه بيشتر جهت . متمايل گردد

:پس داريم

1 11 , 0 new oldIf t a Then W W= = = P+

. نيز نشان داده شده است12- 4پياده سازي فرمول ذكر شده روي مثال داده شده نتيجة زير را مي دهد، كه در شكل

1

1.0 1 2.00.8 2 1.2

newW ⎡ ⎤ ⎡ ⎤ ⎡= + =⎢ ⎥ ⎢ ⎥ ⎢−⎣ ⎦ ⎣ ⎦ ⎣

⎤⎥⎦

12 -4شكل 13 -4شكل

ر صورت نياز وزن ها را تنظيم آنها را به شبكه اعمال مي نماييم و دبترتيبحال به سراغ ورودي هاي ديگر مي رويم و

تا زماني كه تمام ورودي ها درست دسته بندي . (اين عمل را چندين بار روي ورودي ها تكرار مي نماييم. مي كنيم

.)شوند

2Pاعمال :

( ) [ ] ( )21

1lim lim 2.0 1.2 lim 0.4 1

2Ta hard W P hard hard

⎛ − ⎞⎡ ⎤= = =⎜ ⎟⎢ ⎥

⎣ ⎦⎝ ⎠=

201 ta≠⇒≠

10

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي دور كنيم، به جاي جمع در فرمول تغيير مقدار وزن از 2Pر وزن را از در اين مورد چون مي خواهيم بردا: تنظيم وزن

.تفريق استفاده مي كنيم

1 10 , 1 new oldIf t a Then W W= = = P−

:پس داريم

1

2.0 1 3.01.2 2 0.8

newW−⎡ ⎤ ⎡ ⎤ ⎡

= − =⎢ ⎥ ⎢ ⎥ ⎢−⎣ ⎦ ⎣ ⎦ ⎣

⎤⎥⎦

. نشان داده شده است13- 4نتيجه در شكل

3P :اعمال

( ) [ ] ( )1 3

0lim lim 3.0 0.8 lim 0.8 1

1Ta hard W P hard hard

⎛ ⎞⎡ ⎤= = − =⎜ ⎟⎢ ⎥−⎣ ⎦⎝ ⎠

=

301 ta≠⇒≠

11

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي :تنظيم وزن

14 -4شكل

1

3.0 0 3.00.8 1 0.2

newW ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= − =⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

ورودي را درست گروه بردار نشان مي دهد كه پرسپترون در نهايت، آموخته است كه چگونه هر سه14- 4دياگرام شكل

:و نيازي به تنظيم وزن ها در دور دوم اعمال ورودي ها نيست يعني. بندي نمايد

1 1new oldIf t a Then W W= =

فرض كنيد . فرمولهايي را كه براي تنظيم وزن در مثال گفته شده پيدا كرديم را مي توانيم به يك فرمول كلي ارائه كنيم

. نمايش دهيمeكه خطاي پرسپترون را با

e = t – a

( )1 1 1new old oldW W e P W t a= + = + − P

زيرا باياس را مي توانيم، وزني فرض كنيم كه . عميم استاين قانون به آساني براي پرسپترون با باياس غيرصفر قابل ت

. مي باشد1ورودي آن همواره

ebb oldnew +=

12


) Training Multiple-Neuron Perceptron( آموزش پرسپترون هاي چند نروني -4-7

.در اين قسمت قانون يادگيري پرسپترون تك نروني را براي حالت چند نروني تعميم مي دهيم

امين عنصر از بردار باياس از همان فرمولهاي پرسپترون تك i امين رديف از ماتريس وزن و i كردن updateبراي

.نروني به شكل زير كمك مي گيريم

,new old new oldi i i i iW W e P b b= + = + ie

.پس قانون يادگيري پرسپترون در حالت كلي به شكل ماتريسي زير خواهد بود

,T nenew old e P b b ew oldW W = + = +

را بياد آوريد كه الگوهاي ورودي به صورت 3ب در فصل ي و سپرتقالزمايش قانون يادگيري در حالت كلي مثال براي آ

زير بودند

[ ] [ ]1 21 2

1 11 , 0 1 , 11 1

P t P t⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥= − = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

⎫⎪⎬⎪⎭

11

−=t01 =t انتقال استفاده كرده ايم زيرا بجاي تابع در مثال گذشته از ، targetدقت كنيد كه به جاي (

hardlims از تابع hardlimبهره گرفته ايم (.

:مقداردهي اوليه

[ ]1 0.5 1 0.5 , 0.5TW W b= = − − =

:1Pاعمال ورودي

( ) [ ]1

1lim lim 0.5 1 0.5 1 0.5

1a hard W P b hard

⎛ ⎞⎡ ⎤⎜ ⎟⎢ ⎥= + = − − −⎜ ⎟⎢ ⎥⎜ ⎟⎢ ⎥−⎣ ⎦⎝ ⎠

+

( ) 15.2lim ==⇒ harda

13


1 0 1a

حاسبة خطام

1e t= − = − =−

:به روز نمودن وزن ها

[ ] ( )[ ] [ ]0.5 1 0.5 1 1 1 1 0.5 0 0.5Tnew oldW W e P= + = − − + − − − = −

:باياسه روز نمودن ب

( ) 5.015.0 −=−+=+= ebb oldnew

. دوم مي رويمiteration اول كامل شده حال به سراغ iterationتا بدينجا

2P :اعمال ورودي

( ) [ ] ( )2

1lim lim 0.5 0 0.5 1 0.5

1a hard W P b hard

⎛ ⎞⎡ ⎤⎜ ⎟⎢ ⎥= + = − +⎜ ⎟⎢ ⎥⎜ ⎟⎢ ⎥−⎣ ⎦⎝ ⎠

−

2 1 0a

( ) 05.0lim =−=⇒ harda

محاسبة خطا

1e t= − = − =

updateكردن وزن ها :

[ ] [ ] [ ]0.5 0 0.5 1 1 1 1 0.5 1 0.5Tnew oldW W e P= + = − + − = −

updateباياس كردن:

5.015.0 =+−=+= ebb oldnew

iterationسوم با اعمال مجدد ورودي اول آغاز مي شود .

:1Pاعمال

14


[ ] ( ) 15.0lim5.0111

5.015.0lim ==⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛+

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−= hardharda

:محاسبة خطا

1101 −=−=−= ate

updateكردن وزن ها :

[ ] ( )[ ] [ ]0.5 1 0.5 1 1 1 1 0.5 2 0.5newW = + − − − = −

updateباياس ردن ك:

( ) 5.015.0 −=−+=newb

ها را ادامه دهيد، مي بينيد كه هر دو بردار از اين پس درست دسته بندي شده اند و الگوريتم iterationدر صورتي كه

يافتيم يكي نيست 3دقت كنيد كه مرز تصميم گيري با آنچه در فصل . (يادگيري به جواب مطلوب همگرا شده است

)دي صحيح دارندولي هر دو عملكر

.استفاده كنيد) nnd4pr( براي آزمايش قانون يادگيري از دستور :Matlabكاربرد

همگرايي قانون يادگيري پرسپترون و محدوديت هاي پرسپترون تك اليه-4-8

مي توان نشان داد كه در صورت وجود جواب براي مسئله، قانون . همانطور كه در پيوست همين فصل اثبات خواهد شد

. ها به جواب همگرا مي شودiterationيادگيري پرسپترون عليرغم سادگي، همواره در تعداد محدودي از

و . دن است كه بردارهاي ورودي در آن بطور خطي جدايي پذير باشياما پرسپترون تك اليه تنها قادر به حل مسائل

ل يك مسئله كالسيك پياده سازي گيتبطور مثا. متاسفانه مسائل زيادي هستند كه بطور خطي جدايي ناپذيرند

.به اين صورت مي باشد كه در آن زوج هاي ورودي و هدف. مي باشدXOR )دروازه(

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 1,

10

0,00

2211 tPtP

15


⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 0,

11

1,01

4433 tPtP

در اين دياگرام بخوبي مي توان . قابل مشاهده است15- 4 در سمت چپ شكل XORدياگرام فضاي ورودي براي

.ير بودن ورودي ها را بطور خطي ديد نمونه هاي ديگر از مسائل غيرخطي در همين شكل آورده شده استجدايي ناپذ

15 -4شكل

.راه حل در اين موارد استفاده از شبكه پرسپترون چند اليه است كه در فصل هاي آينده به آنها خواهيم پرداخت

Linear associator Memory: شبكه حافظه انجمني خطي-4-9

. نخست يك شبكه عصبي با ساختار ساده را به نام شبكه انجمني خطي در نظر مي گيريم هببه منظور توصيف قانون

.) معرفي شدTeuro kohenon , James Anderson بطور مستقل، توسط 1968 -1972اين شبكه بين سالهاي (

. مي بينيد16-4ساختار شبكه را در شكل

16 -4شكل

16

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي .خروجي توسط رابطه زير توصيف مي شودبردار

a W P=

.رابطه ذكر شده را مي توان به فرم زير بازنويسي كرد

1

R

i i jj

p=

=∑

Q تا زوج ورودي و خروجي

ja w

( ) QitP ii ,...,2,1,, = }در شبكه هاي حافظه انجمني هدف اصلي، يادگيري مي {

=qtودي به بيان ديگر اگر شبكه ور. باشد qPP=بايد خروجي . را دريافت كندa را توليد نمايد و ضمنا اگر تغييرات

). كوچكي در بردار ورودي رخ دهد )1. , qi e P P ε= . ر كندي آنگاه خروجي شبكه نيز بايد تنها كمي تغي+

( ) 2. , qi e a t ε= +

)The Hebb Rule. (هب قانون يادگيري -4-9-1

Donald Hebb اگر خروجيهاي دو نرون كه «: نخستين قانون يادگيري را بدين شرح مطرح نمود1949 در سال

وال اينجاست كه حال س» .مي شودوزنه ما بين آن دو تقويت . توسط يك وزنه به هم متصل هستند هم عالمت باشند

اگر دو عنصر . ير كردعبنمود قانون هب را مي توان بدين صورت تچگونه مي توان گفتار هب را به زبان رياضي بيان

.اپسي افزايش مي يابدنآنگاه وزن وزنه سي. پردازش در دو طرف يك وزنه سيناپسي بطور همزمان فعال باشند

17 -4شكل

jpiajiw بين ورودي 16- 4با توجه به شكل

jPiajiw

)

قرار دارد پس قانون هب بيان ن ، وزو خروجي

تفسير رياضي بيان . بايد افزايش يابد مثبت توليد كند آنگاه مثبت، يك خروجي مي كند كه، اگر يك

:فوق بدين شكل است

( ) (new oldi j i j i i q j j qw w f a g pα= +

17

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ( . امq ام از بردار ورودي j، عنصر jكه در آن qp)qPqia ام از خروجي شبكه است در زماني i، عنصر مي باشد و

. ام اعمال شده باشد q كه به شبكه بردار ورودي

αيك ثابت مثبت است كه آن را نرخ يادگيري مي خوانند ،.

if .مي توان رابطه ذكر شده را به صورت زير ساده كردو jgبا فرض خطي بودن

iajPjiw

j

new oldi j i j i q j qt p= +

, 0new oldi j i j i q j qw w a pα α= + >

افزايش مي يابد و در صورتي كه هم عالمت باشند، وزن و دقت كنيد كه در اين رابطه، زماني كه

iw . كاهش مي يابدعالمتهاي مختلف داشته باشند وزن

18 -4شكل

، )target(موسوم است، زيرا جواب مطلوب ) unsupervised Hebb rule(رابطه ذكر شده به قانون بدون ناظر هب

چون مقصود، استفاده از خروجي ). كه در فصل هاي بعد به آن خواهيم پرداخت. (هيچ نقشي در قانون يادگيري ندارد

رابطه جديد بصورت زير استفاده مي لذا است، ) به عبارتي به كارگيري يادگيري با ناظر(مطلوب به جاي خروجي واقعي

.گردد

w w

. فرض شده استα = 1براي سادگي

:ا ناظر بدين صورت استرابطه هب بماتريسي شكل

18

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي Tnew oldqqt= +W W P

حال با فرض اينكه ماتريس وزن را با مقادير صفر مقدار دهي اوليه كنيم و سپس تمامي الگوهاي ورودي را به شبكه

:تشاعمال نماييم خواهيم دا

19 -4شكل

1 21 21

. . .Q

T T TnewQ qQ q

q

P t P t P t P=

= + + + =∑ TW t

.كه به فرم زير نيز قابل نمايش است

1

21 2 . . .

. . .

T

TT

Q

TQ

P

Pt t T

P

⎡ ⎤⎢ ⎥⎢ ⎥⎡ ⎤= =⎢ ⎥⎣ ⎦⎢ ⎥⎢ ⎥⎣ ⎦

W t P

و در آن

1 21 2 . . . , . . . QQt t P P P P⎡ ⎤ ⎡ ⎤= = ⎣ ⎦⎣ ⎦T t

آناليز عملكرد قانون هب-4-9-2

ي را در نظر بگيريد كه بردارهاي حالتبه منظور آناليز عملكرد قانون يادگيري هب روي شبكه انجمني خطي، نخست

qP متعامد و يكه )Orthonormal (هستند يعني

( ) 1 ,0 ,

Tq k

q kP P

q k=⎧

≠ ⎨ ≠⎩

kP :، ورودي شبكه باشد، خروجي شبكه بدين صورت محاسبه مي گرددآنگاه اگر

( )1 1

Q QT T

k q k qq qq q

a W P t P P t P P= =

⎛ ⎞= = =⎜ ⎟

⎝ ⎠∑ ∑ k

19

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي :رابطه فوق بدين نتيجه مي رسد

k ka W P t= =

.ليد خواهد كردپس اگر ورودي هاي شبكه متعامد باشند آنگاه قانون هب خروجي صحيح را به ازاي هر ورودي تو

اما بر هم عمود نمي باشند، در اين حالت .) داراي طول واحد هستند(حال فرض كنيم كه بردارهاي ورودي يكه هستند

:بدست مي آيدخروجي بصورت زير

( )Q

Tk q ka W P t= = k q

q kt P P

≠

+ ∑

طا به ميزان همبستگي از آنجايي كه ورودي ها بر هم عمود نيستند، شبكه خروجي صحيح را توليد نمي كند و بزرگي خ

.ما بين الگوهاي ورودي بستگي دارد

Error

.بعنوان مثال الگوهاي زير را در نظر بگيريد

1 21 2

0.5 0.50.5 1 0.5 1

, ,0.5 1 0.5 10.5 0.5

P t P t

⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥− ⎡ ⎤ ⎡ ⎤⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥⎪ ⎪ ⎪− −⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

⎫⎪⎪⎬⎪⎪⎭

2P

⎤⎥− ⎦

.ماتريس وزن بدين صورت قابل محاسبه است. متعامد و يكه هستند و1Pهمانطور كه مي بينيم بردارهاي

1 1 0.5 0.5 0.5 0.51 1 0.5 0.5 0.5 0.5

TW T P− −⎡ ⎤ ⎡

= = ⎢ ⎥ ⎢− −⎣ ⎦ ⎣

1 0 0 10 1 1 0

W−⎡ ⎤

⇒ = ⎢ ⎥−⎣ ⎦

: الگوي ورودي و ماتريس وزن پيدا كنيم داريم2اگر خروجي را به ازاي

1

0.51 0 0 1 0.5 10 1 1 0 0.5 1

0.5

W P

⎡ ⎤⎢ ⎥− −⎡ ⎤ ⎢ ⎥= =⎢ ⎥ ⎢ ⎥− −⎣ ⎦⎢ ⎥−⎣ ⎦

⎡ ⎤⎢ ⎥⎣ ⎦

20


2

0.51 0 0 1 0.5 10 1 1 0 0.5 1

0.5

W P

⎡ ⎤⎢ ⎥−⎡ ⎤ ⎢ ⎥= =⎢ ⎥ ⎢ ⎥− −⎣ ⎦⎢ ⎥−⎣ ⎦

⎡ ⎤⎢ ⎥⎣ ⎦

.ا با خروجي هاي هدف برابرندههمانطور كه مشاهده مي كنيم، خروجي

:برگرديم، در آن فرم الگوهاي ورودي بدين صورت استاگر به مسئله جداسازي سيب و پرتقال

( )

[ ]

( )

[ ]⎪⎪⎩

⎪⎪⎨

⎧

=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−=

⎪⎪⎩

⎪⎪⎨

⎧

−=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−=

1111

1111

2

2

1

1

t

appleP

t

orangeP

)دقت كنيد كه بردارهاي الگو بر هم عمود نيستند(

3 بر رابراي يكه نمودن بردارهاي ورودي عناصر آنها

]

. تقسيم مي كنيم

حال ماتريس وزن را محاسبه مي كنيم

[ ] [05774 0.5774 0.57741 1 0 1.547 0

0.5774 0.5774 0.5774TW T P

− −⎡ ⎤= = − =⎢ ⎥−⎣ ⎦

: اعمال الگوهاي ورودي را مي بينيمهنتيج

[ ] [1

0.57740 1.547 0 0.5774 0.8932

0.5774W P

⎡ ⎤⎢ ⎥= − = −⎢ ⎥⎢ ⎥−⎣ ⎦

]

[ ] [2

0.57740 1.547 0 0.5774 0.8932

0.5774W P

⎡ ⎤⎢ ⎥= =⎢ ⎥⎢ ⎥−⎣ ⎦

]

.ت به خروجي مطلوب دارندسبو مقداري خطا ن. ولي دقيقا برابر آن ها نيستند اندخروجي ها به هدف ها نزديك

)Pseudoinverse Rule( قانون شبه معكوس -4-9-3

بر هم عمود نباشند، قانون هب مقداري خطا توليد مي كند در اين قسمت ما اگر الگوهاي ورودي

.مي خواهيم به كمك قانون شبه معكوس خطاي حاصل شده را كاهش دهيم

21

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي qtهمانطور كه گفته شد، وظيفة حافظة انجمني خطي اين است كه به ازاي الگوي ورودي خروجي توليد كند qP

1, 2, . . . ,q qt q Q= =W P

اگر نتوانيم ماتريس وزني را بيابيم كه معادلة فوق را بطور دقيق برآورده سازد آنگاه بايد ماتريس وزني را بر گزينيم كه

.رابطه زير را مينيمم كند

( ) 2

1

Q

qqq

F W t W P=

= −∑

. برابر با صفر مي شود W(F(. استفاده كنيمWتن اگر الگوهاي ورودي متعامد و يكه باشند و از قانون هب براي ياف

را مينيمم سازد، از F (W) كه Wاما در صورتي كه الگوهاي ورودي متعامد و يكه نباشند، آنگاه براي يافتن ماتريس

.ماتريس شبه معكوس استفاده مي كنيم

.مي نويسيم) 1(جواب مطلوب شبكه را بصورت ماتريس به شكل فرمول

W P = T )1(

كه در آن

1 21 2 . . . , . . . QQT t t t P P P P⎡ ⎤ ⎡ ⎤= = ⎣ ⎦⎣ ⎦

( ) 2 2F W T W P E= − =

:پس داريم

E = T – W P

و2 2

i ji j

E e=∑ ∑

. صفر خواهد شدF (W)حل شود ) 1(توجه كنيد كه اگر معادلة

داراي معكوس باشد جواب بدين صورت استp ماتريسدر صورتي كه

1W T P −=

22

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي پس داراي ماتريس . پس داراي ماتريس معكوس دقيق نمي باشد. معموال مربعي نيستPاما از آنجايي كه ماتريس

.معكوس دقيق نمي باشد

. از ماتريس شبه معكوس كمك مي گيريمF (W)پس براي مينيمم كردن

W T P += )2(

Pكه در آن . مي باشد Pريس شبه معكوس ، مات+

P+ : اگر در آن شرايط زير برقرار باشد ، ماتريس منحصر بفرد Pشبه معكوس ماتريس حقيقي

P P P P+ = خاصيت واحد از سمت راست ) الف

P خاصيت واحد از سمت چپ) ب P P P+ + =

( )TP P PP+ +=

( )TP P P P+ +=

+

) خاصيت تقارن) ج )

( )

از يكديگر Pو ستون هاي ماتريس . ، باشدP ، بيشتر از تعداد ستون هاي pدر صورتي كه تعداد سطرهاي ماتريس

:آنگاه شبه معكوس را به صورت زير محاسبه مي كنيم. مستقل باشند

( ) 1T TP P P P−+ =

:كه الگوهاي ورودي بصورت زير هستند. رتقال را مجددا در نظر بگيريدحال مثال سيب و پ

[ ] [ ]1 21 2

1 11 , 1 1 , 11 1

P t P t⎧ ⎫⎧⎡ ⎤ ⎡ ⎤⎪ ⎪⎪⎢ ⎥ ⎢ ⎥= − = − = =⎨ ⎬⎨⎢ ⎥ ⎢ ⎥⎪ ⎪⎪⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦⎩ ⎭⎩

⎫⎪⎬⎪⎭

.) بردارهاي ورودي نيستيكه نمودندر صورتي كه از قانون شبه معكوس استفاده كنيم نيازي به : نكته(

.محاسبه مي نماييم) 2(ماتريس وزن را به كمك رابطه

[ ]1 1

1 1 1 11 1

W T P

+

+

⎛ ⎞⎡ ⎤⎜ ⎟⎢ ⎥= = − −⎜ ⎟⎢ ⎥⎜ ⎟⎢ ⎥− −⎣ ⎦⎝ ⎠

23

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ⎤⎥⎦

( )1

1 3 1 1 1 1 0.25 0.5 0.251 3 1 1 1 0.25 0.5 0.25

T TP P P P−

−+ − − − −⎡ ⎤ ⎡ ⎤ ⎡= = =⎢ ⎥ ⎢ ⎥ ⎢− −⎣ ⎦ ⎣ ⎦ ⎣

ماتريس وزن بدست آمده را روي الگوهاي ورودي تست مي كنيم

1

2

1[0 1 0] 1 [ 1]

1

1[0 1 0] 1 [1]

1

WP

WP

⎡ ⎤⎢ ⎥= −⎢ ⎥⎢ ⎥−⎣ ⎦⎡ ⎤⎢ ⎥= =⎢ ⎥⎢ ⎥−⎣ ⎦

= −

.مي بينم كه خروجي شبكه، برابر با خروجي مطلوب است

عملكرد قانون شبه معكوس كامال دقيق .پس در مقايسه با قانون هب كه در اين مورد، تنها به جواب مطلوب نزديك شد

.است

كاربرد قانون هب-4-9-4

در اين قسمت مي خواهيم ببينيم كه چگونه مي توانيم از قانون هب براي حل مسائل عملي شناسايي الگو استفاده

.كنيم

انجمني حافظه انجمني به نام حافظة خود ازبراي مسئله اي كه مي خواهيم مطرح كنيم از نوع خاصي

)Autoassociative memory ( انجمني بردار خروجي مطلوب با بردار -در يك حافظة خود. كنيماستفاده مي

qqورودي برابراست يعني Pt =

][ ] [0.25 0.5 0.251 1 0 1 0

0.25 0.5 0.25W T P + − −⎡ ⎤

= = − =⎢ ⎥−⎣ ⎦

انجمني براي ذخيره سازي يك مجموعه الگو و سپس يادآوري الگوهاي ذخيره شده -ما مي خواهيم از حافظه خود

.استفاده كنيم

24


20 -4شكل

3، 20-4شكل درهمانطور كه ديده مي شود در اين مورد تنها . مت پاييني الگوهاي ورودي حذف شده است از قس2

.بدرستي بازيابي شده است» 1«عدد

.در آزمايش آخر مي خواهيم نتيجة اعمال الگوهاي نويزي را بررسي كنيم

21 -4شكل

.براي توليد نويز، بطور تصادفي، هفت عنصر از هر الگو را عوض مي كنيم

.كه دراين مثال تمام الگوها بدرستي بازيابي شده اند. رسم شده است21- 4نتيجه در شكل

25


)Variation of Hebbian Learning. ( تغييرات قانون يادگيري هب-4-9-5

يكي از مشكالت قانون هب اين است كه در صورت وجود تعداد زياد الگوها براي آموزش شبكه اين قانون منجر به

.ماتريس وزن با عناصر بسيار بزرگ خواهد شدحصول

.يك بار ديگر قانون اوليه هب را در نظر بگيريدTnew oldqqW W t P= +

مي توانيم افزايش عناصر . را مقداري كوچكتر از يك در نظر بگيريم) نرخ يادگيري(αدر صورتي كه ثابت مثبت

.يمماتريس وزن را محدود كنTnew oldqqW W t Pα= +

با اضافه كردن يك ترم ميرا قانون هب را بهبود مي بخشيم، بطوريكه قانون يادگيري مانند يك فيلتر صاف كننده

)Smoothing filter (عمل كند.

( )1T oldnew old oldq qq qW W t P W w t Pα γ γ α= + − = − + T

γ هر قدر . مي نماندميرايي است، كه آن را ضريب » 1« مقداري مثبت و كوچكتر ازγ به يك نزديكتر (بزرگتر باشد

.قانون يادگيري سريعتر الگوهاي گذشته را فراموش كرده و بيشتر به الگوهاي جديد حساس مي گردد) باشد

در صورتي كه در قانون اوليه هب به جاي خروجي مطلوب، ترم اختالف خروجي مطلوب و واقعي را جايگزين كنيم به

.قانون يادگيري دلتا مي رسيم

( ) Tnew oldqq qt aα= + −W W P

.دن نيز مي شناسWidrow – Hoffكه آن را به نام الگوريتم

در اين مورد در فصل هاي بعد (م گردد مينيمقانون دلتا وزن ها را بگونه اي تنظيم مي نمايد كه متوسط مربع خطا،

.و نتيجه اي كامال مشابه با روش شبه معكوس دارد.)صحبت خواهيم كرد

قانون شبه معكوس اين است كه در قانون دلتا پس از اعمال هر الگوي ورودي ا بهدلتمزيت قانون

مي توانيم وزن ها را به روز نماييم ولي در قانون شبه معكوس تنها در يك مرحله و پس از اعمال تمام الگوها عمل به

26

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي با يك محيط متغيير تطبيق و اين خصوصيت قانون دلتا، شبكه را قادر مي سازد تا خود را. روز كردن صورت مي پذيرد

.دهد

ج خالصه نتاي-4-10

ساختار پرسپترون

A = hard lim (Wp + b)

( )

1

2lim. . .

T

T

TS

W

Wa hard W P b W

W

⎡ ⎤⎢ ⎥⎢ ⎥= + = ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

( ) ( )1lim lim Ti ia hard n hard W P b= = i+

رز تصميم گيريم

0Ti iW P b+ =

.مرز تصميم گيري همواره بر بردار وزن عمود است

.ت، بردارهايي را كه بصورت خطي جدايي پذيرند دسته بندي كندپرسپترون تك اليه تنها قادر اس

قانون يادگيري پرسپترون Tnew oldW W e P= +

27

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي new oldb b= +e

where e = t – a

بيان قانون هب

مي هم عالمت باشند، وزنه ها بين آن دو تقويت. اگر خروجي هاي دو نرون كه توسط يك وزنه به هم متصل هستند«

».شود

حافظه انجمني خطي

قانون هب به فرم رياضيnew oldij ij iq qjw w t P= + +

1

21 2 . . .

. . .

T

TT

Q

TQ

P

Pw t t t T P

P

⎡ ⎤⎢ ⎥⎢ ⎥⎡ ⎤= =⎣ ⎦ ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

قانون شبه معكوس

W T P +=

PPوقتي كه تعداد سطرهاي ماتريس از هم مستقل باشند از تعداد ستون هاي آن بيشتر باشد و ضمنا ستون هاي ،

.ماتريس شبه معكوس بدين شكل محاسبه مي شود

( ) 1T TP−+ =P P P

تغييرات قانون هب

28

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي يادگيري فيلتر شده

( )1 Tnew oldqqγ α= − +W W t P

قانون دلتا

( ) Tnew oldqq qt aα= + −W W P

قانون هب بدون ناظرTnew oldqqaα= +W W P

مسائل حل شده-4-11

باياس را براي يك پرسپترون تك در شكل هاي زير يك مرز تصميم گيري رسم كنيد و سپس مقادير وزنها و- 1- 4

.روني متناظر با مرز رسم شده پيدا نماييدن

. ابتدا خطوطي را بين مجموعه نقاط تيره و روشن رسم مي كنيم:اسخپ

29


و به . بردارهاي وزن بايد بر مرزهاي تصميم گيري عمود باشند. بيممرحله بعد اين است كه وزن ها و باياس ها را بيا

بردارهاي وزن ). نقاط تيره( به آنها انتساب شده اشاره داشته باشند 1سمت نقاطي كه گروه نشان داده شده با عدد

.داراي طول دلخواه هستند

: شده استدر اينجا يك مجموعه از انتخاب هاي ممكن براي بردارهاي وزن آورده

( ) [ ] ( ) [ ] ( ) [ ]1 1 12 1 , 0 2 , 2 2T T Ta W b W c W= − = − = − .

اكنون مقادير باياس ها را براي پرسپترون ها با انتخاب نقاط دلخواه روي مرزهاي تصميم گيري و برآوردن معادله زير

.پيدا مي كنيم

1 0TW P b+ =

1T P=−

[ ] ( ) [ ] ( ) [ ] 612

22,210

20,000

12 =⎥⎦

⎤⎢

b W

( )⎣

⎡−−−=−=⎥

⎦

⎤⎢⎣

⎡−

−−==⎥⎦

⎤⎢⎣

⎡−−= bcbbba حال

.چك كنيممي توانيم جواب هاي خود را

[ ]2 12 TP = −

( )12 lim Thard W P b= +

[ ] ⎟⎟⎠

⎞⎜⎜⎝

⎛+⎥⎦

⎤⎢⎣

⎡−−= 0

22

12limhard

( )6limhard=

30

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي = 1

در . و نقاط جديد را آزمايش نماييم. براي اتوماتيك كردن، پروسة تست استفاده كنيمMatlab مي توانيم از برنامه

.ته بندي نقطه اي كه در مسئله اصلي وجود نداشته استفاده كرده ايماينجا از شبكه اول براي دس

[ ] ;0;12 =−= bW

[ ]( )bWharda += 1;1*lim

0

a =

زير را به يك مسئله معادل تبديل كنيد كه در آن حدود وزن ها و باياس ) classification(مسئله گروه بندي - 2- 4

.معين گردندتوسط نامساوي هايي

1 1 2 2 3 3 4 4

0 1 0 2, 1 , 1 , 0 , 0

2 0 2 0P t P t P t P t⎧ ⎫ ⎧ ⎫ ⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = = = =⎨ ⎬ ⎨ ⎬ ⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩ ⎭ ⎩

⎫⎬⎭

iiP

11

به شبكه بايد كوچكتر يا به ازاي اعمال ) n ، )net input، مشخص مي كند كه، t هر خروجي مطلوب :پاسخ

متناظر ) net input(ا مي دانيم كه ورودي شبكه م. استt=براي مثال، از آنجايي كه . مساوي با صفر باشد-بزرگتر

1P .پس به نامساوي هاي زير مي رسيم. بايد بزرگتر يا مساوي با صفر باشدبا

1 0bW P + ≥

1,1 1,20 2w w b

0+ + ≥

1,2w b

2 0+ ≥

}با اعمال روش مشابه براي زوج داده هاي } { } { }4 4 3 3 2 2, , , , ,P t P t P t

1,2w b

.به نامساوي هاي زير مي رسيم

2 0 ( )i+ ≥

1,1 0 (w b i

)i+ ≥

1,22 0w b iii ( )− + ≥

1,1w b i 2 0 ( )v+ ≥

31


1,1w1,2w

ضمن اينكه معموال بي نهايت جواب . حل دسته اي از نامساوي ها، بسيار دشوارتر از حل دسته اي از تساوي ها مي باشد

.با وجود اين بدليل سادگي مسئله ما مي توانيم آن را از طريق گرافيكي حل نماييم. دست مي آيدبراي مسئله ب

ظاهر (iii) و (i) تنها در نامساوي هاي و (iv) و (ii) تنها در نامساوي دقت كنيد كه

.مي شوند

. رسم كنيم متفاوتها را با دو گرافما مي توانيم هر زوج از نامساوي

.مسئله گروه بندي را حل مي نمايند. هر وزن و باياس كه در هر دو ناحيه تيره شده، قرار گيرند

:يك پاسخ ممكن در اينجا آورده شده است

W = [ -2 3 ] b = 3

.ورودي موجودند، چهار كالس از بردارهاي )Classification( در اين مسئله دسته بندي - 3- 4

1 2 3 4

1 1 2 21: , , 2 : ,

1 2 1 0Class P P Class P P

⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

⎫⎬⎭

5 6 7 8

1 2 13: , , 4 : ,

2 1 1Class P P Class P P

⎧ − − ⎫ ⎧ − −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

22

⎫⎬⎭

S2

.يك شبكه پرسپترون طراحي كنيد كه اين مسئله را حل كند

كالس مجزا، حداقل به يك پرسپترون با دو نرون نياز داريم، زيرا هر 4 براي حل يك مسئله دسته بندي با :پاسخ

. كالس را گروه بندي كند نروني مي توان Sپرسپترون

32

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي . نشان داده شده استP4.2يك پرسپترون دو نروني در شكل

2-4شكل

، مربع 1دواير سفيد نشان دهندة بردارهاي متعلق به كالس . نشان مي دهيمP4.3بردارهاي ورودي را به صورت شكل

و مربع 3سياه نمايش دهندة بردارهاي مربوط به كالس ، دواير 2هاي سفيد نشان دهندة بردارهاي متعلق به كالس

يك پرسپترون دو نروني، دو مرز تصميم گيري دارد تا . مي باشند4هاي سياه نشان دهندة بردارهاي مربوط به كالس

ما اكنون . قابل مشاهده مي باشندP4.4مرزهاي نمونه در شكل . گروه دسته بندي نمايد4بتواند فضاي ورودي را به

.مي دانيم كه الگوهاي ورودي ها بطور خطي جدايي پذيرند

4-4شكل 3-4 شكل

33

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي 1بردارهاي وزن بايد بر مرزهاي تصميم گيري عمود باشند و به سمت ناحيه اي كه خروجي هاي نرون براي آنها

يك . توليد نمايد1ايد خروجي مرحله بعد اين است كه مشخص كنيم، كدام طرف مرز ب. هستند اشاره داشته باشند

. مي باشند1 نشان داده شده است، در اين شكل نواحي سايه دار نشان دهندة خروجي P4.5انتخاب ممكن در شكل

. مي باشد1تيره ترين ناحية سايه دار، محدوده اي را نمايش مي دهد كه در آن خروجي هر دو نرون

. زير مي باشدtargetدقت كنيد كه اين جواب متناظر با مقادير

1 2 3 4

0 0 0 01: , , 2 : ,

0 0 1 1Class t t Class t t

⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

⎫⎬⎭

5 6 7 8

1 1 1 13: , , 4 : ,

0 0 1 1Class t t Class t t

⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

⎫⎬⎭

:حال مي توانيم بردارهاي وزن را انتخاب كنيم

1 2W a3 11 2

nd W−⎡ ⎤ ⎡

= =⎤

⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦

كه بايد عمود بر مرز تصميم گيري (توجه كنيد كه طول بردارهاي وزن اهميتي ندارد و تنها در جهت آنها مهم است

.)باشند

:يك نقطه روي مرز مي توانيم مقادير باياس را محاسبه كنيمحال با انتخاب

[ ]1 1

03 1

1T P 1b W ⎡ ⎤

=− =− − − =⎢ ⎥⎣ ⎦

[ ]2 2

01 2

0T P ⎡ ⎤

=− =− − =⎢ ⎥⎣ ⎦

0b W

34


5-4شكل

:به فرم ماتريسي داريم

1

2

3 11 2 1

T

T

Wnd b

W

⎡ ⎤ − − 1W a⎡ ⎤ ⎡ ⎤

= = =⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎢ ⎥ ⎣ ⎦ ⎣ ⎦⎣ ⎦

اين عمل را آنقدر ورودي ها را به ترتيب، اعمال نمايد و. مسئله كالس بندي زير را با قانون پرسپترون حل كنيد - 4- 4

تكرار كنيد تا زماني كه مطمئن شويد مسئله به پاسخ مطلوب همگرا شده است و پس از يافتن جواب دياگرام مسئله را

.رسم نماييد

1 1 2 2 3 3 4 4

2 1 2 1, 0 , 1 , 0 , 1

2 2 2 1P t P t P t P t⎧ ⎫ ⎧ ⎫ ⎧ − ⎫ ⎧ −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = = = =⎨ ⎬ ⎨ ⎬ ⎨ ⎬ ⎨ ⎬⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩ ⎭ ⎩ ⎭

⎫

1P

.از اين مقادير اوليه باياس و وزن ها استفاده كنيد

( ) [ ] ( ) 00000 == bW

آغاز مي كنيم و از مقادير اوليه داده شده ، براي بردار ورودي a خروجي پرسپترون، حل خود را با محاسبة:پاسخ

:استفاده مي نماييم

( ) ( )( )1lim 0 0a hard W P b= +

[ ] ( ) 10lim022

00lim ==⎟⎟⎠

⎞⎜⎜⎝

⎛+⎥⎦

⎤⎢⎣

⎡= hardhard

35


1t

1101

دير جديد وزن ها و باياس ها، بر اساس خطا، برابر نيست پس از قانون پرسپترون براي يافتن مقا با مقدار aخروجي

:كمك مي گيريم

−=−=−= ate

( ) ( )

[ ] ( )[ ] [ ]11 0 0 0 1 2 2 2Te P= + = + − = − −

( )

2W W

( ) ( ) 11001 −=−+=+= ebb

شده استفاده مي update را به شبكه اعمال مي كنيم، در اين مرحله از وزن ها و باياس هاي 1Pحال بردار ورودي

.نماييم

:داريم

( ) ( )( )2lim 1 1a hard W P b= +

[ ] ( ) 11lim121

22lim ==⎟⎟⎠

⎞⎜⎜⎝

⎛−⎥⎦

⎤⎢⎣

⎡−

−−= hardhard

پس استفاده از قانون يادگيري پرسپترون هيچ تغييري در مقادير . ، مي باشدt ، برابر با مقدار هدف، aاين بار خروجي،

.باياس ها و وزن ها ايجاد نمي كند2

W(2) = W (1)

b (2) = b (1)

. را به شبكه اعمال مي نماييم3Pر ورودي حال بردا

( ) ( )( )3lim 2 2a hard W P b= +

[ ] ( ) 01lim122

22lim =−=⎟⎟⎠

⎞⎜⎜⎝

⎛−⎥⎦

⎤⎢⎣

⎡−−−= hardhard

3 :، برابراست پس تغييري نداريمt ، با هدف، aدر اين مرحله نيز خروجي،

4P

W(3) = W (2)

b (3) = b (2)

:، را به شبكه اعمال مي كنيمحال آخرين بردار ورودي،

36

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ( ) ( )( )4lim 3 3a hard W P b= +

[ ] ( ) 01lim111

22lim =−=⎟⎟⎠

⎞⎜⎜⎝

⎛−⎥⎦

⎤⎢⎣

⎡−−

−−= hardhard

، برابر نيست و با بكارگيري قانون پرسپترون مقادير جديد باياس ها و وزن ها را t ، با هدف aاين بار خروجي شبكه،

.مي يابيم4

1014 =−=−= at

( ) ( )

e

[ ] ( )[ ] [ ]44 3 2 2 1 1 1 3Te P= + = − − + − = − −

( )

1W W

( ) 01134 =+−=+= ebb

1P1در اين مرحله بايد مجددا بردار اول، ، برابراستt، را چك كنيم مي بينيم كه خروجي با هدف،

( ) ( )( )1lim 4 4a hard W P b= +

[ ] ( ) 08lim022

13lim =−=⎟⎟⎠

⎞⎜⎜⎝

⎛+⎥⎦

⎤⎢⎣

⎡−−= hardhard

پس تغييري نخواهيم داشت

W(5) = W (4)

b (5) = b (4)

كردن وزن ها و updateپس نياز به . ، براي بار دوم توليد خطا مي كند2Pاعمال بردار ورودي،

:باياس ها داريم

( ) ( )( )2lim 5 5a hard W P b= +

[ ] ( ) 01lim021

13lim =−=⎟⎟⎠

⎞⎜⎜⎝

⎛+⎥⎦

⎤⎢⎣

⎡−

−−= hardhard

:مقادير جديد

1012 =−=−= at

( ) ( )

e

[ ] ( )[ ] [ ]26 5 3 1 1 1 2 2Te P= + = − − + − = − −3W W

37

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي ( ) ( ) 11056 =+=+= ebb

:به ادامه كار و اعمال يك سيكل ديگر از ورودي ها، خواهيم ديد كه خطايي نداريم

( ) ( )( ) [ ]3 3

2lim 6 6 lim 2 3 1 0

2a hard W P b hard t

⎛ − ⎞⎡ ⎤= + = − − +⎜ ⎟⎢ ⎥

⎣ ⎦⎝ ⎠= =

( ) ( )( ) [ ]4 4

1lim 6 6 lim 2 3 1 1


⎛ − ⎞⎡ ⎤= + = − − +⎜ ⎟⎢ ⎥

⎣ ⎦⎝ ⎠= =

( ) ( )( ) [ ]1 1

2lim 6 6 lim 2 3 1 0


⎛ ⎞⎡ ⎤= + = − − +⎜ ⎟⎢ ⎥

⎣ ⎦⎝ ⎠= =

( ) ( )( ) [ ]2 2

1lim 6 6 lim 2 3 1 1


⎛ ⎞⎡ ⎤= + = − − +⎜ ⎟⎢ ⎥−⎣ ⎦⎝ ⎠

= =

:پس الگوريتم همگرا شده است و جواب نهايي بصورت زير است

W = [ -2 -3] b = 1

. تصميم گيري را رسم كنيم مرزهاي و trainingحال مي توانيم، داده هاي

معادله توصيف كنندة مرز

1,1 1 1,2 2 1 22 3 1n WP b w p w p b p p= + = + + =− − + =0

.مي باشد 2ρو1ρفضاي اين معادله يك خط در

ين صورت بدست اين دو نقطه بد. اگر دو نقطه از اين خط را داشته باشيم مي توانيم مرز تصميم گيري را رسم نماييم

.مي آيند

2 11,2

1 1 03 3

bp iw

=− =− = =−

f p

1 21,1

1 1 02 2

bp iw

=− =− = =−

f p

38


4-6شكل

كه البته اين جواب قابل قبول است، . توجه كنيد كه مرز تصميم گيري از روي يكي از داده هاي يادگيري عبور مي كند

1مقدار هدف براي بردار در صورت سئوال و . را توليد مي كند1خروجي . باشدD ، زماني كه ورودي hard limitزيرا

.مي باشد

يك . ذكر كرديم در نظر بگيريدP4.3مجددا مسئله، دسته بندي به چهار كالس مجزا را كه در مسئله شمارة - 5- 4

.)از قانون يادگيري پرسپترون استفاده نماييد. ( كنيدtrainشبكه پرسپترون را براي حل اين مسئله

. صورت هستندداده هاي ورودي بدين

1 1 2 2 3 3

1 0 1 0 2 0, , ,

1 0 2 0 1 1P t P t P t⎧ ⎫ ⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = =⎨ ⎬ ⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩

⎫⎬⎭

4 4 5 5 6 6

2 0 1 1 2 1, , ,

0 1 2 0 1 0P t P t P t⎧ ⎫ ⎧ − ⎫ ⎧ −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = = = =⎨ ⎬ ⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭ ⎩

⎫⎬⎭

7 7 8 8

1 1 2 1, ,

1 1 2 1P t P t⎧ − ⎫ ⎧ −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= = = =⎨ ⎬ ⎨ ⎬⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩ ⎭

⎫

:الگوريتم را با مقادير اوليه زير آغاز مي كنيم: پاسخ

( ) ( )1 0 1

0 , 00 1 1

W b⎡ ⎤ ⎡= =⎢ ⎥ ⎢⎣ ⎦ ⎣

⎤⎥⎦

iterationاول :

( ) ( )( )1

1 0 1 1 1lim 0 0 lim

0 1 1 1 1a hard W P b hard

⎛ ⎞⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = +⎜ ⎟=⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎝ ⎠

1

0 1 10 1 1

e t a−⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= − = − =⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

39


( ) ( ) [ ]1

1 0 1 0 11 0 1 1

0 1 1 1 0TW W e P

− −⎡ ⎤ ⎡ ⎤ ⎡= + = + =⎢ ⎥ ⎢ ⎥ ⎢− −⎣ ⎦ ⎣ ⎦ ⎣

⎤⎥⎦

( ) ( )1 1 0

1 01 1 0

b b e−⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= + = + =⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

iteration دوم:

( ) ( )( )2

0 1 1 0 0lim 1 1 lim


⎛ − ⎞⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = +⎜ ⎟=⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎝ ⎠

2

0 0 00 0 0

e t a ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= − = − =⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦ ⎣ ⎦

( ) ( ) [ ]2

0 1 0 0 12 1 1 2

1 0 0 1 0TW W e P

− −⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = + =⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

( ) ( )0 0 0

2 10 0 0

b b e ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = + =⎢ ⎥ ⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦ ⎣ ⎦

iterationسوم :

( ) ( )( )3

0 1 2 0 1lim 2 2 lim


⎛ − ⎞⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = +⎜ ⎟=⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎝ ⎠

3

0 1 11 0 1

e t a−⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= − = − =⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦

( ) ( ) [ ]3

0 1 1 2 03 2 2 1

1 0 1 1 1TW W e P

− − −⎡ ⎤ ⎡ ⎤ ⎡= + = + − =⎢ ⎥ ⎢ ⎥ ⎢− −⎣ ⎦ ⎣ ⎦ ⎣

⎤⎥⎦

( ) ( )0 1 1

3 20 1

b b e− −⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= + = + =⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦1

Iterationم تا هشتم هيچ تغييري در مقادير وزن ها و باياس ها ايجاد نمي كنند هاي چهار.

W (8) = W (7) = W (6) = W (5) = W (4) = W (3) b (8) = b (7) = b (6) = b (5) = b (4) = b (3)

40

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي iterationنهم :

( ) ( )( )1

2 0 1 1 0lim 8 8 lim


⎛ − − ⎞⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= + = +⎜ ⎟=⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎝ ⎠

1

0 0 00 1 1

e t a ⎡ ⎤ ⎡ ⎤ ⎡ ⎤= − = − =⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

( ) ( ) [ ]1

2 0 0 2 09 8 1 1

1 1 1 0 2TW W e P

− −⎡ ⎤ ⎡ ⎤ ⎡= + = + =⎢ ⎥ ⎢ ⎥ ⎢− − −⎣ ⎦ ⎣ ⎦ ⎣

⎤⎥⎦

( ) ( )1 0 1

9 81 1 0

b b e− −⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= + = + =⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

.در اينجا الگوريتم همگرا مي شود زيرا خروجي به ازاي تمام الگوهاي ورودي صحيح مي باشد

. نشان داده شده اندP4.7مرزهاي تصميم گيري نهايي در شكل

4 -7شكل

. مقايسه كنيدP4.3تيجه حاصل را با طراحي مسئله ن

41


. را در نظر بگيريد4-8ان داده شده در شكل نش) Linear associator( شبكه انجمني خطي -6- 4

4-8شكل

: را بصورت زير در نظر بگيريدProto typeزوج بردارهاي

1 1 2 2

1 11 1 1

, ,1 1 11 1

P t P t

⎧ ⎫ ⎧⎡ ⎤ ⎡ ⎤⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥− ⎡ ⎤ ⎡ ⎤⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥= = = =⎨ ⎬ ⎨⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦⎪ ⎪ ⎪⎢ ⎥ ⎢ ⎥⎪ ⎪ ⎪− −⎣ ⎦ ⎣ ⎦⎩ ⎭ ⎩

11

⎫⎪⎪⎬⎪⎪⎭

i. از قانون هب براي يافتن ماتريس وزن در اين شبكه انجمن خطي استفاده كنيد.

ii. قسمتiرا با استفاده از قانون شبه معكوس تكرار كنيد .

iii. 1ار ورودي بردPيك بار از ماتريس وزن حاصل از قسمت . را به شبكه اعمال كنيد)i ( و بار ديگر از ماتريس

.استفاده نماييد) ii(وزن توليد شده در قسمت

i . ابتدا بايد ماتريس هايPو Tرا تشكيل دهيم .

⎥⎦

⎤⎢⎣

⎡−

=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−−−

−=

1111

,

11111111

TP

42

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي . محاسبه مي نماييمسپس ماتريس وزن را بصورت زير

⎥⎦

⎤⎢⎣

⎡ −−

=⎥⎦

⎤⎢⎣

⎡−−

−−

⎥⎦

⎤⎢⎣

⎡−

==02

20

20

02

11

11

11

11

1111Th PTW

ii .براي قانون شبه معكوس از معادلة زير استفاده مي كنيم.

+= PTW

از يكديگر P ، مي باشد و ضمنا ستون هاي2، بزرگتر از تعداد ستون هاي آن، P ، 4از آنهايي كه تعداد سطرهاي

:ن شكل محاسبه مي گرددپس ماتريس شبه معكوس بدي. مستقلند

( ) TT PPPP1−+ =

⎥⎦

⎤⎢⎣

⎡−−

−−

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−−

−

−⎥⎦

⎤⎢⎣

⎡−−

−−

=

−

+

11

11

11

11

1111

1111

11

11

11

11

1

P

⎥⎦

⎤⎢⎣

⎡−−

−−

⎟⎟⎠

⎞⎜⎜⎝

⎛⎥⎦

⎤⎢⎣

⎡=

−

11

11

11

11

4004 1

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−−

−−=⎥

⎦

⎤⎢⎣

⎡−−

−−

⎥⎦

⎤⎢⎣

⎡=

41

41

41

41

41

41

41

41

11

11

11

11

4004

حال ماتريس وزن قابل محاسبه است

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−

−=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−−

−−

⎥⎦

⎤⎢⎣

⎡−

== +

021

210

2100

21

41

41

41

41

41

41

41

41

1111

TPW p

iii .اكنون هر دو ماتريس وزن را امتحان مي كنيم.

43


1 1

12 0 0 2 1 40 2 2 0 1 4

1

hW P t

⎡ ⎤⎢ ⎥− −⎡ ⎤ ⎡⎢ ⎥= =⎢ ⎥ ⎢⎢ ⎥− −⎣ ⎦ ⎣⎢ ⎥−⎣ ⎦

⎤≠⎥

⎦

1 1

11 0 0 1 1 12 21 1 1 40 02 2

1

pW P t

⎡ ⎤⎡ ⎤ ⎢ ⎥−− ⎡ ⎤⎢ ⎥ ⎢ ⎥= = ⎢ ⎥⎢ ⎥ ⎢ ⎥ −− ⎣ ⎦⎣ ⎦ ⎢ ⎥−⎣ ⎦

=

پس مي . بر هم عمودند2Pو 1Pدقت كنيد كه بردارهاي . مي بينيم كه قانون هب جواب صحيح را به ما نمي دهد

.توانيم رابطه زير را بنويسيم

( )1 1 1h Tt P P= 1W P

( )1 1 1TP P ≠ از طرف ديگر قانون . برابر نخواهد بود1t، سپس خروج شبكه با بنابراين . ، نرماليزه نشده است1P برداراما

:شبه معكوس، تضمين مي كند كه رابطة زير، مينيمم گردد2 2

1q q

qt WP

=

−∑

2P .، اين رابطه برابر با صفر مي شود)و 1Pبه دليل عمود بودن (كه در اين مورد خاص

.، نشان داده شده را در نظر بگيريدPrototype الگوهاي - 7- 4

i .آيا اين الگوها بر هم عمودند؟

ii .انجمني -يك حافظه خود )autoassociative ( را براي اين الگوها طراحي كنيد)از قانون هب استفاده نماييد(.

iii .1ه براي ورودي تست پاسخ شبكPچه خواهد بود؟

:پاسخ

i .اولين كاري كه بايد انجام دهيم اين است كه الگوها را به بردار تبديل نماييم.

44

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي [ ] [ ]1 21 1 1 1 1 1 1 1 1 1 1 1T TP P−= − − − = − −

.)گرديده اندو الگوها ستون به ستون اسكن . انتخاب شده اند-1و مربع هاي سفيد برابر + 1مربع هاي سياه برابر (

براي آزمايش عمود بودن

12P را پيدا مي كنيم و بردارها ضرب داخلي P

[ ]1 2

111

1 1 1 1 1 1 0111

TP P

−⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥

= − − − ⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥−⎣ ⎦

=

.مي بينيم كه اين بردارها عليرغم نرمال نبودن بر هم عمودند

1 1 2 2 6T TP PP P = =

TPT=

ii .به كمك قانون هب . تعداد ورودي ها و خروجي هاي، شش، استفاده مي كنيم انجمني با- ما از يك شبكه خود

.ماتريس وزن را پيدا مي نماييم

W

Where

⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

−

−

−−

−==

111111

111111

TP

:ماتريس وزن

45


⎥⎦

⎤⎢⎣

⎡−−−−

⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

−

−

−−

−==

111111111111

111111

111111

TPTW

⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

−−−

−−

−−−

=

202020020202202020020202202020020202

iii .دار تبديل مي كنيمبراي اعمال الگوي تست به شبكه، آن را بر بر.

[ ]1 1 1 1 1 1 TtP = −

:پاسخ شبكه بدين صورت است

( )lim ta hard s WP=

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

−⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

−−−

−−

−−−

=

111111

202020020202202020020202202020020202

lim shard

2

2 16 12 1

lim6 12 16 1

a hard s P

⎛ − ⎞ −⎡ ⎤ ⎡ ⎤⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟⎢ ⎥ ⎢ ⎥

= =⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟⎢ ⎥ ⎢ ⎥⎜ ⎟− −⎣ ⎦ ⎣ ⎦⎝ ⎠

=

46

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي داراي tPوي در اين مورد الگ) 2P(در واقع شبكه بايد پاسخي را به ما بدهد كه به الگوي اعمالي ورودي نزديكتر است

2P .پس شبكه پاسخ صحيح را به ما داده است. مي باشد1P با الگوي 2 و با فاصله همينگ با الگوي 1فاصلة همينگ

مواجه نشديم و اين به دليل 6-4دقت كنيد كه در اين مورد نيز بردارهاي ورودي نرمال نبودند اما ما با مشكل مسئلة

. توليد نمايد-1 يا 1زيرا اين تابع شبكه را وادار مي سازد كه خروجي . مي باشدhard limsغير خطي بودن

شبكه خود انجمني، را يك . مي باشدPrototype الگوي 3 انجمني را در نظر بگيريد كه داراي -يك شبكه خود - 8- 4

الگو طراحي كنيد و نتيجه را براي ورودي تست 3ا قانون شبه معكوس براي شناسايي اين بار با قانون هب و بار ديگر ب

tPامتحان نماييد .

1 2 3

1 1 11 1 11 1 11 1 11 1 11 1 11 1 1

tP P P

1111111

P

− −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥= − = − = −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥

− −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦

−

−

:پاسخ

: مي سازيمMatlab كار مي كنيم ابتدا بردارهاي ورودي را در Matlabچون حل مسئله زمان بر است پس با برنامه

[ ] '1 1 1 1 1 1 1 1 ;P = − −

[ ] '2 1 1 1 1 1 1 1 ;P = −

[ ] '3 1 1 1 1 1 1 1 ;P = − − −

[ ];321 PPPP =

:حاال به كمك قانون هب ماتريس وزن را پيدا مي كنيم

1*PP=Wh

:براي چك كردن شبكه، بردار تست را مي سازيم

[ ] '1 1 1 1 1 1 1= − − − − ;Pt

47


tP : پيدا مي كنيمپاسخ شبكه را به ازاي اعمال

ah = hardlims (Wh * Pt) ;

ha ′

ans =

1 1 -1 -1 1 -1 1

و اين نتيجه بدليل عدم تعامد بردارهاي . توجه كنيد كه جواب حاصل بر هيچ يك از الگوهاي مرجع منطبق نيست

.ورودي حاصل گشته است

:تحان مي كنيمحاال قانون شبه معكوس را ام

( ) PPPinvpseu ′′= ** ;

Wp = P * pseu;

ap = hardlims (Wp * Pt) ; 'a p

ans =

1 1 -1 -1 1 -1 1

آيا پاسخ صحيح است؟. برابراست3Pپاسخ شبكه با

در اين . الگوي ورودي به شبكه نزديكترين استتوقع ما اين است كه شبكه الگويي را بعنوان پاسخ به ما بدهد كه به

. است1 برابر با 3P از tPو فاصلة همينگ . مي باشد2P و 1P از هر دو الگوي 2 داراي فاصلة همينگ tPمورد الگوي

.پاسخ صحيح استپس

. الگوي زير را در نظر بگيريد 3 -9-4

i .از قانون هب براي طراحي شبكة پرسپتروني كه اين الگوها را از هم جدا نمايد استفاده كنيد.

ii . پاسخ شبكه را برايtPآيا پاسخ صحيح است؟. امتحان كنيد

48


:پاسخ

.بديل مي كنيمابتدا الگوها را به بردار ت

1 2 3

1 1 11 1 11 1 11 1 1

tP P P P

−⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥= = =⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥

1111

−=

−⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦

.حال بايد بردار خروجي مطلوب، هدف، را به ازاي هر الگوي ورودي برگزينيم

.پس به يك بردار خروجي با دو عنصر نيازمنديم. الگوي ورودي را از هم تشخيص دهيم3از آنجايي كه بايد

:خروجي هاي مطلوب را بطور دلخواه انتخاب مي كنيم

1 2

1 11 1

t t− −⎡ ⎤ ⎡ ⎤ ⎡ ⎤

= =⎢ ⎥ ⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ ⎣ ⎦3

11

t =

.شبكه حاصل در شكل نشان داده شده است

9-4شكل

49

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي .با كمك قانون هب، ماتريس وزن را پيدا مي كنيم

⎥⎦

⎤⎢⎣

⎡−−−−−−

=⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−−

−

⎥⎦

⎤⎢⎣

⎡−−

−−==

11311113

111111111111

111111TPTW

ii . پاسخ شبكه برايtPبرابراست با :

( )

13 1 1 1 1

lim lim1 3 1 1 1

1

ta hard s WP hard s

⎛ ⎞⎡ ⎤⎜ ⎟⎢ ⎥− − − − −⎡ ⎤⎜ ⎟⎢ ⎥= = ⎢ ⎥⎜ ⎟⎢ ⎥− −⎣ ⎦⎜ ⎟⎢ ⎥⎜ ⎟−⎣ ⎦⎝ ⎠

1

2 1lim

2 1hard s P

⎛ − ⎞ −⎡ ⎤ ⎡ ⎤= =⎜ ⎟⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦⎝ ⎠

→

زيرا . اين پاسخ كامال صحيح مي باشد. نسبت به بقيه نزديكتر است1P مي دهد كه الگوي ورودي به پاسخ شبكه نشان

3P . مي باشد2 برابر و 2P و 1 برابر 1Pفاصلة همينگ تا

و به كمك قانون هب R تا بردار با طول Qكه براي . خطي داريم- انجمني- فرض كنيد كه يك شبكه خود- 10- 4

. مي باشند-1 يا 1 داراي مقدار بردارهاعناصر . طراحي شده است

i . نشان دهيد كهQ تا الگوي ياد شده در واقع eigen vectorهاي ماتريس وزن هستند .

ii . بقية)R-Q (eigen vectorند؟ هاي، ديگر ماتريس وزن كدام

:پاسخ

i . تصور كنيد كه بردارهايPrototypeبدين صورت هستند :

1 2, ,. . ., QP P P

انجمني است بردارهاي ياد شده هم بردارهاي ورودي هستند و هم بردارهاي خروجي -از آنجايي كه حافظه ما خود

:مطلوب پس داريم

1 2 1 2. . . . . .Q QT P P P P P P P⎡ ⎤ ⎡ ⎤= =⎣ ⎦ ⎣ ⎦

.زن را پيدا مي كنيمبا استفاده از قانون هب ماتريس و

50


∑=

==Q

q

Tqq

T PPPTW1

:حاال اگر يكي از بردارهاي ورودي را به شبكه اعمال كنيم داريم

( )1 1

Q QT T

t q q k q qq q

P P P P P P P= =

⎛ ⎞= = =⎜ ⎟

⎝ ⎠∑ ∑ ka W

:از آنجايي كه بردارها بر هم عمودند داريم

( )Tk k kP P=a P

kPو با توجه به اينكه تمام عناصر : هستند داريم- 1 يا 1 ،

ka P R=

خالصة جواب بدين صورت است

k kR PW P =

متناظر با آن مي R ،eigen value است و W از ماتريس eigen vector يك اين نتيجه بيان مي دارد كه

.باشد

kP

ii . دقت كنيد كهeigen value ،R داراي يك فضاي ،R ،بعدي ويژه )eigen space(در نظر ، مربوط به خود است

را در نظر بگيريد كه بر اين ديگرحال زير فضايي. شده استPrototype ،Span تا بردار Q با يي كه زير فضابگيريد

ي بعد فضا. عمود باشدPrototype عمود است هر بردار در اين فضا بايد بر تمام بردارهاي eign space زير فضاي

:پايه هاي زير را براي اين فضاي عمود در نظر بگيريد. استR – Qعمود

QRZZ −,...,, 11Z

:اگر ما يكي از اين بردارهاي پايه را به شبكه اعمال كنيم داريم

( )1 1

0Q Q

T Tt q q k q q k

q qZ P P Z P P Z

= =

⎛ ⎞= = =⎜ ⎟

⎝ ⎠∑ ∑a W =

qPkZ بر تمامي است پس هر ها عموداز آنجايي كه هر kZ يك eigen vector از ماتريس W با مقدار ويژة

)eigen value (صفر مي باشد.

51

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي . و صفر استR مقدار ويژة 2 ، داراي Wبنابراين ماتريس وزن

در . د تقويت مي شوRگردد به اندازة Prototype ،Spanاين بدين معناست كه هر بردار در فضا كه توسط بردارهاي

. صفر مي شودPrototypeحالي كه هر بردار عمود بر بردارهاي

حال مسئلة طراحي يك . شبكه هايي كه تا بدينجا در فصل چهار استفاده كرده ايم، فاقد باياس مي باشند-11 - 4

2P . را تشخيص دهد و 1Pرا در نظر بگيريد كه بايد الگوهاي ) P4.10مطابق شكل (شبكة پرسپترون

1 2

1 21 2

P P⎡ ⎤ ⎡= =

⎤⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

i .چرا حل اين مسئله نياز به در نظر گرفتن مقداري براي باياس دارد؟

ii . بمنظور حل اين مسئله بكار بگيريديك شبكه باياس قانون شبه معكوس را براي طراحي .

:پاسخ

:ير استمرز تصميم گيري براي پرسپترون بصورت ز

0= b + PW

:اگر باياسي نداشته باشيم آنگاه مرز بصورت زير خواهد بود

0 = PW .اين خط از مركز عبور مي نمايد

52


گيري مشاهده كنيد در اين شكل يك مرز تصميم . را كه در شكل فوق نشان داده شده اند2P و 1Pحال دو بردار

همانطور كه بوضوح مي بينيد، هيچ خطي كه از مبدا بگذرد نمي تواند اين . نمونه كه از مبدا مي گذرد نيز ديده مي شود

.پس الزاما براي حل اين مسئله به باياس نياز داريم. بردارها را از هم جدا كند

ii .در نظر مي گيريم1 يك وزن با ورودي براي استفاده از قانون شبه معكوس، در صورت وجود باياس، آن را بصورت .

: مي كنيمaugmented به عنوان المان آخرشان 1پس تمام بردارهاي ورودي را با اضافه كردن عنصر

1 2

1 21 21 1

⎡ ⎤ ⎡ ⎤P P⎢ ⎥ ⎢′ ′= = ⎥

⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

:خروجي هاي مطلوب را بدين صورت انتخاب مي كنيم

11 21 −== tt

So that

[ ]11,112121

−=⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡= TP

.تريس شبه معكوس را تشكيل مي دهيمحاال ما

⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎦

⎤⎢⎣

⎡=

−−

+

122111

9553

122111

112121

122111 1

1

P

53


[ ] [ 31115.05.025.05.0

11 −−=⎥⎦

⎤⎢

⎥⎦

⎤⎢⎣

⎡−

−−=

15.05.025.05.0

شده چنين خواهد بودaugmentماتريس وزن

⎣

⎡−

−−−==′ +PT ]W

.حال مي توانيم فرم استاندارد وزن و باياس را بيرون بكشيم

W = [ -1 -1 ] b = 3

. رسم شده استP4.11ري براي وزن و باياس پيدا شده در شكل مرز تصميم گي

4 -11شكل

بعنوان عناصر بردارها بمنظور انجام شناسايي » -1«و » 1« در اين مسئله مي خواهيم به جاي استفاده از مقادير - 12- 4

.يجاد نماييماستفاده كنيم و ببينيم كه چه تغيير بايد در قانون هب ا» 0«و » 1«الگو از مقادير

[ ] [ ]1 1 2 2, , , , . . . , ,Q QP t P t P t⎡ ⎤⎣ ⎦

:زوج هاي ورودي و خروجي) binary(نمايش باينري

[ ]1 1 2 2, , , , . . . , ,Q QP t P t P t′ ′ ′ ′ ′ ′⎡ ⎤⎡ ⎤⎣ ⎦ ⎣ ⎦

.رابطة بين اين دو نمايش بدين صورت است

1 1 22 2q q q qI P P′ ′= + =P P I−

. يك بردار از يك هاستIكه در آن

54

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي 2اين شبكه . آورده شده استP4.12وب در شكل فرم مطل. حال بايد فرم يك شبكه انجمني باينري را مشخص كنيم

استفاده شده hardlims به جاي تابع انتقال hardlimاول اينكه در آن از . تفاوت با شبكه انجمني دو قطبي دارد

.است

پس .برداري قرار مي گيرندو ديگر اينكه اين شبكه نياز به باياس دارد، زيرا تمام بردارهاي باينري در يك ربع از فضاي

.مرزي كه از مركز عبور نمايد توانايي جداسازي اين بردارها را ندارد

4.12اگر بخواهيم عملكرد شبكه باينري شكل . مرحله بعد اين است كه ماتريس وزن و بردار باياس را تعيين كنيم

.هر دو يكسان باشند) n ، )net inputپس بايد، . كامال مشابه شبكه دو قطبي نظير آن باشد

4 -12شكل

. جايگزين مي كنيمP را بصورت تابعي از ′Pپس

1 1 1 12 2 2 2

I b W P W I b WP⎛ ⎞′ ′ ′+ + = + + =⎜ ⎟⎝ ⎠

2 b W′

W P

:و براي توليد نتايج يكسان انتخاب هاي زير را انجام مي دهيم

W W I = =−

Wيك ماتريس دو قطبي است .

55

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي تمرينات- 12- 4

E 4.1 Consider the classification problem defined below:

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−

=⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−= 1,

11

1,00

1,11

332211 tPtPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 0,

10

0,01

5544 tPtP

i. Draw a diagram of the single- neuron perceptron you would use to solve this

problem. How many inputs are required?

ii. Draw a graph of the data points, labeled according to their targets. Is this

problem solvable with the network you defined in part (i)? Why or why not?

E4.2 Consider the classification problem defined below.

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−−

=⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−= 1,

11

1,11

2211 tPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 0,

01

0,00

4433 tPtP

i. Design a single-neuron perceptron to solve this problem. Design the network

graphically, by choosing weight vectors that are orthogonal to the decision

boundaries.

ii. Test your solution with all four input vectors.

iii. Classify the following input vectors with your solution. You can either

perform the calculations manually or with MATLAB.

⎥⎦

⎤⎢⎣

⎡−−

=⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡−=

21

10

11

02

8765 PPPP

56


iv. Which of the vectors in part (iii) will always be classified the same way,

regardless of the solution values for W and b? Which may vary depending on

the solution? Why?

E4.3 Solve the classification problem in Exercise E4.2 by solving inequalities (as in

problem P4.2), and repeat parts (ii) and (iii) with the new solution. (The solution is more

difficult than Problem P4.2, since you can’t isolate the weights and biases in a pairwise

manner.)

E4.4 Solve the classification problem in Exercise E4.2 by applying the perceptron rule

to the following initial parameters, and repeat parts (ii) and (iii) with the new solution.

W (0) = [ 0 0 ] b (0) = 0

E4.5 Prove mathematically (not graphically) that the following problem is unsolvable

for a two-input / single – neuron perceptron.

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−−

=⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−= 0,

11

1,11

2211 tPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡−

= 0,11

1,11

4433 tPtP

(Hint: start by rewriting the input / target requirements as inequalities that constrain the

weight and bias values.)

E4.6 The symmetric hard limit function is sometimes used in perceptron networks,

instead of the hard limit function. Target values are then taken from the set [ -1 , 1 ]

instead of [ 0 , 1 ]

a = hard lims (n)

57

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي i. Write a simple expression that maps numbers in the ordered set [ 0 , 1 ] into

the ordered set [ -1 , 1 ]. Write the expression that performs the inverse

mapping.

ii. Consider two single – neuron perceptrons with the same weight and bias

values. The first network uses the hard limit function ( [ 0 , 1 ] values ), and the

second network uses the symmetric hard limit function. If the two networks are

given the same input P, and updated with the perceptron learning rule, will

their weights continue to have the same value?

iii. If the changes to the weights of the two neurons are different, how do they

differ? Why?

iv. Given initial weight and bias values for a standard hard limit perceptron, create

a method for initializing a symmetric hard limit perceptron so that the two

neurons will always respond identically when trained on identical data.

E4.7 The vectors in the ordered set defined below were obtained by measuring the

weight and ear lengths of toy rabbits and bears in the Fuzzy Wuzzy Animal Factory. The

target values indicate whether the respective input vector was taken from a rabbit (0) or

a bear (1). The first element of the input vector is the weight of the toy, and the second

element is the ear length.

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 0,

51

0,41

2211 tPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 0,

52

0,42

4433 tPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 1,

23

1,13

6655 tPtP

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 1,

24

1,14

8877 tPtP

58

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي i. Use MATLAB to initialize and train a network to solve this “practical”

problem.

ii. Use MATLAB to test the resulting weight and bias values against the input

vectors.

iii. Alter the input vectors to ensure that the decision boundary of any solution will

not intersect one of the original input vectors (i.e, to ensure only robust

solutions are found). Then retrain the network.

E4.8 Consider again the four – category classification problem described in Problems

P4.3 and P4.5 Suppose that we change the input vector to 3P

⎥⎦

⎤⎢⎣

⎡=

22

3P

i. Is the problem still linearly separable? Demonstrate your answer graphically.

ii. Use MATLAB and to initialize and train a network to solve this problem.

Explain your results.

iii. If is changed to 3P

⎥⎦

⎤⎢⎣

⎡=

5.12

3P

iv. With the from (iii), use MATLAB to initialize and train a network to solve

this problem. Explain your results.

3P

E4.9 One variation of the perceptron learning rule is Toldnew Peww α+=

ebb oldnew α+=

Where α is called the learning rate. Prove convergence of this algorithm. Does the proof

require a limit on the learning rate? Explain.

59

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي E4.10 Consider the prototype patterns given to the left.

i. Are and orthogonal? 1P 2P

ii. Use the Habb rule to design an autoassociator network for

these patterns.

iii. Test the operation of the network using the test input pattern

shown to the left. Dose the network perform as you

expected? Explain.

1P

E4.11 Repeat Exercise E4.10 using the pseudoinverse rule.

E4.12 Use the Hebb rule to determine the weight matrix for a

perceptron network (shown in Figure E4.10) to recognize the patterns shown to the left.

60


Figure E4.10 Perceptron Network for Exercise E7.3

E4.13 In problem P4.16 we demonstrated how networks can be trained using the Hebb

rule when the prototype vectors are in binary (as opposed to bipolar) form. Repeat

Exercise E4.10 using the binary representation for the prototype vectors. Show that the

response of this binary network is equivalent to the response of the original bipolar

network.

E4.14 Show that an autoassociator network will continue to perform if we zero the

diagonal elements of a weight matrix that has been determined by the Hebb rule. In

other words, suppose that the weight matrix is determined from:

1QPPW T −=

Where Q is the number of prototype vectors. (Hint show that the prototype vectors

continue to be eigenvectors of the new weight matrix.)

E4.15 We there input / output prototype vector pairs:

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡=

⎭⎬⎫

⎩⎨⎧

=⎥⎦

⎤⎢⎣

⎡= 1,

10

1,11

1,01

332211 tPtPtP

i. Show that this problem cannot be solved unless the network uses a bias.

ii. Use the pseudoinverse rule to design a network for these prototype vectors.

Verify that the network correctly transforms the prototype vectors.

61

--- - --------- - -------- چهارم فصل -شبكه هاي عصبي E4.16 One question we might ask about the Hebb and pseudoinverse rules is: How many

prototype patterns can be stored in one weight matrix? Test this experimentally using the

digit recognition problem that was discussed. Begin with the digits “0” and “1”. Add one

digit at a time up to “6”, and test how often the correct digit is reconstructed after

randomly changing 2, 4 and 6 pixels.

i. First use the Hebb rule to create the weight matrix for the digits “0” and “1”.

Then randomly change 2 pixels of each digit and apply the noisy digits to the

network. Repeat this process 10 times, and record the percentage of times in

which the correct pattern (without noise) is produced at the output of the

network. Repeat as 4 and 6 pixels of each digit are modified. The entire

process is then repeated when the digits “0” , “1” and “2” are used. This

continues, one digit at a time, until you test the network when all of the digits

“0” through “6” are used. When you have completed all of the tests, you will

be able to plot three curves showing percentage error versus number of digits

stored, one curve each for 2 , 4 and 6 pixel errors.

ii. Repeat part (i) using the pseudoinverse rule, and compare the results of the two

rules.

62

ﻲﺒﺼﻋ يﺎﻫ ﻪﻜﺒﺷ -- - - -------- - --------- مرﺎﻬﭼ ﻞﺼﻓ ... 4.pdf ·...

Documents