الشبكات العصبيـــــــــــــةNeural Networks

حاسب ) الرابعـــــــة الفرقةآلي(

المقرر أستاذبحيري/ محمد جمال د

المحاضرة الثالثـــــــــــة

الشبكات العصبية المبسطة المستخدمة في تصنيف العينات

Simple Neural Nets for Pattern Classification

مناقشــــــــــــــــــــة عامــــــــة

General Discussionتعتبر مسائل تصنيف العينة من المهام البسيطة التي •

يمكن أن تتدرب عليها الشبكات العصبية إلظهر قدراتها و معالجتها للمعلومات.

في هذا النوع من المسائل تكون طبقة االدخال )شعاع •الدخل( إما تنتمي أو ال تنتمي لصنف خاص.

بصورة أوضح هل النموذج المقدم للشبكة )عن طريق •طبقة االدخال( معروف لدى الشبكة العصبية أم ال؟

هذا يتوقف على طبقة االخراج )وحدة الخرج(. الجواب:( معني ذلك أن وحدة الدخل 1- إذا كانت االستجابة )تمثل انتماء للصنف( معنى ذلك أن العينة 0( أو )1-- إذا كانت االستجابة )

ليست عضوا في الصنف المختار.

مناقشــــــــــــــــــــة عامــــــــة

General Discussionالشبكة • بنية السابقة المحاضرة في قدمنا كما

، الطبقات من عدد من تتكون أنها على العصبية -: هما طبقتين من يتكون أبسطها

: يغير- وحدات عدة من تتكون و الدخل طبقة. المسألة نوع حسب عددها

. : واحدة- خرج وحدة من تتكون و الخرج طبقة. التالي بالشكل كما العام شكلها يكون و

شبكة وحيدة الطبقة لتصنيف العينات

1

X1

Xn

YXi

wn

wi

w1

b

االنحيازات و القيم العتبيةBiases and Thresholds

يعتبر عمل االنحياز مشابه لعمل األوزان، و لكن •باعتبار أن تأثير الوحدة المرتبطة معها ”االنحياز

(.1الدائم“ يساوي )الشكل الرياضي النموذجي له هو:•

iiiwxbnet

:where

0netif1

0netif1netf

االنحيازات و القيم العتبيةBiases and Thresholds

من أجل تابع التفعيل θممكن استخدام عتبة •بدال من استخدام وزن االنحياز.

ويكون تابع التفعيل معطى بالعالقة:•

iiiwxnet

:where

netif1

netif1netf

مثال: دور االنحياز أو القيمة العتبية

سنفرض في هذا المثال أن اشارات الدخل •على هيئة متجه )مصفوفة في بعد واحد(،

حيث يحتوي هذا المتجه على اشارات دخل موجبة )قيم موجبة( و أخرى سالبة.

تتألف بنية الشبكة في مثالنا هذا من طبقة •دخل مكونة من )وحدتي دخل( عصبونين

فقط و طبقة خرج مكونة من )وحدة خرج( عصبون واحد فقط.

انظر الشكل التالي.•

شبكة وحيدة الطبقة خاصة بالتوابع المنطقية

1

X1

YX2

w2

w1

b

مثال: دور االنحياز أو القيمة العتبية

القيم • بين الفاصل الحد التي x1, x2إنموجبة استاجبة تقدم الشبكة أجلهم من

الفصل بخط يسمى سالبة استجابة أو: بالعالقة يعطى الذي و العينات بين ما

21

2

12

2

2211

w

bx.

w

wx

0wat

0w.xw.xb

مثال: دور االنحياز أو القيمة العتبية

من • الموجبة باالستجابة الخاصة المعادلةدخل قيم تطبيق نتيجة الخرج وحدة

: بالشكل معينة

األوزان • قيم تحديد االنحياز w1, , w2يتم وb. التدريب مرحلة خالل من

0w.xw.xb 2211

مثال: دور االنحياز أو القيمة العتبية

إهمال • و االعتبار في العتبة قيمة بوضعمن الموجبة االستجابة فإن االنحياز دخل

تحقق أن يجب محددة دخل معطيات: التالية المعادلة

بين • ما الفاصل الخط معادلة تعطى و: العالقة حسب السالب و الموجب الخرج

2211 w.xw.x

21

2

12

2

2211

wx.

w

wx

0wat

w.xw.x

دور االنحياز أو القيمة العتبية• . لندرس العتبة جهد و االنحياز دور إظهار أجل من

إلى ” الذهاب ليكن و معين لعمل ما شخص استاجابة“ كرة لعبة

للمسألة المحاكاةسيتخذه الذي للقرار المسببة العوامل من عامل كل

“ ” “ تمثل ” الذهاب عدم أو اللعبة إلى الذهاب الشخص. دخل بإشارة

: من عن معلومات أو الطقس شروط األسباب هذه منالخ ... سيلعب من أو للعبة سيذهب

الشخص- رغبة تحديد في مهم دور األوزان تلعب هنا. ال أم للعبة بالذهاب

للعبة الذهاب في العامة الرغبة فيمثل هنا االنحياز دور أما. . التغير على قدرة يملك االنحياز لذلك الذهاب عدم أو

دور االنحياز أو القيمة العتبية

خالصة القولs هاما في تحديد قيم االوزان تلعب دورا

استجابة العصبون باإلضافة إلى قيمة جهد العتبة و االنحياز التي تكمل هذا الدور.

قابلية الفصل الخطيةLinear Separability

في • الخطية التوابع على أخر اشعار لحين نعتمد سوفو الموجبة المجاالت لتحديد االحداثيات مستوى

. الشبكة استجابة لتحديد الدخل لقيم السالبةالخرج • لوحدة المرغوبة االستجابة تكون ”Yes“سوف

عليه تدربت الذي للصنف منتمية الدخل عينة كانت إذاالشبكة.

االستخابة تكون منتمية ”No“و الدخل عينة تكن لم إذاللصنف.

االستجابة تمثل تمثل( 1بالقيمة )“Yes”سوف و(1-بالقيمة )“No”االستجابة

قابلية الفصل الخطيةLinear Separability

قيمته • التي و الخطوي التفعيل تابع نستخدم سوفو( )1تساوي ) موجب الشبكة دخل كان إذا( 1-إذا

. سالب الشبكة دخل كان•-: بالعالقة الخرج وحدة دخل إشارة تكون سوف

فيها • تكون التي القيم مجال بين يفصل الذي الحدy_in >0 والمجالy_in <0 القرار بحد المعروف و

: بالعالقة يعطي

i

ii w.xbin_y

0w.xbi

ii

قابلية الفصل الخطيةLinear Separability

تمثل هذه المعادلة خط أو مستو. من أجل األوزان •و االنحيازات المستخدمة فإن جميع أشعة الدخل

( 1+التي تكون من أجلها استجابة الشبكة موجبة )فإنها توضع في جهة واحدة من حد القرار.

و أشعة الدخل األخرى التي تكون من أجلها •االستجابة سالبة فإنها تتوضع في الجهة األخرى

بانسبة لحد القرار.هذا النوع من المسائل يدعى بالمسائل ذات •

”قابلية الفصل الخطية“.

0w.xbi

ii

قابلية الفصل الخطيةLinear Separability

موجبة Yخالصة القول: المنطقة التي تكون فيها • سالبة و Yتفصل عن المنطقة التي تكون فيها

ذلك باستخدام خط الفصل:

سوف نورد بعض األمثلة إن شاء الله تعالى.•ما هي األوزان : لكن السؤال المهم للغاية هو•

المناسبة التي من أجلها تكون استجابة الشبة صحيحة ؟

0ww

bx.

w

wx 2

21

2

12

مناطق االستجابة للتابع (AND)

يعرف التابع AND من أجل

دخل و خرج ثنائية القطبية وفق الجدول

المناظر.

Input )x1,x2(

Output )t(

)1,1( +1

)1,-1( -1

)-1,1( -1

)-1,-1( -1

قابلية الفصل الخطيةLinear Separability

االستجابه المرغوبة لهذه المسألة كما بالشكل •(. و حد القرار الموافق لهذه المسألة كما 1)

(.2بالشكل )هذا المثال أيضا يوضح قيم األوزان التي ستعطي •

حد القرار وفق خط الفصل الذي يعطي بالعالقة:

,w1=1)و تكون األوزان و االنحيازات وفق القيم •w2=1, b=-1)

1xx 12

قابلية الفصل الخطيةLinear Separability

يتم تحديدها حسب المتطلبات bاختيار اشارة •التالية:

x2 = 0, x1 = 0 حيث

إن آي نقطة ال تقع على حد القرار يمكن •استخدامها كي تحدد آي من المجال موجب و آي

من المجال سالب.

0w.xw.xb 2211

AND( االستجابة المرغوبة للتابع 1الشكل ))بقيم ثنائية القطبية(

x2

x2

+

-

-

-

( حد القرار الموافق للتابع 2الشكل )(AND)المنطقي

x2

x2

+

-

-

-

(OR)مناطق االستجابة للتابع

ORيعرف التابع من أجل دخل و خرج ثنائية القطبية وفق

الجدول المناظر.

Input )x1,x2(

Output )t(

)1,1( +1

)1,-1( +1

)-1,1( +1

)-1,-1( -1

قابلية الفصل الخطيةLinear Separability

االستجابه المرغوبة لهذه المسألة كما بالشكل •(. و حد القرار الموافق لهذه المسألة كما 3)

(.4بالشكل )هذا المثال أيضا يوضح قيم األوزان التي ستعطي •

حد القرار وفق خط الفصل الذي يعطي بالعالقة:

,w1=1)و تكون األوزان و االنحيازات وفق القيم •w2=1, b=1)

1xx 12

قابلية الفصل الخطيةLinear Separability

يتم تحديدها حسب المتطلبات bاختيار اشارة •التالية:

x2 = 0, x1 = 0 حيث

إن آي نقطة ال تقع على حد القرار يمكن •استخدامها كي تحدد آي من المجال موجب و آي

من المجال سالب.

0w.xw.xb 2211

OR( االستجابة المرغوبة للتابع 3الشكل ))بقيم ثنائية القطبية(

x2

x2

+

-

+

+

( حد القرار الموافق للتابع 4الشكل )(OR)المنطقي

x2

x2

+

-

+

+

مناطق االستجابة للتابع (XOR)

يعرف التابع XOR من أجل

دخل و خرج ثنائية القطبية وفق الجدول

المناظر.

Input )x1,x2(

Output )t(

)1,1( -1

)1,-1( +1

)-1,1( +1

)-1,-1( -1

قابلية الفصل الخطيةLinear Separability

االستجابه المرغوبة لهذه المسألة كما بالشكل •(5 .)

( نالحظ أنه ال يوجد خط مستقيم 5من الشكل )•يمكنه فصل النقاط التي ألجلها يكون هناك

استجابة موجبة في الخرج عن النقاط التي من أجلها يكون هناك استجابة سالبة.

XOR( االستجابة المرغوبة للتابع 5الشكل ))بقيم ثنائية القطبية(

x2

x2

-

-

+

+

سنشرح األن بإذن الله تعالى بعض •طرق تدريب الشبكات العصبية وحيدة الطبقة و المناسبة لحل

مسائل تصنيف العينات.من هذه الطرق:-•

في التعلم.(Hebb)قاعدة هيب 1.

في التعلم.Preceptronقاعدة الـ 2.

أو طريقة متوسط (Delta)قاعدة 3.المربعات الصغرى.

Hebb)قاعدة هيب Net)

(Hebb Net)قاعدة هيب

تعتبر قاعدة هيب )التعليم االرتباطي( أبسط •أساليب التعلم.

تساعد قاعدة هيب في حل المسائل ذات التوابع •الخطية.

تنص قاعدة هيب على:-•يحدث التعلم من خالل تعديل ترابطات ”

المشابك أو قيم األوزان على سبيل المثال إذا تم االتصال ما بين عصبونين و

في نفس اللحظة ”On“كانت فعاليتهما و عند هذه اللحظة ستزداد قيم األوزان

بين هذين العصبونين“

Hebb)قاعدة هيب المحسنة Net)

تنص قاعدة هيب المحسنة على:-•يحدث التعلم من خالل تعديل ترابطات ”

المشابك أو قيم األوزان على سبيل المثال إذا تم االتصال ما بين عصبونين و

في نفس اللحظة ”On“كانت فعاليتهما و عند هذه اللحظة ستزداد قيم األوزان

تزداد قيم األوزان و بين هذين العصبونين في ”Off“بين العصبونات الغير فعالة

نفس اللحظة أيضا�“

(Hebb Net)قاعدة هيب

•-: بالشكل األوزان تعديل عالقة تعطىWi)new( = Wi)old( + xi.y

(Hebb Net)قاعدة هيب الخوارزم

1. بصفر. لألوزان ابتدائية قيم افتراضWi =0 )i = 1, 2, …, n(

األوزان nحيث عددمن. 2 الخطوات دخل 5إلى 3نفذ شعاع زوج كل على

خرج ( Source: Target( )S : t)و3-: شعاعهكذا. شكل على الخل وحدات تنشيطات ضع

xi = si )I = 1, 2, …, n(شعاع. 4 شكل على الخرج لوحدة التفعيل قيمة ضع

هكذا:- y = t

(Hebb Net)تابع قاعدة هيب الخوارزم

•5-: األتية. العالقات وفق االنحياز و األوزان عدل wi )new( = wi )old( + xi.y )i=1, 2, …, n( b )new( = b )old( + y

وفق لألوزان التعديل عملية عن يعبر أن يمكن-: التالي الشعاع

wi )new( = wi )old( + X.y-: الشكل على يكتب أن ممكن و

wi )new( = wi )old( + Δw =X.y Δw حيث

التوابع المنطقيةLogic Function

شبكة هيب من • ANDأجل التابع

باستخدام دخل و خرج ثنائي.

الجدول المناظر •يبين ذلك.

Input Target

X1 X2 1 t

1 1 1 1

1 0 1 0

0 1 1 0

0 0 1 0

التوابع المنطقيةLogic Function

)دخل : خرج( من اجل كل زوج تدريب•تغير الوزن معطي وفق العالقة:يكون

Δw1 = x1.t, Δw2 = x2.t, Δb = t

قيمة الوزن الجديد هو ناتج جمع قيمة الوزن القديم و قيمة التغير في الوزن.

فقط يتم تحديث األوزان مرة واحدة فقط و يعطي هذا التطوير وزن الدخل األول كما

بالجدول التالي:

األول الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

0

W2

0

b

0

1 1 1 1 1 1 1 1 1 1

التوابع المنطقيةLogic Function

s للعالقة • - x2 = -x1خط الفصل هنا يكون طبقا(يظهر استجابة الشبكة.6 والشكل )1

إن قيم الدخل للنموذج الثاني و الثالث و الرابع •ال تظهر في الشكل ألن قيمة الخرج تساوي

صفر و ال يحدث تدريب لها كما بالجدول التالي:

و الثالث و الثاني الدخل وزن تطويرالرابع

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1 W2 b

1 0 1 0 0 0 0 1 1 1

0 1 1 0 0 0 0 1 1 1

0 0 1 0 0 0 0 1 1 1

( حد القرار الموافق للتابع 6الشكل ) باستخدام قاعدة هيب بعد (AND)الثنائي

تقديم زوج التدريب االولx2

x2

+

-

0 0

0

التوابع المنطقيةLogic Function

شبكة هيب من • ANDأجل التابع

باستخدام مداخل ثنائية و خرج

ثنائي القطبية.الجدول المناظر •

يبين ذلك.

Input Target

X1 X2 1 t

1 1 1 1

1 0 1 -1

0 1 1 -1

0 0 1 -1

التوابع المنطقيةLogic Function

)دخل : خرج( من اجل كل زوج تدريب•تغير الوزن معطي وفق العالقة:يكون

Δw1 = x1.t, Δw2 = x2.t, Δb = t

قيمة الوزن الجديد هو ناتج جمع قيمة الوزن القديم و قيمة التغير في الوزن.

فقط يتم تحديث األوزان مرة واحدة فقط و يعطي هذا التطوير لوزن الدخل األول كما

بالجدول التالي:

األول الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

0

W2

0

b

0

1 1 1 1 1 1 1 1 1 1

التوابع المنطقيةLogic Function

s للعالقة • - x2 = -x1خط الفصل هنا يكون طبقا(يظهر استجابة الشبكة.7 والشكل )1

اآلن نقدم الدخل الثاني و الثالث و الرابع و •نالحظ أن التدريب يستمر من أجل كل نموذج

دخل كما بالجدول التالي:

( حد القرار الموافق للتابع 7الشكل ) باستخدام قاعدة هيب بعد (AND)الثنائي

تقديم زوج التدريب االولx2

x2

+

-

- -

-

و الثالث و الثاني الدخل وزن تطويرالرابع

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1 W2 b

1 0 1 -1 -1 0 -1 0 1 0

0 1 1 -1 0 -1 -1 0 0 -1

0 0 1 -1 0 0 -1 0 0 -2

التوابع المنطقيةLogic Function

شبكة هيب من • ANDأجل التابع

باستخدام مداخل و مخارج ممثلة بإسلوب ثنائي

القطبية.الجدول المناظر •

يبين ذلك.

Input Target

X1 X2 1 t

1 1 1 1

1 -1 1 -1

-1 1 1 -1

-1 -1 1 -1

التوابع المنطقيةLogic Function

s القيمة • 1نقدم الدخل األول للشبكة متضمناللمركبة الثالثة و يكون الناتج كما بالجدول

التالي:

األول الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

0

W2

0

b

0

1 1 1 1 1 1 1 1 1 1

التوابع المنطقيةLogic Function

s للعالقة • - x2 = -x1خط الفصل هنا يكون طبقايظهر استجابة الشبكة التي (8 والشكل )1

تكون صحيحة من أجل الدخل األول و كذلك .(1,-1)-من أجل الدخل

اآلن نقدم الدخل الثاني وقيمة الخرج ستكون •األوزان كما بالجدول التالي:

(AND)( حد القرار الموافق للتابع 8الشكل )باستخدام قاعدة هيب بعد تقديم زوج التدريب

)الدخل و الخرج ثنائي القطبية( االولx2

x2

+

- -

-

الثاني الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

1

W2

1

b

1

1 -1 1 -1 -1 1 -1 0 2 0

التوابع المنطقيةLogic Function

x2=0 خط الفصل بالنسبة للدخل الثاني بالعالقة•يظهر استجابة الشبكة التي تكون (9والشكل )

(1,1(, )1,-1)صحيحة بالنسبة لكال الدخلين اآلن نقدم نتائج الدخل الثالث كما بالجدول التالي:•

(AND)( حد القرار الموافق للتابع 9الشكل )ثنائي القطبية باستخدام قاعدة هيب بعد تقديم

(x1 )حد القرار هو محور زوج التدريب الثانيx2

x2

+

- -

-

الثالث الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

0

W2

2

b

0

-1 1 1 -1 1 -1 -1 1 1 -1

التوابع المنطقيةLogic Function

:خط الفصل بالنسبة للدخل الثاني بالعالقة•x2=-x1+1

يظهر استجابة الشبكة التي تكون (10والشكل )صحيحة من أجل نقاط الدخل الثالثة األولى و

و الذي هو الدخل (1,-1)-كذلك من أجل الدخل األخير. و تكون نتيجته موضحة كما بالجدول

التالي:

(AND)( حد القرار الموافق للتابع 10الشكل )ثنائي القطبية باستخدام قاعدة هيب بعد تقديم

عينة التدريب الثالثةx2

x2

+

- -

-

الثالث الدخل وزن تطوير

Input Target Weight changes

weights

x1 x2 1 Δw1 Δw2 Δb W1

1

W2

1

b

-1

-1 -1 1 -1 1 1 -1 2 2 -2

التعرف على الحرفCharacter Recognition

مثال:- شبكة هيب لتصنيف عينات دخل •ثنائية البعد )ممثلة الحرف(.

سوف ندرب الشبكة على التمييز بين العينة •“X” و العينة “O”:كما بالشكل

#...#

.#.#.

..#..

.#.#.

#...#

and

.###.

#...#

#...#

#...#

.###.

التعرف على الحرفCharacter Recognition

خطوات العمل:-•يجب تحويل عينات الدخل إلى أشعة دخل. و 1.

بالقيمة “#”يكون ذلك بالتعويض عن الرمز .”1“- بالقيمة “.” و التعويض عن الرمز ”1“

ضع كل صف من العينة بجوار الصف الذي يلية.2.

هكذا:”X“عندها يكون شكل )شعاع( العينة 3.)1 -1 -1 -1 1,-1 1 -1 1 -1,-1 -1 1 -1 -1, -1 1 -1 1 -1,1 -1 -1 -1 1(

يكون شعاع الدخل ممثل هكذا:” O“. و العينة 4)-1 1 1 1 -1, 1 -1 -1 -1 1,1 -1 -1 -1 1, 1 -1 -1 -1 1,-1 1 1 1 -1(

التعرف على الحرفCharacter Recognition

بتطبيق خوارزمية هيب تأخذ األوزان قيمة ابتدائية تساوي •الصفر

W=[0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0, 0 0 0 0 0]

تمثل االستجابة الصحيحة في المثال السابق بالنسبة •" .1" أو "onلنموذج الدخل األول بالشكل "

التغير في الوزن عند تقديم عينة الدخل األولى :•W1)new( = w1)old( + x1.y

y=1 : )االستجابة الصحيحة( +X" ( W1)new( = 0شعاع الحرف ”(1 ).(

W1= [1 -1 -1 -1 1,-1 1 -1 1 -1,-1 -1 1 -1 -1, -1 1 -1 1 -1,1 -1 -1 -1 1]

التعرف على الحرفCharacter Recognition

تمثل االستجابة الصحيحة في المثال السابق •-" أو “offبالنسبة لنموذج الدخل الثاني بالشكل “

1. "التغير في الوزن عند تقديم عينة الدخل الثاني :•

W2)new( = w2)old( + x2.y

y=-1 : )االستجابة الصحيحة( +O" ( W2)new( = 0شعاع الحرف ”(1 )-.(

W2=)1 -1 -1 -1 1, -1 1 1 1 -1,-1 1 1 1 -1, -1 1 1 1 -1,1 -1 -1 -1 1(

التعرف على الحرفCharacter Recognition

وذلك • للصفر مساوي سيكون االنحياز وزن: القاعدة بتطبيق

y)old(b)new(bإذن:•

0

011)(

b

newb

التعرف على الحرفCharacter Recognition

القيمة النهائية لألوزان :• W = w1 + w2

W =[2 -2 -2 -2 2,-2 2 0 2 -2,-2 0 2 0 -2,-2 2 0 2 -2,2 -2 -2 -2 2]

سوف نقوم األن بحساب خرج الشبكة من أجل من عينات التدريب بالعالقة:”X“العينة

42

Xofvector.Wofvector

x.win_yi

ii

التعرف على الحرفCharacter Recognition

القيمة النهائية لألوزان :• W = w1 + w2

W =[2 -2 -2 -2 2,-2 2 0 2 -2,-2 0 2 0 -2,-2 2 0 2 -2,2 -2 -2 -2 2]

سوف نقوم األن بحساب خرج الشبكة من أجل من عينات التدريب بالعالقة:”O“العينة

42

Oofvector.Wofvector

x.win_yi

ii

التعرف على الحرفCharacter Recognition

شعاع • أجل من الشبكة دخل سبق مما واضحكان األول الشبكة 42الدخل استجابة تكون و

. المرغوبة النتيجة هي و موجبةكان • الثاني الخل شعاع أجل من الشبكة -دخل

هي 42 و سالبة للشبكة االستجابة تكون و. s أيضا المرغوبة النتيجة

من • أفضل االستجابات هذه تهذيب ممكن طبعا. بذلك نكتفي لكن و ذلك

تمريــــــــــــــــن

طبقي قاعدة هيب على تصنيف الشكلين:-•

...***

****.*

***..*

***...

...**.

...*..

.

......

...***

****.*

***..*

***...

......

.

تمت بحمد الله تعالى و فضله