المحاضرة 6 شبكات عصبية

الشبكات العصبيـــــــــــــةNeural Networks

حاسب ) الرابعـــــــة الفرقةآلي(

المقرر أستاذبحيري/ محمد جمال د

المحاضرة السادســـة

الشبكات العصبية المبسطة المستخدمة في تصنيف العينات

Simple Neural Nets for Pattern Classification

ADALINE Networks

ADALINE Networks

شبكة • التكيفية ADALINEتعد الخطية األعصاب شبكةالعلماء استخدمها وتعتمد WINDROW & HOFFوقد

القطبية ثنائي التمثيل لتنشيطات [1,-1]+على كقيمبهذا , ملزمة غير أنها إلى باإلضافة والخرج الدخل وحدات

بقابلية . الشبكة أوزان وتتميز التمثيل من األسلوبالتعديل.

شبكة • التي Deltaقاعدة ADALINEتستخدم و التعلم فيالصغرى المربعات متوسط قاعدة باسم A أيضا تعرف

(LMS).

قاعدة • الطبقة Deltaتستخدم الوحيدة الشبكات أجل من. مخارج بعدة أو وحيد بخرج

ADALINE Networksالهندسية (Architecture)البنية

شبكة • دخل ADALINEتتكون طبقة من البسيط بشكلهاوحدة من مكونة خرج وطبقة وحدات عدة من مكونة

وحيدة.الدخل .• لوحدات إضافية انحياز وحدة تستخدمبما • الدخل وحدات بين الترابطات أوزان تتميز

خالل للتعديل قابلة االنحياز وحدة وزن فيهاالتعلم .مرحلة

شبكة • دلتا ADALINEتستخدم في DELTAقاعدةالتعلم .

شبكة • معمارية يوضح التالي .ADALINEالشكل


1

X1

Xn

YXi

wn

wi

w1

b


شبكة • توسيع تصبح ADALINEويمكن بحيثالخرج يصبح بحيث طبقات عدة من مكونة

لوحدات كدخل الطبقة وحيدة للشبكة بالنسبةالوحدة وتصبح الخرج وحدات باسم تعرف أخرى

وتعرف الخفية الطبقة باسم تعرف الداخليةباسم الشبكات . MADALINEهذة

ADALINE Networks(Algorithm)الخوارزم

وفقها • ستسير التي الخطوات سنستعرضشبكة في التعلم المعتمدة ADALINEعملية

: وهي دلتا قاعدة علىقيم ) :1الخطوة- نستخدم لألوزان ابتدائية قيم إعطاء

( ,) التعلم معدل حدد صغيرة ( .αعشوائيةنفذ: 2الخطوة- يتحقق لم التوقف شرط أن طالما

من .7الى 3الخطواتالقطبية :3الخطوة- ثنائي تدريب زوج كل أجل من

(S:t )من الخطوات .6إلى 4نفذالدخل :4الخطوة- وحدات أجل من تنشيطات ضعiiبالشكل: sx


:5الخطوة- بالعالقة: الخرج وحدة دخل احسب

بالعالقات ::6الخطوة- واالنحياز األوزان عدل

الوزن . :7الخطوة- تغير كان إذا التوقف شرط اختبرالخطوة في العظمي الحد 3الحاصل من أقل

التعلم . المسموح عملية في استمر وإال توقف عندئذ ،

iiwxbnet

)()()(

)()()(

netdoldbnewb

xnetdoldwneww iii


•. الحرص بعض يتطلب مناسبة بقيمة التعلم معدل وضع إنالحدية • من القيمة ايجادها يمكن للقيم العليا العظمى القيمة

االرتباط لمصفوفة السطرية Rالخاصة الدخل ألشعة ذلك وx)p(:

للمصفوفة αحيث • خاصة قيمة أعظم نصف من أصغر ستكونR.

الـ • نجسب لن هذا مستوانا في و قيمة. Rهنا نضع سوف بـ αو

. nجيث الدخل وحدات عدد

p

1p

T pXpX.P

1R

0.1.1.0 n

ADALINE Networks

نوضح :-• و نشرح سوف1. How weight adjustment its

achieved in an ADALINE.

2. What is meant by Hebbian learning.

3. What is meant by the delta rule.

Training and weight adjustmentفي األوزان وتعديل تدريب

الشبكةثالثة • هناك الشبكة تعليم أو تدريب حالة في

-: الحساب في وضعها من البد رئيسية عواملمن 1. اختيرت تطبيقها يتم التي المدخالت إن

المطلوب الرد أن حيث التدريب مجموعة. معروف يكون المدخالت لهذه للنظام

الفعلية 2. عندها (actual output )المخرجات تنتجبالـ input patternالـ وقورنت طبقت تكون

desired output. الخطأ لحساب تستخدم و.3. الخطأ لتخفيض األوزان ضبط


الشبكة•-: القول خالصةشبكة • تكون مرحلة ADALINEعندما في

هناك التعلم أو أن التدريب يجب نقاط ثالثةاالعتبار بعين :تؤخذ

.1 : حيث التدريب عينة من اختيارها ويتم المدخالتلهذة النظام من المطلوبة االستجابة أن

. معروفة تكون المدخالت.2 : مع يقارن المدخل عادة الفعلية المخرجات

, الخطأ لحساب ذلك ويستخدم المطلوب الخرج. الخطأ لتقليل لذلك طبقا تعدل األوزان


الشبكةالتدريب. 3 يسمى هذا التدريب نوع

المخرجات ) supervised( learningبمعلم ألنالخرج إلبراز مندفعة تكون والشبكة معروفة

, معلم. بدون التدريب ذلك من العكس على الصحيحلها مسموح والشبكة معروف غير الخرج أن حيث

. المناسبة للحالة الوصول

بمعلم التدريب طريقة متطلباتهي:

• Suitable weight adjustment mechanism & Suitable error function

إليجاد • المحاوالت Suitable weight adjustmentمعظمmechanism جملة على والتي Donald Hebbتعتمد

يسمى بما تنص . "Hebb Ruleتعرف تم وهي إذافعاليتهما وكانت عصبونين مابين onاالتصال

بين األوزان قيم ستزداد اللحظة نفس فيالعصبونين بطرق ". هذين تمثيلها يمكن الجملة هذة

مختلقة.الدخل • أن نفرض أن هو ذلك لتمثيل الطرق xإحدى

يكون yوالخرج عندما فقط يزداد والوزن ثنائية قيم هيأيضا 1الخرج هي له المقابلة الدخل عندما, 1وقيم

هي االبتدائية الوزن قيمة عدة , 0تكون بعد الوزن قيمةستكون : تدريب ↓نماذج

بمعلم التدريب طريقة متطلباتهي:

.pحيث • التدريب عينة النماذج عدد هيضرب • كحاصل السابقة المعادلة كتابة يمكن

: المخرجات بمصفوفة المدخالت مصفوفة

المصفوفة .• منقول هي حيث

p

p

ppii yxw

1

YXW T

X X

من أجل ADALINE: شبكة مثال بمداخل ومخارج ANDالتابع

ثنائيةالـ • :functionباستخدام

الحقيقة • جدول حيثالمناظر.

بتطبيق •: اآلتي على نحصل

P x1 x2 y

1 0 0 0

2 0 1 0

3 1 0 0

4 1 1 1

21 xxy

YXW T


ثنائية

1

1

1

0

0

0

1010

1100

1

0

0

0

1010

1100

11

01

10

00

W

YandXX t


ثنائية ,w1=1إذن •

w2=1 وسيكون مجموع ( net)األوزان

الخرج. أنظر والجدول المناظر

P x1 x2 Net y

1 0 0 0 0

2 0 1 1 0

3 1 0 1 0

4 1 1 2 1

من أجل التابع ADALINEشبكة AND NOT بمداخل ومخارج

ثنائيةاستخدام القيم •

الثنائية ال يعطي دائما نتائج جيدة بواسطة

استخدام طريقة تحديث األوزان كما

سنالحظ في الـ function التالية:

21 xxy

P x1 x2 y

1 0 0 0

2 0 1 0

3 1 0 1

4 1 1 0

من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية

P x1 x2 y

1 0 0 0

2 0 1 0

3 1 0 1

4 1 1 0

األوزان تحسب كما •يلي:-

0

1

0

1

0

0

1010

1100W

ERROR


P x1 x2 net y

1 0 0 0 0

2 0 1 0 0

3 1 0 1 1

4 1 1 1 0

,w1=1إذن •w2=0,

وسيكون مجموع ( net)األوزان

والخرج كما بالجدول المناظر


سبب الخطأ أن قاعدة التعلم هذه تصف لحد •بعيد فقط السماحية لزيادة قيم األوزان.

هناك قواعد عامة تسمح بتقليل قيم األوزان•إحدى الطرق للحصول على تقليل الوزن عندما •

يكون الدخل نشط والخرج غير نشط والعكس صحيح.

هذا يمكن الحصول عليه بسهولة باستخدام •(0,1)( بدال من 1,+1-القيم ثنائية القطبية )

من أجل التابع ADALINEشبكة AND NOTمخارج ثنائية بمداخل و

القطبيةسوف نستخدام القيم •

ثنائية القطبية مع الـ function التالية:

21 xxy

P x1 x2 y

1 -1 -1 -1

2 -1 +1 -1

3 +1 -1 +1

4 +1 +1 -1


القطبيةباستخدام المصفوفات إليجاد األوزان •

: :-Hebbian Learningباستخدام

2

2

1

1

1

1

1111

1111W


القطبيةP x1 x2 net y

1 -1 -1 0 -1

2 -1 +1 -4 -1

3 +1 -1 +4 +1

4 +1 +1 0 -1

,w1=+2إذن •w2=-2,

وسيكون مجموع ( net)األوزان

والخرج كما بالجدول المناظر


القطبيةال يحقق دائما Hebbian Learning هذا النموذج من •

تدريب الشبكة بشكل ناجح. تتم عملية تدريب الشبكة بنجاح عندما تكون قابلة للفصل •

الخطي.• Hebbian Learning ال تأخذ بعين االعتبار قيمة الخرج

الفعلي فقـــط للخرج المطلوب . سوف نسعى إلى فكرة جديدة. هذه الفكرة تأخذ الخرج •

الفعلي وتعدل باألوزان إلى أن تتوصل إلى الخرج المطلوب.

سوف نطلق على الفرق بين الخرج المطلوب والخرج • delta( δالفعلي اسم )

. Delta Ruleو سوف نطلق على هذه الطريقة اسم •

Delta Rule for Single Output Unitخرج وحدة أجل من دلتا قاعدة

وحيدةتفيد قاعدة دلتا في تعديل اوزان الترابطات بين وحدات •

الشبكة العصبية بحيث نحصل على قيمة خطأ كلي أصغري للفرق بين دخل و خرج وحدة الخرج للشبكة.

يجب أن تتناسب Δwi البد أن نعلم أن wiلضبط الوزن •A مع وكذلك مع الخطأ أي أن:xiطرديا

و y_in هي قيمة الخطأ بين الخرج المطلوب δجيث • معنى ذلك أن:tالخرج الفعلي

δ = t – y_in

1xw ii

Delta Rule foe Single Output Unitوحيدة خرج وحدة أجل من دلتا قاعدة

( نجد أن 1من )•

حيث:• x شعاع التفعيل لوحدات الدخل، مكونا من :n .زوج

Y_in دخل وحدة الخرج : y:و يعطي بالعالقة

n,,1ix.in_yt.

x.w

i

ii

n

1iii w.xin_y

وحيدة خرج وحدة أجل من دلتا قاعدةاالشتقـــــــــــــــــــــاق

(E) األوزان جميع أجل من الخطأ قيمة عن تعبرwi

2)in_yt(

n

iiiwxiny

1

_

iii

xinytw

inyinyt

w)_(2

_)._(2

ii xinytw _

خرج وحدات أجل من دلتا قاعدة متعددة

االشتقـــــــــــــــــــــاق يعطى مربع الخطأ من أجل عينة التدريب •

خاصة بالعالقة:

21

2

1

2

_

_

_

jjij

m

jjj

ijij

m

jjj

inytw

inytww

inyt

خرج وحدات أجل من دلتا قاعدة متعددة

االشتقـــــــــــــــــــــاق •: العالقة وباستخدام

•: مايلي على نحصل فإننا

بسرعة • سيتناقص المحلي الخطأ فإن وبالتالياألوزان بتعديل ذلك و تعلم معدل اجل من

دلتا : لقاعدة باالستناد

n

iijij wxiny

1

_

ijjij

jjj

ij

xinytw

inyinyt

w)_(2

_)._(2

ijjij xinytw )_(

Derivation of the Delta Rule

اشتقاقات قاعدة دلتا بصورة أخرىLect_4انظر ملف الورد

باستخدام تطبيقات : دلتــــــــا The Delta Ruleقاعدة

في قاعدة دلتا عملية تعديل األوزان تعمل •بطريقة بحيث أن الخطأ بين الخرج المطلوب

والخرج الفعلي يقل . مثال:•

( والخرج 1+ لو كان الخرج الفعلي هو )-( الوزن يعدل بحيث أن القيمة 1المطلوب هو )

( تكون أقل مما كانت عليه الجديدة ل )سابقا. هذا يعني ,لو كانت سالبة الوزن يزيد أو

لو كانت موجبة الوزن يقل .

ii xw


مثال:•استخدام عن سيحدث ماذا سنرى لحل Delta Ruleاآلن

وهي : الذكر األنفة المشكلةη=0.1نستخدم الحل:•ابتدائية • قيم تعطى w1=-0.12, w2=0.4, w3=0.65األوزاناألول ) أوال:• الدخل اجل ويكون+( 1- 1- 1من للشبكة تقدم

األوزان ) المطلوب( )1.17-مجموع -(1والخرج

وزن ηδxiوقيمة δ=d-net=0.17تكتب δقيمة • لكل تحسبفيصبح ) عشريتين لمنزلتين يقرب والرقم (.0.02xiوتخزن

21 xxy


مثال:••:w الثاني ) ثانبا الدخل اجل تقدم+( 1- 1+ 1من

األوزان ) مجموع ويكون والخرج( 0.13للشبكة-(1المطلوب )

ηδxiوقيمة δ=d-net=-1.13تكتب δقيمة •لمنزلتين يقرب والرقم وتخزن وزن لكل تحسب

فيصبح ) (.0.11xiعشريتين

وهكذا لبقية المدخالت .•أنظر الجدول التالي.•

التكـــــــــــــرار األول

X0 X1 X2 W1 W2 W3 net d ηδx0 ηδx1 ηδx2

+1 -1 -1 -0.12 0.4 0.65 -1.17 -1 0.02 0.02- 0.02-

+1 -1 +1 -0.12 0.4 0.65 0.13 -1 -0.11 0.11 0.11-

+1 +1 -1 -0.12 0.4 0.65 -0.37 +1 0.14 0.14 0.14-

+1 +1 +1 -0.12 0.4 0.65 0.93 -1 -0.19 -0.19 -0.19

First pass through the training set

total -0.14 0.04 -0.46

mean 0.04- 0.01 -0.12


مثال:•• . التدريب من األولى المرحلة من االنهاء بعد

القيم القديمة ηδxiمتوسط لألوزان أضيفت-: . هكذا الجديدة األوزان مجموعة إليجاد

W0)new( = -0.12 )w0)old(( + )-0.04 ηδx0(= -0.16

W1)new( = 0.40 )w1)old(( + 0.01 ηδx1(= 0.41

W2)new( = 0.65 )w2)old(( + )-0.12 ηδx0(= 0.53

أصبحت • الجديدة األوزان A and 0.53, 0.41, 0.16-إذا

•. التالي بالجدول كما الثاني للتكرار انتقل ثم

التكـــــــــــــرار الثاني


+1 -1 -1 -0.16 0.41 0.53 -1.10 -1 0.01 -0.01 -0.01

+1 -1 +1 -0.16 0.41 0.53 0.04 -1 -0.10 0.10 -0.10

+1 +1 -1 -0.16 0.41 0.53 -0.28 +1 0.13 0.13 0.13-

+1 +1 +1 -0.16 0.41 0.53 0.78 -1 0.18 0.18- 0.18-

Second pass through the training set

total -0.14 0.04 -0.44

mean 0.04- 0.01 -0.11

صحيح • الخرج يكون أن إلى يستمر التدريباألوزان , فإن ذلك يحدث عندما المدخالت لجميع

وشبكة التغير عن إلى ADALINEتتوقف تشير. الحل تقارب

قيم • ذات األوزان تكون عندما يحدث , 0.5-هذا0.5 and -0.5

مقدار • والمتوسط المجموع يكون ذلك على بناءيساوي ) لألوزان بالنسبة (.0تغيرها

nالتكـــــــــــــرار رقم


+1 -1 -1 -0.50 0.50 -0.50 -0.50 -1 -0.50 0.50 0.50

+1 -1 +1 -0.50 0.50 -0.50 -1.50 -1 0.50 -0.50 0.50

+1 +1 -1 -0.50 0.50 -0.50 0.50 +1 0.50 0.50 -0.50

+1 +1 +1 -0.50 0.50 -0.50 -0.50 -1 -0.50 -0.50 -0.50

total 0.00 0.00 0.00

اآلن نستطيع أن نقول أن الشبكة نجحت في إيجاد •األوزان التي أنتجت قيم صحيحة للخرج لكل

المداخل. :ADALINEمميزات شبكة •تقوم قاعدة التعليم بتقليل متوسط الخطأ •

التربيعي بين التنشيط وكذلك بين قيمة الخرج المطلوبة , هذا يسمح للشبكة باالستمرار بالتعليم

على كل عينات التدريب حتى بعد توليد جهد الخرج الصحيح لعدة عينات أخرى.

تعدل األوزان بحيث حصل على أقل خطا ممكن .•

المحاضرة 6 شبكات عصبية

Documents