شبكة الذكاء الصنعي هوبفيلد
TRANSCRIPT
هوبفيلد شبكات
ادريس . حسن م
المقدمة اضاءة
البروفيسور • انجاز من عصبونية شبكة John Hopfieldهي
الواحدة • الطبقة ذات الشبكات من ( Single-Layer Net) تصنفما & وغالبا الوصالت، أوزان من واحدة طبقة من تتألف حيث
من اإلشارات تستقبل دخل وحدات إلى فيها الوحدات تنقسمالشبكة استجابة قراءة يمكن خرج ووحدات الخارجي، العالم
منها.الدخل • وحدات تكون التقليدية، الطبقة وحيدة الشبكات في
دخل بوحدات مرتبطة غير ولكنها الخرج، بوحدات & كليا مرتبطة. أخرى خرج بوحدات مرتبطة غير الخرج ووحدات أخرى،
وحل • األشكال، على التعرف هوبفيلد، شبكة تطبيقات أهم منالمتجول ) البائع مسألة في األقصر الطريق إيجاد األمثلية مشاكل
الشهيرة(.
هوبفيلد شبكة بنية
العصبونات • من عدد من هوبفيلد شبكة تتألفبشكل ،( Nالمتصلة ) الفعالة قيمها تحدMث التي
كل وتكون العصبونات، باقي عن ومستقل متزامنبنفس وخرج دخل عن عبارة فيها العصبونات
كل بدخل عصبون كل خرج ربط يتم حيث الوقت،مع ) العصبون خرج ربط يتم وال األخرى العصبونات
دخله(.هي )-• الفعالة يمكن(. 1,+1القيم الحاالت بعض وفي
1 , 0وضعها
) العتبة ) تابع المستخدم التفعيل تابع
•) العتبة ) تابع المستخدم التفعيل تابعخرج • من يحد التابع هذا يصبح العصبونإن بحيث
& تماما أكبر الدخل كان إذا الواحد مساويا الخرجمساويا - الخرج ويصبح الصفر كان 1من إذا
& مساويأ يكون وعندما الصفر، من أصغر الدخل. السابقة الخرج قيمة يعيد فإنه للصفر 1 0;
1 0;sgn( ) if xif xx
التعليم خوارزمية
التي • عصبونات من عدد هوبفيلد شبكات تملكبها مرتبطة اوزان عصبونات Wiلها يوجد وال
جميع تكون ان فيمكن للخرج او للدخل خاصةخرج الوقت بنفس جميعها و دخل العصبونات
تحديث • يتم حتى الخرج حالة على المحافظة يتمالعصبية الخاليا جميع
التعليم خوارزمية
التالية :• العمليات يتبع العصبية الخاليا تحديثحساب- 1 يتم ثم منها لكل االوزان و الدخل قيم تحديد يتم
المجموع :
للقيمة – +2 الخرج تركيزحالة المجموع 1يتم كان اذاالقيمة - الى و الصفر يساوي او اكبر كان 1السابق اذا
الصفر من & تماما اصغر المجموع
التحديث – 3 عملية تنتهي حتى الخرج على الحفاظ يتمالتالية .
التعليم خوارزمية
بينها • فيما مترابطة الشبكة في العصبونات جميعفيها بنفسه مرتبط غير العصبون لكن و
العصبون • من االتصال لوزن العصبون jنرمز الىi : التالي يكون Wijبالرمز Wij=Wjiبحيث
الوزن • مصفوفة في االوزان جميع تمثيل wيتم
الخاليا : تحديث لعملية اساسيتان طريقتان هناكالمتزامن- 1 غير التحديثالمتزامن- 2 التحديث
المتزامن- 1 غير التحديث
حساب • يتم بعدها ، واحد عصبون اختيار يتمالمجموع
بعدها مباشرة والتحديث
باختيار • او ثابت يترتيب بذلك القيام يمكنعشوائي
ذلك : • نسمي العشوائي التحديث اختيار تم اذاالمتزامن غير العشوائي التحديث
المتزامن -1 غير التحديث
عملية • بدون الخاليا لجميع المجموع حساب يتمبداية تحديث
واحدة • دفعة للخاليا التحديث عملية يتم بعدهاحسابه تم الذي للمجموع & وفقا
خاصة هوبفيلد شبكة هنامترابطة شبكة هي
الزرقاء العصبونات من يتم الدخلالرسم في الصفراء العصبونات هي الخرجالخرج و الدخل تربطبين التي هي الشبكة ذاكرة
هوبفيلد شبكة استخدام
التالي : • النحو على هوبفيلد شبكة استخدام طريقةعقد • على او العقد كل على معين نمط ادخال يتم
فقط معينةباستخدام • التكرارات من لعدد الشبكة بعدها تخضع
المتزامن غير او المتزامن التحديثنمط • أي لمعرفة زمنية فترة بعد التحديث ايقاف يتم
الشبكة في الموجودعدد • هي هوبفيلد شبكة من االساسية الفكرة حيث
الوزن مصفوفة في تخزينها يمكن التي االنماط
االنماط • من جزء على يحتوي الدخل كان اذاهي الشبكة خرج سيكون عندها المخزنة
استردادها سيتم حيث االساسية االنماطالمحتوى • المعنونة الذاكرة يسمى ما وهذا
(CAM)
الشبكة • في تخزينها يتم التي األنماط وتنقسممترابطة : . و رتل جزأين في
استعادة • سيتم ، الشبكة في رتل ادخال تم اذامصفوفة في تخزينه تم الذي بمجمله النمط
الترابط.. تستعيد الشبكة الطريقة بهذه الوزنمعين رتل الى المنتمي
و • الوزن مصفوفة تحديد هو االساسي الشيء & اذالمصفوفة معرفتهما يجب اساسين شرطين هناك
الوزن : متناظرة- 1 مصفوفة هي الوزن Wij=Wjiمصفوفة
الذاتي- 2 التوصيل عدم wii = wjj = 0شرط
عصبونبن • من شبكةهما + للترابط فقط احتماالن في 1هناك في 1او -Aكما كما
B
هو- +1 الوزن كان المستقرة 1إذا حاالت من نوعان هناك ،المتزامن التحديث {. 1, −1}−او {, 1, +1}+تحت
هو- +2 الوزن كان المستقرة 1إذا حاالت من نوعان هناك ،المتزامن التحديث {. 1, +1}−او {, 1, -1}+تحت
التحديث- من تتقارب الشبكةهذه تحت المتزامن غير
الشروط
الشبكة تدريبفي • الحالة Aالعقد الى البدائية القيم على & اعتمادا ستصل
1 , -1او -1, +1المستقرة +
: : لدينا النهائية الحالة w = [+1, +1 ]الثبات
اولى بالقيم حالة منها كل 1 = -1 * +1- ]1[-عقد
ثانية بالقيم حالة 1 = +1 * +1+ ]1[+عقدالشكل • في النهائية - Bالعقد الحالة الى 1، +1ستصل
هنا : : لدينا النهائية الحالة w = [-1,-1]الثبات
ثانية حالة اولى حالة1 = +1 * -1- ]1,-1[+عقد 1 = -1 * -1+ ]1,-1[+عقد
And -1 * -1 = +1 +1 * -1 = -1
A
يوجد • ال المتزامن التحديث انتهاء حالة في انه الحظعمليات دوري بشكل سيتم أي للشبكة مستقرة حالة
تبادل ! هوبفيلد : • شبكة من مهمين جانبين السابق المثال يوضحالوزن- 1 على تعتمد النهائية القيمةحالة- 2 الخرج قيمة ستحدد للدخل قيمة أي عمياء الشبكة
A
وهو متذبذبة، حالة إلى يؤدي أن يمكن المتزامن التحديثالمتزامن غير التحديث على ينطبق ال أمر
الوزن مصفوفة وضبط تهيئة
الوحيد :• النمطالسابقة العصبونات ثنائية الشبكة على ينطبق ما
الوزن كان اذا أي الكبيرة الشبكات على ينطبقايجابي + العصبونين العصبونان 1بين سيعملاالتجاه بنفس بعضهما دفع على
السلبي - للوزن بالنسبة معاكس 1وبشكل
عصبون : • لدينا عصبون iبفرض مع 1بوزن +jمتصلالعصبون • * iيساهم كان اذا ايجابي بشكل الدخل الوزن بمجموع
القيمة + يحمل -1يحمل كان اذا سلبي بشكل 1والعصبون • ان نجد هنا العصبون iمن اتجاهه jيدفع بنفس
السلبي باالتجاه او بااليجابسيقوم • سلبي الوزن كان اذا معاكس باالتجاه jبدفع iبشكل
المعاكسمن • متجه اجل من حيث هيب قاعدة تطبيق يمكن Nهنا
الى نحتاج قيمها Nقيمة الوزن مصفوفة وتكون عقدةبالعالقة : Wij=Xi * Xjمحسوبة
العملية :• لتوضيح مثال التالي الشكلالنمط 4• لتخزين عقدللعقد ] 1 ,1 ,1 ,-1[ بالترتيب
1, 2, 3, 4
متناظرة الوزن مصفوفة والنWij=Wjiفأن
كل بين الخطين استبدلنا لذافقط واحد بخط عصبونبن
الشبكة • لهذه المثلى هي االوزان ان نالحظاعلى • يأخذ عصبون كل السابق النمط حال في انه بمعنى
الخاليا ثنائية الشبكة حال في كما قيمة ادنى اوالنمط : • نأخذ ذلك الشبكة xالثبات هذه لتدريب اخذ الذي
العصبون بتحديث نقوم و الشبكة في ماذا iموجود هنا ،؟ سيحصل
* بواسطة لعقدة وزن الدخل مجموع يشار ما غالباللعقدة المحلي بالحقل المسمى
كان • حساب wijاذا يمكن عندها النمط هذا لتخزين اختياره تمh
أي ، العقد جميع على ينطبق ما و Xiوهذا و القيمة تغير ال هنابالمجمل ! مستقر النمط
استبدلنا • لو يحدث ماذا v = -xحيث vبالنمط xلكن
حساب و التحديث عند سيحصل ؟ hماذا
اتت هنا من و & ايضا كامل بشكل مستقرة الشبكة ان نالحظالتعمية تسمية
التعلم خوارزمية خطوات
هيب ) (1. قاعدة باستخدام االنماط لتخزين االوزان تهيئةخارجي. 2 دخل كل اجل من : xمن التالية الخطوات نفMذ
A . الدخل متجه الى مساو للشبكة المبدئي التفعيل تعيينالخارجي :
B ( : . اختيار خرج وحدة كل اجل من التالية الخطوات نفMذالخرج ( لوحدات عشوائي
.I الشبكة خرج احسب.II التنشيط : Yiتحديد التالي ) ( وفق الخرج اشارة.III قيمة المفعMل . Yiبث المتجه يحدMث هذا األخرى الوحدات لجميعالهدف . . 3 مع الشبكة التقاء اختبر
مثال
الشبكة • في ن Mمخز المتجه لديناالى • التالي المشوه المتجه بادخال سنقوم
الشبكة :خرج • لكشف هوبفيلد خوارزمية خطوات اتبع
الشبكة
الحل
وردت • كما السابقة الخطوات نتبعهي- : 1• الوزن مصفوفة
خارجي- 2• دخل كل اجل الخطوات xمن نفMذمن : التالية
A . مساو للشبكة المبدئي التفعيل تعيينالخارجي : الدخل متجه الى
B : . خرج وحدة كل اجل من التالية الخطوات نفMذسنختار) ( الخرج لوحدات عشوائي Y_in1اختيار
.I الشبكة خرج احسب.II التنشيط : Yiتحديد التالي ) ( وفق الخرج اشارة
فيكون :قيمة|||. يحدMث . Yiبث هذا األخرى الوحدات لجميع
كالتالي : المفعMل المتجه
اختيار ) • كالتالي الدخل عناصر لبقية العملية تكرارعشوائي (:
الهدف : • مع الشبكة التقاء اختبران سنجد خرج وحدة لكل التحديث عملية بعد
النتيجةاالساسي ! الشبكة دخل مع يتوافق ما وهو
هوبفيلد طاقةعقدة :• لكل الطاقة تعريف يمكننا
كان • حال في موجبة مختلفتين ! h , xالطاقة اشارتين منالن • االشارة تغيير الى سيؤدي المتزامن العقدة تحديث
التحديث وبالتالي ، مختلفة اشارة يمتلك المحلي الحقلاو االيجاب الى السلب من الطاقة اشارة تغيير الى سيؤدي
بالعكس ! طاقة • لديها المستقرة الحالة أن فكرة مع يتوافق وهذا
منخفضة.
بأكملها :• للشبكة الطاقة تعريف يمكننا
الشبكة • لتدريب استخدامه تم الذي النمط انمستقرة ) حالة للطاقة االدنى الحد يعطي
بالتالي ( : و عظمى
واحد نمط استقرار
فيها • تكون التي الحالة في بحثنا لقد اآلن حتىاستخدامها تم التي الشبكة في األنماط نفس
. آخر نمط أن نفترض دعونا اآلن الشبكة لتدريب. الشبكة في
النمط yالنمط • انه xنفس عنه يخلف لكنفقط ! عقد لثالث
لديها التحديث .. nوالشبكة بعملية سنقوم و عقدة؟ المحلي الحقل الحقل هو ما اآلن
السابق : • المجموع بتقسيم نقومالتدريب- لنمط بالقيمة معاكسة عقد xثالث
العقد- ) على ( N-3وبقية القيمة نفس تمتلكالتالي : الشكل
افتراض
تبقى • او تنخفض اما هوبفيلد في الطاقةاما ... تسبب التحديث عملية ان حيث نفسهاعلى اشارته ابقاء او العصبون اشارة بتغيير
حالها مصفوفة • ان هوبفيلد طاقة في يجري ما يعود
و هيب قاعدة الى يحتاج ما وهذا متناظرة الوزنهيب عن يلزم ما سنشرح لذا هيب قاعدة تعميم
!
التعميم و هيب قاعدة
بمقلوب • المصفوفة عناصر بضرب سنقومديناميكية على يؤثر لن بدوره هذا و العصبونات عدد
الرقم ! بنفس ضربت عناصرها جميع الن الشبكةأي :•الشبكة ... • في نمط من اكثر تخزين اآلن يمكننا كيف
ذلك : كيف لنعرفنمطان لدينا تخزينهما )x)1( AND x)2لنفترض نريد و
االوزان جمع عن الناتجة الرياضية الطريقة سنتبع هنا
عناصر • تحسب االول النمط اجل من بدايةالوزن : مصفوفة
مصفوفة • عناصر تحسب الثاني النمط اجل منالوزن :
بالجمع :•
على • التعميم اجل هيب pمن قاعدة نجد نمطالمعممة :
العقدة • قيمة هي النمط Iحيث Kفي
هيب تعميم و الطاقة
انماط • لذا بعضه مع ستداخل االثنين الوزن مصفوفاتالى الشبكة تسعى ذلك مع و مطلقة تعد لم التدريب
قيمة .. اقرب الى ستسعى هنا ممكنة طاقة اقل نقطةجيد بشكل محقق يبقى هذا و الطاقة لتابع دنيا محلية
ال االنماط و يكفي بما كبيرة الشبكة كانت حال فيبعضها . مع تتشابه
بالشكل • الشرط نكتب ان عدد Pحيث P<< Nيمكنناو العصبونات Nاالنماط عدد
الشبكة • ديناميك فان السابق الشرط تحقق حال فيللطاقة محلية قيمة ادنى الى بالشبكة سيؤدي الداخلي
المزيفة الدنيا ! القيمو • للطاقة محلية دنيا قيم تولد التي االنماط عن ناتجة هي
في داخلة او متوافقة غير هي لكن و استقرار الى تؤدي & اصال التدريب عملية
نرى • ان يمكننا الشبكة في انماط ثالث من اكثر تخزين تم اذادنيا قيم ستولد المتماثلة غير المصفوفات ان
؟ • بذلك المقصود ماالغالبية قيم خالل من القيمة تعريف يتم عقدة، لكل
القيم - تحمل انماط ثالث في العقدة لنفس & 1و 1و -1مثالالنمط في لها النهائية النتيجة ستكون الثالثة لالنماط بالنسبة
هو - القيم -1النهائي غالبية 1الن
سنقوم : • عقد عشر من شبكة اجل من مثالالرابع النمط نجد سوف و انماط ثالث بادخال
الثالثة : االنماط ادخال عن الناتج الغالب
الغالب : • النمط
حوض • من نوع يولد السابق الغالب النمطفي به التدريب عملية تنتهي ما & وغالبا الجذب
شرطين : حالةعدد • من اكبر عصبوناتها عدد الشبكة كانت
االنماط متشابهة • غير االنماط
اثبات
نمط • الشبكة، X ~عندما فيوجود • عن الناتجة الطاقة :xتعطى
فأنه :wنقترض • متناظرة
النيرون • تحديث يحافظ Xpعند ان اما خياران هناكأي فان اليه توصلنا ما وحسب يغيرها او قيمته علىوهذا اقل طاقة الى سيؤدي العقدة قيمة في تغيير
حسابيا نبرهنه ان يمكن ما
الرياضي : • البرهانالتحديث )E)tنفترض • قبل الطاقةالنمط • نمرر Xبعدها
التحديث • بعد الطاقة تصبح )E)t+1اآلن
العصبون • الستثناء الطاقة معادلة نكتب Xpاالن
هي • الجديدة العصبون *Xpقيمة
•E)t+1( اخذ ان بعد الجديدة الطاقة قيمةاصبح و الجديدة القيمة * Xpالعصبون
الحاصل : • الطاقة فرق نحسب
السابقة • العالقة تصبح الوزن مصفوفة تناظر بسبب
احتماالن • هنااالول1.
يؤدي هذالدينا
فيكون
الثانية : الحالة اثبات يمكن وبالمثل