شبکه های عصبی مصنوعی
DESCRIPTION
اسلاید شبکه های عصبی مصنوعی سعید شیریTRANSCRIPT
عصبی های شبکهمصنوعی
Instructor : Saeed Shiry
Amirkabir University of TechnologyComputer Engineering & Information Technology Department
مقدمه
یادگیری برای عملی روشی مصنوعی عصبی شبکه توابع ،حقیقی مقادیر با توابع نظیر گوناگون توابع
.میباشد برداری مقادیر با توابع و گسسته مقادیر باهای داده خطاهای برابر در عصبی شبکه یادگیری
با ها شبکه اینگونه و بوده مصون آموزشی گفتار، شناسائی نظیر مسائلی به موفقیت
روبات یادگیری و تصاویر، تعبیر و شناسائی.است شده اعمال
Input 0 Input 1 Input n...
Output 0 Output 1 Output o...
O0 O1 Oo
H0 H1 Hm...
...
Hidden Layer
چیست؟ عصبی شبکه
محاسبه برای روشی اتصال پایه بر که است
چندین پیوسته هم به ساخته پردازشی واحد
.میشوددلخواهی تعداد از شبکه
یا واحد یا گره یا سلول میشود تشکیل نرون
را ورودی مجموعه که.میدهند ربط خروجی به
قابلیتهائی چه عصبی شبکهدارد؟
معلوم تابع یک محاسبهناشناخته تابع یک تقریبالگو شناسائیسیگنال پردازشفوق موارد انجام یادگیری
طبیعت از الهامیادگیر های سیستم از ملهم زیادی حد تا مصنوعی عصبی های شبکه مطالعه
کار در متصل هم به نرونهای از پیچیده مجموعه یک آنها در که است طبیعی.هستند دخیل یادگیری
هر که باشد شده تشکیل نرون 11 10 تعداد از انسان مغز که میرود گمان .است ارتباط در دیگر نرون 104 تقریبا با نرون
با مقایسه در که است ثانیه 3-10 حدود در نرونها سوئیچنگ سرعت است قادر آدمی وجود این با. مینماید ناچیز بسیار ) ثانیه ( 10- 10 کامپیوترها
العاده فوق قدرت این. نماید بازشناسائی را انسان یک تصویر ثانیه 0.1 در شده حاصل نرونها از زیادی تعدادی در شده توزیع موازی پردازش از باید
.باشد
. مثل باشد داشته وجود آموزشی های داده در های خطا داده که مسائلیها میکروفن و دوربین نظیر سنسورها دادهای از حاصل نویز دارای آموزشی
.هستند - شده داده نشان مقدار ویژگی زوج زیادی مقادیر توسط ها نمونه که مواردی
. ویدئوئی. دوربین یک از حاصل های داده نظیر باشند. باشد پیوسته مقادیر دارای هدف تابع . با مقایسه در روش این باشد داشته وجود یادگیری برای کافی زمان
. دارد یادگیری برای بیشتری زمان به نیاز تصمیم درخت نظیر دیگر روشهایشده یادگرفته اوزان میتوان سختی به زیرا. نباشد هدف تابع تعبیر به نیازی
.نمود تعبیر را شبکه توسط
یادگیری برای مناسب مسائلعصبی های شبکه
x1x1
x2x2
xnxn
{1 or –1}{1 or –1}
X0=1X0=1
w0w0
w1w1
w2w2
wnwn
ΣΣ
ساخته پرسپترون نام به محاسباتی واحد یک برمبنای عصبی شبکه از نوعی یک و گرفته را حقیقی مقادیر با ورودیهای از برداری پرسپترون یک. میشود مقدار یک از حاصل اگر. میکند محاسبه را ورودیها این از خطی ترکیب 1 -معادل اینصورت غیر در و 1 با برابر پرسپترون خروجی بود بیشتر آستانه.بود خواهد
Perceptron
میشود مشخص زیر رابطه توسط پرسپترون خروحی:
داد نشان زیر بصورت میتوان آنرا سادگی برای که:
پرسپترون یک یادگیری
O(x1,x2,…,xn) = O(x1,x2,…,xn) = 1 if w0 + w1x1 + w2x2 + … + wnxn > 01 if w0 + w1x1 + w2x2 + … + wnxn > 0-1 otherwise-1 otherwise
O(O(XX) = sgn() = sgn(WXWX) where) where
Sgn(y) = Sgn(y) = 1 if y > 01 if y > 0-1 otherwise-1 otherwise
:از است عبارت پرسپترون یادگیری W برای مقادیردرستی کردن پیدا
تمام ازمجموعه است عبارت پرسپترون یادگیری در H فرضیه فضای بنابراین.وزن بردارهای برای ممکن حقیقی مقادیر
تصمیم سطح یک بصورت میتوان را پریسپترون hyperplane فضای در n گرفت نظر در ها نمونه بعدی .
و 1 مقدار صفحه طرف یک های نمونه برای پرسپترون.میاورد بوجود 1 -مقدار دیگر طرف مقادیر برای
پرسپترون توانائی
++
++++
--
----
Decision boundary (Decision boundary (WXWX = 0) = 0)
که بگیرد یاد را مثالهائی است قادر فقط پرسپترون یک مواردی مثالها اینگونه. باشند جداپذیر خطی بصورت جدا قابلhyperplane یک توسط کامل بطور که هستند.میباشند سازی
به قادر پرسپترون که توابعیمیباشد آنها یادگیری
++
++++
----
--
++
++
++--
--
--
Linearly separableLinearly separable Non-linearly separableNon-linearly separable
دهد نمایش را بولی توابع از بسیاری میتواند پرسپترون یک AND, OR, NAND, NOR نظیر
نمیتواند اما XORدهد نمایش را.
از دوسطحی ای شبکه با میتوان را بولی تابع هر واقع در .داد نشان پرسپترونها
پرسپترون و بولی توابع
AND: AND: x1x1
x2x2
X0=1X0=1
W0 = -0.8W0 = -0.8
W1=0.5W1=0.5
W2=0.5W2=0.5ΣΣ
بگیریم یاد را واحد پرسپترون یک وزنهای چگونه آموزشی مثالهای برای پرسپترون که نحوی به
نماید؟ ایجاد را صحیح مقادیرمختلف راه دو:
پرسپترون قانوندلتا قانون
پرسپترون آموزش
پرسپترون یادگیری الگوریتممیدهیم نسبت وزنها به تصادفی مقادیریاگر. میکنیم اعمال آموزشی مثالهای تک تک به را پریسپترون
تصحیح را پرسپترون وزنهای مقادیر شود ارزیابی غلط مثال.میکنیم
میشوند ارزیابی درست آموزشی مثالهای تمامی آیا:بله الگوریتم پایانخیربرمیگردیم 2 مرحله به
پرسپترون آموزش
آموزشی مثال یک برایX = )x1, x2, …, xn(X = )x1, x2, …, xn( مرحله هر در :میکند تغییر زیر بصورت پریسپتون قانون اساس بر وزنها
wi = wi + Δwiwi = wi + Δwi
آن در که
پرسپترون قانون
Δwi = η ( t – o ) xiΔwi = η ( t – o ) xit: target outputt: target outputo: output generated by the perceptrono: output generated by the perceptronη: constant called the learning rate (e.g., 0.1)η: constant called the learning rate (e.g., 0.1)
و شده همگرا روش این جداپذیرخطی مثال مجموعه یک برای که است شده اثبات.شد خواهد مثالها صحیح سازی جدا به قادر پرسپترون
پرسپترون قانون نباشند جداپذیر خطی بصورت مثالها که وقتی دلتا قانون از مشکل این بر غلبه برای. شد نخواهد همگرا
. میشود استفادهاز استفاده قانون این اصلی ایده gradient descent برای
پایه قانون این. میباشد ممکن وزنهای فرضیه فضای در جستجو چندین با شبکه آموزش برای که است Backpropagation روش.میرود بکار متصل هم به نرون
یادگیری الگوریتمهای انواع برای ای پایه روش این همچنین مختلف های فرضیه شامل ای فرضیه فضای باید که است
.کنند جستجو را پیوسته
Delta Rule دلتا قانون
Delta Rule دلتا قانون
پرسپترون یک به آنرا روش این بهتر درک برای است الزم انجا در. میکنیم اعمال آستانه حد فاقد یک. شود ارائه آموزش ی خطا برای تعریفی ابتدا
:است چنین این متداول تعریفE = ½ ΣE = ½ Σii )t )tii – o – oii( ( 22
انجام آموزشی مثالهای تمام برای مجموع این که .میشود
gradient descent الگوریتمتعریف نحوه به توجه با E یک بصورت خطا سطح
حداقل که هستیم وزنهائی بدنبال ما. بود خواهد سهمی در gradient descent الگوریتم . باشند داشته را خطا
. کند حداقل را خطا که میگردد برداری بدنبال وزنها فضای شروع وزن بردار برای دلبخواه مقدار یک از الگوریتم این
در که میدهد تغییر طوری را وزنها مرحله هر در و کرده.شود داده کاهش خطا فوق منحنی کاهشی شیب جهت
w1w1
w2w2
E(E(WW))
gradient قانون آوردن بدستdescent
افزایش جهت در همواره گرادیان: اصلی ایده .میکند عمل E شیب
گرادیان E وزن بردار به نسبت w زیر بصورت :میشود تعریف
E )W( = [ E’/w0, E’/w1, …, E’/wn]E )W( = [ E’/w0, E’/w1, …, E’/wn]آنآن دردر کهکه E )W(E )W( برداروبردارو یکیک EE’’جزئیجزئی مشتقمشتق
..میباشدمیباشد وزنوزن هرهر بهبه نسبتنسبت
ΔΔ
ΔΔ
Delta Rule دلتا قانون
آموزشی مثال یک برایX = )x1, x2, …, xn(X = )x1, x2, …, xn( هر در :میکند تغییر زیر بصورت دلتا قانون اساس بر وزنها مرحله
wi = wi + Δwiwi = wi + Δwi
Where Δwi = -η E’)Where Δwi = -η E’)WW(/wi(/wi
η: learning rate )e.g., 0.1(η: learning rate )e.g., 0.1(
..استاست شیبشیب کاهشکاهش جهتجهت دردر حرکتحرکت نشاندهندهنشاندهنده منفیمنفی عالمتعالمت
گرادیان محاسبه
میتوانمیتوان خطاخطا رابطهرابطه ازاز جزئیجزئی گیریگیری مشتقمشتق بابا ::نمودنمود محاسبهمحاسبه رارا گرادیانگرادیان بسادگیبسادگی
E’)W(/ wE’)W(/ wii = Σ = Σii )t )tii – O – Oii( )-x( )-xii((نمودنمود خواهندخواهند تغییرتغییر زیرزیر رابطهرابطه طبقطبق وزنهاوزنها لذالذا..
Δwi = η Σi )ti – oi( xiΔwi = η Σi )ti – oi( xi
دلتا قانون یادگیری خالصه
.میباشد زیر بصورت دلتا قانون از استفاده با یادگیری الگوریتمدهید نسبت تصادفی مقدار وزنها بهدهید ادامه را زیر مراحل توقف شرایط به رسیدن تا
وزن هر wi کنید اولیه دهی عدد صفر مقدار با را.
وزن: مثال هر برای wi دهید تغییر زیر بصورت را:wwii = w = wii + η )t – o( x + η )t – o( xii
::دهیددهید تغییرتغییر زیرزیر بصورتبصورت رارا wwii مقدارمقدارwwii = w = wii + w + wii
شودشود کوچککوچک بسیاربسیار خطاخطا تاتا
ΔΔ
ΔΔ
Δ Δ Δ Δ Δ Δ
gradient روش مشکالتdescent
زیادی زمان مینیمم مقدار یک به شدن همگرا است ممکن1..باشد داشته الزم
باشد داشته وجود محلی مینیمم چندین خطا سطح در اگر2..بکند پیدا را مطلق مینیمم الگوریتم که ندارد وجود تضمینی
:که است استفاده قابل وقتی روش این ضمن در
.باشد پیوسته پارامتریک های فرضیه دارای فرضیه فضای 1.
باشد گیری مشتق قابل خطا رابطه2.
gradient افزایشی تقریبdescent
را آنها مثالها، همه مشاهده از پس وزنها تغییر بجای میتوان وزنها حالت این در. داد تغییر شده مشاهده مثال هر بازا
را روش این. میکنند تغییر incremental افزایشی بصورتstochastic gradient descentstochastic gradient descent نیزمینامندنیزمینامند..
wwii = η )t-o( x = η )t-o( xii
محلیمحلی مینیمممینیمم بروزبروز ازاز میتواندمیتواند وزنهاوزنها افزایشیافزایشی تغییرتغییر مواردموارد بعضیبعضی دردر دارددارد بیشتریبیشتری محاسباتمحاسبات بهبه نیازنیاز استاندارداستاندارد روشروش. . کندکند جلوگیریجلوگیری..باشدباشد داشتهداشته همهم بزرگتریبزرگتری stepstep طولطول میتواندمیتواند درعوضدرعوض
ΔΔ
برایبرای میتوانندمیتوانند الیهالیه چندچند هایهای شبکهشبکه پرسپترونها پرسپترونها خالفخالف بربر تصمیمتصمیم بابا مسائلیمسائلی همچنینهمچنین وو خطیخطی غیرغیر مسائلمسائل یادگیرییادگیری
..روندروند بکاربکار متعددمتعدد هایهای گیریگیری
Input nodesInput nodes
Internal nodesInternal nodes
Output nodesOutput nodes
الیه چند های شبکه
x1x1
x2x2
مثال
x1x1
x2x2
xnxnX0=1X0=1
w0w0
w1w1
w2w2
wnwn
ΣΣ
O = σ(net) = 1 / 1 + e O = σ(net) = 1 / 1 + e -net-net
netnet
واحد سلول یک
غیرغیر بصورتبصورت رارا گیریگیری تصمیمتصمیم فضایفضای بتوانیمبتوانیم اینکهاینکه برایبرای رارا واحدواحد سلولسلول هرهر تاتا استاست الزمالزم بکنیم،بکنیم، جداجدا همهم ازاز خطیخطی
چنینچنین ازاز مثالیمثالی. . نمائیمنمائیم تعریفتعریف خطیخطی غیرغیر تابعتابع یکیک بصورتبصورت::باشدباشد سیگموئیدسیگموئید واحدواحد یکیک میتواندمیتواند سلولیسلولی
O(x1,x2,…,xn) = O(x1,x2,…,xn) = σ ( WX )σ ( WX )
where: where: σ σ ( WX ) = 1 / 1 + e ( WX ) = 1 / 1 + e -WX-WX
d σ(y) / dy = σ(y) (1 – σ(y))d σ(y) / dy = σ(y) (1 – σ(y))
تابعتابع ایناین. . میشودمیشود نامیدهنامیده لجستیکلجستیک یایا سیگموئیدسیگموئید تابعتابع σσ تابعتابع::استاست زیرزیر خاصیتخاصیت دارایدارای
سیگموئید تابع
بیانبیان میتوانمیتوان زیرزیر بصورتبصورت رارا واحدواحد سلولسلول ایناین خروجیخروجی::نمودنمود
Back propagation الگوریتم
روش از الیه چند شبکه یک های وزن یادگیری برای Back Propagation روش این در. میشود استفاده
تا میشود سعی gradient descent از استفاده با هدف تابع و شبکه های خروجی بین خطای مربع
.شود مینیمممیشود تعریف زیر بصورت خطا: 2
2
1
Dd outputskkdkd otWE
خروجی الیه های واحد مجموعه خروجیهای outputsاز مراد واحد امین k با متناظر خروجی و هدف مقدار okd وtkd و
.است d آموزشی مثال و خروجی
Back propagation الگوریتم
عبارت روش این در جستجو مورد فرضیه فضای مقادیر همه توسط که بزرگی فضای از است
gradient روش. میشود تعریف وزنها برای ممکنdescent به خطا کردن مینیمم با تا میکند سعی
برای تضمینی اما. کند پیدا دست مناسبی فرضیه وجود برسد مطلق مینیمم به الگوریتم این اینکه.ندارد
BP الگوریتم
nout و مخفی، گره nhidden ورودی، گرهnin با ای شبکه1.. کنید ایجاد خروجی گره
دهی عدد کوچک تصادفی مقدار یک با را وزنها همه2..کنید
شدن کوچک ( پایانی شرط به رسیدن تا3.:دهید انجام را زیر مراحل) خطا
:آموزشی مثالهای به متعلقx هر برای
دهید انتشار شبکه در جلو سمت به را X مثال.دهید انتشار شبکه در عقب سمت به را E خطای
و ورودی مقادیر x بردار که میشود ارائه( x,t )زوج یک بصورت آموزشی مثال هر.میکنند تعیین را شبکه خروجی برای هدف مقادیر t بردار
جلو سمت به انتشار
مثال هر برای X را واحد هر خروجی مقدار .برسید خروجی های گره به تا کنید محاسبه
Input nodesInput nodes
Internal nodesInternal nodes
Output nodesOutput nodes
Example XExample X
Compute sigmoid Compute sigmoid functionfunction
عقب سمت به انتشار
محاسبه زیر بصورت را خطا جمله خروجی واحد هر برای1.))δδkk = O = Okk )1-O )1-Okk()t()tkk – O – Okk:کنید
::کنیدکنید محاسبهمحاسبه زیرزیر بصورتبصورت رارا خطاخطا جملهجمله مخفیمخفی واحدواحد هرهر برایبرای2.2. δδhh = O = Ohh )1-O )1-Ohh( Σ( Σkk W Wkhkh δ δkk
::دهیددهید تغییرتغییر زیرزیر بصورتبصورت رارا وزنوزن مقدارهرمقدارهر3.3.
WWjiji = W = Wjiji + ΔW + ΔWjiji
: :آنآن دردر کهکه
ΔWΔWjiji = η δ = η δjj X Xjiji
ηηیادگیری نرخ از است عبارت
خاتمه شرط
همان استفاده با بار هزاران خاتمه از پیش BP الگوریتم معموال میتوان را مختلفی شروط میگردد تکرار آموزشی های داده:برد بکار الگوریتم خاتمه برای
معین دفعات به تکرار از بعد توقفشود کمتر شده تعیین مقدار یک از خطا که وقتی توقف.خاصی قاعده از تائید مجموعه مثالهای در خطا که وقتی توقف
.نماید پیروی باشد زیاد اگر و داشت خواهیم خطا باشد کم تکرار دفعات اگر
.داد خواهد رخ Overfitting مسئله
BP الگوریتم مرور
جستجوی یک الگوریتم این gradient descent در .میدهد انجام وزنها فضای
بیافتد گیر محلی مینیمم یک در است ممکناست بوده موثر بسیار عمل در
:دارد وجود مختلفی روشهای محلی مینیمم از پرهیز برایممنتم افزودناز استفاده stochastic gradient descentstochastic gradient descentوزنهای برای متفاوتی مقادیر با مختلف های ازشبکه استفاده
اولیه
ممنتم افزودن
که گرفت نظر در طوری را وزنها تغییر قانون میتوان در تغییروزن اندازه به حدی تا ام n تکرا در وزن تغییر.باشد داشته بستگی قبلی تکرار
ΔWΔWjiji )n( = η δ )n( = η δjj X Xjiji + αΔW + αΔWjiji )n-1( )n-1(
.میباشد α <= 1α <= 1 >= >= 00 بصورت αα مقدارممنتم آن در که قبلی مسیر در حرکت با تا میشود باعث ممنتم افزودن
:خطا سطح درشود پرهیز محلی مینیم در افتادن گیر ازشود پرهیز صاف سطوح در قرارگرفتن ازجستجو سرعت تغییرات، پله مقدار تدریجی افزایش با
.یابد افزایش
وزن تغییر قانون ممنتم عبارت
توابع نمایش قدرتشبکه یک توسط به توابع نمایش قدرت گرچه feedforward و عمق به بسته
قوانین صورت به میتوان را زیر موارد وجود این با دارد، شبکه گستردگی:نمود بیان کلی
سازی پیاده الیه دو شبکه یک توسط میتوان را بولی تابع هر: بولی توابع .نمود
الیه دو شبکه یک توسط میتوان را محدود پیوسته تابع هر: پیوسته توابع الیه در سیگموئید تابع از که هائی شبکه مورد در مربوطه تئوری. زد تقریب.است صادق میکنند استفاده خروجی شبکه در خطی الیه و پنهان
قابل حد تا الیه سه شبکه یک با میتوان را دلخواه تابع هر :دلخواه توابع .زد تفریب قبولی
روش توسط شده جستجو فرضیه فضای که داست درنظر باید وجود این باgradient deescent وزنها ممکن مقادیر تمام برگیرنده در است ممکن
.نباشد
استقرا بایاس و فرضیه فضایفضای یک بصورت میتوان را جستجو مورد فرضیه فضای
nکه (گرفت نظر در شبکه وزنهای از بعدی n اقلیدسی فرضیه) وزنهاست تعداد
یک تصمیم درخت فرضیه فضای خالف بر فرضیه فضای این .است پیوسته فضای
کرد بیان زیر بصورت میتوان را روش این استقرا بایاس:““smooth interpolation between data pointssmooth interpolation between data points””
همهم بهبه کهکه رارا نقاطینقاطی تاتا میکندمیکند سعیسعی BPBP الگوریتمالگوریتم کهکه معنامعنا ایناین بهبه..دهددهد قرارقرار بندیبندی دستهدسته یکیک دردر هستندهستند نزدیکترنزدیکتر
x1x1
x2x2
Smooth regionsSmooth regions
مثال
پنهان الیه نمایش قدرت
خواص از یکی BP الیه در میتواند که است این داده از آشکاری نا ویژگیهای شبکه پنهان های
.دهد نشان ورودی
ورودی خروجی
طوری زیر 8x3x8 شبکه مثال برای مقدارهرمثال که میشود داده آموزش د بوجو خروجی در عینا را ورودی
ساختار). بگیرد یاد را f)x(=x تابع (آورد واحد تا میشود باعث شبکه این خاص مقادیر های ویژگی وسط الیه های
که کنند بندی کد نحوی به را ورودی نمایش برای آنان از بتواند خروحی الیه
. نماید استفاده ها داده مجدد
پنهان الیه نمایش قدرت
10000000100000000100000001000000001000000010000000010000000100000000100000001000000001000000010000000010000000100000000100000001
10000000100000000100000001000000001000000010000000010000000100000000100000001000000001000000010000000010000000100000000100000001
Hidden nodesHidden nodes
8 از شده تکرار بار 5000 تعداد به که آزمایش این در با شبکه و شده استفاده ورودی عنوان به مختلف داده
را هدف تابع تا شده موفق BP الگوریتم از استفاده.بیاموزد
حاصل بردار که میشود مشخص میانی الیه های واحد خروجی مشاهده با(111,,...,000,001 )است بوده ورودی ههای داده استاندارد انکدینگ معادل
ErrorError
iterationsiterations
Different unitsDifferent units
iterationsiterations
Different weightsDifferent weights
weightweight
نمودارخطا
Number of weight updatesNumber of weight updates
Err
orE
rror
Validation set errorValidation set error
Training set errorTraining set error
overfitting و تعمیم قدرت
الگوریتم پاین شرط BP چیست؟ادامه آنقدر را الگوریتم که است این انتخاب یک
امر این. شود کمتر معینی مقدار از خطا تا دهیم.شود overfitting به منجر میتواند
overfitting دادن رخ دالیل
overfitting مثالهای گرفتن نظر در برای وزنها تنظیم از ناشی مطابقت ها داده کلی توزیع با است ممکن که است نادری
میشود باعث عصبی شبکه یک وزنهای زیاد تعداد. باشند نداشته داشته مثالها این با انطباق برای زیادی آزادی درجه شبکه تا
.باشدشده یادگرفته فرضیه فضای پیچیدگی تکرار، تعداد افزایش با
و نویز بتواند شبکه تا میشود بیشتر و بیشتر الگوریتم توسط ارزیابی بدرستی را آموزش مجموعه در موجود نادر مثالهای
.نماید
حل راه
تائید مجموعه یک از استفاده Vallidation این در خطا که هنگامی یادگیری توقف و .میشود کوچک کافی اندازه به مجموعه
از استفاده میتواند راه یک: تر ساده فرضیه فضاهای برای شبکه کردن بایاس weight decayکمی خیلی باندازه بارتکرار هر در وزنها مقدار آن در که باشد
.میشود داده کاهشk-fold cross validation میتوان باشد کم آموزشی مثالهای تعداد که وقتی m داده
تکرار دفعه k تعداد به را آزمایش و نموده بندی تقسیم دسته K به را آموزشی مجموعه بعنوان بقیه و تست مجموعه بعنوان ها دسته از یکی دفعه هر در. نمود
.میشود انجام نتایج میانگین اساس بر گیری تصمیم. شد خواهند استفاده آموزشی
دیگر روشهای
از دارد وجود جدید های شبکه ایجاد برای متنوعی بسیار های راه:جمله
خطا تابع برای دیگری تعاریف از استفادهیادگیری حین در خطا کاهش برای دیگری روشهای از استفاده
Hybrid Global LearningSimulated AnnealingGenetic Algorithms
واحدها در دیگری توابع از استفادهRadial Basis Functions
شبکه برای دیگری های ساختار از استفادهRecurrent Network