تعميم در يادگيري مبتني بر نمونه ها

ارائه دهنده: الهام باوفای حقیقیاستاد درس: آقای دکتر شيري

دانشگاه امير كبير مهندسي كامپيوتر و فناوري ‌دانشكده

اطالعات

فهرست

باوفا الهام ها 2 نمونه بر مبتني يادگيري در تعميم

مقدمه•تعميم و متناسب سازي•شبه جواب در مسايل معكوس•يادگيري از داده ها با روش •

معكوسفضاي بازتوليد هسته هيلبرت•يادگيري از داده ها با روش •

معكوس و هستهمزاياي بكارگيري هسته ها•جمع بندي•

مقدمه

باوفا الهام ها 3 نمونه بر مبتني يادگيري در تعميم

يادگيري بر اساس داده

تبديل تابعي

مسئله معكوس

تعميم و متناسب سازي

باوفا الهام ها 4 نمونه بر مبتني يادگيري در تعميم

انتخاب مدل )فرضيه( •مناسب

بدست آوردن •پارامترهاي مناسب

دو مسئله اصلي در يادگيري

(Over fittingبيشترين برازش ) متناسبترين برازش

(Regularization)روش مستقيم )بهترين •

برازش تصحيح(روش غير مستقيم•

متناسب سازي مستقيم (1)

باوفا الهام ها 5 نمونه بر مبتني يادگيري در تعميم

Tikhonov RegularizationRidge Regrssion

روش بيزيساختار

داده ها

خطاي آموزشي

پايدار كننده )جريمه(

پارامتر متناسب سازي

متناسب سازي مستقيم (1)

باوفا الهام ها 6 نمونه بر مبتني يادگيري در تعميم

پايدار كننده )جريمه(

نرم كننده

جريمه فركانسها

ي باالفيلتر فركانس باال:

نرم وزن دار

متناسب سازي مستقيم (2)

باوفا الهام ها 7 نمونه بر مبتني يادگيري در تعميم

Tikhonov RegularizationRidge Regrssion

روش بيزي

متناسب سازي مستقيم (3)

باوفا الهام ها 8 نمونه بر مبتني يادگيري در تعميم

Tikhonov RegularizationRidge Regrssion

روش بيزي

max

min

خطاي آموزشي

پايدار كننده )جريمه(

متناسب سازي مستقيم

مشكالت

باوفا الهام ها 9 نمونه بر مبتني يادگيري در تعميم

نقطه ضعف: ساختار يكتوابع متناسب ساز بايد

و متقارن داشته باشند.يكنواختاما

وجود چند زير ساختار گسسته-مقياس مناسب مدل )فرضيه(-

مشكل اصلي: مقدار پارامتر متناسب سازي

متناسب سازي غير مستقيم

باوفا الهام ها 10 نمونه بر مبتني يادگيري در تعميم

اضافه كردن نويز به نمونه هااضافه كردن نويز به پارامتر

اتمام پروسه يادگيري پيش از همگرايي

داراي همان نقاط ضعف و

مشكالت متناسب سازي غير

مستقيم است

شبه جواب در مسايل معكوستعريف مسئله

باوفا الهام ها 11 نمونه بر مبتني يادگيري در تعميم

Computer Tomography

The amount of absorption

شبه جواب در مسايل معكوس خصوصيات راه حل

باوفا الهام ها 12 نمونه بر مبتني يادگيري در تعميم

dyyfyxKg x )()( )( gfA )(

Given g in Y, we are looking for f in X such that A( f ) = g.

• Existence : For each g in Y there is at least one f in X such that A( f ) = g

• Uniqueness : For each g in Y there is at most one f in X such that A( f ) = g

• Stability : f depends continuously on g

Well Posed Condition

شبه جواب در مسايل معكوس

بدست آوردن شبه جواب (1)

باوفا الهام ها 13 نمونه بر مبتني يادگيري در تعميم

)(

)(

)(

)(

)(

)(

1

0

,2,1,

,22,21,2

,12,11,1

1

0

nnnnn

n

n

n

n xf

xf

xf

KKK

KKK

KKK

C

xg

xg

xg

dyyfyxKg x )()( )( )(, jiji xxKK

fg A

بدليل ارضا نشدن داريشرايط

م

Well Posed Condition

Ill Posed Condition

شبه جواب در مسايل معكوس

بدست آوردن شبه جواب (2)

باوفا الهام ها 14 نمونه بر مبتني يادگيري در تعميم

fg A

تخمين حداقل مربعات خطا

gAf

شبه جواب در مسايل معكوس

حساسيت شبه جواب

باوفا الهام ها 15 نمونه بر مبتني يادگيري در تعميم

بازاي مقادير بزرگ

شرايط مريض داريم

متناسب كردن پاسخ

باوفا الهام ها 16 نمونه بر مبتني يادگيري در تعميم

شبه جواب در مسايل معكوس

متناسب سازي جواب

يادگيري از داده ها با روش معكوستبديل مسئله يادگيري به يك مسئله

معكوس

باوفا الهام ها 17 نمونه بر مبتني يادگيري در تعميم

باوفا الهام ها 18 نمونه بر مبتني يادگيري در تعميم

يادگيري از داده ها با روش معكوسبررسي شرايط مسئله معكوس جديد

تبديل فضا

فضاي بازتوليد هسته هيلبرتReproducing Kernel Hilbert Space (RKHS)

فضاي بازتوليد هسته هيلبرت

خصوصيات

باوفا الهام ها 19 نمونه بر مبتني يادگيري در تعميم

RKHS به صورت يكتا توسط يككرنل شبه مثبت معين

متقارن تعريف مي شود

باوفا الهام ها 20 نمونه بر مبتني يادگيري در تعميم

فضاي بازتوليد هسته هيلبرت

خصوصيت بازتوليد

باوفا الهام ها 21 نمونه بر مبتني يادگيري در تعميم

فضاي بازتوليد هسته هيلبرت برخي توابع

يادگيري از داده ها با روش معكوس و هسته

بيشترين برازش

باوفا الهام ها 22 نمونه بر مبتني يادگيري در تعميم

باوفا الهام ها 23 نمونه بر مبتني يادگيري در تعميم

يادگيري از داده ها با روش معكوس و هسته

متناسب ترين برازش

به دليل وجود ضريب

بايد كوچك انتخاب شود

احتمال منفرد بودن ماتريس را كاهش مي دهد

مزاياي بكارگيري هسته ها

باوفا الهام ها 24 نمونه بر مبتني يادگيري در تعميم

- تغيير فضا در ماشينهاي 1بردار پشتيبان

- اعمال جريمه براي 2فركانسهاي باال

نسخه آنالوگنسخه

ديجيتال )تئوري

Mercer) - توابع ارزيابي پيوسته و سهولت تعريف ترم 3متناسب ساز

جمع بندي

باوفا الهام ها 25 نمونه بر مبتني يادگيري در تعميم

متناسبترين برازش

يادگيري از داده

استفاده از روشهاي مسائل معكوس

جهت RKHSاستفاده از تبديل فضا

احتمال منفرد بودن ماتريس را كاهش مي دهد

متناسب سازي

پيوستگي و اعمال برخي جريمه ها

باوفا الهام ها 26 نمونه بر مبتني يادگيري در تعميم

باتشکر از توجه شما

فضاي هيلبرت

باوفا الهام ها 27 نمونه بر مبتني يادگيري در برگشتعميمت

فضاي خطي نرم دار را همگرايياز طريق نرم مي توان نشان داد

دنباله به همگرا است اگر .

است اگر دنباله كوشي دنباله يك .

هر دنباله كوشي به يك بردار همگرا فضا كاملشود،

فضاي كامل و داراي ضرب داخلي، فضاي هيلبرت

}{ kxx

}{ kx

يادآوري

باوفا الهام ها 28 نمونه بر مبتني يادگيري در برگشتعميمت

نرمها

بردار

تابع

ضربداخلي

بردار

تابع

Mercer (1) تئوري

باوفا الهام ها 29 نمونه بر مبتني يادگيري در برگشتعميمت

Mercer (2) تئوري

باوفا الهام ها 30 نمونه بر مبتني يادگيري در برگشتعميمت