Download - گزینش ویژگی با استفاده از شبکه های عصبی
گزینش ویژگی با استفاده از
شبکه های عصبی
ارائه از: محسن رمضانی-علی امیریان-
میکائیل اونق
University of Kurdistan – Engineering Department
University
Of
Kurdistan
Spring 2012
استاد: دکتر شیخ اسماعیلی
مشخصات مقاله مورد بحث
40/ 2
رئوس مطالب
مقدمه
شبکه عصبی استفاده شده
تکنیکهای انتخاب ویژگی
روش پیشنهادی
آزمایشات تجربی
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 3
. مقدمه1
الگ*و مس*اله مراح*ل تش*خیص ب*ه س*نتی ط*ور ب*ه استخراج ویژگی و طبقه بندی تقسیم می شود.
پی*دا ک*ردن ی*ک نگاش*ت را اس*تخراج وی*ژگی قص*د دارد ک*ه ابع*اد الگوه*ایی ک*ه بای*د طبق*ه بن*دی ش*ود را
کاهش دهد.
با جم*ع آوری وی*ژگی ه*ای مرتب*ط و ح*ذف ویژگیه*ایبع*دی، ه*ای داده آوری جم*ع هزین*ه مرتب*ط غ*یر
ممکن است کاهش یابد.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 4
– ادامه . مقدمه 1
ش*ده اس*تفاده ه*ای وی*ژگی تع*داد رش*د با تع*داد مثا*له*ای *آموزش*ی نی*از ب*ه رش*د نم*ایی
دارند
ب*ه نی*از عملی کاربرده*ای از بس*یاری در د*اریم* داده اب*عاد Dimensionality)کاهش
Reduction.)
( تحلی*ل مولف*ه اص*لیPCA ) تحلی*ل تفکی*ک وخطی اس*تخراج کنن*ده عم*ومی تکنی*ک* دو*
ویژ*گی هستند.
ب*ا را داده ابع*اد دارن*د ه*ا س*عی تکنی*ک این ای*ج*اد و*ی*ژگی ه*ای* ج*دی*د*ی ک*ه ت*رکیب خطی
از* وی*ژگ*ی ه*ای *اولی*ه هس*تند را ک*اهش دهند.
ز ا
هاد
فست
ابا
ی ژگ
ویش
ینزگ
یصب
عه
کشب
40/ 5
– ادامه . مقدمه1
ی*ک مس*اله س*خت است. انتخ*اب وی*ژگی به ط*ور کلی
در ح*الت کلی فق*ط ی*ک جس*تجوی ج*امع می توان*د ی*ک راه ح*ل بهین*هرا تضمین کند.
ف*ازی مجموع*ه تئ*وری برپای*ه وی*ژگی انتخ*اب تکنی*ک کمی تع*داد پیشنهاد شده است.
شبکه ه*ای عص*بی خودش*ان ث*ابت ک*رده ان*د ک*ه اب*زار ق*وی در س*طحم*تن*وعی *ا*ز کارب*رده*ای ت*ش*خیص *ال*گ*و هس*تند.*)اگ*ر تع*داد *ویژگیه*ا کم
باشد(
ت*رکیب توان*ایی ه*ای عص*بی ی*ادگیریشبکه اس*تخراج , فراین*دهای ر*ا در* طول *یادگی*ری دارندطب*قه ب*ندی و انت*خ*اب ویژگی* , و*ی*ژگی
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 6
«روش های انتخاب ویژگی»
تقسیم و غلبه -1
انتخاب ترتیبی پیش رونده و -2
عقب گرد
انتخاب ترتیبی پیش رونده -3
شناور
انتخاب ویژگی بر پایه تئوری -4
مجموعه فازی
-ادامه. مقدمه1
انتخ*اب وی*ژگی ب*ا ش*بکه ه*ای عص*بی می توان*د ب*ه ی*کحالت خاص از هرس معماری تصور شود.
ب*ر مبت*نی معم*وال وی*ژگی انتخ*اب انتخ*اب فراین*د ب*ه Saliency)برجس*ته منج*ر ک*ه اس*ت ح*ذف (
می شود.ویژگیهای غیرمرتبط
از آنج*ا ک*ه بیش*تر فراین*دها، برجس*تگی وی*ژگی ه*ا را این کنن*د می محاس*به ی*ادگیری فراین*د ط*ول در
ب*ه وابس*ته ب*ه الگ*وریتم ه*ای ی*ادگیری ویژگیه*ا ش*دیدا کاربرده شده دارند.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 7
ن>رون خ>روجی )jسیگنال خ>روجی الی>ه در ام L :ام(
خروجی در الیهq :
سطح فعال سازی نرون:
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 8
ل گنا
سیی
وجخر
J ن
رون ن
میا
ه الی
ر د
q
وزن اتصالی از نرون i( ام در الیه
q-1 به )q ام در الیه jنرون
.شبکه عصبی استفاده شده 2
. تکنیک های رقابتی انتخاب 3ویژگی
ب*ا این مقال*ه معی*ار دیگ*ر مقایس*ه ش*ده 5معی*ار مع*رفی ش*ده در است.
عبارتند از: معیار 5این( انتخ*اب وی*ژگی ش*بکه عص*بیNNFSب*ر اس*اس ح*ذف وزنه*ای الی*ه ورودی: )
معی*ار برجس*تگی وی*ژگی وزن-مبن*ا)تک*نیکی ب*ر اس*اس نس*بت س*یگنال ب*ه ((SNRنویز )
معی*ار برجس*تگی وی*ژگی ب*ر اس*اس حساس*یت خ*روجی شبکه عصبی
آنتروپی فازی
ن*یز این مقال*ه ارائ*ه ش*ده در تحلی*ل تفکی*ک کنن*ده )معی*اری ک*ه در روش استفاده شده است(.
در ادامه هر کدام را بیشتر توضیح می دهیم
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 9
انتخاب کننده ویژگی شبکه 3.1( NNFSعصبی)
تفاوت یا بالاستفاده ویژگیهای غیر مرتبط نسبت به ویژگیهای مرتبط بایدزیادی داشته باشندوزنی
– انتخاب ویژگی بر مبنای واکنش خطای طبقه بندی مجموعه داده ارزیابی( به حذف ویژگی های تکی انجام می گیردCross-Validationبینابینی )
عبارت دوم ازR1(w) است، فقط وزنهای ورودی به بخش تنزل وزن دقیقا
الیه مخفی را در نظر می گیرد. وزنهای متصل به ویژگیهای بی اهمیت باید در طول یادگیری به سمت مقدار نزدیک صفر میل کنند.
اولین بخش از تابعR1(w) معیاری از شمارش کل وزنهای می تواند به عنواندر شبکه باشد. غیر صفر
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 10
انتخاب کننده ویژگی شبکه 3.1 - ادامه( NNFSعصبی)
یک الگ*وریتم ت*نزل وزن س*اده س*عی در ب*ه دس*ت آوردن وزنه*ای کوچک*تردارد.
اش*تقاقهای و ه*ا ن*رون ب*ه کوچک*تر ورودی ب*ه منج*ر کوچک*تر وزنه*ای بن*ابرابن خ*روجی ب*ه اف*زایش ورودی حس*اس س*یگموید بزرگ*تر می ش*ود
است.
حض*ور دارن*د م*ا تف*اوت زی*ادی بین دقت طبق*ه هم*ه ویژگیه*ادر ح*التی ک*ه بن*دی ب*ه دس*ت آم*ده ب*رای مجموع*ه ه*ای آموزش*ی و تس*ت مش*اهده می
کنیم.
ب*ه دس*ت آم*ده ب*ه این نکت*ه تاکی*د کم*تر ش*دن دقت ب*رای مجموع*ه تس*تاست.حساسیت خروجی به تغییرات ورودی باال دارد که
کم ب*ودن حساس*یت خ*روجی نس*بت ب*ه به منظ*ور طبق*ه بن*دی م*ا نی*از ب*هداریم. از این رو ب*ه ج*ای مح*دودیت وزنه*ای الی*ه ورودی از تغی*یرات ورودی
این ب*ا ک*نیم. اس*تفاده نرونه*ا انتق*ال تابعه*ای اش*تقاقهای مح*دودیت مح*دودیت اش*تقاقها می ت*وانیم نرونونه*ا را مجب*ور ک*نیم ک*ه ب*ا ناحی*ه ه*ای
اشباع کار کنند.
ب*ا حساس*یت کم خ*روجی بن*ابراین ب*ه ورودی مق*ادیر نس*بتا ب*زرگ نس*بت حاصل می شود.وزنها
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 11
(SNR) نسبت سیگنال به نویز3.2
معیاره*ای برجس*تگی وی*ژگی در انتخ*اب وی*ژگی ب*رمبنای شبکه عصبی
شبکه عصبیحساسیت خروجی یا وزن مبتنی بر
مطل*ق ق*در مق*ادیر مهم ویژگیه*ای ب*ه متص*ل وزنه*ای ب*زرگ، در ح*الی ک*ه وزن ه*ای متص*ل ب*ه وی*ژگی ه*ای بی اهمیت مق*ادیر خیلی کوچ*ک و احتم*اال نزدی*ک ص*فر را ب*ه
دست آوردند.
SNR برمقایس>ه مبت>نی وی>ژگی )برجس>>تگی(وزن کاندیدا و ویژگی نویز
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 12
- ادامه(SNR نسبت سیگنال به نویز)3.2
SNR:در پاسخ به محدودیتهای زیر ایجاد شده است
تع*داد توان*د نمی تنه*ایی ب*ه برجس*تگی معی*ار یک ویژگی های کاندید مورد استفاده را نشان دهد
تع*داد ویژگیه*ایی ک*ه بای*د انتخ*اب ش*وند نش*ان داد ک*هدر هنگ*ام ح*ذف ی*ک وی*ژگی ک*اهش قاب*ل مالحظ*ه ی بن*دی مجموع*ه داده تس*ت مواج*ه در دقت طبق*ه
می شود.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 13
رتبه بندی ویژگی برمبنای 3.3حساسیت خروجی شبکه عصبی
ابت*دا پرس*پترون چندالی*ه ی*ک مجموع*ه داده را ی*اد می گیرد
ان*دیس کیفیت وی*ژگی(FQIq) ب*رای ه*ر وی*ژگیq محاس*به
می شود
بن*دی می ان*دیس رتب*ه این سپس وی*ژگی ه*ای برحس*ب
شوند
آموزش*ی داده نقط*ه ه*ر می Xiq،ی*ک Xiبرای تعری*ف
شود. ام(q )با صفر کردن ویژگی
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 14
ANN
رتبه بندی ویژگی برمبنای 3.3-ادامهحساسیت خروجی شبکه عصبی
اگر ویژگی q یک ویژگی بی اهمیت باشد بردارهای
oiو oiخروجی (q).نباید تفاوت زیادی داشته باشند
( تعریف اندیس کیفیت ویژگیFAQq: به صورت زیر )
اگر اندیس کیفیت بزرگتر نشان دهنده اهمیت بیشترویژگی است.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 15
رتبه بندی بر اساس آنتروپی 3.4فازی
اگرA تعریف شده براساس موضوع یک مجموعه فازی را نشان Aبه xi عضویت از μA(xi)بحث باشد که در آن
می دهد.
از مجموعه فازی آنتروپیA به صورت زیر تعریف می شود
اس*تانداردS-function ک*ردن م*دل ب*رای می ت*وان را μ می توان استفاده کرد.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 16
رتبه بندی بر اساس آنتروپی 3.4-ادامهفازی
کالسCj ی*ک عن*وان ب*ه ف*ازی و مجموع*ه می ش*ود مط*رح
ام ر*ا می ت*وان محاس*به کرد.qاز کالس ب*رای وی*ژگی* Hqjآن*تر*وپی
اگ*ر ب*ه ادغ*ام کالس ه*ایCj و Ck ب*پردازیم در ص*ورت اف*زایش
امین qب*را*ی کالس*تر ه*ای ادغ*ام* ش*ده* ، ق*در*ت تفکی*ک Hqjkم*ق*دار
و*یژگی *کاهش می *یابد.
ب*رای بیش*تر نق*اط داده وی*ژگی خ*وب برای ی*کμ(xq) ≈ 0 or 1
خواهد بود.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 17
رتبه بندی بر اساس آنتروپی 3.4-ادامهفازی
.(اندیس سراسری ارزیابی ویژگیOFEI ) :
آن در ک*ه Qکه ش*د ف*رض کالس هاس*ت. تع*داد نش*ان دهن*ده وی*ژگی به*تر OFEIمق*دارپایین ت*ر از
است.
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 18
رتبه بندی ویژگی براساس تحلیل 3.5تفکیکی
: تابع معی*ار ب*رای رتب*ه بن*دی وی*ژگیpj احتم*ال رخ*داد ام است.jکالس
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 19
. روش پیشنهادی4
1از بسط قانون خطای معادله
م*یزان وزن و مش*تق وابس*ته ب*هحساس*یت خ*روجی الی*ه نوده*ای و مخفی الی*ه نوده*ای انتق*ال ت*ابع
است.خروجی
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 20
- ادامه. روش پیشنهادی 4
مش**تق ب**رای حساس**یت، آوردن پ**ایین برای محدودیت قرار می دهیم،
را کمین*ه ک*رده و ش*بکه آنتروپی-عرض*ی تابع خط*ای عصبی را با آن آموزش می دهیم :
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 21
رویه انتخاب ویژگی4.1
Lتولید وزن اولیه تصادفی برای هریک از یال ها. برای هر کدام از1( j = 1, … , L تکرار می شود.8-2شبکه عصبی مراحل
مجموعه داده ای موجود را به صورت تصادفی به سه قسمت تقسیم 2(می کنیم
آموزشیCross-validationآزمایشی
و تغییر 15آموزش شبکه عصبی با استفاده از کمینه کردن فرمول 3( حاصل شود.Cross-validationوزن ها تاجائی که کمترین خطای
ATjمحاسبه دقت طبقه بندی 4(
ویژگی ای که کمترین کاهش دقت طبقه بندی در هنگام حذف آن در 5( بدست می آید را مشخص کنید .testمجموعه داده
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 22
- ادامه رویه انتخاب ویژگی 4.1
را حذف کنید.5ویژگی بدست آمده در مرحله 6(
: تعداد ویژگی های فعلی(.M )3 برو به مرحله M>1اگر 7(
که با ATjرتبه بندی ویژگی های بدست آمده و دقت طبقه بندی 8(حضور تمام ویژگی ها حاصل شده است را ثبت می کنیم.
Lرا با میانگین گیری از نتایج Tرتبه بندی ویژگی ها و دقت 9(اجرا محاسبه می کنیم.
حذف ویژگی که برحسب رتبه بندی به دست آمده دارای کم 10( را اجرا 3ترین برجستگی باشد و سپس فقط مرحله
کن)یعنی شبکه را با ویژگی های موجود آموزش بده(
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 23
- ادامه رویه انتخاب ویژگی 4.1
( و 4 )همان کار مرحله testمحاسبه دقت طبقه بندی 11(محاسبه کن. T∆( را نسبت به Aاختالف دقت )
پارامتری A0) ∆10باشد برو به مرحله A<∆A0اگر ∆12(قابل تنظیم است(
تمام ویژگی های باقیمانده و آخرین ویژگی حذف 13(شده را نگه دار.
آموزش مجدد شبکه با مجموعه جدید از ویژگی ها.14(
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 24
. آزمایشات تجربی و پارامترها5
بار و با 30در تمام آزمایشات، ما آزمایش را مقادیر مختلف وزن اولیه و تقسیم بندی مختلف
مجموعه داده ها اجرا کردیم.
چهار پارامتر برای تنظیم وجود دارد.1α1 ثابت :
.2α2 ثابت :
.3L به عنوان تعداد شبکه ها :
.4∆A0 : پارامتر مقدار کاهش قابل قبول در دقتطبه بندی در هنگام حذف یک ویژگی
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 25
پخششایع ه درشبکه های اجتماعی
مجموعه داده ای مورد استفاده
،داده های یادگیریcross-validation( و آزمایشی Dl, Dv, Dt)
مجموعه داده ای از طریق راه حل زیر نرمالمی شود:
محاسبه می میانگین و واریانس مجموعهشود
سپس از طریقxn=(x-)/δ داده های Dl، Dv، Dt نرمال می شوند.
40/ 26
WAVE-FORM مشکل شناسائی 5.2
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 27
مجموعه داده های واقعی5.2
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 28
مسئله سوابق رای گیری کنگره ایاالت متحده
مشکل تشخیص دیابت
مشکل تشخیص سرطان
تقسیم بندی نوع رای (435داده ها) هدف
نمونه 197آزمایشی
-cross نمونه 21vali.
نمونه 217آزمایشی
موافقمخالفممتنع
دموکرات 267 جمهوری 167
خواه
تشخیص وابستگی سیاسی هر عضو
تقسیم بندی (768داده ها) مورد(8ویژگی) هدف
نمونه 345آموزشی
-cross نمونه 39vali.
نمونه 384آزمایشی
سن، سابقه دیابت خانواده، فشار خون،غلظت
گلوکز...
مورد دیابت 500دارند
مورد دیابت 268ندارند
تشخیص درست دیابت
تقسیم بندی (699داده ها) مورد(9ویژگی) هدف
نمونه 315آموزشی
-cross نمونه 35vali.
نمونه 349آزمایشی
clump thickness، uniformity of cell size، bare nuclei
مورد خوش 458خیم
مورد بدخیم241
تشخیص درست سرطان
نتایج آزمایشات5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 29
مص*نوعی داده ای مجموع*ه م*ا wave-formبرای ت*ا ک*ردیم آزم*ایش را مختل*ف تکنیک ه*ای توان*ائی ک*ه دیگ*ر ویژگی ه*ای می*ان از را ن*ویز ویژگی ه*ای
توسط نویز فاسد شدند مشخص کند.
-ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 30
-ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 31
هم مس*ئله س*وابق رای گ*یری کنگ*ره ای*االت متح*ده ی*ک ک*ار آس*ان از نظ*ر انتخ*اب وی*ژگی اس*ت ب*ه این
( تقریب*ا ق*درت 4خ*اطر ک*ه یکی از وی*ژگی ه*ا)وی*ژگی تمایزی معادل با تمام ویژگی ها را داراست.
-ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 32
تکنی*ک از ک*ه وی*ژگی بن*دی رتب*ه بدس*ت FQIنت*ایج آم*ده خیلی ب*ه مق*دار دهی اولی*ه ش*بکه و ج*زء بن*دی
( ه**ای مجموع**ه ب**ه داده و Trainingمجموع**ه )(Crossvalidation( و )Testبستگی دارد )
- ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 33
مت*د مع*رفی ش*ده در این مقال*ه 4با توج*ه ب*ه ج*دول ب*ه بیش*ترین م*یزان ص*حت دس*ته بن*دی روی مجموع*ه
داده دست یافته است.
ه*ای تکنی*ک بن*دی نت*ایج دس*ته آوردن بدس*ت برای OFEI و FQI وی*ژگی ب*ه عن*وان نت*ایج حاص*ل از 2 از
متد خود استفاده شد.
-ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 34
مساله اما University of Wisconsin breast و cancer
ب*ا اج*رای انج*ام ش*ده، تکنی*ک م*ا نتیج*ه 30در تم*ام وی*ژگی بای*د ب*رای ح*ل مس*اله انتخ*اب 2گ*رفت ک*ه
شود.
- ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 35
تکنی*کFQI و OFEI و SNR 2 ی*ک زی*ر مجموع*ه از 1و6وی*ژگی ه*ا را یکی انتخ*اب می کنن*د ک*ه آن هم
است. تکنی*ک مع*رفی ش*ده در این مقال*ه و روشDA ی*ک
زی*ر 3و6انتخ*اب مش*ابه ش*امل ی*ک ک*ه زم*انی را ویژگی نیاز باشد انتخاب می کند.2مجموعه از
- ادامه نتایج آزمایشات 5.3
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 36
نت*ایج انتخ*اب وی*ژگی ک*ه از تکنی*کFQI حاص*ل ش*ده ب*ه ش*دت بس*تگی ب*ه انتخ*اب تص*ادفی مق*دار اولی*ه
شبکه و مجموعه آموزشی دارد.
زی*ر ک*ه کن*د می مش*خص آم*ده بدس*ت نت*ایج تقریب*ا دارای 1و6 و همینط*ور 3و6مجموع*ه وی*ژگی
قدرت تفکیک برابری دارند
-K تست برای روش دسته بندی 5.4NN
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 37
را ه*ای وی*ژگی از مجموع*ه زی*ر ی*ک روش چن*د انتخاب کردند.
مرتبه30آزمایش را جزء بن*دی ه*ای تص*ادفی مجموع*ه داده ب*ه قس*مت ه*ای
Training و Test .اجرا می کنیم
زم*انی ک*ه ن*رخ دس*ته بن*دی ص*حیح روی قس*مت دادهTest:محاسبه می شود
قس*مت از ه*ا همس*ایه ت*رین ه*ا Trainingنزدی*ک داده انتخاب می شوند.
-K تست برای روش دسته بندی 5.4NN ادامه -
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 38
پیشنهاد های گروه
وα1- پارامتره*ای α2 را می ت*وان ب*ا الگ*وریتم ژنتی*ک تع*یین
کنیم
ب*ا را اهمیت هس*تند دارای کم*ترین ویژگیه*ایی ک*ه ابت*دا -
ا*لگ*وری*تم ه*ای *موج*ود *ح*ذف *س*پس *ب*ا ا*لگ*وری*تم پیش*نهادی
این* الگوریتم ویژ*گیهای برجسته* را تعی*ین می ده*یم
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 39
گزینش
ویژگی با
استفاده از شبکه
عصبی
40/ 40
با تشکر از توجهشما...