گزینش ویژگی با استفاده از شبکه های عصبی

گزینش ویژگی با استفاده از

شبکه های عصبی

ارائه از: محسن رمضانی-علی امیریان-

میکائیل اونق

University of Kurdistan – Engineering Department

University

Of

Kurdistan

Spring 2012

استاد: دکتر شیخ اسماعیلی

مشخصات مقاله مورد بحث

40/ 2

رئوس مطالب

مقدمه

شبکه عصبی استفاده شده

تکنیکهای انتخاب ویژگی

روش پیشنهادی

آزمایشات تجربی

گزینش

ویژگی با

استفاده از شبکه

عصبی

40/ 3

. مقدمه1

الگ*و مس*اله مراح*ل تش*خیص ب*ه س*نتی ط*ور ب*ه استخراج ویژگی و طبقه بندی تقسیم می شود.

پی*دا ک*ردن ی*ک نگاش*ت را اس*تخراج وی*ژگی قص*د دارد ک*ه ابع*اد الگوه*ایی ک*ه بای*د طبق*ه بن*دی ش*ود را

کاهش دهد.

با جم*ع آوری وی*ژگی ه*ای مرتب*ط و ح*ذف ویژگیه*ایبع*دی، ه*ای داده آوری جم*ع هزین*ه مرتب*ط غ*یر

ممکن است کاهش یابد.

گزینش

ویژگی با


عصبی

40/ 4

– ادامه . مقدمه 1

ش*ده اس*تفاده ه*ای وی*ژگی تع*داد رش*د با تع*داد مثا*له*ای *آموزش*ی نی*از ب*ه رش*د نم*ایی

دارند

ب*ه نی*از عملی کاربرده*ای از بس*یاری در د*اریم* داده اب*عاد Dimensionality)کاهش

Reduction.)

( تحلی*ل مولف*ه اص*لیPCA ) تحلی*ل تفکی*ک وخطی اس*تخراج کنن*ده عم*ومی تکنی*ک* دو*

ویژ*گی هستند.

ب*ا را داده ابع*اد دارن*د ه*ا س*عی تکنی*ک این ای*ج*اد و*ی*ژگی ه*ای* ج*دی*د*ی ک*ه ت*رکیب خطی

از* وی*ژگ*ی ه*ای *اولی*ه هس*تند را ک*اهش دهند.

ز ا

هاد

فست

ابا

ی ژگ

ویش

ینزگ

یصب

عه

کشب

40/ 5

– ادامه . مقدمه1

ی*ک مس*اله س*خت است. انتخ*اب وی*ژگی به ط*ور کلی

در ح*الت کلی فق*ط ی*ک جس*تجوی ج*امع می توان*د ی*ک راه ح*ل بهین*هرا تضمین کند.

ف*ازی مجموع*ه تئ*وری برپای*ه وی*ژگی انتخ*اب تکنی*ک کمی تع*داد پیشنهاد شده است.

شبکه ه*ای عص*بی خودش*ان ث*ابت ک*رده ان*د ک*ه اب*زار ق*وی در س*طحم*تن*وعی *ا*ز کارب*رده*ای ت*ش*خیص *ال*گ*و هس*تند.*)اگ*ر تع*داد *ویژگیه*ا کم

باشد(

ت*رکیب توان*ایی ه*ای عص*بی ی*ادگیریشبکه اس*تخراج , فراین*دهای ر*ا در* طول *یادگی*ری دارندطب*قه ب*ندی و انت*خ*اب ویژگی* , و*ی*ژگی

گزینش

ویژگی با


عصبی

40/ 6

«روش های انتخاب ویژگی»

تقسیم و غلبه -1

انتخاب ترتیبی پیش رونده و -2

عقب گرد

انتخاب ترتیبی پیش رونده -3

شناور

انتخاب ویژگی بر پایه تئوری -4

مجموعه فازی

-ادامه. مقدمه1

انتخ*اب وی*ژگی ب*ا ش*بکه ه*ای عص*بی می توان*د ب*ه ی*کحالت خاص از هرس معماری تصور شود.

ب*ر مبت*نی معم*وال وی*ژگی انتخ*اب انتخ*اب فراین*د ب*ه Saliency)برجس*ته منج*ر ک*ه اس*ت ح*ذف (

می شود.ویژگیهای غیرمرتبط

از آنج*ا ک*ه بیش*تر فراین*دها، برجس*تگی وی*ژگی ه*ا را این کنن*د می محاس*به ی*ادگیری فراین*د ط*ول در

ب*ه وابس*ته ب*ه الگ*وریتم ه*ای ی*ادگیری ویژگیه*ا ش*دیدا کاربرده شده دارند.

گزینش

ویژگی با


عصبی

40/ 7

ن>رون خ>روجی )jسیگنال خ>روجی الی>ه در ام L :ام(

خروجی در الیهq :

سطح فعال سازی نرون:

گزینش

ویژگی با


عصبی

40/ 8

ل گنا

سیی

وجخر

J ن

رون ن

میا

ه الی

ر د

q

وزن اتصالی از نرون i( ام در الیه

q-1 به )q ام در الیه jنرون

.شبکه عصبی استفاده شده 2

. تکنیک های رقابتی انتخاب 3ویژگی

ب*ا این مقال*ه معی*ار دیگ*ر مقایس*ه ش*ده 5معی*ار مع*رفی ش*ده در است.

عبارتند از: معیار 5این( انتخ*اب وی*ژگی ش*بکه عص*بیNNFSب*ر اس*اس ح*ذف وزنه*ای الی*ه ورودی: )

معی*ار برجس*تگی وی*ژگی وزن-مبن*ا)تک*نیکی ب*ر اس*اس نس*بت س*یگنال ب*ه ((SNRنویز )

معی*ار برجس*تگی وی*ژگی ب*ر اس*اس حساس*یت خ*روجی شبکه عصبی

آنتروپی فازی

ن*یز این مقال*ه ارائ*ه ش*ده در تحلی*ل تفکی*ک کنن*ده )معی*اری ک*ه در روش استفاده شده است(.

در ادامه هر کدام را بیشتر توضیح می دهیم

گزینش

ویژگی با


عصبی

40/ 9

انتخاب کننده ویژگی شبکه 3.1( NNFSعصبی)

تفاوت یا بالاستفاده ویژگیهای غیر مرتبط نسبت به ویژگیهای مرتبط بایدزیادی داشته باشندوزنی

– انتخاب ویژگی بر مبنای واکنش خطای طبقه بندی مجموعه داده ارزیابی( به حذف ویژگی های تکی انجام می گیردCross-Validationبینابینی )

عبارت دوم ازR1(w) است، فقط وزنهای ورودی به بخش تنزل وزن دقیقا

الیه مخفی را در نظر می گیرد. وزنهای متصل به ویژگیهای بی اهمیت باید در طول یادگیری به سمت مقدار نزدیک صفر میل کنند.

اولین بخش از تابعR1(w) معیاری از شمارش کل وزنهای می تواند به عنواندر شبکه باشد. غیر صفر

گزینش

ویژگی با


عصبی

40/ 10

انتخاب کننده ویژگی شبکه 3.1 - ادامه( NNFSعصبی)

یک الگ*وریتم ت*نزل وزن س*اده س*عی در ب*ه دس*ت آوردن وزنه*ای کوچک*تردارد.

اش*تقاقهای و ه*ا ن*رون ب*ه کوچک*تر ورودی ب*ه منج*ر کوچک*تر وزنه*ای بن*ابرابن خ*روجی ب*ه اف*زایش ورودی حس*اس س*یگموید بزرگ*تر می ش*ود

است.

حض*ور دارن*د م*ا تف*اوت زی*ادی بین دقت طبق*ه هم*ه ویژگیه*ادر ح*التی ک*ه بن*دی ب*ه دس*ت آم*ده ب*رای مجموع*ه ه*ای آموزش*ی و تس*ت مش*اهده می

کنیم.

ب*ه دس*ت آم*ده ب*ه این نکت*ه تاکی*د کم*تر ش*دن دقت ب*رای مجموع*ه تس*تاست.حساسیت خروجی به تغییرات ورودی باال دارد که

کم ب*ودن حساس*یت خ*روجی نس*بت ب*ه به منظ*ور طبق*ه بن*دی م*ا نی*از ب*هداریم. از این رو ب*ه ج*ای مح*دودیت وزنه*ای الی*ه ورودی از تغی*یرات ورودی

این ب*ا ک*نیم. اس*تفاده نرونه*ا انتق*ال تابعه*ای اش*تقاقهای مح*دودیت مح*دودیت اش*تقاقها می ت*وانیم نرونونه*ا را مجب*ور ک*نیم ک*ه ب*ا ناحی*ه ه*ای

اشباع کار کنند.

ب*ا حساس*یت کم خ*روجی بن*ابراین ب*ه ورودی مق*ادیر نس*بتا ب*زرگ نس*بت حاصل می شود.وزنها

گزینش

ویژگی با


عصبی

40/ 11

(SNR) نسبت سیگنال به نویز3.2

معیاره*ای برجس*تگی وی*ژگی در انتخ*اب وی*ژگی ب*رمبنای شبکه عصبی

شبکه عصبیحساسیت خروجی یا وزن مبتنی بر

مطل*ق ق*در مق*ادیر مهم ویژگیه*ای ب*ه متص*ل وزنه*ای ب*زرگ، در ح*الی ک*ه وزن ه*ای متص*ل ب*ه وی*ژگی ه*ای بی اهمیت مق*ادیر خیلی کوچ*ک و احتم*اال نزدی*ک ص*فر را ب*ه

دست آوردند.

SNR برمقایس>ه مبت>نی وی>ژگی )برجس>>تگی(وزن کاندیدا و ویژگی نویز

گزینش

ویژگی با


عصبی

40/ 12

- ادامه(SNR نسبت سیگنال به نویز)3.2

SNR:در پاسخ به محدودیتهای زیر ایجاد شده است

تع*داد توان*د نمی تنه*ایی ب*ه برجس*تگی معی*ار یک ویژگی های کاندید مورد استفاده را نشان دهد

تع*داد ویژگیه*ایی ک*ه بای*د انتخ*اب ش*وند نش*ان داد ک*هدر هنگ*ام ح*ذف ی*ک وی*ژگی ک*اهش قاب*ل مالحظ*ه ی بن*دی مجموع*ه داده تس*ت مواج*ه در دقت طبق*ه

می شود.

گزینش

ویژگی با


عصبی

40/ 13

رتبه بندی ویژگی برمبنای 3.3حساسیت خروجی شبکه عصبی

ابت*دا پرس*پترون چندالی*ه ی*ک مجموع*ه داده را ی*اد می گیرد

ان*دیس کیفیت وی*ژگی(FQIq) ب*رای ه*ر وی*ژگیq محاس*به

می شود

بن*دی می ان*دیس رتب*ه این سپس وی*ژگی ه*ای برحس*ب

شوند

آموزش*ی داده نقط*ه ه*ر می Xiq،ی*ک Xiبرای تعری*ف

شود. ام(q )با صفر کردن ویژگی

گزینش

ویژگی با


عصبی

40/ 14

ANN

رتبه بندی ویژگی برمبنای 3.3-ادامهحساسیت خروجی شبکه عصبی

اگر ویژگی q یک ویژگی بی اهمیت باشد بردارهای

oiو oiخروجی (q).نباید تفاوت زیادی داشته باشند

( تعریف اندیس کیفیت ویژگیFAQq: به صورت زیر )

اگر اندیس کیفیت بزرگتر نشان دهنده اهمیت بیشترویژگی است.

گزینش

ویژگی با


عصبی

40/ 15

رتبه بندی بر اساس آنتروپی 3.4فازی

اگرA تعریف شده براساس موضوع یک مجموعه فازی را نشان Aبه xi عضویت از μA(xi)بحث باشد که در آن

می دهد.

از مجموعه فازی آنتروپیA به صورت زیر تعریف می شود

اس*تانداردS-function ک*ردن م*دل ب*رای می ت*وان را μ می توان استفاده کرد.

گزینش

ویژگی با


عصبی

40/ 16

رتبه بندی بر اساس آنتروپی 3.4-ادامهفازی

کالسCj ی*ک عن*وان ب*ه ف*ازی و مجموع*ه می ش*ود مط*رح

ام ر*ا می ت*وان محاس*به کرد.qاز کالس ب*رای وی*ژگی* Hqjآن*تر*وپی

اگ*ر ب*ه ادغ*ام کالس ه*ایCj و Ck ب*پردازیم در ص*ورت اف*زایش

امین qب*را*ی کالس*تر ه*ای ادغ*ام* ش*ده* ، ق*در*ت تفکی*ک Hqjkم*ق*دار

و*یژگی *کاهش می *یابد.

ب*رای بیش*تر نق*اط داده وی*ژگی خ*وب برای ی*کμ(xq) ≈ 0 or 1

خواهد بود.

گزینش

ویژگی با


عصبی

40/ 17

رتبه بندی بر اساس آنتروپی 3.4-ادامهفازی

.(اندیس سراسری ارزیابی ویژگیOFEI ) :

آن در ک*ه Qکه ش*د ف*رض کالس هاس*ت. تع*داد نش*ان دهن*ده وی*ژگی به*تر OFEIمق*دارپایین ت*ر از

است.

گزینش

ویژگی با


عصبی

40/ 18

رتبه بندی ویژگی براساس تحلیل 3.5تفکیکی

: تابع معی*ار ب*رای رتب*ه بن*دی وی*ژگیpj احتم*ال رخ*داد ام است.jکالس

گزینش

ویژگی با


عصبی

40/ 19

. روش پیشنهادی4

1از بسط قانون خطای معادله

م*یزان وزن و مش*تق وابس*ته ب*هحساس*یت خ*روجی الی*ه نوده*ای و مخفی الی*ه نوده*ای انتق*ال ت*ابع

است.خروجی

گزینش

ویژگی با


عصبی

40/ 20

- ادامه. روش پیشنهادی 4

مش**تق ب**رای حساس**یت، آوردن پ**ایین برای محدودیت قرار می دهیم،

را کمین*ه ک*رده و ش*بکه آنتروپی-عرض*ی تابع خط*ای عصبی را با آن آموزش می دهیم :

گزینش

ویژگی با


عصبی

40/ 21

رویه انتخاب ویژگی4.1

Lتولید وزن اولیه تصادفی برای هریک از یال ها. برای هر کدام از1( j = 1, … , L تکرار می شود.8-2شبکه عصبی مراحل

مجموعه داده ای موجود را به صورت تصادفی به سه قسمت تقسیم 2(می کنیم

آموزشیCross-validationآزمایشی

و تغییر 15آموزش شبکه عصبی با استفاده از کمینه کردن فرمول 3( حاصل شود.Cross-validationوزن ها تاجائی که کمترین خطای

ATjمحاسبه دقت طبقه بندی 4(

ویژگی ای که کمترین کاهش دقت طبقه بندی در هنگام حذف آن در 5( بدست می آید را مشخص کنید .testمجموعه داده

گزینش

ویژگی با


عصبی

40/ 22

- ادامه رویه انتخاب ویژگی 4.1

را حذف کنید.5ویژگی بدست آمده در مرحله 6(

: تعداد ویژگی های فعلی(.M )3 برو به مرحله M>1اگر 7(

که با ATjرتبه بندی ویژگی های بدست آمده و دقت طبقه بندی 8(حضور تمام ویژگی ها حاصل شده است را ثبت می کنیم.

Lرا با میانگین گیری از نتایج Tرتبه بندی ویژگی ها و دقت 9(اجرا محاسبه می کنیم.

حذف ویژگی که برحسب رتبه بندی به دست آمده دارای کم 10( را اجرا 3ترین برجستگی باشد و سپس فقط مرحله

کن)یعنی شبکه را با ویژگی های موجود آموزش بده(

گزینش

ویژگی با


عصبی

40/ 23

- ادامه رویه انتخاب ویژگی 4.1

( و 4 )همان کار مرحله testمحاسبه دقت طبقه بندی 11(محاسبه کن. T∆( را نسبت به Aاختالف دقت )

پارامتری A0) ∆10باشد برو به مرحله A<∆A0اگر ∆12(قابل تنظیم است(

تمام ویژگی های باقیمانده و آخرین ویژگی حذف 13(شده را نگه دار.

آموزش مجدد شبکه با مجموعه جدید از ویژگی ها.14(

گزینش

ویژگی با


عصبی

40/ 24

. آزمایشات تجربی و پارامترها5

بار و با 30در تمام آزمایشات، ما آزمایش را مقادیر مختلف وزن اولیه و تقسیم بندی مختلف

مجموعه داده ها اجرا کردیم.

چهار پارامتر برای تنظیم وجود دارد.1α1 ثابت :

.2α2 ثابت :

.3L به عنوان تعداد شبکه ها :

.4∆A0 : پارامتر مقدار کاهش قابل قبول در دقتطبه بندی در هنگام حذف یک ویژگی

گزینش

ویژگی با


عصبی

40/ 25

پخششایع ه درشبکه های اجتماعی

مجموعه داده ای مورد استفاده

،داده های یادگیریcross-validation( و آزمایشی Dl, Dv, Dt)

مجموعه داده ای از طریق راه حل زیر نرمالمی شود:

محاسبه می میانگین و واریانس مجموعهشود

سپس از طریقxn=(x-)/δ داده های Dl، Dv، Dt نرمال می شوند.

40/ 26

WAVE-FORM مشکل شناسائی 5.2

گزینش

ویژگی با


عصبی

40/ 27

مجموعه داده های واقعی5.2

گزینش

ویژگی با


عصبی

40/ 28

مسئله سوابق رای گیری کنگره ایاالت متحده

مشکل تشخیص دیابت

مشکل تشخیص سرطان

تقسیم بندی نوع رای (435داده ها) هدف

نمونه 197آزمایشی

-cross نمونه 21vali.


موافقمخالفممتنع

دموکرات 267 جمهوری 167

خواه

تشخیص وابستگی سیاسی هر عضو

تقسیم بندی (768داده ها) مورد(8ویژگی) هدف

نمونه 345آموزشی



سن، سابقه دیابت خانواده، فشار خون،غلظت

گلوکز...

مورد دیابت 500دارند

مورد دیابت 268ندارند

تشخیص درست دیابت

تقسیم بندی (699داده ها) مورد(9ویژگی) هدف

نمونه 315آموزشی



clump thickness، uniformity of cell size، bare nuclei

مورد خوش 458خیم

مورد بدخیم241

تشخیص درست سرطان

نتایج آزمایشات5.3

گزینش

ویژگی با


عصبی

40/ 29

مص*نوعی داده ای مجموع*ه م*ا wave-formبرای ت*ا ک*ردیم آزم*ایش را مختل*ف تکنیک ه*ای توان*ائی ک*ه دیگ*ر ویژگی ه*ای می*ان از را ن*ویز ویژگی ه*ای

توسط نویز فاسد شدند مشخص کند.

-ادامه نتایج آزمایشات 5.3

گزینش

ویژگی با


عصبی

40/ 30


گزینش

ویژگی با


عصبی

40/ 31

هم مس*ئله س*وابق رای گ*یری کنگ*ره ای*االت متح*ده ی*ک ک*ار آس*ان از نظ*ر انتخ*اب وی*ژگی اس*ت ب*ه این

( تقریب*ا ق*درت 4خ*اطر ک*ه یکی از وی*ژگی ه*ا)وی*ژگی تمایزی معادل با تمام ویژگی ها را داراست.


گزینش

ویژگی با


عصبی

40/ 32

تکنی*ک از ک*ه وی*ژگی بن*دی رتب*ه بدس*ت FQIنت*ایج آم*ده خیلی ب*ه مق*دار دهی اولی*ه ش*بکه و ج*زء بن*دی

( ه**ای مجموع**ه ب**ه داده و Trainingمجموع**ه )(Crossvalidation( و )Testبستگی دارد )

- ادامه نتایج آزمایشات 5.3

گزینش

ویژگی با


عصبی

40/ 33

مت*د مع*رفی ش*ده در این مقال*ه 4با توج*ه ب*ه ج*دول ب*ه بیش*ترین م*یزان ص*حت دس*ته بن*دی روی مجموع*ه

داده دست یافته است.

ه*ای تکنی*ک بن*دی نت*ایج دس*ته آوردن بدس*ت برای OFEI و FQI وی*ژگی ب*ه عن*وان نت*ایج حاص*ل از 2 از

متد خود استفاده شد.


گزینش

ویژگی با


عصبی

40/ 34

مساله اما University of Wisconsin breast و cancer

ب*ا اج*رای انج*ام ش*ده، تکنی*ک م*ا نتیج*ه 30در تم*ام وی*ژگی بای*د ب*رای ح*ل مس*اله انتخ*اب 2گ*رفت ک*ه

شود.


گزینش

ویژگی با


عصبی

40/ 35

تکنی*کFQI و OFEI و SNR 2 ی*ک زی*ر مجموع*ه از 1و6وی*ژگی ه*ا را یکی انتخ*اب می کنن*د ک*ه آن هم

است. تکنی*ک مع*رفی ش*ده در این مقال*ه و روشDA ی*ک

زی*ر 3و6انتخ*اب مش*ابه ش*امل ی*ک ک*ه زم*انی را ویژگی نیاز باشد انتخاب می کند.2مجموعه از


گزینش

ویژگی با


عصبی

40/ 36

نت*ایج انتخ*اب وی*ژگی ک*ه از تکنی*کFQI حاص*ل ش*ده ب*ه ش*دت بس*تگی ب*ه انتخ*اب تص*ادفی مق*دار اولی*ه

شبکه و مجموعه آموزشی دارد.

زی*ر ک*ه کن*د می مش*خص آم*ده بدس*ت نت*ایج تقریب*ا دارای 1و6 و همینط*ور 3و6مجموع*ه وی*ژگی

قدرت تفکیک برابری دارند

-K تست برای روش دسته بندی 5.4NN

گزینش

ویژگی با


عصبی

40/ 37

را ه*ای وی*ژگی از مجموع*ه زی*ر ی*ک روش چن*د انتخاب کردند.

مرتبه30آزمایش را جزء بن*دی ه*ای تص*ادفی مجموع*ه داده ب*ه قس*مت ه*ای

Training و Test .اجرا می کنیم

زم*انی ک*ه ن*رخ دس*ته بن*دی ص*حیح روی قس*مت دادهTest:محاسبه می شود

قس*مت از ه*ا همس*ایه ت*رین ه*ا Trainingنزدی*ک داده انتخاب می شوند.

-K تست برای روش دسته بندی 5.4NN ادامه -

گزینش

ویژگی با


عصبی

40/ 38

پیشنهاد های گروه

وα1- پارامتره*ای α2 را می ت*وان ب*ا الگ*وریتم ژنتی*ک تع*یین

کنیم

ب*ا را اهمیت هس*تند دارای کم*ترین ویژگیه*ایی ک*ه ابت*دا -

ا*لگ*وری*تم ه*ای *موج*ود *ح*ذف *س*پس *ب*ا ا*لگ*وری*تم پیش*نهادی

این* الگوریتم ویژ*گیهای برجسته* را تعی*ین می ده*یم

گزینش

ویژگی با


عصبی

40/ 39

گزینش

ویژگی با


عصبی

40/ 40

با تشکر از توجهشما...

گزینش ویژگی با استفاده از شبکه های عصبی

Documents