داده کاوی - تحلیل سبد بازار

51
ام زضؼ : طييثاى تهوين گياي پكت ؾيؿتنيظايط تااب آلاي زكتز گطاهي خؾتا اط خثلي اهيهس اقطفي حايع پاي90

Upload: amir-jebelli

Post on 21-Nov-2014

1.543 views

Category:

Business


5 download

DESCRIPTION

ارایه تجزیه تحلیل سبد بازار در درس سیستم‌های پشتیبانی تصمیم گیری دانشگاه ازاد اسلامی - واحد الکترونیکی استاد: دکتر بازایی ارائه کننده: امیر جبلی پاییز ۹۰

TRANSCRIPT

Page 1: داده کاوی - تحلیل سبد بازار

ؾيؿتن اي پكتيثاى تهوين گيطي: ام زضؼ اؾتاز گطاهي خاب آلاي زكتط تاظايي

اهيط خثلي حاهس اقطفي

90پاييع

Page 2: داده کاوی - تحلیل سبد بازار

همسه

Market Basketهؼازل اگليؿي تحليل ؾثس زاز كاي ػثاضت Analysis يا تدعي تحليل ؾثس تاظاضياتي هي تاقس ك زض ايي اضائ

.ت تطضؾي ايي هضع ذاين پطزاذت

Page 3: داده کاوی - تحلیل سبد بازار

تؼطيف

يک هتس قاذت قس ك تحميمات ظيازي ضي آى ادام قس اؾت اي تعضگ ت ت هظض يافتي اضتثاط هياى هتغيط ا زض پايگا زاز

.كاض هي ضز اي لي ت كاض هي ضز ك ايي هتس تطاي تحليل وايف لاػس

.تطاي ايي هظض اظ هؼياض اي خصاتيت هكرهي اؾتفاز هي كس

Page 4: داده کاوی - تحلیل سبد بازار

تؼطيف

ايي اؾت ك زض يکي اظ كاضتطز اي هتسال آى اؾتفاز اظ زازؾپطهاضكت اي تعضگ يا فطقگا ا، زض ذهل ذطيس هكتطياى

اؾت اي قثي ت ايي .شذيط قس :تطاي هثال اؾترطاج لاػس {ؾؽ ذياضقض} <; {اى كالثاؼ}

هؼي ك اگط قرهي اى كالثاؼ ترطز ت احتوال ظيازي تسيي .ؾؽ ذياضقض ن ذاس ذطيس

Page 5: داده کاوی - تحلیل سبد بازار

كاضتطز

يافتي چيي اعالػاتي زض تهوين گيطي زض ذهل فؼاليت ايتاظاضياتي وچى ليوت گصاضي اي تثليغاتي وچيي چيسهاى

هي كس هحهالت زض يک فطقگا تعضگ ت هسيطاى كوک

. تدعي تحليل ؾثس تاظاض زض حال حاظط تؿياض فطاگيط قس اؾت

web usage) زض هضػاتي هثل ب كاي زض ؾاذتاض ؾايتmining) ، تكريم فش وچيي كاضتطز زض ظيؿت قاؾي

.ت كاض هي ضز غى ا هلکلي هغالؼات

Page 6: داده کاوی - تحلیل سبد بازار

خايگا زض زاز كاي

:كاي زاز clustering

classification

regression

association rule learning

summarization

anomaly detection

Page 7: داده کاوی - تحلیل سبد بازار

تؼطيف ضياضي

I={i1, i2, … , in}

ي نفت ززيي هي تاقس ك ها اػضاي ايي n قاهل I هدوػ .هدوػ ضا آيتن ام گصاضي هي كين

D={t1, t2, … , tm }

ي اؾت ك ها ايي هدوػ ضا پايگا تطاكف m قاهل D هدوػ .زاز اهگصاضي هي كين

ط تطاكف زض هدوػ D زاضاي قاهل يک ظيطهدوػ اظ اػضاي ي .هي تاقس )تؼسازي آيتن ( i هدوػ

Page 8: داده کاوی - تحلیل سبد بازار

تؼطيف ضياضي لاػس

لاػس ت نضت x=>y ت عضي ك .كاى زاز هي قز x,y ي .اقتطاكي تان ساضس x,y ؿتس I ظيطهدوػ

X ; همسم ; left hand side = LHS Y ; پي آيس ; right hand side = RHS

Page 9: داده کاوی - تحلیل سبد بازار

هثال تياى هفاين ت تا يک

تطاي قفاف تط قسى هضع يک هثال اظ يک ؾپط هاضكت ضا .تطضؾي هي كين

ي .ت نضت ظيط تاقس I فطو كيس هدوػI={قيسي ,كط ,اى ,قيط}

پايگا زاز ها ت نضت خسل ظيط تاقس ت عضي ك زاضاي همازيط ت هؼي ػسم خز يک كاال زض يک ؾثس 0اؾت ك ۱ 0ززيي .ت هؼي خز آى اؾت ۱ذطيس

Page 10: داده کاوی - تحلیل سبد بازار

تياى هفاين ت تا يک هثال

ػاى هثال يک لاػس زض ايي پايگا زاز هي تاس ت نضت ظيط ت

.تاقس {قيط} <; {كط اى}

ت ايي هؼي ك زض نضتي ك يک هكتطي كط اى ترطز ت احتوال .ظيازي قيط يع ذاس ذطيس

شماره تراکنش شیر نان کره نوشیدنی

0 0 1 1 1

0 1 0 0 2

1 0 0 0 3

0 1 1 1 4

0 0 1 0 5

Page 11: داده کاوی - تحلیل سبد بازار

کت

تخ كيس ك ايي يک هثال كچک تز ك تطاي قفاف قسىهضع اظ آى اؾتفاز كطزين، زض هؿائل ػولياتي تطاي اؾترطاج

يک لاػس ياظ ت چس نس تطاكف قاهل آى لاػس ذاين .زاقت

ت ػال پايگا زاز يع تايس قاهل عاضاى تطاكف تاقس.

Page 12: داده کاوی - تحلیل سبد بازار

كاضتطزي هفاين

تطاي ايک تتاين يک لاػس ضا اظ هياى تؼساز ظيازي لاػسهخز اؾترطاج كين اظ اػوال هحسزيت ايي تط ضي ؾغح هؼي

.زاضي ؾغح توايل اؾتفاز هي كين ي حوايت قاذت قس تطيي ايي هحسزيت ا حسالل آؾتا

( support and confidence) اعوياى اؾت

Page 13: داده کاوی - تحلیل سبد بازار

Support حوايت يا

supp(x) ي هطتط هؼي ؿثت تطاكف ايي زض تX ت هدوػ ي .تاقس x پايگا زاز اؾت ك قاهل هدوػ

ي زاضاي }كط اى قيط{ زض هثالي ك تطضؾي كطزين هدوػ اؾت 0.2يا 1/5 حوايت

آيتن اي زضنس تطاكف ا 20زض يؼيت ػثاضت ؾاز تط .خز زاضز Xهخز زض هدوػ

Page 14: داده کاوی - تحلیل سبد بازار

confidence يا اعوياى

هيعاى اعوياى يک لاػس ت نضت ظيط تياى هي قز. ظيط تطاي هثال زض لاػس

اى قيط } {كط} <; {تؼثيط آى ػثاضت اؾت اظ اؾت 0.5 اعوياى هيعاى :

نسق هي تطاكف ايي ك قاهل قيط اى ؿتس ايي لاػس ٪۵0زض كس

هيعاى اعوياى ت نضت احتوال تياى هي قز يؼي زيگط تؼثيطتضخ چپؾوت ت قطعي ك (RHS) احتوال ضخ زازى ؾوت ضاؾت لاػس

.زس

Page 15: داده کاوی - تحلیل سبد بازار

Lift خصاتيت يا ككف يا

ت نضت ظيط هؼطفي هي قز ت هؼي ؿثت پكتيثاي هكاس قس هي تاقس زض نضتي ك

اي .هؿتمل اظ يکسيگط تاقس x , y هدوػ

Page 16: داده کاوی - تحلیل سبد بازار

Lift يا ككف يا خصاتيت

ي زض هثالي ك هغطح قس ككف لاػس

{كط} <; {قيط اى}اؾت۱.2۵ زاضاي ػسز ككف.

تطاتط تيف اظ اتظاض 1.25 لاػس ايي ت ايي هؼي ك اتفاق افتازى .ها ضخ ذاس زاز

Page 17: داده کاوی - تحلیل سبد بازار

Conviction يا هحسزيت

هيعاى هحسزيت يک لاػس ػثاضت اؾت اظ ؿثت تؼساز زفؼاتياتفاق RHS يا Y ت تايي ضخ هي زس تسى ايک LHS يا X ك

.تيافتس ت نضت ظيط هحاؾث هي قز

ت ػثاضت زيگط هكرم كس تؼساز زفؼاتي اؾت ك لاػس يا

.پيف تيي اقتثاي ضا اضائ هي زس

Page 18: داده کاوی - تحلیل سبد بازار

Conviction يا هحسزيت

لاى

{كط} <; {قيط اى} تيف تطاتط ۱.2 اؾت يؼي ايي لاى 1.2 هيعاى هحسزيت زاضاي

.اظ اتظاض ها پاؾد اقتثاي تليس هي كس

Page 19: داده کاوی - تحلیل سبد بازار

( succinctness )يػگي اذتهاض يک هحسزيت

زض نضتي ك ها تتاين ت ،اؾت يک هحسزيت زاضاي ايي يػگيعض نطيح توام هدوػ آيتن ايي ك زض ايي هحسزيت نسق

هي كس ضا تيؿين تطاي ضقي قسى هضع ت هثال ظيط تخ :كيس

{قاهل ذضاكي ثاقس} ; C هحسزيت

ايي ك هي تاس زض ايي هحسزيت نسق كس ػثاضت ظيط هدوػ :اؾت اظ

{سفى، كفف، زؾتوال كاغصي}

Page 20: داده کاوی - تحلیل سبد بازار

يافتي لاػس

هؼطفي تت تياى ؾاز تا اؾتفاز اظ هفايوي ك تضيح زاز قس .هي پطزاظين لاػس يتياف ضـ

پيسا كطزى لاػس اتؿتگي تايس همساض حوايت اعوياى تطاي

تؾظ كاضتط هكرم قس تاقس ظيطا لاػس اؾترطاج قس اظ پايگا زاز تا ايي ز ػسز همايؿ هي قز زض نضتي ك ط ز

.لثل ذاس تز لاتللاػس يافت قس زس پقفضا

Page 21: داده کاوی - تحلیل سبد بازار

هطاحل يافتي لاػس

اؾتفاز اظ حسالل حوايت هكرم قس تطاي اؾترطاج :هطحل ال آيتن اي تکطاض قس اظ پايگا زاز هدوػ

تا كوک اؾترطاج لايي اظ هدوػ آيتن اي تسؾت آهس :هطحل زم تؾظ كاضتط قس هيعاى اعوياى هكرم

تطاي ادام هطحل ال يؼي يافتي هدوػ آيتن ايي ك تکطاضقس

ايي ك اظ آيتن ا ؾاذت ؿتس تايس زض هياى توام ظيط هدوػ .هي قس خؿتد كين

تطاي ايي هظض الگضيتن اي كاضايي هؼطفي قس اس ك هؼطف تطيي

.هي تاقس Apriori آى الگضيتن

Page 22: داده کاوی - تحلیل سبد بازار

يک کت

تا اخطاي الگضيتن ا تطاي يافتي لاػس زض پايگا زاز ا ت تؼسازظيازي لاػس هيطؾين ك ايي لاػس اعوياى حوايتي ك كاضتط

.هكرم كطز اؾت ضا پقف هي زسكاضقاؾاى ػلن ذطيس هؼتمس ؿتس ك تؿياضي اظ ذطيساي

.تط اؾاؼ ايداز يک پالؽ نضت هي گيطز ،افطاز اي يک تؿت ت ػاى هثال ظهاي ك قوا زض يک فطقگا ظديط

كالثاؼ ضا ذطيساضي هي كيس پؽ اظ آى ت احتوال ظياز ؾؽ، اى .ؾاسيچي، ذياض قض يع ذطزاضي ذايس كطز

Page 23: داده کاوی - تحلیل سبد بازار

تخ

ايي هضع ضا ت ها هي زس ؾط د تدعي تحليل ؾثس تاظاضياتيك هكتطياى زض نضت ذطيس چ هحهلي هحهالت زيگطي ضا

.ذاس ذطيس

Page 24: داده کاوی - تحلیل سبد بازار

)تفاضلي( تدعي تحليل ؾثس تاظاض اذتالفي

يکي اظ تکيک ايي ك كوک ظيازي تطاي تهوين گيطي يافتي اي هرتلف زاضز تدعي ػلت تفات زض ذطيس افطاز اظ فطقگا

.اؾت (تفاضلي)تحليل ؾثس تاظاض اذتالفي

زض ايي ضـ تايح لاػس تسؾت آهس اظ تدعي تحليل ؾثس اي اختواػي هرتلف، اي هرتلف، گط تاظاضياتي زض فطقگا

تا ن همايؿ ...ضظ اي هرتلف فت وچيي فهل ؾال .هي قز

Page 25: داده کاوی - تحلیل سبد بازار

)تفاضلي( تدعي تحليل ؾثس تاظاض اذتالفي

ا خز زاضز زض نضتي ك تثيين يک لاػس زض و فطقگا ا خز ساضز هتخ هي قين ك هضع زض يکي اظ ايي فطقگا

! يا هكکل ذاني زض ايي فطقگا خز زاضز

هوکي اؾت تفات ت زليل هتفات تزى ع هكتطياى يا هکاىخغطافيايي ايي فطقگا تاقس يا حتي ايک اذتالف ت زليل

.تفات ايي زض چيسهاى هحهالت تاقس لغؼا يافتي چيي پاؾد ايي ت ايداز تيف اي خسيس افعايف

.فطـ كوک ذاس كطز

Page 26: داده کاوی - تحلیل سبد بازار

گيطي زيگط زض پيسا كطزى لاػس هؼياض اي اساظ

ػال تط هؼياض اعوياى هؼياض اي زيگطي يع تطاي يافتي لاػس :خز زاضز ك هتسال تطيي آا ػثاضتس اظ

All-confidence

Collective strength

Conviction

Leverage

Lift

هطاخؼ كيس ليک ايي ت تا تطاي آقايي تيكتط.

Page 27: داده کاوی - تحلیل سبد بازار

گيطي زيگط زض پيسا كطزى لاػس هؼياض اي اساظ

تا كيفيت تاالتط لاػسيهؼياض اي خسيسي ك هدط ت ككف يافتي اظ هضػات تحميماتي ضظ زيا اؾت ك تا ػاى يکيقز،

subjective Interestingness هغطح اؾت.

Page 28: داده کاوی - تحلیل سبد بازار

الگضيتن ا

Apriori algorithm قاذت قس تطيي الگضيتن زض ايي ظهي اؾت ك اظ خؿتدي ال ؾغح اؾتفاز

.هي كس Eclat algorithm

اؾتفاز اظ خؿتدي ال ػوك FP-growth algorithm

اؾتفاز اظ زضذت پيكسي تطاي گساضي پايگا زاز زض يک قکل فكطز قس GUHA

اي تيتي اؾتفاز اظ ػوليات ؾطيغ ضقت OPUS search

اي تيد ترف ضا پيسا ياظ ت تؼطيف هحسزيت ايي ظيط حوايت ساضز الگ .هي كس

.اؾتفاز قس اؾت ك تطاي ككف اضتثاعات كاضتطز زاضزMagnum Opus يک طم افعاض ت ام ضز

Page 29: داده کاوی - تحلیل سبد بازار

كاضتطزاي زيگط

اي پعقکي ك لاػس ػوهي ظهاي( قاؾايي تملة زض تيو )هي قز قکؿت

اي تواؼ اي تلفي تحليل الگ

تحليل ذطيس ؾطيؽ اي اضتثاعي

تكريم فش

كاضتطز زض ظيؿت قاؾي هلکلي غى قاؾي

ب كاي (web usage mining)

Page 30: داده کاوی - تحلیل سبد بازار

web usage mining

فطايس اؾترطاج ب پايف تطاي تثز ت ؾاذتاضػثاضت اؾت اظؾطض يا ؾاتم فؼاليت كاضتطاى زض Log اعالػات كاضتطزي اظ فايل اي

.ؾايت هي تاقس زض ايي فطايس اعالػاتي زض ذهل ايک كاضتطاى زض ايتطت ت زثال

.چ هي گطزس ذاين يافت هوکي اؾت تؼضي كاضتطاى ت زثال اعالػات هتي تطذي ت زثال

.تهايط يا فايل اي يسييي تاقس ت كوک پيسا كطزى لاػس اظ ؾاتم فؼاليت كاضتطاى ايي اهکاى تطاي ها

فطان هي قز ك تا ظيط ظط گطفتي الگي ضفتاضي يک كاضتط خسيس زض .ؾايت پيف تيي كين ك ايي كاضتط ت زثال چ ع اعالػاتي اؾت

Page 31: داده کاوی - تحلیل سبد بازار

هثال

ت ػاى هثال زض يک فطقگا ايتطتي هثل آهاظى ؾاتم ذطيس كاضتطاى .شذيط قس اظ ضي ايي ؾاتك الگايي اؾترطاج هيكز

يکي اظ ايي الگا هي تاس ت ايي نضت تاقس ك كؿاي ك يک كتاب ب كاي ضا ذطيساضي كطز اس كتاب زيگطي تا هضع زاز كاي يا

.آهظـ هغلة ضا يع ذطيس اسظهاي ك قرهي زض حال ؾفاضـ كتاتي زض حظ ب كاي هي تاقس

آهاظى كتاب آهظـ هغلة ضا يع ت ا پيكاز هي زس ك ت احتوال .تااليي كاضتط ايي كتاب ضا ذاس ذطيس

Page 32: داده کاوی - تحلیل سبد بازار

Intrusion detection تكريم فش

زض ؾيؿتن اي تكريم فش الگاي ضفتاضي طهال، اظ ؾاتمضفتاضي كاضتطاى زض عل يک تاظ ظهاي هكرم ت اؾترطاج قس

.اؾت لتي كاضتط خسيسي قطع ت فؼاليت زض ؾيؿتن هي كس الگايي

ضفتاضي ا تا الگاي طهال همايؿ هي قز زض نضتي ك اواگي تكريم زاز قز ؾيؿتن ايي هضع ضا ثثت

.هي كس

Page 33: داده کاوی - تحلیل سبد بازار

ؾيؿتواي تكريم الگي غيططهال

اي ت عض كلي تا اؾتفاز اظ يافتي الگاي طهال زض ط ظهي .هي تاين الگاي غيط طهال ضا تكريم زين

تدعي تحليل ؾثس زاز زكاضتط ت ػاى هثالي زيگط هي تاى ت .اقاض كطز تيوقطكت اي كاي زض تكريم ؾ اؾتفاز زض

Page 34: داده کاوی - تحلیل سبد بازار

كاضتطز زض تيافضهاتيک

زاف اؾتفاز اظ ػلم كاهپيتط آهاض احتواالت تيافضهاتيک پيسااؾت ك يافتي الگا زض زض قاذ ظيؿت قاؾي هلکلي

.كوک ظيازي كطز اؾت كطزى تالي غم زض ظيؿت قاؾي

Association Analysis Techniques for Bioinformatics Problems

Data Mining in Bioinformatics

APPLICATION OF DATA MINING IN BIOINFORMATICS

Page 36: داده کاوی - تحلیل سبد بازار

طم افعاضاي ػوهي زاز كاي

WEKA (Source: Java)

MLC++ (Source: C++)

SIPINA

List from KDNuggets (Various)

List from Data Management Center (Various)

اظ هياى ايي طم افعاض ا weka artool ضا تا ن تطضؾي ذاين .كطز

Page 37: داده کاوی - تحلیل سبد بازار

ARtoolطم افعاض

Page 38: داده کاوی - تحلیل سبد بازار

Artoolطم افعاض

Page 39: داده کاوی - تحلیل سبد بازار

Artoolطم افعاض

Page 40: داده کاوی - تحلیل سبد بازار

Artoolطم افعاض

Page 41: داده کاوی - تحلیل سبد بازار

Artoolطم افعاض

Page 42: داده کاوی - تحلیل سبد بازار

Artoolطم افعاض

Page 43: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 44: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 45: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 46: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 47: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 48: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 49: داده کاوی - تحلیل سبد بازار

wekaطم افعاض

Page 50: داده کاوی - تحلیل سبد بازار

هاتغ

www.cse.msu.edu/~cse980/software.html

www.albionresearch.com/data_mining/market_basket.php

Fast algorithm for mining association rules article by Rakesh agrawal & Ramakrishnan Srikant

http://michael.hahsler.net/research/association_rules/measures.html

http://en.wikipedia.org/wiki/Association_rule_learning

http://en.wikipedia.org/wiki/Affinity_analysis

http://en.wikipedia.org/wiki/Apriori_algorithm

http://en.wikipedia.org/wiki/Intrusion_detection

http://en.wikipedia.org/wiki/Anomaly-based_intrusion_detection_system

http://en.wikipedia.org/wiki/Web_mining

http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%88%D8%A7%D9%86%D9%81%D9%88%D8%B1%D9%85%D8%A7%D8%AA%DB%8C%DA%A9

http://en.wikipedia.org/wiki/Data_mining