استفاده از استخراج قوانين وابستگی از پايگاه داده در...

25
اده ز م لا غ زه ی ن اح ب ص مرا سا ان ب س ب ا ت88

Upload: cleave

Post on 23-Jan-2016

105 views

Category:

Documents


5 download

DESCRIPTION

استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های پيشنهاد دهنده. نیره غلامزاده سارا مصباح تابستان 88. مقدمه. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

نیره غالمزادهسارا مصباح

88تابستان

Page 2: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

مقدمه تعریف سیستم های پیشنهاد دهنده: سیستم های پیشنهاد

دهنده سعی می کنند به كاربران خود با استفاده از داده های گذشته سیستم، پيشنهادهاي متناسب و نزدیک به

عاليق آن ها ارائه دهند )فيلم, كتاب, جك، مقاله و.....(.انواع سیستم های پیشنهاد دهنده

Content-based recommendationCollaborative recommendation

مثالwww.Amazon.comwww.MovieLens.comwww.contentadvisor.com

Page 3: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

مقدمه )ادامه....(داراي كارايي محدودي تكنيك هاي ارائه شده در اين زمينه

هستنداستفاده از قوانین وابستگی در سیستمهای پیشنهاد دهنده

هدف قوانين وابستگي: تفسير حجم زيادي از داده ها واستخراج روابط مفيد بين آنها

مفید بودن اين ويژگي در سيستمهاي پيشنهاد دهنده

انواع قوانین در این سیستم هاItem associationنشان دهنده روابط میان آیتم ها :User associationنشان دهنده روابط میان کاربران :

Page 4: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

کارهای انجام شدهبرخی از تکنیک های متداول استفاده شده

تکنیک های پیشگویی ساده مبتنی بر همبستگی(correlation-bsed method)یادگیری ماشین

Page 5: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

کارهای انجام شده )ادامه..(مبتنی بر همبستگی مدل شبکهBayesian و Bayesian Classifierشبکه های عصبی به همراه تکنیک های کاهش ویژگیUnison-CFContent-boosted collaborative filtering الگوریتم های پیشنهاد دهنده فیلتر کردن همکاری مبتنی بر

آیتمکاربرد کاهش ابعاد در سیستم های پیشنهاد دهنده ترکیب کردن فیلترهای همکاری و مبتنی بر محتوا در یک

روزنامه بر خط

Page 6: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

روش مبتنی بر همبستگی محاسبه امتیاز کاربر جاری(a) برای سند j :

Vi,j: رای کاربر :i ام برای ایتمjام میانگین امتیازات کاربر : iام Nتعداد کاربران :

شباهت بین هر کاربرiبا کاربر جاری

:معایب( عدم اندازه گیری اهمیت همبستگیcorrelationبین کاربران )

(support)اگر دو كاربر مشتركا مقاله هايي را ارزيابي نكنند، آنها طبق این روش

نمی توانند مشابه شوند حتي اگر آنها عاليق مشتركي داشته باشند

Page 7: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

تعريف مسئلهاستخراج قوانین وابستگی با استفاده از الگوریتمی کارا

ارائه سیستم پیشنهاد دهندهcollaborative به کاربر براساس قوانین استخراج شده

Page 8: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

الگوريتم ارائه شده استفاده از الگوریتمهایApriori , CBA-RG

تخمینminimum supportحین عمل استخراج قوانین دستیابی به تعداد مناسب قوانین مفید

استخراج قوانینی با وجود کاربر یا آیتم هدف در سمتراست

Page 9: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

استخراج قوانين وابستگی شروع باminimum supportمشخص

استفاده ازبازهminRule , maxRuleبرای تعداد قوانین

تغییرminimum supportدر صورت نیاز

:استخراج قوانین به شکل >-[Target_User:like]

برآورده کردنmin support , min confidence

Page 10: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

پارامترهای الگوريتمانتخاب مقادیر مناسب برای پارامترهای مهم

مقدار امتیاز معادل باLike یا Dislike مثال امتیازات باالی( در نظر گرفته شوند(like به عنوان 2Min_conf( و 90 برای قوانین وابستگی )%

min_Support( 20 برای آیتم های مکرر)% تعیینmin_Rule و Max_Rule )15,90(

انتخاب مقادیر پارامترهای فوق بر اساس تجربه

Page 11: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

مزايای استخراج قوانين فقط برای کاربر و آيتم هدف

بدست آمدن قوانین مربوط به آیتم های جدید

کاهش تعداد قوانین موردنظر باعث بهبود کارایی

باعث استخراج قوانین از زیرمجموعه ای از تراکنشها کاهش زمان اجرا

Page 12: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

پياده سازی الگوريتم پیاده سازی الگوریتم در دو نسخهofflineو online:دارای دو تابع اصلی

:AR1 شده در محدودیتهای الگوریتماستخراج بررسی قوانین کنترلmin support با بيشترين استخراج قوانینیsupportممکن پيش تعريف شدهتعداد قوانین در بازه از بررسیmin confidence و min supportقوانين

AR2استخراج قوانین وابستگی : استخراج قوانین براساس الگوریتمCBA-RG وي تراكنشها راستخراج قوانين وابستگي با چندين گذر تفاوت با الگوریتمCBA-RGدر شرط خاتمه الگوریتم

تعداد قوانین مساوی یا بزرگتر ازmaxRule

Page 13: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

AR1 تابع

Page 14: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده
Page 15: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

data setآماده سازی هدف ما تعیینlike or

dislike یک فیلم برای کاربر هدف

تبدیل امتیازات بهlike ,dislike

[M2:Like]AND [M5:Like]=>[ target_M:like]

“[user1 : like] AND[user2 : like] => [userT : like] conf = 80% , supp = 45%

“[user1 : like] AND [user2 : dislike] => [usercT: like] conf = 80% , supp = 45%

Page 16: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

مکانيسم پشنهادگيري از مزاياي هر دو نوع قوانين پيشنهاد براساس بهره

movie association و user associationUser association: onlineMovie association: offline

استفاده از moive association تعداد فيلم برای کاربری با ز يك آستانهکمتر اهاي امتياز داده شده

امکان پذیر نبودن پیشنهاد این فیلمها با استفاده از user association

استفاده ازscoreمحاسبه شده برای هر قانون

Page 17: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

بررسی زمان الگوريتم استخراج قوانینMovieAssociation به صورت

offline

کوچک نمودن مجموعه دادهtraining با توجه به کاربر هدف

متوقف نمودن تولید قوانین درmaxRule

Page 18: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

نتيجه گيری استفاده از مجموعه داده ایMovieLens

100000 رکورد943 کاربر1682 فیلم [1,5]مقادیر امتیازات داده شده در بازه

Page 19: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

نتيجه گيری )ادامه...(معیارهای ارزیابی الگوریتم

انجام آزمایشات برای دو مجموعه داده ای فیلم امتیاز داده 35 کاربر که به حداقل 100انتخاب تصادفی

collaborativeاند به عنوان کاربر انتخاب کل مجموعه

5استفاده از روش-fold cross-validation بر روی مجموعه فیلم هایی که کاربر هدف امتیاز دهی کرده است

Page 20: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

نتيجه گيری )ادامه...( پیشنهاد بر اساس قوانین به دست آمده از فیلم ها و

کاربران به طور جداگانهبهتر بودن نتایج به دست آمده از کاربران استخراج قوانین وابستگی فیلم ها به صورتoffline

زمان پاسخگویی بهتر

استفاده از ترکیب آن ها

Page 21: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

.Movie Ass و .User Assترکيب تعداد فیلم های امتیاز داده شده کمتر از مقدار آستانه

movie Association پیشنهاد دادن فیلم هایی که توسط افراد کمی امتیاز داده

شده اند تعداد فیلم های امتیاز داده شده بیشتر از مقدار آستانه

استفاده از هر دو استفاده ازscoreمحاسبه شده برای هر قانون انتخاب قانون باscore بیشتر User association Movie Association Combine

Precision 0.721 0.728 0.715

Recall 0.56 0.271 0.542

ها ترکیب آنUser Ass.، Movie Assمقایسه معیارها برای

Page 22: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

نتيجه گيری )ادامه...( روش زیر 3مقایسه نتایج به دست آمده با

Correlation basedشبکه های عصبی همرا ه با بهره اطالعاتشبکه های عصبی با تجزیه مقدار تکین

نتایج به دست آمدهPresicion = 0.75411Recall = 0.2257

Inoformation Gain SVD Correlation

Precision 78.3% 83.9% 72.6%

correlationو Info.Gain، SVDبرای سه روش Recall و precisionمقایسه

Page 23: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

کارهای آيندهتست کردن الگوریتم بر روی مجموعه داده ای دیگر

Jester یا انواع دیگری از مجموعه داده ای MovieLens

تعریف کردن معیار دیگری به عنوان ارزش برای قوانین

استفاده از الگوریتم های استخراج قوانینی وابستگی دیگردر بخش استخراج قوانین وابستگی

Page 24: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده

مراجع [1] Daniel Billsus and Michael J. Pazzani. Learning collaborative information filters. In Proc. of the Fifteenth

International Conference on Machine Learning, Madison, Wisconsin, 1998. Morgan Kaufmann Publishers.

[2] J. Breese, D. Heckerman, and C. Kadie. Empirical analysis ofp redictive algorithms for collaborative filtering. In Proceedings of the Fourteenth Conference on Uncertainty in Artificial Intelligence, Madison, WI, July 1998

[3] Daniel Billsus and Michael J. Pazzani. Learning collaborative information filters. In Proc. of the Fifteenth International Conference on Machine Learning, Madison, Wisconsin, 1998. Morgan Kaufmann Publishers.

[4] Xiaobin Fu, Jay Budzik, and Kristian J. Hammond. Mining navigation history for recommendation. In Proceedings of the 2000 international conference on Intelligent user interfaces, pages 106–112, New Orleans, LA, January 2000. ACM.

[5] R. Cooley, B. Mobasher, and J. Srivastava. Grouping web page references into transactions for mining world wide web browsing patterns. Technical Report TR 97-021, Department ofComp uter Science and Engineering, University of Minnesota, Minneapolis, MN 55455, USA, June 1997.

[6] R. Cooley, J. Srivastava, and B. Mobasher. Web mining: Information and pattern discovery on the world wide web. In Proceedings of the 9th IEEE International Conference on Tools with Artificial Intelligence (ICTAI’97), November 1997.

[7] Bing Liu, Wynne Hsu, and Yiming Ma. Integrating classification and association rule mining. In Proceedings of the Fourth International Conference on Knowledge Discovery and Data Mining, pages 80–86, New York, August 1998.

Page 25: استفاده از استخراج قوانين وابستگی از پايگاه داده در سيستم های  پيشنهاد دهنده