اولین سمینار رایگان داده کاوی و مجموعه کارگاه های...

واقعیکاربردھای داده کاوی در دنیای طه مکفی

جنوباسالمی واحد تهران آزاد کارشناس مهندسی صنایع دانشگاه 1390اردیبهشت ماه 28

1

داده کاوي و مجموعه کارگاه هاي تخصصی رایگاناولین سمینار

“استاست و زکات علم بیان و نشر آن زکاتیبراي هر چیزي ” )ص(سخنی از معصوم

خوش آمدید

2

مقدمه1)

کاربردهاي داده کاوي2)

موفقیت هاي پروژه هاي داده کاوي3)

مطالعات موردي داخلی4)

:مطالب مطرح شده در این بخش

فیلم

3

داده کاوي در کجاي زندگی روزمره ما کاربرد دارد؟چرا نیاز به درك کاربردهاي داده کاوي داریم؟

:مقدمھ

4

مقایسه شغل هاي مربوط به فناوري اطالعات و شغل هاي مربوط به داده کاوي

:جایگاه شغلی داده کاوی در دنیا

5

سایر از %21 میانگین طور به کاوي داده به مربوط هاي شغل درآمد .باشد می بیشتر ها شغل

شغلهاي درآمد میانگین از بیشتر %25 کاوي داده هاي شغل درآمد .باشد می بیشتر اطالعات فناوري به مربوط

سایر درآمد میانگین زیر %4 اطالعات فناوري به مربوط هاي شغل درآمد .باشد می ها شغل

:جایگاه شغلی داده کاوی در دنیا

6

یکی از شرکت هاي بیمه اي براي استخدام متخصص داده کاوي در ایران آکهی

Data Mining ExpertMellat Insurance

Tehran, Iran

A Data Mining Expert, Analyst or Engineer who can find patterns or relationships in business data for increasing business intelligence and the knowledge of organization:• Design and develop reference databases in SQL Server 2005 and 2008, along with the ETL applications required to build them.• Observe current systems and processes, interacting with the appropriate personnel.• Utilizing a variety of sources, collect and analyze information to support the modeling and analysis.• Ensures data quality and reliability and provide feedback to business process owners and to the IT department

:جایگاه شغلی داده کاوی در کشور

7

بررسی مقاالت منتشر شده در حوزه داده کاوي در سایتScopus:

:بررسی جایگاه داده کاوی در پژوھش ھا

تعدادعنوانکلمه مورد جستجوData Mining162883در کل مقاله جستجوData Mining،53837مقدمه و کلمات کلیدي جستجو در عنوانData Mining7840جستجو در عنوان

Data Mining + Hospital27در عنوان جستجو

Data Mining + Healthcare12در عنوان جستجو

8

مدیریت ارتباط با مشتريبانک و اقتصادساخت و تولیدزنجیره تامینتعمیرات و نگهداريکنترل کیفیتمدیریت مالیپزشکیسایر شاخه هاي مهندسی

:بررسی کاربردھای داده کاوی

9

استراتژي توسعه یافته اي براي مدیریت تعامالت سازمان با مشتریان می باشد.

جذب مشتریان جدید، بقاي مشتریان موجود : هدف

روند چاپ مقاالت داده کاوي وCRM در مقاالتSSCI)به تفکیک(:

:(CRM)مدیریت ارتباط با مشتری

10

کاربردهاشناخت و پیش بینی رفتار مشتریانبررسی راه حلهاي تبلیغاتی موثرتردسته بندي مشتریان به منظور فراهم ساختن بستري براي ارائه خدمات بهتر به آنهابررسی انواع روش هاي بازاریابی و انتخاب بهینه ترین روشتحلیل سبد خرید مشتریانپیش بینی احتمال استقبال مشتریان از محصوالت جدید

ابعاد مدیریت ارتباط با مشتريCRM:شناخت مشتریان1.جذب مشتریان2.بقا مشتریان3.توسعه مشتریان4.

:(CRM)مدیریت ارتباط با مشتری

11

شناخت مشتریان1.تقسیم بندي مشتریان خوشه بندي1.

)مکان مشتریان(از لحاظ ابعاد مکانی مشتریان 1.

)سن، جنسیت، درآمد و شغل مشتریان (اجتماعی و اقتصادي مشتریان / از دید جمعیت شناختی2.

)نوع نگرش، ارزش ها، شیوه زندگی(از بعد روانی مشتریان 3.

)وفاداريمیزان (از بعد رفتاري مشتریان 4.

از بعد مسائل مربوط به محصوالت5.

آنالیز بازار هدف2.

:(CRM)مدیریت ارتباط با مشتری

12

)مثالی در یک شرکت مخابراتی(ابزار خوشه بندي >تقسیم بندي مشتریان >شناخت مشتریان . 1

تحلیل نتایج:مشتریان میانگین: 3پیام صوتی خوشه مشریان: 2مشتریان جدید خوشه : 1خوشه المللیمشتریان بین : 6مشتریان کم استفاده خوشه : 5مشتریان قدرتمند خوشه : 4خوشه

:(CRM)مدیریت ارتباط با مشتری

خوشهطول حساب کاربريصوتی پیامدر روز مکالمهمکالمه در عصرمکالمه در شبالمللی مکالمات بینتعداد

85210.2209200.2189.20621

83010.1201.5202.3178.629.2100.72

52010.3199.4202179.20101.23

8311204208.3188.831.2107.14

80810.1194.1198.41680140.95

24010.5193.8202.4187.70.51036

13

ارتباطات شرکت Sprint از خود مشتریان رفتار بینی پیش منظور به ذخیره دالر میلیون 1 اول هاي ماه در و نمود استفاده کاوي داده سیستم

.نمودانستیتوي توسط سیستم این SAS براي CRM شده طراحی شرکت این

.بوداطالعات از ما هاي درخواست “:کردند اعالم شرکت این کارشناسان

ساعت چند از کمتر در اکنون انجامید می طول به ها هفته که موجود“ .شود می میسر

:(CRM)مدیریت ارتباط با مشتری

14

بندي کالسهجذب مشتریان ابزار . 2

به اقدام مشتریان، بین در خود تبلیغات تاثیر میزان ارزیابی منظور به پوشاکی فروشگاه :مثال داده از برخی .نمود هفتگی فواصل در و سال یک مدت در خود فروش اطالعات آوري جمع:از بودند عبارت شده آوري جمع هاي

2008سال -کاهش در هزینه تبلیغات% 34

:(CRM)مدیریت ارتباط با مشتری

متغیرشمارهتعداد کاتالوگ هاي پست شده براي مشتریان جدید1تعداد کاتالوگ هاي پست شده براي مشتریان قدیم2کاتالوگ تعداد صفحات3تعداد خطوط تلفن براي پاسخگویی4هزینه صرف شده براي تبلیغات5نمایندگی هاي خدمات به مشتري تعداد6میزان فروش لباس مردانه7میزان فروش لباس زنانه8

15

سپس مدل را بر روي . با استفاده از داده هاي قبلی مدل سازي می کنیم: حل مسئله.اعمال می کنیم) در اینجا استراتژي هاي جدید تبلیغاتی(داده هاي جدید

:(CRM)مدیریت ارتباط با مشتری

تعداد کاتالوگ هاي پست شده براي مشتریان

جدید

تعداد کاتالوگ هاي پست شده براي مشتریان

قدیم

تعداد صفحاتکاتالوگ

تعداد خطوط تلفن براي پاسخگویی

هزینه صرف شده براي تبلیغات به

میلیون ریال

نمایندگی تعدادهاي خدمات به

مشتري

میزان فروش لباس زنانه به میلیون ریال

3001000142460101200

550800121755131400200110016205381350.....................

؟150200020155015

پاسخ مدل16

بقا مشتریان. 3 مشتریان ابزار خوشه بندي وفاداريسنجش

بندي کالسهبازاریابی تک به تک ابزارهاي خوشه بندي و

توسعه مشتریان. 4قوانین انجمنی(آنالیز سبد فروش ابزار قواعد وابستگی(

قوانین انجمنی(فروش محصوالت جدید به مشتریان ابزار قواعد وابستگی(

:(CRM)مدیریت ارتباط با مشتری

17

)قوانین انجمنی(ابزار قواعد وابستگی >آنالیز سبد فروش >توسعه مشتریان . 4 را خود مشتریان توسط شده خریداري کاالهاي سبد خانگی، لوازم فروشگاه یک :مثال

داده بین در قواعد کشف براي وابستگی قواعد از کار این براي .داد قرار تحلیل مورد.باشد می زیر طبق آمده بدست نتایج از برخی .نمود استفاده ها

آنگاه اگر

آنگاه اگر اگر

:(CRM)مدیریت ارتباط با مشتری

18

.دنیا کشور 5 در فروشگاه 2900•.کرده کاوي داده را داده بایت ترا 7.5•

.کند می استفاده فروش هاي استراتژي براي کاوي داده از• مشتریان اطالعات از شده کسب دانش تا دهد می اجازه خود کننده تامین 3500 به•

.کنند بررسی را.است کرده استخراج را پیچیده Query میلیون 1 ،1995 سال در•

:(CRM)مدیریت ارتباط با مشتری

19

پیش بینی میزان ریسک اعتباري1.

پیش بینی میزان تاثیر تبلیغات بانکی2.

کشف تقلب ها در سیستم هاي بانک و بیمه3.

بررسی احتمال ورشکستگی شرکت ها4.

پیش بینی شاخص هاي مالی و شاخص هاي بورس5.

:بانک، اقتصاد، بیمھ

20

:بانک، اقتصاد، بیمھ

پیش بینی میزان ریسک اعتباري. 1

اعتباري ریسک میزان بتوانند که باشد می مهم امر این مواقع بسیاري در ها بانک مدیران براي :مثال

مشتریان به مربوط هاي مشخصه است ممکن منظور این براي .کنند بینی پیش را خود مشتریان:باشند زیر طبق است ممکن ها مشخصه این .شوند آوري جمع

عنوانشمارهسن1میزان تحصیالت2که در مکان فعلی مشغول به کار است تعداد سالهایی3که در مکان فعلی سکونت دارد تعداد سالهایی4درآمد ساالنه5بدهی ها به درآمد نسبت6میزان بدهی کارت اعتباري721قصور در پرداخت هاي پیشین8

:بانک، اقتصاد، بیمھ

.میلیارد دالر صرفه جویی نمود 4.8سال 2بانک مرکزي آمریکا در طی

توسط که کاوي داده پایه بر اعتباري ریسک مدیریت سیستم از استفاده با بانک این میزان برخط تخصیص براي را برخطی پیگیري سیستم بود، شده طراحی SAS شرکت.نمود طراحی خود مشتریان اعتباري ریسک

22

:بانک، اقتصاد، بیمھ

.استفاده از درخت تصمیم براي پی بردن به میزان ریسک اعتباري مشتریان بانک: مثال

:مجموعه داده اي با سه متغیر زیر داریممیزان دارایی افراد1.میزان پس انداز افراد2.میزان درآمد افراد3.

ریسکدرآمدپس اندازداراییمشتريریسک پایینکمکمزیاد1ریسک باالزیادزیادکم2؟کمزیادزیاد3

23

بانکی تبلیغات تاثیر میزان بینی پیش .2

زیر موارد شامل تبلیغات این که کرد می خود مستقیم بازاریابی صرف دالر هزاران ساالنه :بودند

خیابانی تبلیغات1.

ها کاتالوگ ارسال2.

تبلیغاتی هاي نامه ارسال3.

تراکت پخش4.افزار نرم از استفاده Clementine مشتریان بررسی براي.نتایج:

بشناسد بهتر را خود مشتریان تا کرد کمک بانک به.بانک براي را بیشتري سود هم و بودند کاراتر هم که کرد پیشنهاد را تبلیغاتی هاي روش

.ساختند فراهمپیدا کاهش %20 میزان به تبلیغات ارسال هزینه و کرد پیدا افزایش %5 مشتریان واکنش نرخ

.کرد

:بانک، اقتصاد، بیمھ

24

کشف تقلب ها در سیستم هاي بانک و بیمه. 3بررسی تقلب در سیستم مدیریت بانکی و بیمه اي1.)سیستم بانکی(بررسی تقلب در کارت هاي اعتباري مشتریان2.اینترنتی خریدهايبررسی تقلب در 3.

واریانساستفاده از درخت تصمیم، مدل هاي پیش بینی کننده، خوشه بندي و آنالیز : ابزارها

نمونه اي از اکتشافات مهم در زمینه تقلب هاي صورت گرفته: سپتامبر 11حادثه پروژهAble Danger میلیون رکورد اطالعات 1.5بررسی

مربوط به شهروندان 30 آدرس خانه 12–کارت اعتباري اتامحمد

:بانک، اقتصاد، بیمھ

25

ها شرکت ورشکستگی احتمال بررسی .4

ها شرکت ورشکستگی احتمال بینی پیش :هدفتصمیم درخت :ابزار

شد آوري جمع 1997-1998 سالهاي بین در اي کره شرکت 29 به مربوط اطالعات.شد استخراج ها بانک و بورس بازار از اطالعات این.نتایج:افتد می اتفاق %86 اطمینان با ورشکستگی عدم باشد بیشتر 19.65 از سرمایه وري بهره اگر.باشد، 5.65 زیر دارایی کل به نقدي گردش نسبت اگر و 19.65 از کمتر سرمایه وري بهره اگر

.افتد می اتفاق %84 اطمینان با ورشکستگی

:بانک، اقتصاد، بیمھ

26

1999(مربوط به ضمانت نامه ماشین ها دعاويبررسی(اهداف طرح:

آیا روابطی بین ضمانت نامه ها وجود دارد؟ آینده دارند؟ دعاويگذشته ارتباطی با دعاويآیا وجود دارد؟ تعمیرگاهیخاص و نمایندگی هاي دعاويآیا ارتباطی با

ابزار :)Yآنگاه Xاگر (استفاده از قوانین وابستگی

نتایج: را نرسیدن نتیجه به علت کردند سعی محققان سپس .نکردند پیدا دست خاصی نتیجه به

هاي داده کردند استفاده که هایی داده که رسیدند نتیجه به بررسی از پس .کنند برسی در که کنند ایجاد را اي داده هاي پایگاه گرفتند تصمیم پس است نبوده مناسبی خیلی.کرد پیدا دست تحقیقات در بهتري نتایج به داده، هاي پایگاه این از استفاده با بتوان آینده

27

مدیریت زنجیره تامین1.

تعمیرات و نگهداري2.

کنترل کیفیت3.

تشخیص خرابی ها4.

مانیتورینگ شرایط5.

زمان بندي کارها6.

پیش بینی تولید7.

تولیدات وريبهبود بهره 8.

:ساخت و تولید

28

:ساخت و تولید

2005سال

29

:ساخت و تولید

2009سال

30

اي شبکه در مالی مسائل و اطالعات مواد، مدیریت شامل تامین زنجیره مدیریت .باشد می مشتریان و کنندگان توزیع سازندگان، ،کنندگان تامین بر مشتمل

صنایع و سازي کشتی مجتمع در مناقصات برنده بینی پیش براي مدلی طراحی :مثال)کنندگان تامین براي کاربرد( ایران ساحل فرا

مناقصاتپیش بینی برنده : هدف مناقصاتجمع آوري اطالعات مربوط به خرید و متغیر 30رکورد داده با بیش از 1000تهیه بیش ازنام پروژه، نام تامین کننده، قیمت پیشنهادي تامین کننده، درصد پیش :از جمله متغیرهاي

پرداخت، امتیاز معیارهاي فنی و رد و یا قبول شدن پروژه مناقصاتارائه مدلی براي پیش بینی برندهنتیجه پایان نامه

:SCMمدیریت زنجیره تامین

31

آنها به (JIT)موقع به خدمات ارائه منظور به مشتریان بندي خوشه :مثال)سازندگان براي کاربرد( یکسان سفارشات شناخت :هدفبندي خوشه :ابزارباك ،چرخها کابین، موتور، فریم،:موجود هاي دادهتوان می مختلف هاي روش توسط مشتریان اطالعات بندي خوشه با

مدیریت تري بهینه روش به و کمتري زمان در را ساخت سفارشات.کرد

:SCMمدیریت زنجیره تامین

باكچرخ هاکابینموتورفریمنامخیربزرگسبزمتوسطبزرگ1مشتري خیربزرگصورتیخیلی بزرگخیلی بزرگ2مشتري بلهمتوسطزردمتوسطکوچک3مشتري بلهبزرگقرمزبزرگبزرگ4مشتري 32خیرمتوسطزردکوچککوچک5مشتري

:SCMمدیریت زنجیره تامین

باكچرخ هاکابینموتورفریمنامبلهبزرگقرمزبزرگبزرگ4مشتري خیربزرگسبزمتوسطبزرگ1مشتري بلهمتوسطزردمتوسطکوچک3مشتري خیرمتوسطزردکوچککوچک5مشتري خیربزرگصورتیخیلی بزرگخیلی بزرگ2مشتري

بندي خوشه نتیجه:

33

:کاربردهاپیش بینی خرابی هامانیتورینگ شرایطپیش بینی تعویض خرابی ها

پیش بینی زمان تعویض قطعات: مثالپیش بینی زمان خرابی: هدفپیش بینی و کالس بندي: ابزارنتیجه:

زمان و دهند کاهش را قطعات در خرابی توانستند بینی پیش هاي روش استفاده با محققان.کنند بینی پیش قطعات در خرابی از پیش را قطعات تعویض شده ساخته مدلهاي از استفاده با تا نمودند طراحی هشداري سیستم ارتباط این در متخصصان تعمیر خرابی از پیش را قطعات بتوانند آنها تا دهد هشدار متخصصان به خرابی وقوع از پیش

.نمایند تعویض یا

:تعمیرات و نگھداری

34

پشتیبانی منظور به بیمارستانی نگهداري و تعمیرات داده پایگاه در کاوي داده :مثالمدیریتی هاي گیري تصمیم از

درست کردن پایگاه دانش: هدفقوانین وابستگی: ابزارنام دستگاه، دسته مربوط به دستگاه، نام بخشی که دستگاه در آن بوده، : داده ها

..تعداد وسایل ارجاعی، مدت تعمیر، نوع خرابی، وضعیت تعمیر و

نتایج: آنگاه اگر اگر اگر

آنگاه

:تعمیرات و نگھداری

35

تخمین هزینه بیمارانپیش بینی احتمال مبتال شدن شخصی به بیماري خاصپیش بینی نجات بیماران از بیماري هاکشف تقلب پزشکان و بیمارانپیش بینی تجویز داروي مناسب براي افرادخوشه بندي بیماران به منظور کشف گروههاي بیماري

:پزشکی

36

تخمین هزینه بیماران1. از نفر 1008 اطالعات سرطانی، بیماران درمانی هزینه تخمین براي بیمارستانی :مثال

این .بود متغیر 12 شامل داده مجموعه این .نمود آوري جمع را بیماران.کند بینی پیش را بیماران درمانی هزینه داشت قصد بیمارستان

درمان هزینه تخمین :هدف)تصمیم درخت عصبی، شبکه(بندي کالسه :ابزار هزینه درمانی، شیمی دفعات تعداد فعالیت، میزان تاهل، وضعیت جنسیت، :ها داده

... و درمانی:نتایج هاي شبکه .باشد می %97 بیماران هزینه بینی پیش این در عصبی هاي شبکه دقت

روش به نسبت باالتري دقت از درمانی، هاي هزینه بینی پیش منظور به عصبی.باشند می مند بهره تصمیم درخت مانند هایی

:پزشکی

37

با ارتباط در گیري تصمیم پشتیبانی سیستم :مقاله عنوان مدلسازي هاي روش از استفاده با وب پایه بر قلبی بیماريکاوي داده بندي کالسه

2007کنفرانسی : نوع انتشارات و سال نشرمالزي–فناوري اطالعات :تحصیالت نویسندگاناهداف:

کدام بیمار احتمال دارد به بیماري قلبی دچار شود. پیگیري تاثیر دارو ها بر روي بیماران. پیدا کردن مشخصه هاي بیماران قلبی و...

:ISIبررسی ساختار مقاالت

38

:ISIبررسی ساختار مقاالت

39

:ISIبررسی ساختار مقاالت

40

سرطانی، بیماران براي بیماران هاي هزینه بینی پیش مقایسه :مقاله عنوان تصمیم درخت برابر در عصبی هاي شبکه

مجله : نوع انتشارات و سال نشرBioMed 2009چین –پزشکیکامپیوتر و :تحصیالت نویسندگاناهداف:

شبکه و تصمیم درخت روش دو مقایسه و بیمارستانی هاي هزینه بینی پیش .بینی پیش این منظور به عصبی هاي

ها داده:

:ISIبررسی ساختار مقاالت

41

:ISIبررسی ساختار مقاالت نتایج:

42

سه مقایسه دارند، سینه سرطان که بیمارانی ماندن زنده بینی پیش :مقاله عنوان کاوي داده روش

مجله: نوع انتشارات و سال نشر medical informatics 2009ایاالت متحده–صنایع، مدیریت، بازاریابی :تحصیالت نویسندگانخالصه:

بیماران ماندن زنده امکان بندي، کالسه و بینی پیش هاي روش از استفاده با مقاله سال 9 تا بیماران این آیا اینکه یعنی .است زده تخمین سال 9 مدت به را پیوندي

.خیر یا مانند می زنده

ها داده:

:ISIبررسی ساختار مقاالت

43

چالش:Dursun آقاي جناب Delen با اي مقاله 2005 سال در مقاله همین نویسندگان از یکی

روش سه مقایسه :دارند سینه سرطان که بیمارانی ماندن زنده بینی پیش ” عنوان تفاوت کمی مقاله این در آمده بدست نتایج با که است رسیده نتایجی به “کاوي داده.دارد

:ISIبررسی ساختار مقاالت

44

کارگاه ها محتواي:پیش پردازش و درك داده ها1.رده بندي2.خوشه بندي3.قواعد انجمنی4.Clementineآموزش نرم افزار 5.

شد خواهد صادر افراد تمامی براي کارگاه ها در شرکت نامه گواهی.داده کاوي نرم افزار تخصصی کارگاه کشور در بار اولین براي Clementine خواهد برگزار 12

.شدشد خواهد داده توضیح عملی مثال با همراه کالس ها این در روش ها تمامی.شد خواهد انجام داده کاوي واقعی داده هاي مجموعه روي بر عملی کارگاه در.

:کارگاه ھای تخصصی

Clementine45

A year spent in artificial intelligence is enough to make one believe in God.

“Alan perlis”

پایان

46