کاوی دادهوکاربردهای آن

بسم الله الرحمن الرحیمدانشکده کارآفرینی

ITدرس کارآفرینی در بستر

استاد : دکتر زعفریان

ارائه توسط: غالمرضا شامی زاده و پویان اسمعیل زاده

داده کاوی چیست؟ داده کاوی به بررسی و تجزیه و تحلیل مقادیر

عظیمی از داده ها به منظور کشف الگوها و قوانین معنی دار گفته می شود.

داده کاوی را کشف دانش در پايگاه داده ها )KDD نیز )می گویند.

Knowledge Discovery from Database داده کاوی، استخراج اطالعات مفهومی، ناشناخته و

به صورت بالقوه مفید از پایگاه داده می باشد. W. Frawley and G. Piatetsky . Knowledge Discovery I DataBases.ISSN 0738-4602

،داده کاوی استخراج نیمه اتوماتیک الگوها، تغییراتوابستگی ها، نابهنجاری ها و دیگر ساختارهای معنی

دار آماری از پایگاه های بزرگ داده می باشد. R . Grossman

2

داده هاحجم( Data با سرعت )زيادي در حال رشد است

اطالعات( Information ما در )مورد اين داده ها کم است

دانش( Knowledge ما نسبت به )اين اطالعات صفر است

راه حل چیست؟

استفاده از داده کاوي

3

انیKات امکKابی اطالعKيره و بازيKای ذخKعه تکنولوژيهKتوساست برای محقق شدن داده کاوی:

افزايش روزافزون حجم اطالعات ذخيره شدهتنوع بسيار زياد در اطالعات موجود

بانکهای اطالعاتی )فايلهای چندرسانه ای )تصاوير متحرک، فايلهای صوتیاطالعات متنی و فاقد ساختار

اKاد، غالبKيار زيKل حجم بسKه دليKاتی، بKيوهای اطالعKآرشبه مقبره های اطالعات تبديل می شوند.

وژیKKتکنول بخش در سKKنگين هKKای هزينKKه علKKيرغم فقKKر در همچنKKان تصKKميمها از بسKKياری اطالعKKات،

اطالعاتی اتخاذ می گردند.

تفاده نمیKده اسKيره شKات ذخKالقوه اطالعKای بKاز قابليتهشود.

اKه هKياری زمينKه دانش در بسKات بKديل اطالعKه تبKاز بKنيآشکار گرديده است. 4

ار ، علمKان علم آمKاطی میKل ارتبKاوی پKداده ک ، الگوشناسKی ، مصKنوعی هKوش ، کKامپیوتر می داده، بصKری بازنمKایی و ماشKین فراگKیری

باشد. اییKده، جهت شناسKپیچی فرآینKدی کKاوی داده

الگوهKا و مKدل هKای صKحیح، جدیKد و بKه صKورت بKالقوه مفیKد، در حجم وسKیعی از داده می باشKد، بKه طKریقی کKه این الگKو هKا و مKدلها بKرای انسKانها

قابل درک باشند. لKقاب محصKول یKک صKورت بKه کKاوی داده

خریKداری نمی باشKد، بلکKه یKک فرآینKدی اسKت کKه بایسKتی بKه صKورت یKک پKروژه پیKاده سKازی شKود. 5

. است مواجه خود خاص مشکالت با مراحل، از هريک خود به را کار عمده حجم معموال اطالعات، تجميع و پيرايش

. دهند می اختصاص

6

کاوی داده فرآيند يک مراحل

انتخاب اطالعات هدف

پيرايش اطالعات

تجميع اطالعات

استخراج دانش

بازنمائی دانش استخراج شده

تفسير نتايج

فنون یا تکنیک های داده کاوی

7

برخی از فنون رایج بکار گرفته شده تحت عنوان دادهکاوی عبارتند از:

ابزارهای پرس و جوفنون آماریمصور سازیپردازش تحلیلی پیوستهیادگیری مبتنی بر مورددرختان تصمیم گیریقوانین وابستگیشبکه های عصبیالگوریتم ژنتیکی

انواع داده کاوی دفیTTه دارای شTTده: هدایت

خTاص و از پیش تعین شTده اسTت می خTاص الگTویی بTدنبال کTه

گردد. اTافتن الگوهTده: یTدایت شTغیر ه

از گروههTایی بین تشTابهات یTا هTدفی داشTتن بTدون اطالعTات، خTاص و یTا مجموعTه ای از دسTته تعTیین پیش از الگوهTای و هTا

شده می باشد.

کارکرد های داده کاوی بسیاری از مسائل محیط اطراف خود را می

عمل زیر بگنجانیم، 6توانیم در قالب یکی از که این اعمال، کارکرد های داده کاوی هستند:

دسته بندیتخمینپیش بینیدسته بندی شباهتخوشه بندیتوصیف و نمایه سازی

9

دسته بندی یا طبقه بندی یص آنKد و تخصKورد جدیKک مKای یKژگی هKی ویKشامل بررس

بKه یکی از مجموعKه هKای از قبKل تعKیین شKده می باشKد. این دسKته هKا از طریKق یافتKه هKای پKژوهش هKای پیشKین، تعKیین

گردیده اند. از آن بتKوان بنKدی ،شKامل سKاختن مKدلی اسKت کKه دسKته

نشKده بنKدی دسKته هKای داده کKردن بنKدی دسKته بKرای استفاده نمود.

کم عنKوان بKه اعتبKار و وام متقاضKیان بنKدی دسKته مثKال: خطر،متوسط و پر خطر

بکهKرار دادن در شKرای قKفحه وب بKک صKات یKاب محتویKانتخاینترنت

تکنیک های دسته بندی: رایطKKش در و همسKKایه تKKرین نزدیKKک تصKKمیم، درخت

خاص:شبکه های عصبی و تحلیل پیوند ها

10

تخمین وند وTای ورودی داده می شTدر تخمین ، داده ه

متغTیر هTای خTروجی آن، رقمی چTون درآمTد یTا تراز کارت اعتباری می شود.

مثال :تخمین درآمد کل یک خانواده کTی بTه خTاص فTردی پاسTخ احتمTال تخمین

پیشنهاد بیمه عمر

تکنیک های تخمین:رگرسیون، شبکه های عصبی 11

پیش بینی خيصTته جهت تشTاي گذشTادير و متغيرهTتفاده از مقTاس

متغيرهاي جديد. اوتTا این تفTت، بTا تخمین اسTدی یTته بنTد دسTمانن

پیش رفتارهTای از بTرخی مطTابق اطالعTات کTه بیTنی شTده آینTده یTا ارقTام تخمین زده آینTده دسTته

بندی می شوند. حتTص بررسTی بTرای روش تنهTا بیTنی، پیش در

دسته بندی، انتظار دیدن آینده است.مثال:

، زمTانی سTری آنTالیز تکنیTک از سTهام بTازار در برای پیش بینی استفاده می شود.

تهTده در دسTاربرده شTای بکTک هTا: از تکنیTک هTتکنیبندی یا تخمین می توان استفاده کرد.

12

دسته بندی شباهت یا قوانین وابستگی

هTک اسTت این شTباهت،بTرای بنTدی دسTته عمTل بدانیم چه چیز هایی با هم جور هستند.

مثال: تی درTرخ دسTک چTا هم در یTه بTایی کTیین کاالهTتع

سTوپر مTارکت قTرار می گیرنTد، کTه انTرا تحلیTل سTبد بازار می نامند.

هTا در قفسTدمان کاالهTیین چیTل :تعTکاربرد این تحلیهای فروشگاه

را خاصTی کتTاب کTاربر وقTتی آمTازون در مثال کTه کنTد می اعالم او بTه سTایت کTرد، انتخTاب خریTداران این کتTاب چTه کتTاب هTای دیگTری را نTیز

خرید ه اند.13

خوشه بندی هKب نKاهمگن جمعیت تقسKیم عمKل بKه بنKدی، خوشKه

تعKدادی از زیKر مجموعKه هKا یKا خوشKه هKای همگن گفتKه می شوند.

هKده، تکیKیین شKای از پیش تعKته هKه دسKدی بKه بنKخوشندارد.

مثال: هKتریان بKه مشKوال کKه این سKخ بKانون، و پاسKک قKاد یKایج

چKه نKوع تبلیغKاتی بKه بهKترین نحKو پاسKخ می دهنKد؛ اول تقسKیم مشKتریان بKه خوشKه هKای متشKکل از افKرادی بKا عادتهKای مشKابه خریKد و سKپس این پرسKش کKه چKه نKوع

تبلیغاتی برای هر خوشه به بهترین نحو عمل می کند. 14

نمایه سازی اهTپایگ یTک در کTه چTیزی آن توصTیف

داده ای پیچیده در جریان است. از را مTا درک سTازی نمایTه نتTایج

یTا فراینTد هTایی کTه مTردم، محصTوالت تولیTد کTرده اول را درمرحلTه داده هTا

اند، افزایش می دهد. وبیTخ ابTزار ، تصTمیم هTای درخت

برای نمایه سازی هستند.15

نرم افزارهای داده کاوی: نرم افزارهای آماری عمومی مثل

SPSS, SAS, STATISTICA که دارای امکاناتی برای داده کاوی هستند.

و بسته های نرم افزاری اختصاصی داده کاوی مثل:

Weka, Insightful Miner3, Text Mining Software, Enterprise Data Mining software, PolyAnalyst 4.6  16

کاربرد های داده کاوی ايTا كاربردهTد بTته جديTك رشTاوی يTداده ک

وسTيع و گونTاگون اسTت کTه بTه عنTوان ده در تحTول ایجTاد بTه منجTر کTه برتTر علم تمTام در و شTود می تکنولTوژی عصTر

زمینه ها کاربرد دارد، معرفی میشود. تهTداش وجTود داده کTه هرجTایی اصTوال

از یابTد، می معنTا نTیز کTاوی داده باشTد قبيTل امTور تجTاري و مTالي، امTور پزشTكي، تحليلهTTاي و تجزيTTه پزشTTكي، زيسTTت

بTه و DNAمربTوط ناهنجاريهTا كشTف ،دور، راه از ارتباطTTات جعلي، اسTTناد اطالع و كتابTداري سTرگرمي، و ورزش

رساني.

17

تردهTورت گسTه صTاوی بTات داده کTروزه عملیTامتمTامی شTرکت هTایی کTه مشTتریان در توسTط می اسTتفاده دارنTد، قTرار آنهTا توجTه کTانون هTای شTرکت هTا، فروشTگاه جملTه از شTود،

مالی، ارتباطاتی، بازاریابی و غیره.

کTرکتها کمTاین ش بTه داده کTاوی از اسTتفاده جملTه از داخلی عوامTل ارتبTاط تTا کنTد می مهTارت و محصTوالت قرارگTیری محTل قیمت، جملTTه از خTTارجی عوامTTل بTTا را کارمنTTدان محTل و بTازار در رقTابت اقتصTادی، وضTعیت

جغرافیایی مشتریان کشف نمایند.

،ازارTب آینTده وضTع بیTنی پیش کTاوی داده هTای سTلیقه شTناخت و مشTتریان گTرایش می ممکن هTا شTرکت بTرای را آنهTا عمTومی

سازد.

18

آناليز بازارTarget marketing

پيدا کردن الگوي خريد مشتريبرنامه ریزی برای معرفی محصول جدیدCustomer profiling

دسته بندي مشتريان براساس نوع خريدآناليز نيازهاي مشتريان

تشخيص محصوالت مناسب براي دسته هايمختلف مشتريان

تشخيص فاکتورهايي براي جذب مشتريانجديد

فروش الکترونیکی تعيين الگوهاي خريد

مشتريان تجزيه و تحليل سبد خريد

بازار پيشگويي ميزان خريد

مشتريان از طريق پست)فروش الکترونيکي( 20

بانکداری پيش بيني الگوهاي کالهبرداري از طريق

کارتهاي اعتباري و شناسایی جرایم مالی. تشخيص مشتريان ثابت و دسته بندی و

خوشه بندی مشتریان با توجه به رفتار مشابه آنهادر زمینه بانکداری و باز پرداخت وام.

تعيين ميزان استفاده از کارتهاي اعتباري براساس گروههاي اجتماعي.

.تحلیل اعتبارمشتریان شناسایی فاکتورهای اصلی درریسک

بازپرداخت وام. تحلیل پاسخ گویی مشتریان به ارائه خدمات

جدید بانکی.

21

بیمه پيشگويي ميزان خريد بيمه نامه هاي جديد

توسط مشتريان. تحلیل ریسک و برآورد حق بیمه مشتریان بر

اساس میزان ریسک هر مشتری. پیش بینی میزان خسارت بر اساس گروه

های مشتریان. مدیریت ارتباط با بیمه گذاران و تدوین

استراتژی بر اساس مشتریان هدف. تعیین عوامل وفاداری و یا روی گردانی

مشتریان. شناخت نیازها و الگوهای خرید سرویس های

بیمه ای توسط مشتریان. .شناخت تخلفات بیمه ای

22

پزشکی و سالمت تعيين نوع رفتار با بيماران و تعیین روش

درمان بیماری ها. پيشگويي ميزان موفقيت اعمال جراحي و

تعيين ميزان موفقيت روشهاي درماني در برخورد با بيماريهاي سخت.

بررسی میزان تاثیر دارو بر بیماری و اثراتجانبی آن.

تشخیص و پیش بینی انواع بیماری ها مانندتشخیص و یا پیش بینی انواع سرطان.

تجزیه و تحلیل داده های موجود در سیستمهای اطالعات سالمت

.تحلیل عکس های پزشکی

23

نمونه های اجرا شده داده کاوی:

:در زمینه صنعت رایTب کTره پوهانTگ فوالدسTازی شرکت

صTرفه جTویی در مصTرف انTرژی در کTوره هTای بلنTد خTود از الگوریتمهTای داده کTاوی

حTدود در و مصTرف 15اسTتفاده از % 3/1انTرژی خTود را کTاهش داد، کTه بTاعث

میلیTون دالر صTرفه جTویی در هزینTه هTای بTاعث دیگTر طTرف از و شTده شTرکت و شTرکت آن محصTوالت قیمت کTاهش بیشTتر و سTود تعTداد مشTتریان افTزایش

آن شرکت نیز شد.  

24

:در هتل داری ،اTآمریک وگTاس در الس هتلهTای مشTهور از یکی

بTرای بTاال بTرن رضTایت مسTافران از الگوریتمهTای بTا کTه صTورت این بTه کTرد، اسTتفاده کTاوی داده اسTتفاده از اطالعTات جمTع آوری شTده از مسTافران بوسTیله پرسشTنامه ، و آنTالیز آن داده هTا توانسTت عTواملی کTه بTاعث می شTد مسTافران دوبTاره بTه این بنTدی طبقTه بTا و کTرده پیTدا را گردنTد بTاز هتTل

مسافران، مسافران وفادار به هتل را پیدا کنند.

:در مدیریت ریسک از اسTتفاده بTا کانTادا بTزرگ بانکهTای از یکی در

داده هTا بTرای را کTاوی، مTدلی داده الگوریتمهTای ارائTه داده و بTه وسTیله نتTايج آنTاليز آن، مسTئله مهم برگشTت مTیزان و چگTونگی و حسTابها در تقلب بانTک را حTل نمودنTد و وامهTای داده شTده توسTط تصTمیمی صTحیح را بTرای مشTتری هTای جدیTد بانTک

گرفتند.

25

بTه کTه کTاوی داده از هTایی مثTال کنفTرانس اولین در مقالTه صTورت

داده کاوی ایران ارائه شده اند:توسعه فرآيند و طراحي نرم افزار چهار مرح

له اي داده كاوي براي اكتشاف دانش در پايگاه هاي داده اي اختراعات ثبت شده با هدف پيش بيني تكنولوژي

بررسي تاثير بكارگيري مدل استخدام مبتني بر داده كاوي بر نرخ جابجايي كاركنان

بررسي تكنيك هاي كاوش در ساختار لينك هادر وب

بررسي اثر پارامترهاي مختلف بر روي كيفيت نانوالياف با استفاده از معادالت رگرسيون چندگانه

26

بكارگيري روش داده كاوي اطالعات در حل مساله برنامه ريزي كارگاهي در حالت فازي

بكارگيري تحليل هاي داده كاوي مكان محور در شناسايي و اندازه گيري روند تغييرات تقاضاي خدمات امدادي در سطح شهر

بكارگيري تكنولوژي داده كاوي در بهبود كيفيت و مهندسي مجدد فرآيندها

اعتبار سنجي مشتريان اعتباري بانك ملي بر اساس تكنيك هاي داده كاوي )رگرسيون لجستيك(

كشف 14 دانش كاربردي در زمينه صادرات فرش ايران

27

بTه کTه کTاوی داده از هTایی مثTال کنفTرانس اولین در مقالTه صTورت

داده کاوی ایران ارائه شده اند:

متن کاوی اتTتنتاج اطالعTد اسTه فراینTا بTاوی عمومTمتن ک

بTا کیفیت بTاال از متن گفتTه می شTود. اطالعTات بTا کیفیت بTاال معمTوال از طریTق تقسTیم کTردن

نقش ها و روند ها استنتاج می شود . اختارTای سTد هTامل فراینTا شTاوی عمومTمتن ک

دهی متن ورودی ، اسTتنتاج نقش هTا از میTان داده هTای سTاختار یافتTه، و سTرانجام ارزیTابی و

تفسیر خروجی است. هTامل، طبقTاوی شTول متن کTای معمTکارکرد ه

بنTدی متن، خوشTه بنTدی متن، اقتبTاس مفهTوم، تحلیTل هTای احساسTی، خالصTه کTردن متTون، و

مدل سازی روابط موجودیت ها می باشد.28

فرآيند متن کاوي وژيکيKدهاي تکنولKامل فيلKه شKت کKدي اسKاوي فرآينKمتن ک

هKوش و کKاوي داده اطالعKات، بازيKابي اسKت. فKراواني مصKنوعي و زبانشناسKي محاسKباتي، همKه فيلKدهايي هسKتند کKه در اين زمينKه، نقشKي را دارا هسKتند. امKا بKه طKور کلي دو

فاز اصلي در فرآيند متن کاوي وجود دارد: تينKروجي نخسKت. خKتندات اسKردازش مسKاز پيش پKاولين ف

فKاز مي توانKد دو قKالب مختلKف داشKته باشKد؛ مبتKني برسKند و مبتني بر مفهوم.

ايشKاني نمKاي ميKت، از فرمهKتخراج دانش اسKدي اسKقدم بعروال مسKتند، يKك نمKايش ي نحKوه بKه بسKته مسKتندات. نمKايش اسKت. متفKاوت يKك مسKتند بKراي دانش اسKتخراج تصKوير بنKدي، بنKدي، طبقKه گKروه بKراي بKر مسKتند، مبتKني نمKايش اسKتفاده مي شKود، درحاليكKه آن نظKاير و گKري مبتKني بKر مفهKوم بKراي يKافتن روابKط ميKان مفKاهيم ، سKاختن

اتوماتيك تزاروس و آنتولوژي و نظاير آن بكار مي رود.

29

معرفی کتاب:1 داده کاوی - Data Mining2 اصول و مبانی آنالیز مکان محور در -

سیستم های اطالعات مکانی

نویسنده هر دو کتاب: دکتر جمالشهرابی

عضو هیئت علمی دانشکده مهندسیصنایع دانشگاه امیر کبیر و دبیر اولین

کنفرانس داده کاوی ایران 30