یادگیری درخت تصمیم

درختتصمیم یادگیری

Amirkabir University of TechnologyComputer Engineering & Information Technology Department

Instructor : Saeed Shiry

Mitchell Ch. 3

مقدمه روبرو مختلف جنبه دو با یادگیری مسئله یک در

هستیم: ها فرضیه نمایش& نحوه گزینیم برمی یادگیری برای که روشی

برای فصل این ها در فرضیه درخت نمایش ازبرای و میکنیم استفاده ای&ن یادگرفتنتصمیم

روش از .ID3درخت میکنیم استفاده

تصمیم درخت مفاهیم نمایش برای مصنوعی درهوش درختها

حاالت معادالت، جم&الت، ساختار نظیر مختلفی. میشود استفاده غیره و بازی،

تقریب برای روشی تصمیم درخت توابع یادگیریگسسته مقادی&ر با به. هدف نسبت روش این است

فصلی ترکیب است وقادر بوده هامقاوم داده نویز. بگیرد یاد را عطفی های گزاره

یادگیری الگوریتمهای مشهورترین جزو روش ایندر آمیزی موفقیت بصورت که است استقرائی

. است شده گرفته بکار مختلف کاربردهای

تصمیم نمایشدرخت آن در که است& درختی تصمیم نحوی درخت به را ها نمونه

در و میکنند رشد پائین سمت به ریشه از که میکند بندی دستهمیرسد برگ های گره به :نهایت

برگ یاغیر داخلی گره ویژگی (non leaf )هر یک (attribute)با . ورودی مثال با رابطه در را سوالی ویژگی این میشود مشخص

. میکند مطرح شاخه سوال این با ممکن جوابهای تعداد به داخلی گره درهر

(branch). میشوند مشخص جواب آن مقدار با یک هر که دارد وجود مشخص جوابها از دسته یک یا و کالس یک با درخت این برگهای

میشوند. این که است این تصمیم درخت& با& آن نامگذاری علت&

مثال یک دسته تعیین برای گیری تصمیم فرایند درخت. میدهد نشان را ورودی

تصمیم درخت یک از مثالیمحل درد

تب سرفه

شکم

باکتری

گلو

سکته

سینه هیچکدام

بله خیر

آپاندیس

ویروسی تب

بله خیر

آنفوالنزا سرماخوردگی

بله خیر

هیچکداممشخص • را دسته یا کالس یک درخت این برگ هر

میکند.صورت • این به تصمیم درخت در آموزشی مثال یک

: میشود بندی دسته•. میشود شروع درخت ریشه ازمی • تست گره این توسط شده معین ویژگی

گردد.داده • مثال در ویژگی ارزش با منطبق سپس و

انجام پائین به رو حرکت ها شاخه طول در شده. دهد می

جدید • گره زیردرختان های گره برای فرآیند این. شود می تکرار

کاربردها بصور&تی را& آنها بتوان که دار&د کاربرد مسایلی در تصمیم در&خت

کالس یا دس&ته یک نام بصورت و&احدی پاسخ که نمود مطرح. دهند ارائه

سوال این به که س&اخت تصمیمی درخت میتوان مثال برای : به که ساخت درختی& یا و است؟ کد&ام مریض بیم&اری دهد پاس&خ

: مبتالس&ت؟ هپاتیت به مریض آیا دهد پاسخ س&وال این زوج بصور&ت آموز&ش&ی مثالهای که است مناسب مسائلی& برای

. ) - باشند) ش&ده مشخص ویژگی& مقدار . مثال هر مثال باش&د گسسته مقادیر با خرو&جی دار&ای& هدف تابع

. ش&ود تعیین خیر و بله با &ف&صلی گر توصیف& به .(disjunctive)نیاز& باش&د

تصمیم درخت های ویژگی رود می بکار گسسته توابع تقریب (classification)برای نویز به ورودی نسبت های است مقاوم داده در رو این از کاراست باال حجم با های داده Dataبرای

mining شود می استفاده قوانین بصورت را درخت توان داد if-thenمی نمایش

است استفاده برای فهم قابل که فصلی امکان و عطفی دهد ترکیب می را ها فرضیه که آموزشی مثالهای که مواردی ویژگیها در همه فاقد

است استفاده قابل نیز هستند

تصمیم نمایشدرخت نحوهدرخت بین مستقیمی ارتباطمنطقی توابع ونمایش تصمیم

. هردرخت درواقع دارد وجودهای گزاره فصلی ترکیب تصمیم

است عطفی

عطفی ترکیب برگ به ریشه از مشخص (AND)مسیر را ها ویژگی ازفصلی ترکیب خوددرخت و .(OR)نموده میسازد را ترکیبات این

مثال عطفی ترکیب

Outlook=Sunny AND Wind=Normal

No No

مثال فصلی ترکیب

OR

مثالتابع XOR

XOR

تصمیم درخت یادگیری الگوریتم عمل یک پایه بر تصمیم درخت یادگیری های الگوریتم اغلب

حریصانه ) پائین( )greedyجستجوی به در( top-downباال. میکنند عمل موجود درختهای فضای

،پایه الگوریتم )Concept Learning System )CLSاینسال در که شود می .1950نامیده است شده معرفی

توسط الگوریتم سال Ross Quilanاین بصورت 1986درعنوان تحت )Inducing Decisition trees )ID3کاملتری

. گردید مطرح عنوان تحت دیگری کاملتر الگوریتم ارائه C4.5بعدها

نقائص برخی که .ID3گردید میکند برطرف را

اصلی ID3ایده

به ایده ومی Ocuum’s Razorاین است مشهورگوید :

“ است” ساده ذاتا دنیا

سازگار داده با که تصمیم درخت کوچکترین از بنابرایندرستی به را نادیده مثالهای که رود می انتظار باشد

. کند بندی دسته

تصمیم بایاسدرخت

کوچکتر درختهای انتخابدرختهای که است ایده این بر تصمیم درخت بایاس

. شود داده ترجیح بزرگتر درختهای بر کوچکتر

سئوال

دارای ما مسئله بود؟ mاگر خواهد چقدر تصمیم درخت ارتفاع باشد، ویژگی جواب:

است، ویژگی یک خود آن که است ریشه یک دارای تصمیم درختاست ویژگی نیز، خود آن که رسیم می پاسخی به ویژگی آن از سئوال .در

درخت ارتفاع حداکثر . mپس بود 1ویژگیخواهد

2ویژگی

mویژگی

Bدسته Aدسته

ID3الگوریتم ساخته پائین به باال از تصمیم درخت الگوریتم این در

: کدام. میشود شروع سوال این با الگوریتم این میشودگیرد؟ قرار آزمایش& مورد درخت ریشه در باید ویژگی

تا میش&ود استفاده آماری آزمون یک& از جواب یافتن برایتنهائی به است قادر حد چه تا کدام هر گردد مشخص

. کند بندی دسته را آزمایشی مثالهای یک آن ممکن مقادیر از یک& هر برای ویژگی، این انتخاب با

هر ویژگی اساس بر آموزشی مثالهای و شده ایجاد شاخه . مثالهای برای فوق عمل&یات& سپس& میشوند مرتب شاخهویژگی بهترین تا میشوند تکرار شاخه هر در گرفته قرار

. شود انتخاب بعدی گره برای انتخاب آن در که است حریصانه جستجوی یک الگوریتم این

. نمیگیرند قرار بازبینی مورد هرگز قبلی های

ID3الگوریتم

درخت ساختن نحوه که میشود استفاده مثالهائی از تصمیم درخت ساختن برای

گذاری . (label)عالمت باشند شده که مثالهاست از ای مجموعه یادگیر سیستم ورودی درواقع

است، شده بیان ها ویژگی از ای مجموعه توسط& مثال هرمختلف ازمقادیر متناهی مجموعه دارای تواند می هرویژگی

آن . باشد بندی دسته مقدار ویژگیها بر عالوه مثال هر برایباشد می الزم .نیز

برای که شد خواهیم آشنا تصمیمی درختهای با فصل این دربولی بندی یک دسته توان می کلی درحالت ولی روند می بکار

می بکار بندی دسته نوع هر برای که ساخت تصمیم درخت.رود

کننده بندی طبقه ویژگی کداماست؟ بهتری

( تصمیم درخت نام( ID3در ب&ه آماری مقدار یک ازاطالعات می Information Gainبهره استفاده

چه تا ویژگی یک که کنیم مشخص اینکه تا شودحسب بر را آموزشی مثالهای است قادر مقدار

. کند جدا آنها بندی دسته

مثال می بررسی را ای ساده مثال بندی دسته نحوه یادگیری برای

کنیم. گیرد؟ قرار درخت ریشه در باید ویژگی کدام ذیل مثال در

x2

x1

x0زیر مکعب از عبوری صفحه به توجه باشند x2یا x0با ریشه توانند می

مثال : حل: است صورت ای&ن به ما کامل درخت

پیچیده و کامل درخت این. ندارد هم خطا وضمنا است

هدف هم کردن بایاس درکه است کردن ساده

. کند خطا ایجاد است ممکن

یک گیری اندازه کمی معیاراست؟ کدام ویژگی

: کرد بیان نیز دیگری روش به ت&وان می را سئوالرا” درخت ریشه در گرفتن قرار برای وی&ژگی بهتری&ن

کنیم؟ “ انتخاب باید چگونهمثالهای تعداد حل برایشده جدا منفی و مثبت

میگیریم نظر در را

آنتروپی : ( یا نظمی بی خلوص خالص میزان (عدم ای بودن مجموعه

. مجموعه اگر کند می مشخص را مثالها مثالهای Sاز شاملآنتروپی باشد هدف مفهوم یک از منفی و به Sمثبت نسبت

. شود می تعریف زیر بصورت بولی بندی دسته این

مثالهای نسبت نسبت مثبتکه و مثالها کل به. منفیمثالهای همچنین باشد می مثالها کل log0=0 0به

. میشود فرض

مثال :

آن&تروپیx0 وx1 وx2 چقدراست؟

:اعضاء همه اگر آنتروپی Sسئوال باشند یکساناست؟ صفرچقدر

82

P

86

P)

86log

86()

82log

82( 22 E

سئوال اعضای ب&اشد Sاگر منفی نیمی و مثبت نیمی

؟ است چقدر آنتروپ&ی یک

های بندی دسته برای آنتروپیبولی غیر

دارای هدف ویژگی آنتروپی Cاگر باشد مختلف مقدارS بندی دسته این به تعریف Cنسبت زیر بصورت گانه

میشود:

آن در از piکه دسته Sنسبتی به که . iاست دارند تعلقکه شود مبنای logتوجه در . 2همچنان میشود گرفته

میتواند آنتروپی حداکثر حالت این .log2Cدر باشد

اطالعات Information)بهرهGain)

آنتروپی کاهش مقدار از است عبارت& ویژگی یک اطالعات بهره. میشود حاصل ویژگی این طریق از مثالها جداسازی بواسطه که

اطالعات بهره دیگر نظیر )Gain)S,Aبعبارت& ویژگی یک Aبرایمثالهای مجموعه به :Sنسبت میشود تعریف زیر بصورت&

آن در های )Values)Aکه ویژگی مقدار همه و Aمجموعه SVبوده

از ای آن Sزیرمجموعه برای که مقدار Aاست .Vدارای است دوم عبارت و ها داده آنتروپی مقدار اول عبارت فوق تعریف در

. هاست& داده جداسازی از بعد انتظار مورد آنتروپی مقدار

مثال از استفاده با

آموزشی مثالهایبسازید درختی زیر

بودن ب&خش لذت کهبا روزهایی در بازی

مختلف ویژگیهای. کند راتعیین

Day Outlook Temperature Humidity Wind Play

Tennis

Day1 Sunny Hot High Weak No Day2 Sunny Hot High Strong No

Day3 Overcast Hot High Weak Yes

Day4 Rain Mild High Weak Yes

Day5 Rain Cool Normal Weak Yes

Day6 Rain Cool Normal Strong No Day7 Overcast Cool Normal Strong Yes

Day8 Sunny Mild High Weak No

Day9 Sunny Cool Normal Weak Yes

Day10 Rain Mild Normal Weak Yes

Day11 Sunny Mild Normal Strong Yes

Day12 Overcast Mild High Strong Yes

Day13 Overcast Hot Normal Weak Yes

Day14 Rain Mild High Strong No

Overfitting مثل ای فرضیه فرضیه hبرای فضای به نوع Hمتعلق دو

: میشود تعریف خط&ا آموزشی های داده روی )errortrain)hخط&ا ممکن های داده کل روی )D errorD)h خطا فرضیه برای آموزشی h Hمیگوئیم های داده روی

Overfitting مثل ای فرضیه اگر میدهد وجود h0 Hرخ: که باشد داشته

errortrain)h( < errortrain)h0( and errorD)h( > errorD)h0(

Overfitting

بروز Overfittingدالیل الگوریتمID3 عمق به آنقدر را درخت از شاخه هر

را آموزشی مثالهای کامل بطور بتواند که میبرد . به منجر میتواند امر این کند بندی دسته

Overfitting . بروز دالیل :overfittingشود از عبارتند آموزشی های داده در نویز وجود آموزشی مثالهای کم تعداد

و باشیم د&اشته سکه پرتاب بار دو فقط اگر مثال برایاین مورد در ای نتیجه چه باشد آمده شیر بار د&و هر

گرفت؟ میتوان آزما&یش

از Overfittingپرهیز

مرحله 1. به رسیدن از قبل درخت رشد از جلوگیریدسته را آموزشی های داده کامل بطور که ای

. نماید بندیکردن 2. حرس سپس و درخ&ت کامل رشد به اجازه

. نیستند مفید که هائی (post pruning)شاخه

زیرا است شده استفاده بیشتر دوم روش عمل در. نیست ای ساده کار درخت صحیح اندازه تخمین

روش به درخت حرسکردنReduced Error Pruning

توسط روش . Quinlanاین به ابتدا است شده ارائه . کند رشد کافی اندازه به تا میشود داده اجازه درخت

بندی دسته دقت افزایش باعث که را هائی گره سپس: میگردند حرس نمیشوند

مجموعه دو به ها .آموزشی و تستداده میشوند تقسیم. میشود گرفته یاد قبل روش مطابق آموزشی های داده با درخت ( برگ غیر داخلی گره یک برای (nسپس

زیرشاخهn . . به میشود جایگزین برگ یک با شاخه زیر این میگردد حذفقرار مثالهای اکثر بندی دسته یعنی اکثریت مثالهای دسته برگ این

. میشود داده نسبت شاخه این تحت گرفته : حرس درخت اگر میشود بررسی تست مثالهای برروی درخت عملکرد

حرس درخت از داشت فعلی درخت با مساوی یا و بهتر عملکرد شده. میشود استفاده شده

. باشد نداشته سودی بیشتر، حرس تا یابد می ادامه آنقدر کردن حرس

Overfitting عمومی پدیده یکاست

سایر overfitting پدیده و نیست تصمیم های درخت به منحصر . غالبا پدیده این هستند مواجه آن با نیز ماشینی یادگیری روشهای

: که افتد می اتفاق وقتی the hypothesis space is very large the hypothesis search is not biased toward simple models there is little training data there is a lot of noise in the training data

که بگوئیم میتوانیم زیر شرایط دیدن با عمل داده overfittingدر رخاست:

های داده و آموزشی های داده بندی دسته دقت بین زیاد اختالفتست

( یک به رسیدن مثال پیچیده خیلی مدلهای یا و فرضیه به رسیدن) بزرگ خیلی تصمیم درخت

با های ویژگی گرفتن نظر درپیوسته مقادیر

&توسط شده یادگرفته ویژگی ID3درخت و توابع به محدود. است گسسته مقدار با های

نیز را پیوسته مقدار با های ویژگی الگوریتم این اینکه برایمثل پیوسته ویژگی یک برای میتوان شود، ویژگی Aشامل یک

مثل که Acبولی گرد اگر Acتعریف است باشد A<Cدرست. است نادرست اینصورت غیر در و

C . کند حداکثر را اطالعات بهره که شود انتخاب طوری بایدویژگی مقادیر کردن مرتب با میتواند نقاطی Aاینکار وانتخاب

. چنین در شود انجام میکنند تغییر مجاور مثالهای مقادیر کهانتخاب آستانه بعنوان میتواند مجاور دومثال میانگین حالتی

شود.

ویژگی انتخاب معیارهای سایردرخت برای

این شود، اضافه تاریخ نام به ویژگی یک قبل مثال به اگرمثالهای کلیه تا بود خواهد قادر تنهائی به ویژگی

. این اینکه بعلت واقع در کند بندی دسته را آموزشیریشه بعنوان است زیادی اطالعات بهره دارای ویژگیعمق دارای حاصله درخت و شد خواهد انتخاب درخت

. بود خواهد کمی بسیار بخوبی را آموزشی مثالهای درخت این اینکه وجود با

بسیار نادیده مثالهای مورد در اما کرد خواهد بندی دسته . عمل در درخت این زیرا نمود خواهد عمل ضعیف

. نیست تعمیم به قادر و کرده حفظ را آموزشی مثالهای

یا بهره نسبت gain ratioمعیار معیار از میتوان تاریخ مثل هائی ویژگی از پرهیز برای

یا و بهره نسبت نام با استفاده gain ratio دیگریاست این به داشتن حساسیت آن خاصیت که نمود

را ها داده یکنواختی و گستردگی چه با ویژگی یک که. میکند جدا

: میشود تعریف زیر بصورت عبارتی اینکار برای

زیر بصورت بهره نسبت فوق عبارت از استفاده با: میشود تعریف

یا بهره نسبت gain ratioمعیارSI توزیع با زیادی مقادیر که هائی ویژگی تا میشود باعث

. گردند حذف دارند یکنواخت توزیع مثالها تک تک برای تاریخ نظیر ویژگی یک مثال برای

اینرو از دارد SI=lognیکسانیاگر 2 حالیکه در شد خواهد

کند تقسیم دسته دو به را مثالها ویژگی خواهد SI=1یکشد.

است این بهره نسبت ازمعیار استفاده عملی مشکل یککوچک خیلی یا و صفر عبارت این مخرج است ممکن که

استفاده. هیوریستیک روشهای از حالت این در شودمیشود.

متفاوت هزینه با هائی ویژگی هزینه است ممکن بیمار یک پرون&ده بررسی در

یا و باشد باال بسیار ها ویژگی برخی کردن تستخطرناک آن تست ویژگی موثربودن علیرغم اینکه

باشد. که کرد بایاس طوری را درخت باید حالت این در

. مثال ب&رای دهد ترجیح را کم هزینه با های ویژگی. ن&مود تقسیم هزینه بر را بهره است ممکن

های ویژگی با مثالهائینامعلوم

ج&مع پزشکی مدارک نظیر کاربردها از برخی دراست ممکن مختلف بیمارستانهای در شده آوری

. باشد نشده ثبت درست ها ویژگی از برخی مقداربه که باشد ای&ن میتواند انتخاب یک صورت این در

گره در مثالها مقدار متداولترین مقدار نسبت nآن. شود داده

UCI Machine Learning Repository Currently

maintains 177 data sets as a service to the machine learning community.

http://archive.ics.uci.edu/ml/

ارائه موضوعfuzzy decision trees pruning in decision tree induction