بیزی باور های شبکه

Instructor : Saeed Shiry

Mitchell Ch. 6

مقدمه

سازی پیاده عمل بسیار Bayes Optimal Classifierدر. است پرهزینه

کننده بندی دسته دیدیم که همانگونه Naive Bayes Classifier ها ویژگی مقادیر که بود استوار اصل این بر

محدود بسیار شرط یک این اما. باشند شرطی مستقل.نمیشود برآورده غالبا که است کننده

یا بیزی باور های شبکهBayesian Belief Networks که Bayes Nets توصیف برای است روشی میشود نامیده هم

.متغیرها از ای مجموعه توام احتمال توزیعBBN راقابل ازمتغیرها ای مجموعه زیر شرطی استقالل

وابستگی درباره قبلی دانش ترکیب امکان و کرده توصیف.میاورد فراهم آموزشی های داده با را متغیرها

مقدمه

ساده کننده بندی دستهبیزی

بیزی باور شبکه

X1 X1 X2 X2 xnxn……

Concept CConcept C

P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c)P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c)

P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)

X1 X1 X2 X2 x4x4

Concept CConcept C

X3 X3

مقدمه

اگر a1,a2,...an یا و ویژگیها از ای مجموعه از ترکیبی هر احتمال میتواند BNباشند متغیرها

.کند بیان را آناناز استفاده هنگام در اگرچه BN به ناگزیر هم

BN اما بود خواهیم استقالل شروط از استفاده.دارد کمتری محدودیت که است تری میانه حل راه

مثال

P (Campfire=True | Storm=True, BusTourGroup=True ) = ?

StormBus Tour Group

Lightning

Thunder

Campfire

Forest Fire

–Node = variables–Arc = dependency–Direction on arc representing causality

Variable A with parents B1, …., Bn has a conditional probability table P (A | B1, …., Bn)

BN کاربردتشخیص P(cause|symptom) ?=بینی پیش P(symptom|cause)?=بندی دسته(ارزش تابع وجود صورت در )گیری تصمیم

مثال:

Speech recognition, Stock market, Text Classification, Computer troubleshooting, medical diagnostic systems,real-time weapons scheduling, Intel processor fault diagnosis (Intel) generator monitoring expert system (General Electric) troubleshooting (Microsoft)

data)|P(classmaxclass

1C 2C

cause

symptomsymptom

BN کاربرد

خواستگاه BN بر خبره های سیستم با احتمال ترکیب به تشکیل آنرا مهم کاربردهای از یکی زمینه این و میگردد.میدهد

BN های سیستم که کاربردهائی از دربسیاری میتوان را knowledge based برد بکار هستند استفاده مورد متداول.

BN زیر مزایای دارای عصبی های شبکه با مقایسه در :است

ساخت در خبره افراد اطالعات از میتوان BN کرد استفاده.ساختار توسعه و فهم BN است تر ساده.BN کند کار ناقص های داده با میتواند.

شرطی استقالل

شرطی استقالل تعریفاگر X,Y,Z گسسته مقادیر با تصادفی متغیر سه

از شرطی بطور Z دانستن با X که میگوئیم باشندY دانستن با اگر است مستقل Z احتمال توزیع X

.باشد Y مقدار از مستقل

از ای مجموعه برای میتوان را مشابهی تعریف :برد بکار متغیرها

)Z|()Z, Y( ), ,( kikjikji zxXPzyxXPzyx

)...|...()...,...|...( 11111 nLnmL ZZXXPZZYYXXP

BN نمایشیک BN از ای مجموعه توام احتمال توزیع دادن نشان برای گرافیکی مدلی

کمی اطالعات بصورت مسئله یک برای آمده بدست دانش. است متغیرها.میشود مدل گراف این در کیفی و

توسط خطی استقالل فرضیات از ای مجموعه کردن مشخص با اینکار .میشود انجام ها گره شرطی احتمال ذکرمقادیر با همراه گراف، کمانهای

در گره یک بصورت توام فضای از متغیری هر BN برای و شده داده نمایش :میگردد ارائه اطالعات نوع دو متغیر هر

lung Cancer

Smoking

X-ray

Bronchitis

DyspnoeaP(D|C,B)

P(B|S)

P(S)

P(X|C,S)

P(C|S)

دادن نشان برای شبکه کمانهای1.بکار شرطی استقالل رابطهیک: والدین دانستن متغیربا میرود

از آن فرزند غیر های گره آناست .مستقل

توزیع که میگردد ارائه نیز جدولی2.برای احتمال والدین هرگره. میکند مشخص آنرا بالفصل

BN نمایش

Storm

Bus Tour Group

Lightning

Thunder

Campfire

Forest Fire

P(L|S)

P(B)

P(S)

P(F|C,S,L)

P(C|S,B)

P(T|L,S)

CPD: S B C=0 C=10 0 0.2 0.80 1 0.8 0.21 0 0.1 0.91 1 0.4 0.6

Campfire با والدینش دانستن

از مستقلlightining است

و Lightning متغیرهای BusTourGroup و Storm دانستن باThunder برای دیگری اضافی اطالعات Campfire ارائه

.نمیدهند

توام احتمال توزیع

در BN مجموعه توام احتمال توزیع محاسبه برای :میشود استفاده زیر رابطه از متغیرها از ای

آن بالفصل قبلی های گره گره، یک والدین که .میباشند

مثالP(Campfire, Storm, BusGroupTour, Lightning, Thunder, ForestFire)?

P(Storm)P(BusTourGroup)P(Campfire|Storm,BusTourGroup)P(Lightning|Storm)P(Thunder|Lightning)P(ForestFire|Lightning,Storm,Campfire).

n

iiin XParentsXPXXXP

121 ))(|(),...,,(

مثال

شرطی احتمال

C 0.4 0.1 0.8 0.2

S,B S,~B ~S,B ~S,~B

~C 0.6 0.9 0.2 0.8

P(Campfire=true|Storm=true,BusTourGroup=true) = 0.4

مثال

پرینتر یابی عیب

BN ساخت نحوه

خبره یک توسط ، دستی بصورتماشین یادگیری روشهای توسط اتوماتیک، بصورت

BN توسط استنتاجAge Income

HouseOwner

…Voting Pattern

NewspaperPreference

LivingLocation

How likely are elderly rich people to buy DallasNews?

P( paper = DallasNews | Age>60, Income > 60k)

استنتاج

:بندی دسته و BN بین ارتباطاز میتوان BN در را متغیر یک مقدار و نموده استفاده

استنتاج متغیرها سایر مقادیر مشاهده صورت وجود مقدار یک آوردن بدست امکان معموال البته.نمود

.میشود محاسبه احتمال توزیع یک آن بجای و نداشتهانجام باشد معلوم پیش از متغیرها همه مقادیر اگر

فقط معموال ولی است ساده استنتاجی چنین ممکن مثال. میشود مشاهده متغیرها از مقداربخشی

Thunder , BusTourGroup مشاهده با بخواهیم است.کنیم گیری نتیجه Forestfire مورد در

کلی حالت

X1 X1 X2 X2 xnxn……

Concept CConcept C

P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c)P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c)

ساده بیزی کننده بندی دسته

و بوده مقدارهدف متغیرها از یکی اگر سایر مقدار داشتن با آنرا بخواهیمکنیم محاسبه متغیرها

P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)

X1 X1 X2 X2 x4x4

Concept CConcept C

X3 X3 بیزی باور شبکه

استنتاج

مختلف روشهای:دقیق روشهایتقریبی روشهای Monte Carlo Dynamic programming Variable elimination

مثال

A: p(A) = 0.1p(~A) = 0.9B: p(B) = 0.4p(~B) = 0.6

The initialized Probability of C:p(C) =p(CAB) + p(C~AB) + p(CA~B) + p(C~A~B)=p(C | AB) * p(AB) + p(C | ~AB) * p(~AB) +p(C | A~B) * p(A~B) +

p(C | ~A~B) * p(~A~B)=p(C | AB) * p(A) * p(B) + p(C | ~AB) * p(~A) * p(B) +

p(C | A~B) * p(A) * p(~B) +p(C | ~A~B) * p(~A) * p(~B) =0.518

CPD: A B C=0 C=10 0 0.5 0.50 1 0.5 0.51 0 0.6 041 1 0.8 0.2

A

C

B A , B احتمال دانستن با C درستی احتمال میتوان

.نمود محاسبه را

مثال

A: p(A) = 0.1 p(~A) = 0.9B: p(B) = 0.4 p(~B) = 0.6C: p(c)= 0.58

p(B | C) =( p( C | B) * p(B) ) / p(C)=( ( p(C | AB) * p(A) + p(C | ~AB) * p(~A) ) * p(B) ) / p(C) =( (0.8 * 0.1 + 0.5 * 0.9) * 0.4 ) / 0.518=0.409

p(A | C) =( p( C | A) * p(A) ) / p(C)=( ( p(C | AB) * p(B) + p(C | A~B) * p(~B) ) * p(A) ) / p(C)= ( (0.8 * 0.4 + 0.6 * 0.6) * 0.1 ) / 0.518=0.131

CPD: A B C=0 C=10 0 0.5 0.50 1 0.5 0.51 0 0.6 041 1 0.8 0.2

A

C

B C بدانیم صورتیکه در با میتوان است درست

و بیز تئوری از استفاده احتمال C اولیه احتمال

B یا A از کدامیک اینکه را بوده آن وقوع علت

.نمائیم محاسبه

.است بیشتر باشد بوده آن عامل B اینکه احتمال که گفت چنین میتوان c بودن صحیح صورت در لذا

BN یک یادگیری

گرفت؟ یاد آموزشی های داده روی از را BN یک میتوان چگونهباشد، معلوم قبل از شبکه ساختار است ممکناحتمال مقادیر یعنی آن پارامترهای بخواهیم وبگیریم یاد را متغیرها شرطی

باشد، معلوم قبل از شبکه ساختار است ممکن .باشند مشاهده قابل متغیرها از برخی فقط ولی

و نبوده معلوم شبکه ساختار است ممکنپارامترهای و گراف ساختار باشیم مجبور کنیم استنتاج آموزشی های داده از آنر

C

S

B

DX

P(S)

P(B|S)

P(X|C,S)

P(C|S)

P(D|C,B)

CS

B

DX

)ˆ Score(G max arg GG

C

S

B

DX

BN یک یادگیری

متغیرها وتمامی بوده معلوم شبکه ساختار که صورتی در1. احتمال جدول براحتی میتوان باشند مشاهده قابل

مشابه )گرفت یاد آموزشی های داده روی از را شرطی(ساده بیزی یادگیری

فقط ولی بوده معلوم قبل از شبکه ساختار صورتیکه در2. یادگیری باشند، مشاهده قابل متغیرها مقادیر از برخی

الیه وزنهای یادگیری شبیه اینکار. بود خواهد مشکلتر. است عصبی های شبکه مخفی

مشکل یادگیری نباشد معلوم شبکه ساختار صورتیکه در3. در جستجو برای K2 نظیر جستجوئی روشهای از و بوده

.میشود استفاده ممکن ساختارهای فضای

BNیادگیری روشهای

یادگیری روشهای BN شبکه ساختار اینکه به بسته داده مشاهده قابلیت همچنین و باشد معلوم قبل از

:است زیر بصورتStructureObservabilityMethod

KnownFullMaximum Likelihood Estimation

KnownPartialEM (or gradient ascent)

UnknownFullSearch through model space

UnknownPartialEM + search through model space

ساختار روشهای BN یادگیری

BN بهترین آنها در که scoring-based ی روشها1. داشته را داده با تطابق بیشترین که است ساختاری

بیزی MDL کردن ماکزیمم بدنبال روشها این. باشد.هستند Kullback-Leibler (KL)آنتروپی تابع یا و

با BN ساختار آن در که constraint-basedروشهای2. ها گره بین شرطی استقالل رابطه کردن مشخص

.میآید بدست

و داشته کمتری کارائی اول روش که اند داده نشان3..میدهد بدست را ضعیفی کننده بندی دسته

داده: EM الگوریتم با یادگیریمشاهده قابل غیر های

قابل ویژگیها از برخی فقط کاربردها از برخی در . در یادگیری برای متفاوتی راههای هستند مشاهده

. است شده ارائه مواقعی چنینمتغیری احتمال توزیع کلی شکل که شرایطی در

-Expectation(الگوریتم از میتوان باشد، معلومMaximization (EM متغیری یادگیری برای

.است نشده مشاهده کامل بطور که نمود استفادهآموزش برای الگوریتم این BN عالوه. میرود بکار

و ناظر بدون بندی دسته الگوریتمهای در آن بر.دارد کاربرد نیز HMMیادگیری

گاوسی تابع k میانگین تخمین

مثالآموزشی مجموعه یک D نمونه دارای که بگیرید نظر در را

.باشد مجزا نرمال توزیع k از مخلوطی که باشد هائی

: نمونه هر تولید برای از انتخاب Kیکی یکنواختی احتمال با گاوسی احتمال توزیع

میشود. انتخاب فوق توزیع از استفاده با و تصادفی بصورت داده

میگردد.

تخمین EMالگوریتم برایگاوسی تابع k میانگین

:ورودیهای از xنمونه مخلوطی صورت به توزیع kکه

است شده درست گاوسی: نداریم که اطالعاتی

<1,... k>میانگین kمقادیر

است شده تولید توزیع کدام توسط نمونه کدام اینکه: کنید پیدا

میانگین MLمقدار مقادیر از یک هر <1,... k>تخمین

ناقص اطالعات

: دهیم نشان زیر بصورت را نمونه هر نمایش اگرYi= >xi,zi1,zi2>

آن در نمونه zijکه اگر است یک با توزیع xiبرابر ام Jتوسط. باشد شده درست

xi. است شده مشاهده نمونه

میشد چگونه داشتیم را کامل نمونه را 1,... kاگرکرد محاسبه

مقادیر 1,... kاگر میتوان چگونه باشیم داشته را zijرا. زد حدس