polyhבהסתברות לפחות למצא /P

)]()([Pr xfxhD

1

PACבעיה במודל

Xxעבור Dבהסתברות εהפונקציה f טועה

ONLINEמודל

. אחרי כל טעות הפונקציה משתפרת 1

. מספר הטעיות קטן 2

CfמורהלומדONLINEמודל 1x

)(1 xh1ynoyes /

)(2 xh2ynoyes /

2x

. כל ניתן לחישוב בזמן פולינומיאלי 1

. אחרי מספר פולינומיאלי של טעיות ( ) הלומד לא טועה2 ז"א שווה ל-

)(xhi

no)(xhi)(xf

Littlestone 1988

))(,( fsizespoly C

EXACTמודל Angluin 1987

Cfמורהלומד

)(1 xh1,/ xnoyes

)()( 111 xfxh

)(2 xh2,/ xnoyes

)()( 222 xfxh

. כל ניתן לחישוב בזמן פולינומיאלי 1

הלומד מוצא את EQ. אחרי מספר פולינומיאלי של 2 ז"א שווה ל-

)(xhi

)(xhif

EQ=Equivalence Query

)( 1hEQ

)( 2hEQ

f

שאלתת השקילות

))(,( fsizespoly C

otherwise

axxftfRay aat 0

1)( {0,1}},{1,:

1דוגמא

2 3 4 51

3f

ONLINEלמידה במודל

EXACTלמידה במודל

חיפוש בינרי

חיפוש בינרי

אם"ם ניתן ללמוד EXACT במודל C ניתן ללמוד משפטONLINE במודל C את

fמורהלומד

))(( 1 xhEQ

)( 111 xhy noyes /

C ל- EXACT אלגוריתם במודל A יהי הוכחה

Aתריץ את

noאם התשובה תחזיר את התשובה

Aל

1x

1x

כוון שני...

אזי ניתן ללמוד EXACT במודל C אם ניתן ללמוד משפטPAC במודל C את

שרץ בזמן C ל- EXACT אלגוריתם במודל A יהי הוכחה poly(s,sizeC( f ))

האלגוריתםEQ(h) שואל A וכל פעם ש-A נריץ את ז"אS מחפש דוגמא נגדית מ-

– אוסף של דוגמאות Sשמקבל קלט B נגדיר אלגוריתם

)()( s.t. ))(,( xfx hSxfx

),)(( )()(מקרה א xfx hSxfx xh)(ואז אפשר להוציא את

xf)( עוצר ומוציא היפטזה אקוולטית ל- A מקרה ב

ONLINE EXACT

EXAMPLE

PAC

Termטרם בוליאני : 2דוגמא

)1,1110001()0(EQ

},,,,,,{ 7654321 xxxxxxx

)1,1110000( },,,,,{ 654321 xxxxxx

)1,1111011( },,,{ 5321 xxxx

)1,1010000( },,{ 531 xxx

531 xxxf

)( 7654321 xxxxxxxEQ

)( 654321 xxxxxxEQ

)( 5321 xxxxEQ

)( 531 xxxEQyes

Termאלגוריתם ל-

Input S

L:={x1,x1,x2,x2,…,xn,xn}EQ(L) a

If a = YES return(L) Remove l from L if l(ai)=0

)(זמן 2nO

Properלמידה מתאימה

EQnמספר

iבשלב },,,,,,{)( 76543217654321 xxxxxxxxxxxxxxLit נסמן

)()( ihLitfLit

fhi הדוגמא הנגדית מקיימת

1)( 0)( )()( iii xfxh

fלא נמחק ליטרל שנמצא ב-

1)( )( 1)( )()( ii xlfLitlxf

0)( )( 0)( )()( ii xlhLitlxhלפחות ליטרל אחד hנמחק ב-

EXACT ב-C:אם ניתן ללמוד 1משפט הדואליות CDאזי ניתן ללמוד שאלתות q ו- Tבזמן

שאלתות. q ו- O(T)מדוגמאות בזמן

EXACT ניתנת ללמידה ב-C: 2משפט הדואליות .EXACT ניתנת ללמידה ב-CDאם"ם

DfמורהCDלומד ל- Dhg 11

1,/ xnoyes

)()( 111 xfxg D

)( 1gEQCלומד ל-

)( 1hEQ

)()( 111 xfxh

)(hOutput)( DhOutput

משפט ההרכבה

מחלקת פונקציות בוליניותCתהי תהי

CfgggfGC t |),,,()( 21

),,,( 21 tgggG סדרת פונקציות. TG ניתנת לחישוב בזמן giכך שכל

שאלתותq(n) ו-T(n) ניתנת ללמידה מדוגמאות בזמן Cאם אזי

ניתן ללמידה מדוגמאות בזמןO( T(t)+q(t) t TG )

poly(t)אלגוריתם הלימידה מוציא היפוטזה בגודל

ו- O(q(t))שאלתות

Abgbg

xgxghb

bggh(g

hA

tA

GCB

t

t

t

to))(,),((return

)))(,),(((Output YES If

)),,,EQ(ask n the

)EQ( asks When

)(Run

)(for Algorithm

1

1

21

C אלגוריתם לימידה ל- A(n): יהי הוכחה

Bנגדיר אלגוריתם

,,,,,,,Term 212111 xxxxxxxxk nn

)TermMClause(k DNFk

3דוגמא

knkt )2(|Term|

nnq )( Termזמן לימידת

EQמספר kn)2(

))2((זמן knpoly

0

Decision list( DL ) רשימת החלטה 4דוגמא

1

1ix

2ix

3ix

six

1 2 3 s2 3 s

1s

נוסיף משתנה ונגדיר רשימה מונוטונית

1

1ix

2ix

3ix

six

12 3 s

0 01

01 1

121נגדיר רשימה מונוטונית דחוסה. kk

kiii xxx 21

1 1אם

אם ניתן ללמודלמהרשימה מונוטונית דחוסה

ניתן ללמוד רשימת החלטה

10 x

0

1T 2T 3T nT1

1 0 n

0 01

01 1

נניח בשלב מסוים באלגוריתם יש לנו היפטזה

0

1H 2H 3H nH1

1 0 n

0 01

01 1

ii TH כאשר

H

aHEQכאשר שואלים )(

0)()()( 21 aTaTaT i 0)(1 aTi

0)()()( 21 aHaHaH i 1)(1 aH i

ii TH

ii TH כאשר

aHEQכאשר שואלים )(

0)()()( 21 aTaTaT i 0)(1 aTi

0)()()( 21 aHaHaH i 1)(1 aH i

0)(1 aTi -1כל המשתנים ב- אפס בiTa

1)(1 aH i -1קיים משתנה ב- אחד בiHa1iTמשתנה זה לא נמצא ב-

1iHנוציא משתנה זה מ- 11עדיין מתקיימת התכונה ii TH

נתחיל עם היפטזה

0

1H 2H 3H nH1

1 0 n

0 01

01 1

H

nn xxxHHH 1021

iH נמחק אחד מהמשתנים באחד מה- EQאחרי כל

הוא לכל היותר EQלכן מספר ה- 2n

npoly)(זמן

log)( בזמן EXACT ב-DT: ניתן ללמוד משפט sOmn

log)( בגודל log s-DL האלגוריתם מוציא sOn

)( מדוגמאות בזמן DNF: ניתן ללמוד משפט ~ 2/1

2 nOm

)( בגודל האלגוריתם מוציא ~ 2/1

2 nO DL)(~ 2/1 nO

חסם עליון על מספר שאלתות השקילות

|log|C עם EXACT ב-C: ניתן ללמוד כל מחלקה משפט שאלתות שקילות (וזמן אקספוננציאלי).

נגדירS: לקבוצה הוכחה

2.5

}{ else .4

)))((output( then YES If.3

)))(((.2

{}.1

)(

Goto

ASS

SCMajA

ASCMajEQ

S

CHalving

} with consistent:{)( SfCfSC

tfffff 4321

)(SC

)(

)3(

)2(

)1(

mx

x

x

x

))(( SCMaj

000000000000011111111

}){( ASC

A

2

|)(||}){(|

SCASC

12

|||)(|

||

S

CSC ||log|| CS

0

sDNF

DNFדוגמא

DNF בגודל s

|DNF| sns

n

s3

3

עםEXACT ב-DNF: ניתן ללמוד משפט שאלתות שקילות (וזמן אקספוננציאלי).

3logns