Download - מודל הלמידה מדוגמאות Learning from Examples
מודל הלמידה מדוגמאותLearning from Examples
: אוסף של דוגמאותקלט)},(),...,,(),,{( 2211 mm yxyxyxS
:פלט
C ב- fקונסיסטנטי עם פונקציה ii ז"א yxfmi )( 1
Sקונסיסטנטי עם ז"א
ii yxhmi )( 1
PolyPh /מודל הלמידה מדוגמאותLearning from Examples
: אוסף של דוגמאותקלט)},(),...,,(),,{( 2211 mm yxyxyxS
:פלט
C ב- fקונסיסטנטי עם פונקציה ז"א
ii yxfmi )( 1
Sקונסיסטנטי עם
ז"א ii yxhmi )( 1
PolyPh /
פולינומיאלי בכל הפרמטרים חוץ mממספר הדוגמאות
poly(s,n) בדרך כלל
PolyPh /
זמן ריצת תכנית הלימידהפולינומיאלי בכל הפרמטרים
אם קיים פתרון כנ"ל ניתנת ללמידה מדוגמאות Cנומר ש-
Termטרם בוליאני : 1דוגמא
nxxx ,,, 21
AND
1il
Variablesמשתנים
Literalליטרלים
nn xxxxxx ,,,,,, 2211
2il
kil
דוגמא:119753201 ),,( xxxxxxxf
),( nmpoly
Termטרם בוליאני }1,0{ix
119753 xxxxx
PolyPh / בגודלוניתן לחישוב בזמן
)(npoly)(npoly
}1,0{}1,0{: nf
זמן פולינומיאלי
בלימידת טרם מדוגמאות
)1,1010000()0,1111111()1,1110010()0,0111101()1,1111011()0,0100101()1,1110000()0,0100001()1,1110001(
S
1110001
},,,,,,,,,,,,,{ 77665544332211 xxxxxxxxxxxxxx},,,,,,{ 7654321 xxxxxxx
1110000 },,,,,{ 654321 xxxxxx1111011 },,,{ 5321 xxxx
1110010 },,,{ 5321 xxxx1010000 },,{ 531 xxx 531 xxx
531 xxxהטרם הגדול ביותר הקונסיסטנטי עם כלהדוגמאות החיוביות.
Txxx מקיים.Tלכן טרם המטרה 531
זה שקול ל-
0))((0)( 531 axxxaT
לכן אין צורך לבדוק את הנקודות השליליות
יכול להיות:Tטרם המטרה
1 , , , , , , , 531535131531 xxxxxxxxxxxx
Termאלגוריתם ל-
Input SL:={x1,x1,x2,x2,…,xn,xn}
For all (a,1) in SRemove xi from L if ai=0Remove xi from L if ai=1
Output L
)(זמן nmO
Properלמידה מתאימה
Clauseקלוז בוליאני : 2דוגמא
119753201 ),,( xxxxxxxf
119753201 ),,( xxxxxxxf
דה-מורגן
Augustus De Morgan
)),,,(()),,,(( 201201 xxxx
),,( gLearn 201 xxf
1806-1871
),,( 201 xxg f
דואליות
),,(),,( 11 nnD xxfxxf
}|{ CffC DD
תכונות
CCDD
ffDD
ClauseTerm D
מדוגמאות C:אם ניתן ללמוד 1משפט הדואליות O(T) מדוגמאות בזמן CD אזי ניתן ללמוד Tבזמן
ניתנת ללמידה מדוגמאות C: 2משפט הדואליות ניתנת ללמידה מדומאותCDאם"ם
CNF ו- DNF: 3דוגמא
15119315951119753201 ),,( xxxxxxxxxxxxxxxf
DNF הואORשל טרמים
3)),,(( 201 xxfsizeDNF
CNF הואANDשל קלוזים
)()(),,( 15951113201 xxxxxxxxg
2)),,(( 201 xxgsizeCNF
Disjunctive Normal formConjunctive Normal form
DNF למידה מדוגמאות אם ניתן ניתנת לללמוד אותו בזמן))(,,( fsizenmpoly DNF
בגודלP/polyולחזיר פונקציה ב-
))(,( fsizenpoly DNF
DDNF CNF
DNF:אם ניתן ללמוד 1משפט הדואליות מדוגמאות CNF אזי ניתן ללמוד Tמדוגמאות בזמן
ניתנת ללמידה DNF: 2משפט הדואליות O(T)בזמן ניתנת ללמידה מדוגמאותCNFמדוגמאות אם"ם
מדוגמאותDNFאלגוריתם למידה ל-
)1,1010000()0,1111111()1,1110010()0,0111101()1,1111011()0,0100101()1,1110000()0,0100001()1,1110001(
S
)1,1110001( 7654321 xxxxxxx
)1,1110000( 7654321 xxxxxxx
)1,1010000( 7654321 xxxxxxx
מה הבעיה?
מדוגמאותDNF: למידת בעיה פתוחה
MCNF ו- MDNF: 4דוגמא MDNF הוא Monotone DNF של טרמים מונוטונים – ללא שלילהORהוא
15119315951119753201 ),,( xxxxxxxxxxxxxxxf
מדוגמאות בזמן MDNF:אם ניתן ללמוד 1משפט T אזי ניתן ללמוד DNF מדוגמאות בזמן O(T)
ניתנת ללמידה מדוגמאות MDNF: 2משפט ניתנת ללמידה מדוגמאותDNFאם"ם
MDNFD ? =
: רעיון ההוכחה
)0,0111()0,1111()1,1100()0,0110()1,0100()0,1110(
32214321 ),,,( xxxxxxxxf
)0,01111000()0,11110000()1,11000011()0,01101001()1,01001011()0,11100001(
322143214321 ),,,,,,,( yxyxyyyyxxxxf
),,,,,,,(),,,( 432143214321 xxxxxxxxxxxx ),,,,,,,( 43214321 yyyyxxxx
אלגוריתם לימידה ל- A: יהי הוכחהMDNF נגדיר אלגוריתםB
)),((Output ),()(Run
}),(|)),,{(()Input(
Algorithm
xxhyxhSA
SxxxSS
B
New
New
צריר להוכיח אזי קיים S קונסיסטנטי עם DNF: אם קיים 1טענה
MDNF קונסיסטנטי עם SNew
h(x,x) אזי SNew קונסיסטנטי עם h(x,y): אם 2טענה Sקונסיסטנטי עם
זמן)( nmO
k-CNF ו- k-DNF: 5דוגמא
13151193151531201 ),,( xxxxxxxxxxxxf
k-DNF הוא DNF בגודל לכל היותר טרמים עם k
2-DNF
מדוגמאות k-MDNF:אם ניתן ללמוד 1משפט מדוגמאות בזמן k-DNF אזי ניתן ללמוד Tבזמן O(T) 2משפט :k-MDNF ניתנת ללמידה מדוגמאות
אם"ם k-DNFניתנת ללמידה מדוגמאות
13151193151531201 ),,( xxxxxxxxxxxxf
2-MDNF
Valiant
2-Term
2-MTerm
אפשר להחליף כל טרם במשתנה
2יש לכל היותר טרמים
2n
nn
מדוגמאות MDNF-2 אלגוריתם למידה ל-
jiji
ii
yxx
yx
,
,0
13151193154531201 ),,( xxxxxxxxxxxxf
),,,,,,(),,( 20193121201201 xxxxxxxxxx ),,,,,,( 20,193,12,120,01,0 yyyyy
13,015,119,315,45,31,0 yyyyyy
משתנים n זמן לימידת קלוז עם)( nmO
משתנים n2 זמן לימידת קלוז עם
)( 2nmO
MDNF-2זמן לימידת
מה גודל ההיפטזה?
)(2
2nOn
n
CNFDNFMDNF דואליות kkk
משתנים n זמן לימידת קלוז עם)( nmO
משתנים nk זמן לימידת קלוז עם)( knmO
k-MDNFזמן לימידת
מה גודל ההיפטזה?
knיש לכל היותר טרמים knn
n
2
knknn
n
2
מדוגמאות בזמן k-DNF: ניתן ללמוד 1משפט O(m nk)
O(nk)עם הפטזה בגודל ניתנת ללמידה.k-DNF קונסטנטה k: ל- 2משפט
האם אפשר להקטין את גודל ההפטזה?
)0,1010000()1,1111111()1,1110010()0,0111111()1,1111011()0,0100111()0,1110000()0,0100001()0,1110001(
S
11100101111111
6321 xxxx
111000101000011110000010011101111111010000
1x 2x 3x 6x
61xx
לבקר שובלמידת
טרם
1111011
1 2 3 4
5 6 7 8
9 10 11 12
U
}11,10,7,6{}2,1{}11,10,7,6{}11,10,9,5,3,2,1{}10,9{}6,5{}12,11,8,7,4,3{
7
654
321
SSSS
SSS
Set Cover
U את המכסות Si: מספר מינימלי של קבוצות פלטU ז"א, האחוד שלהם הוא
:קלט
}11,10,7,6{}2,1{}11,10,7,6{}11,10,9,5,3,2,1{}10,9{}6,5{}12,11,8,7,4,3{
7
654
321
SSSS
SSS
1 2 3 4
5 6 7 8
9 10 11 12
U:קלט
421 SSSU
NP-Complete היא Set Cover: בעית 1משפט
: קיים אלגוריתם שרץ בזמן פולינומיאלי ונותן 2משפט כסוי בגודל
)log |U| (kהוא הפתרון האופטימלי. kכאשר
111000101000011110000010011101111111010000
1x 2x 3x 6x
61xx
1S 2S 3S 4S
}5,4,2{1 S
123456
}6{2 S}4,2{3 S
}6,3,2,1{4 S
Set Coverבעית למצא מספר מינימלי של קבוצות
Uשאחודם שווה ל-
U
61 SSU
NP-Completeהיא Set Cover בעית
111000101000011110000010011101111111010000
1x 2x 3x 6x
61xx
1S 2S 3S 4S
123456
Set Coverבעית
U
log||יש אלגוריתם קרוב שנותן פתרון UOpt
|| T mlog
מדוגמאות בזמן k-DNF ניתן ללמוד משפט:O(m nk)
O(sizeDNF( f ) n) עם הפטזה בגודל
גודל ההיפטזה לכל היותרהוכחה:
|| T mlognm 2
ולכןnfmT DNF )(sizelog||
||size)(ו- fT DNF
O(nk)במקום
בזמן פולינומיאלי k-DNF: ללמוד בעיה פתוחה כלשהוk=ω(1) עבור
nk logloglog
מדוגמאות בזמן k-DNF ניתן ללמוד משפט:O(m nk)
O(sizeDNF( f ) n) עם הפטזה בגודל
k-clause CNF ו- k-term DNF: 6דוגמא
15119315951119753201 ),,( xxxxxxxxxxxxxxxf
k-term DNF הוא DNF עם kטרמים
3-term DNF
CNF DNF term:משפט kkDNF CNF term kk
distributiveמתכונת הדיסטריבוטיביות :הוכחה
))(( 913313 xxxxxxf
מדוגמאות k-term-DNF: ניתן ללמוד 1משפט בזמן
O(mnk)O(nk) עם הפטזה בגודל
ניתנת k-term-DNF קונסטנטה k: ל- 2משפט ללמידה.
עם הפטזה קטנה k-term-DNF: ללמוד בעיה פתוחה k=ω(1) או בזמן פולינומיאלי עבור
כלשהו
mm xxify
xxifyxh
11
)(
פתרון טריויאלי
פתרון יעיל
)())(( spolyxhsize
)())(( spolymxhsize
),( smpolytime
s מכיל גודל פונקצית המטרה, גודל x
קצת חזרה
פולינומיאלי בכל הפרמטרים חוץ mממספר הדוגמאות
PolyPh /
זמן ריצת תכנית הלימידהפולינומיאלי בכל הפרמטרים
אם קיים פתרון כנ"ל ניתנת ללמידה מדוגמאות Cנומר ש-
פתרון לא טריויאלי
poly(s)msize(h(x)) 1
s)poly(mtime ,
= פתרון דוחס
Cאם קיים פתרון לא טריויאלי נומר ש-ניתנת ללמידה לא טרויאלית מדוגמאות
Polygon - מצולע קמור: 7דוגמא
kצלעות
s הוא k
פתרון יעילצלעות poly(k) מצולע עם
פתרון לא טריויאלי
poly(k)m 1k)poly(mtime ,
צלעות מצולע עם
k)poly(mtime ,
mנקודות m2קוים
122
kmmk
mזמן
זמן פולינומיאלי
למשולש, מרובע, מחומש
} points positive{U
points} consistent{lS
מספר צלעות
k log |U|<k log m
פתרון לא טריויאלי ),(זמן kmpoly
ניתנת 2 במרחב במימד Polygon: 1משפט ללמידה לא טרויאלית מדוגמאות
במרחב במימד קבוע ניתנת Polygon: 2משפט ללמידה לא טרויאלית מדוגמאות
במרחב במימד Polygon: למידת בעיה פתוחה dבזמן
poly(k,d) פולינומיאלי במרחב Halfspace: למידת חיתוך שני בעיה פתוחה poly(k,d)בזמן פולינומיאלי d במימד
DNF למידה לא טרויאלית מדוגמאות ניתנת לאם ניתן ללמוד אותו בזמן
))(,,( fsizenmpoly DNF
בגודלP/polyולחזיר פונקציה ב-
))(,( fsizenpolym DNF 1