הפקולטה להנדסת חשמל–טכניון

על עידן הלמידה העמוקה

בתחוםוהמהפכה

הבינה המלאכותית

דניאל סודרי: מרצה

מהי בינה מלאכותית

(AI - Artificial Intelligence)?

2

? (Intelligence)מהי בינהקשה להגדרה.

לשמור אותו, היכולת לקלוט מידע: 1הגדרה אפשרית ,.ולהשתמש בו בצורה המותאמת לסביבה או להקשר

לא מאוד שימושית...

3

?מהי בינה

"2" הגדרה :

4

“I know it when I see it”

?

?למה זה טוב

5

?למה בינה מלאכותית

משימות לא נעימות

שיפור ביצועים

6

אלא , אני לא מפחד ממחשבים“."מחסרונם

7

אייזיק אסימוב

מעבר מלא לרכב אוטונמי יוריד: הערכה

,94%-את ההרוגים בתאונות דרכים ב

.ויציל למעלה ממיליון איש כל שנה

,אוקיי השתכנעתי

?איך מייצרים בינה מלאכותית

8

?איך אפשר לייצר בינה מלאכותית

בינה טבעית"ננסה להעתיק מוח עם : 1ניסיון"

9

:מוח אנושי

תאי עצב

סינפסות

אפשר למדוד עד

תאי עצב10000

מאוד קשה

!להבנה

מוח של תולעת

תאי עצב 302

סינפסות ~7000

:C. elegans

קשה להבנה

אי אפשר למדוד

במקבילהכל

?איך אפשר לייצר בינה מלאכותית

אלגוריתם קבוע)רשימת חוקים ( נתכנת)נכתוב : 2ניסיון )

אותם המחשב צריך לבצע

10

?מחשב לקרואנתכנתאיך : דוגמא

א"נתאר ראשית את האות."מורכבת משלושה קוים–( דפוס)אלףהאות:

קו אלכסוני ארוך הנמשך משמאל למעלה לימין למטה(1)

קו קצר יותר היורד מימין למעלה לערך אל השליש התחתון של הקו הראשון(2)

.קו קצר נוסף העולה משמאל למטה אל השליש העליון של הקו הראשון(3)

וכולי ...... –( כתיב)אלףהאות.

רק פותרים , רגישות לשינויים קלים, למימושקשה: בעיות

(.אין שיפור ביצועים)בעיות שכבר ראינו

11

?איך אפשר לייצר בינה מלאכותית

נלמד מחשב כמו שמלמדים ילד: 3ניסיון

12

אהנה דוגמאות לאות:

בנמשיך עם דוגמאות לאות:

13

?ילד לקרואנלמדאיך : דוגמא

?מהי למידה

14

הגדרה מילונית:

,הבנה או יכולת, רכישת ידע:למידה

.(study)באמצעות ניסיון או לימוד

לפי )הגדרה אופרטיבית יותרHerbert Simon ,1983:)

משפרת את ביצועיהמערכת אשר :מערכת לומדת

.משימה זומבצעתככל שהיא משימה נתונהבביצוע

יכולות נרכשות–דוגמאות ללמידה אנושית:

יכולות מוטוריות:

משחק טניס, כתיבה, רכיבה על אופניים, הליכה

עיבוד וניתוח מידע חושי:

חיזוי תנועה, זיהוי פנים, זיהוי עצמים

לימוד קוגניטיבי:

לימוד מתמטיקה, משחק שח, רכישת שפה

למידה אנושית

15

מערכות ביולוגיות נסמכות על תהליכי למידה לצורך פיתוח.יכולות בסיסיות והסתגלות לסביבה משתנה

ניתן להבחין ברמות שונות של לימוד והסתגלות:

אבולוציה)רמה גנטית )

אימונולוגיה למשל)רמה תאית)

רמה נוירולוגית(למידה קוגניטיבית, למידה מוטורית)

תרבות)למידה חברתית)

אסטרטגיה נפוצה : למידה

במערכות ביולוגיות

16

?אז איך מלמדים מחשב ללמוד

17

(Machine Learning)למידת מכונה

18

מינוח בעברית:

למידה חישובית\למידה ממוחשבת \למידה ממוכנת \למידת מכונה

תוך מידע נרכש או /ו( דוגמאות)במידע קיים שימוש

שיפור אוטומטי של לצורך , אינטראקציה עם הסביבה

.בביצוע פעולות מורכבותביצועי המחשב

?מדוע למידת מכונה

מעבר ליכולת הניתוח והמימוש הקניית יכולות שהן

. הישיר של מפתח המערכת

הסתגלות לסביבה משתנה ופרמטרים לא ידועים.

חיסכון בזמן תכנון ופיתוח של מערכות מורכבות.

19

הובלה עולמית בתחום–הטכניון

20

:מרכז חדש בטכניון

מערכות לומדות ומערכות "

"אינטליגנטיות

סוגי בעיות למידה

למידה מונחית :Supervised Learning

מונחית-למידה לא :Unsupervised Learning

למידה מחיזוקים:Reinforcement Learning

21

למידה מונחית

אינדוקטיביתהסקהאוהכללה:הלמידהבעיית–

מתויגותדוגמאותשלסופימאוסףלהסיקעלינו

?ראינושלא𝑥כלשהולקלטהמתאים𝑦הפלטמהי

22

( ’כלב‘=(

’חתול‘

’כלב‘

𝑥 𝑦

סיווג כתב יד–למידה מונחית

תמונת ספרה:קלט

0-9תגית : פלט

ספרות מתויגות:דוגמאות

23

חיזוי שערי מניות-למידה מונחית

ומדדים כלכליים , שער המניה–מידע היסטורי : קלטימים אחרוניםNבמשך –רלוונטיים

שער מניה נתונה :פלט

ימיםmבעוד

נתוני העבר:דוגמאות.

24

אם אנחנו בטוחים בעמדה : דוגמא נוספת

?מה הסיכוי שאנחנו צודקים, מסוימת

25

מוויכוחים קודמים יוסי אסף את המידע הבא. יוסי מרבה להתווכח:

ההסתברות =

לצדקת הטענה

= רמת הבטחון בטענה

מה יהיה הסיכוי שהוא , בפעם הבאה שיוסי יתווכח?כתלות בביטחון שלו בה, צודק בטענה

x

y

איך נתאר את הנתונים בצורה

נבנה מודל? מתמטית

26

x

y(:לינארי)מודל פשוט

y=wx+b

(:ריבועי)מודל ביניים

y=w1x+ w2x2 +b

y=w1x+ w2x2 +…+ wdx

d +b

(:פולינומי)מודל מסובך

שגיאה : שגיאת הכללה

.שלא ראינועל דוגמאות

ההסתברות

לצדקת

הטענה

רמת הבטחון בטענה

:דוגמא בסיווג

ישר המפריד בין שתי הקבוצות

(:לינארי)מודל פשוט

y=sign(wx+b)

?מהי למידה עמוקה

28

היסטוריהזוכרים את המודל הלינארי לסיווג?

29

:מימדיםd-הכללה ל

"(:נוירון מלאכותי)"אנלוגיה לתא עצב

אואו

פונקציית"

"אקטיבציה

: רשתות עצביות מלאכותיות

שרשור של נוירוניםקדמי -רשתות היזון: דוגמא(feedforward)

30

שכבות

נסתרותשכבת

כניסה

שכבת

יציאה

x1x2x3

xd

y1

yk

y2y3

x y

למידה עם רשת עצבית עם": למידה עמוקה"

יותר משכבה נסתרת אחת

הדגמ

ה

https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

?מה אפשר לעשות עם זה

1989הורניק/סיבנקו" )קירוב האוניברסלי"משפט ה:)

קדמי בעלת שכבה נסתרת אחת ניתן לקרב -עם רשת היזון

.כל פונקציה רציפה או מסווג

31

yy

x

x

?אז למה צריך יותר משכבה נסתרת אחת

(המשך)? מה אפשר לעשות עם זה

1995סונטג-סיגלמן\1943פיץ-מקאלוך)משפט :)

.ניתן לייצר כל אלגוריתם( עם משוב)מחיבור של נוירונים

32

x y

?איך המערכת תלמד את הפרמטרים

33

x

y(:לינארי)מודל פשוט

y=wx+b

-החיזוי על הדוגמא ה-.

עבור מודל לינארי, למשל

שגיאה ריבועית כוללת, למשל:

כך שהשגיאה תקטןנעדכן את הפרמטרים.

איך?

נתקדם בכיוון הירידה המקסימלי של השגיאה הכוללת

למי שמכיר:

האם זו אסטרטגיה טובה?

בדרך כלל", ברשתות עצביות:"

פרמטרים>>#דוגמאות#ניתן להוכיח אם , במקרים מסוימים.

יש לאן לרדת" כמעט תמיד: "הגיון.

אימון המודל

34

שגיאה

[Soudry&Hoffer2018]

?למה משתמשים בלמידה עמוקה

35

סיווג וזיהוי תמונות

36

הלמידה העמוקהעידן

ביצועי בן אדם

זיהוי דיבור

37

עידן הלמידה עמוקה

ביצועי בן אדם

תרגום טקסט

38

יצירה של תמונות

39

thispersondoesnotexist.com

העברת סגנון

40 [Gatys et al. 2015]

מניפולציה של תמונות

41

הפיכת איור פשוט לציור ריאליסטי

42

לימוד רובוטים מטלות מוטוריות

43

אסטרטגיה

44

אז מה עוצר את הלמידה , וואו

?העמוקה לפתור כל בעיה

45

וקצת על מה שעשיתי )

(בנושא

46

איך כל הפרטים

ארכיטקטורה

אתחול המודל

הגדרת השגיאה

פונקציות אקטיבציה

שיטת אופטימיזציה

"היפר פרמטרים"

שגיאת

ההכללה

?הסופית

משפיעים על

למידה עמוקה היא: 1מכשול

"קופסא שחורה"

?איך נמצא מה עובד הכי טוב

47

ניסוי וטעיה

סריקת פרמטרים

פרמטר חשוב

פרמטר

לא

חשוב

פרמטר

לא

חשוב

פרמטר חשוב

!תיאוריה? מה יכול לעזור

48

דוגמא לסוגיה תיאורטית

49

מתי אנחנו מתכנסים לפתרונות עם הכללה טובה?

בעיית סיווג לינארי, למשל:

התכנסות לפתרונות: משפט

,מקסימלי" מרווח"עם

.עבור שיטות אימון סטנדרטיות

[Soudry,Hoffer,Srebro2018]

עוד תוצאה תיאורטית

שיטות אימון:משפט

סטנדרטיות מובילות

" פשוטים"לפתרונות

(במקרה חד מימדי)50

פולינומים מסדר גבוה

"מסובכים"מובילים לפתרונות

x

y

x

y

[Savarese,Evron,Soudry,Srebro2019]

יעילות משאבים: 2מכשול

רשתות עצבים מאומנות על כרטיסים גרפיים

(GPUs) , הדורשים*משאבים רבים

:1אתגר שימוש ברשתות

מאומנות בסביבות

יש עוד הרבה מעוטות משאבים

מוחות : לשפר

צורכים

12W-30W

51 אנרגיה, שטח, זיכרון: משאבים*

:2אתגר שיפור יעילות

המשאבים של רשתות

בזמן האימון

?למה יעילות משאבים חשובה

52

(:מעריכית)עלייה מהירה

בכמות המחשוב הנדרש

גם בחשבונות החשמל

עצירה בשיפור באיכות

המשך עלייה בכמות

ביט32)פרמטרים במחשב ברזולוציה גבוהה.)

נקבל הרבה יתרונות±1-אם נחליף הכל ב:

צריך פחות זיכרון

מכפלות קלות לביצוע:

עבור כל חישובולכן: 10))האצהx

הרבה פחות אנרגיה(x1000(

בלי לפגוע בביצועים, הדגמנו שזה אפשרי

נוריד את הרזולוציה של הפרמטרים: פתרון

1

-1

-1

-1

1

-1

-1

-1

-1

+1

+1+1

-12.3423…

76.9181…

שיפור באנרגיה

שיפור

ביחס

bit32-ל

14nm ASIC [Mishra et al. 2017]

53

x=1 x=-1

y=1 1 -1

y=-1 -1 1

[Soudry&Meir2014 &

Hubara, Courbariaux, Soudry, El-Yaniv, Bengio 2016]

לסיכום

למדנו:

שימושים:

יעילות משאבים , תיאוריה? מה עוד חסר

54

בינה

מלאכותית

למידת

מכונה

למידה

עמוקה

?שאלות! תודה רבה

55