פיתוח שחקני robocode באמצעות תכנות גנטי. הקדמה §משחקים...

באמצעות באמצעותRobocodeRobocodeפיתוח שחקני פיתוח שחקני תכנות גנטיתכנות גנטי

הקדמההקדמה

משחקים כמבחן לבינה מלאכותיתהתמודדות מול שחקנים אנושיים•

התמודדות מול יריבים ממוחשבים•

משחקי תכנות(Programming Games)השחקן - אנושי או ממוחשב?•

מקרה מבחן מעניין•

•Robocode

משחקים ומשחקי תכנותמשחקים ומשחקי תכנות

הקדמההקדמה

רקע, ע"י מתיו נלסון2000נכתב בשנת •

IBM של alphaWorksאומץ ע"י חטיבת •

אופי המשחקמלחמת טנקים•

סוגי קרבות•

קטגוריות משקל•

RobocodeRobocode

הקדמההקדמה

RobocodeRobocode

הקדמההקדמה

רקע, ע"י מתיו נלסון2000נכתב בשנת •IBM של alphaWorksאומץ ע"י חטיבת •

אופי המשחקמלחמת טנקים•one on one, melee, specialties סוגי קרבות: •קטגוריות משחק: גודל הקוד, מספר שורות הקוד•

"שחקן"RobocodeJavaתכנית •(Event Driven)תכנות מונחה אירועים •

RobocodeRobocode

הקדמההקדמה

RobocodeRobocode

הקדמההקדמה

-תכנות בJavaשפה מוכרת•נגישות לקוד•

פופולריותריבוי יריבים ראויים•יכולת השוואה•

יריבים ממוחשביםמהירות הביצוע•

כמעט ולא נחקר

RobocodeRobocodeהבחירה ב-הבחירה ב-

הקדמההקדמה

2003, אוק' MITג'ייקוב אייזנשטיין, נסיון לפיתוח רובוטים מנצחים באמצעות

תכנות גנטייריבים פשוטים בלבד•

תנאי סביבה מלאכותיים•

מחקרים קודמיםמחקרים קודמים

הקדמההקדמה

2003, אוק' MITג'ייקוב אייזנשטיין, גנום לינארי המתאר גרף של רכיבי חישוב:

מחקרים קודמיםמחקרים קודמים

הקדמההקדמה

2003, אוק' MITג'ייקוב אייזנשטיין,

השיג באופן חלקי את מטרותיומתקשים בסיטואציות לא דטרמיניסטיות•

רובוטים מומחים•

מחקרים קודמיםמחקרים קודמים

הקדמההקדמה

ייצור "יריבים הולמים" לרובוטים הקיימיםרובוטים מורכבים•

תנאי סביבה "מציאותיים"•

הישגים בתחרויות מקוונות בינלאומיותשיבוץ במקום גבוה במדרג הרובוטים•

הגדרת המטרההגדרת המטרה

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

קטעי קודקטעי קודגנום "עצי" למימוש

קטע קוד ראשי•

טיפול באירועים מוגדרים•

–onScannedRobot–onHitWall–onHitRobot

שיבוץ הקוד•

–Move–TurnTank–TurnGun–TurnRadar–Fire

ייצוג הגנוםייצוג הגנום

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

אוסף הצמתים והעלים בעץ, ...sin, abs, addפונקציות מתמטיות: •

.constant, randomקבועים מספריים: •

, ...enemyBearing, energyמדדי זמן אמת: •

תרגום גנוטיפ לפנוטיפlispתרגום עץ לקוד •

java ל-lispתרגום מ-•

שיבוץ קטעי הקוד בתבנית מוכנה מראש•

(class. )קבצי bytecodesהידור ל-•

ייצוג הגנוםייצוג הגנום

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

ייצוג הגנום - דוגמאייצוג הגנום - דוגמא

if greater

+

enemy bearing wall bearing

neg50wall distance

random

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

ייצוג הגנום - דוגמאייצוג הגנום - דוגמא

if greater

+

enemy bearing wall bearing

neg50wall distance

random

)if_greater wall_distance

50 )+ enemy_bearing

)random(( )neg

wall_bearing(((

wallDistance)( > 50 ?

e.enemyBearing +

Math.random)(*2.0-

1.0 : )0-wallBearing)((

public class GPBot

extends Robot {

…

public void

onScannedRobot() {

turnGunRight(…);

}

}

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

אופרטורים גנטיים - הכלאהאופרטורים גנטיים - הכלאה

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

אופרטורים גנטיים - מוטציהאופרטורים גנטיים - מוטציה

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

:איכות הפרט בהתמודדות מול יריבים שוניםיריבים מוגדרים מראש•

•Self-Learning

צורת הניקודניקוד יחסי:•

(Rating)מידרוג •

לא דטרמיניסטיהשפעה רבה למספר הסיבובים בקרב•

מדד ההתאמהמדד ההתאמה

EP

P

SSSF

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

סלקציהטורניר בגודל קבוצה משתנה•

אליטיזם

גודל האוכלוסייה

משך האבולוציה

גידול דור האפס

מגבלות על גודל הגנום

פרמטרים אבולוציוניים נוספיםפרמטרים אבולוציוניים נוספים

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

ECJ11 סביבה להרצת תהליכים -

אבולוציונייםסביבת ריצה יציבה•

אופרטורים גנטיים מקובלים•

ניהול ידע•

Robocodeחבילת המשחק -

geep packageהגדרת השפה לכתיבת הגנום•

לחבילת המשחקECJגישור בין •

חבילות התוכנה המשתתפותחבילות התוכנה המשתתפות

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

מהלך הריצה האבולוציוניתמהלך הריצה האבולוציונית

ECJ

GeeP

Robocode

get fitness

run

battl

e

resu

lts

fitness

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

פרמטרים המשפיעים על זמני הריצהמשך הסיבוב•מספר הסיבובים בקרב•מספר היריבים•גודל האוכלוסייה•מספר הדורות•

זמני ריצה ארוכים!זמני ריצה ארוכים!

זמני ריצהזמני ריצה

RobocodeRobocodeתכנות גנטי של תכנית תכנות גנטי של תכנית

:לדוגמא שניות1.0-2.0משך סיבוב = – סיבובים בקרב3– יריבים3– פרטים באוכלוסייה128– דורות100–

הפתרון: מודול מבוזרמנהל קרבות מבוזר–שרתי קרבות–

זמני ריצה - המשךזמני ריצה - המשך

30 – 60

שעות

התוצאותהתוצאות

בוצעו כשמונים ריצות אבולוציוניות

מהלך המחקרמהלך המחקר

התוצאותהתוצאות

בוצעו כשמונים ריצות אבולוציוניותוריאציות על הפרמטרים האבולציוניים•יריבים שונים •

אופי היריבים: פשוטים, מתקדמים, לימוד עצמי–כמות היריבים: אחד, קבוצה, בחירה באקראי–

קטגוריות משקל קוד שונות•תבניות קוד שונות•

הרובוט המוצלח ביותר הוכנס לתחרות•geep.mini.GPBotA 1.0•RoboRumble•miniBots

מהלך המחקרמהלך המחקר

התוצאותהתוצאות

מדד ההתאמהשלושה יריבים מורכבים•

–pez.mini.Pugilist (1)מקום–jam.mini.Raiko (3)מקום–cf.mini.Chiva (6)מקום

הניקוד היחסי הממוצע•

גנום בן חמישה עצים

פרטים128אוכלוסייה בת

274דורות

geep.mini.GPBotA 1.0geep.mini.GPBotA 1.0

התוצאותהתוצאות

geep.mini.GPBotA 1.0geep.mini.GPBotA 1.0

התוצאותהתוצאות

:ביצועים נגד יריבים ספציפיים

•GPBotA נגד Chiva...

•GPBotA נגד Pugilist...

...מיקום בליגה המקוונת

geep.mini.GPBotA 1.0geep.mini.GPBotA 1.0

התוצאותהתוצאות

geep.mini.GPBotA 1.0geep.mini.GPBotA 1.0

התוצאותהתוצאות

onScannedRobot() {

turnTank(ifGreater -0.6672535760653446 (cos (abs enemy_bearing)) (cos (ifPositive enemy_bearing (ifGreater (abs (add (add (neg enemy_velocity) enemy_bearing) (abs random))) (sub (abs (abs enemy_bearing)) (ifPositive (add (add enemy_bearing (abs enemy_bearing)) enemy_energy) enemy_bearing enemy_bearing)) (abs (abs enemy_bearing)) (ifPositive enemy_bearing enemy_distance (ifPositive (ifPositive enemy_bearing (add wall_distance enemy_heading) enemy_bearing) (add (cos (neg enemy_velocity)) enemy_bearing) (abs random)))) enemy_bearing)) (cos wall_bearing));

}

geep.mini.GPBotA 1.0geep.mini.GPBotA 1.0מבט על הקוד - מבט על הקוד -

התוצאותהתוצאות

שורות הקודשורות הקודמגבלה על מספר

-קוד שיוצר בGP = ‘Junk DNA’

רובוטHaiku:אופייני while (true)

turnGunRight(INFINITY);

onScannedRobot() {

ahead(GP#1);

turnRight(GP#2);

turnGunRight(GP#3);

}

HaikuBotsHaikuBotsנסיון שני: נסיון שני:

התוצאותהתוצאות

חסכון בשורות בכתיבתHaikuBot:

חיבור המכ"מ לתותח•

כצומת בעץfireהכנסת פקודת •

יתרונות בכתיבתHaikuBot:

אין מגבלה על גודל הקוד - שורות ארוכות•

יריבים מוגבלים ביותר•

HaikuBotsHaikuBotsנסיון שני: נסיון שני:

התוצאותהתוצאות

:הרובוט הנבחר geep.haiku.GPBotC 1.0

HaikuBotsHaikuBotsנסיון שני: נסיון שני:

התוצאותהתוצאות

HaikuBotsHaikuBotsנסיון שני: נסיון שני:

התוצאותהתוצאות

25.6.200525.6.2005 : : HaikuBotsHaikuBots

התוצאותהתוצאות

•GPBotC נגד PoetHaiku...

•GPBotC נגד HaikuTrogdor...

HaikuBotsHaikuBots נסיון שני:נסיון שני:

מסקנות ודיוןמסקנות ודיון

תכנות גנטי מאפשר פתרון, גם אם חלקי

:שחקנים שפותחו באמצעות תכנות גנטי

מסוגלים לנצח יריבים מקבוצת הלימוד•

מתקשים להכליל•

חשיבות מרובה לבחירת הבעיה

•MiniBots vs. HaikuBots

כלליות כלליותמסקנותמסקנות

מסקנות ודיוןמסקנות ודיון

ניקוד סופי מדד ראשון:

R014/Geep031_0061 נגד Aristocles

אבולוציה של מדדי התאמהאבולוציה של מדדי התאמה ))11

PSF

מסקנות ודיוןמסקנות ודיון

ניקוד סופי מדד ראשון:

R014/Geep031_0061 נגד Aristocles

ניקוד יחסי מדד שני:

אבולוציה של מדדי התאמהאבולוציה של מדדי התאמה ))11

PSF

EP

P

SSSF

מסקנות ודיוןמסקנות ודיון

ניקוד סופי מדד ראשון:

R014/Geep031_0061 נגד Aristocles

ניקוד יחסי מדד שני:

מדד שלישי: ניקוד יחסי מתוקן

אבולוציה של מדדי התאמהאבולוציה של מדדי התאמה ))11

PSF

EP

P

SSSF

EP

P

SSSF

מסקנות ודיוןמסקנות ודיון

שחקן מוכלל

(שליטה מלאה)

vs.

אבולוציה בחלקים

(נהג, תותחן, ומפעיל מכ"מ)

ביצועי הפרטים בהתאם להגדרת מדד האיכות •

שלהם

ביצועי הפרטים במשחק אמיתי•

ארכיטקטורה של שחקןארכיטקטורה של שחקן ))22

מסקנות ודיוןמסקנות ודיון

לימוד נגד שחקנים קיימים

vs.

)self-play(לימוד עצמי

התמקצעות מול הכללה•

שינוי מתמיד של הגדרת הבעייה•

ביצועים בפועל•

אופי האבולוציהאופי האבולוציה ))33

מה הלאה?מה הלאה?

דרכים נוספות לפתרון הבעיהלימוד עצמי עם אוכלוסייה התחלתית•

ביזור ומודל האיים•

שימוש בקו-אבולוציה•

פיתוח גנטי של טכניקת בינה מלאכותית אחרת•

–Fuzzy logic–Neural networks–Decision trees

הצעות להמשך מחקרהצעות להמשך מחקר

מה הלאה?מה הלאה?

דרכים נוספות לפתרון הבעיה

הגדרה מחדש של הבעיה(MegaBotsהתמודדות בקטגוריה שונה )•

קרבות מרובי משתתפים•

–Melee–Team play

פתרונות חלקיים של הבעיה: פיתוח מערכות •

ספציפיות

הצעות להמשך מחקרהצעות להמשך מחקר

מה הלאה?מה הלאה?

!החלפת המשחק בחדש

הצעות להמשך מחקרהצעות להמשך מחקר

מה הלאה?מה הלאה?

!החלפת המשחק

RARS- Robot Auto Race SimulatorRARS- Robot Auto Race Simulator

מה הלאה?מה הלאה?

!החלפת המשחק

RARS- Robot Auto Race SimulatorRARS- Robot Auto Race Simulator

מה הלאה?מה הלאה?

!החלפת המשחק

RARS- Robot Auto Race SimulatorRARS- Robot Auto Race Simulator