פיתוח טכנולוגיות בסיס לדור הבא של יישומי וידאו בתלת-מימד

1

רקע מקורות וידאו וחיישנים שונים המאפשרים קבלת

מידע תלת-מימדי הופכים לזמינים בכל תחום של חיינו

הצורך להבין את הסצינה בצורה אוטומטית הולךוגובר, במגוון תחומים

עלות החיישנים ויכולות החישוב דלות הספק נהיוזולות וזמינות – פותח תחומים ושווקים חדשים

לטכנולוגיה נדרש לפתח יכולות לניתוח והבנה של ממד העומק

2

תעבורה

חקלאות

אבטחה

)רפואה )דימות, טיפולית

מידע עסקי מבוסס וידאו

ביטחוני

תפעול

רובוטיקה וכלים בלתי מאויישים

)פנאי )משחקים, ספורט

מקיף עסקי פוטנציאל

3

למדינת ישראל ידע ויכולות מתקדמות בתחום התלת-מימד ,PrimeSense, 3DV, Inuitive, Omek, Magna)למשל

Cognitens)

האקדמיה בישראל נמצאת בחזית המחקר העולמיבתחום

חברות וגופי מחקר רבים ברחבי העולם משקיעים רבות Perceptual Computingומתקדמים בתחום בצעדי ענק )למשל

של אינטל, קינקט של מיקרוסופט, מחקרים במכונים ואקדמיה, ועוד(

יחסי – יתרון ישראל

4

פיתוח יכולות ראיה ממוחשבת להפקת תובנות ממידע עומק

של הסצנה המרחבית והעצמים בה, תוך שימוש בסנסורים

קיימים.

החזון

5

פיתוח יכולות הבנת סצנה והאובייקטים הכלולים בה תוך שימושבמידע עומק במערכות מבוססות וידאו.

שיפור ביכולת ניתוח התנהגויות מורכבות של אובייקטים

.הפקת מידע עומק, בנוסף למידע חזותי, במערכות ווידאו קיימות

המאגד יעדי

6

פרופ' אהוד ריבלין

במאגד היזמים

7

למאגד נוסף מגוון פוטנציאלחקלאות

NUI

חברות נוספות במגוון תחומים:

פוטנציאל למאגד בינוני-גדול שמקיף חברות רבות

חברות שכבר הביעו ענין:

8

לאקדמיה בארץ בכורה עולמית בנושאי ראייה ממוחשבתולמידה חישובית.

המוסדות האקדמיים יתרמו תשתית מתמטית ואלגוריתמיתואבני בנין בסיסיות שבעזרתן תוכלנה החברות התעשייתיות

לפתח פתרונות. טכניון, פרופ' ריבלין – חילוץ תלת מימד מוידיאו, ניתוח התנהגות מכון ויצמן, פרופ' בצרי - אלגוריתמים לשחזור תלת-מימדי ולזיהוי

חלקי-עצם סמנטיים בוידאוIDC ,פרופ' הל-אור – ניתוח התנהגות ,indexing אוניברסיטת חיפה, פרופ' שמשוני – שחזור תלת-מימד עמיד, אחזור

מידע תלת מימדי האוניברסיטה העברית, פרופ' וינשל - ניתוח רגשות מהבעות פנים

(( ע"ס וידאו או תמונות של מצלמות תלת gesturesומחוות גוף מימדיות

האקדמיה תרומת

9

" למאגד פ מו ונושאי טכנולוגיים פערים

10

זיהוי ומיפוי עומק בסצנה בתנאים שונים: פנים/חוץ, רמות תאורהשונות, טווחים שונים, סביבה קשיחה / דינמית / צפופה

תיוג ואחזור ווידאו הכולל מידע עומק היתוך מידעD3 -ו D2 הוספת סמנטיקה לוידאו / מודליםD3 סיווג אובייקטים, מתארים מבוססי עומק, מתארים המשלבים

עומק וצבע מיפוי מרחב ע"י חיישנים שונים מזוויות שונות, טיפול בבעיות

הנובעות מחפיפהעקיבה ומיקום אובייקטים במרחב ניתוח התנהגות ברמות גירעון שונות: מתנועת אצבעות ועד

להתנהגות של קבוצת אנשים

בתחום המודיעין העסקי, שואפת ורינט לספק מידע מקיף על תנועתהלקוחות והתנהגותם במתחם כולו. נשתמש במידע עומק בנוסף לצבע

לצורך הבנת הרקע, הפרדה בין אנשים לרקע, העקיבה בתוך מצלמה ובין מצלמות ומיקום הלקוחות במתחם

בתהליך ניתוח תורים אנו נתקלים בצפיפות, הסתרות חלקיות והתנהגותמסובכת. מידע עומק, בנוסף לצבע, יקל על הפרדה בין אנשים ובין אנשים

לאובייקטים אחרים

:ניתוח התנהגות

ניטור תנועות של עובדי קופה – מניעת גניבות – ניטור תנועות ידיים בכספומטATM Tampering ניתוח התנהגות חשודה במערכותSafe City

מאגד - לתוצרי אפשריים יישומיםורינט

11

,לשימוש במידע תלת מימד תרומה חשובה ביישומי התמצאות, מיפויניווט, והבנת סצנה

,בעולם הביטחוני יש צורך לספק מידע זה באופן עדכני ובזמן אמתוכן למצוא גישות יעילות למצות ממנו תובנות

:נושאי ענייןשחזור תלת מימד מוידיאו בזמן אמתשחזור מבנה של עצמים נעים גם כשהמצלמה בתנועה 3היתוך מידעDלעדכון ושיפור מודלים שחזור תלת מימד מחיישנים אקטיביים שחזור מידע תלת מימדי מוידיאוindoor

(GPS)למשל לטובת ניווט ללא

מאגד - לתוצרי אפשריים יישומיםרפאל

12

מאגד - לתוצרי אפשריים יישומיםHTS

מידע תלת ממדי מאפשר הבנת צורת אובייקט באופן מדויק וחיונילצורך סיווג אמין של רכבים. סיווג יצרן ומודל הרכב שימושי מאוד למגוון יישומים רחב כגון התרעה על רכבים גנובים, מידע פרסומי

ועסקי, כלי חיפוש יעיל עבור משטרות ועוד.

עבור יישומים של נמלים כגון זיהוי ומעקב אחר מכולות, היכולתלזהות את מיקום המכולה במרחב התלת ממדי )כאשר הוא נישא

מהמנוף לספינה ולהפך( מאפשרת צילום ופיענוח מדויקים יותר של פרטי המכולה.

13

מודל רקע משולב עומק ומידע חזותי:הבנת מבנה הזירה )רצפה, הסתרות אפשריות(, מיקוד קשבהצורך :מודל רקע מבוסס מידע חזותי בלבד אינו מאפשר הבנה של מבנה הפער

הזירה ואינו מאפשר לבודד חפצים בעלי צבע דומה אך מרחק שונה מתארים מבוססי עומק ומידע נוסף לסווג אובייקטים והעברה בין

מצלמות:סיווג אובייקטים שאינם קשיחים, בפרט אנשים הצורך :אלגוריתמים המשתמשים במתארים מבוססי מידע חזותי בלבד הפער

מגיעים לאחוזי סיווג נמוכים ברבים ממאגרי הנתונים הציבוריים ומושפעים מאד מהרקע

כמעט( השגת מידע עומק בזווית רחבהfisheye):חסכון במספר המצלמות ובצורך להעביר מידע ביניהן הצורך:לא קיימות מצלמות עומק מסחריות לזווית רחבה, הפער

המאגד - במסגרת אפשריים מחקריםורינט

14

)ניתוח התנהגות ברזולוציה גבוהה )ידיים( ונמוכה יותר )גוף מלא

:זיהוי התנהגויות בכלל והתנהגויות חריגות בפרטהצורך

:מודלים לניתוח התנהגות מתאפיינים בעלות חישוב גבוהה. שימוש במידע עומק קיים הפער ואף במודלים משוחזרים ממידע כזה מאפשר הקלה משמעותית בעומס החישוב.

קריאת עומק באזורי חפיפה בין מצלמות עומק אקטיביות

:כיסוי שטחהצורך

:מצלמות אקטיביות מאירות את הזירה ומניחות ידע על האור הנקלט. בכך הן מפריעות הפער זו לזו בקריאת העומק באזורי החפיפה.

עומק בתנאי תאורה משתנים

:מצלמות פנים המושפעות מאד מתנאי חוץ )למשל מצלמה מול דלתות חוץ(הצורך

:התמודדות עם איכות משתנה של קריאת עומקהפער

המאגד - במסגרת אפשריים מחקריםורינט

15

שחזור תלת מימד מוידיאו בזמן אמת:במערכות המשמשות לניתוח ולקבלת החלטות יש צורך בהפקת נתונים הצורך

ובשחזור זמן אמת.:האלגוריתמיקה הנדרשת ליצירת תלת מימד הינה עתירה בחישובים, תוצאה הפער

מכך שחזור תלת מימד מתבצע באופליין ודורש מחשבים עוצמתיים במיוחד.תחום פעילות: יצור נתוני תלת מימד

שחזור מבנה של עצמים נעים )קשיחים/לא קשיחים( גם כשהמצלמהבתנועה

:השימוש כיום בפלטפורמות צילום ניידות הופך לזמין יותר ויותר )טלפונים הצורךניידים, רחפנים, רובוטים, רכבים אוטונומיים,..(. פלטפורמות אלו מספקות וידיאו

המופק תוך כדי תנועת הפלטפורמה.:הגישה המקובלת לשחזור תלת מימד מניחה את אחת מהאפשרויות פער

הבאות:  שהעצמים סטטיים והמצלמה בתנועה או שהעצם בתנועה והמצלמה סטטית )אך לא ששני הדברים קורים בו זמנית(.

תחום פעילות: יצור נתוני תלת מימד

המאגד - במסגרת אפשריים מחקריםרפאל

16

 היתוך מידעD3 לעדכון ושיפור מודלים D3:במקרים רבים קיים כבר מידע תלת מימדי עבור סצנה נתונה, אך לא הצורך

כולו עדכני ויש צורך לעדכן חלקים ממנו.:היכולת להבין אילו חלקים במודל השתנו והיכולת להתך אותם בצורה הפער

מדוייקת עם המידע התלת-ממדי העדכני.תחום פעילות: יצור נתוני תלת מימד + קבלת נתוני תלת מימד כבסיס

 שימוש במידע תלת מימדיindoor מוידיאו או מחיישנים אקטיביים  (GPS)למשל לטובת ניווט ללא 

:בתרחישי הצורך indoor כאשר נדרשת התמצאות, לא ניתן לעשות  במקרים כאלו ניתן להשתמש במידע תלת מימדי לטובת , GPSשימוש ב-

התמצאות וניווט.:היכולת להפיק ולפענח את המידע התלת-מימדי במהירות הפער

.indoorוביעילות בצורה שתאפשר התמצאות בתרחישי תחום פעילות: יצור נתוני תלת מימד + קבלת נתוני תלת מימד כבסיס

המאגד - במסגרת אפשריים מחקריםרפאל

17

המאגד - במסגרת אפשריים מחקריםHTS

הפקת מודל תלת ממדי של רכב לצורך סיווג:זיהוי סוגי רכבים הצורך:כיום ניתן לזהות באופן חלקי בלבד עפ"י סמל לוגו. שיטה זו הפער

מושפעת מאוד מתנאי תאורה וזויות צילום. מידע תלת מימדי של צורת הרכב ישפר משמעותית את אמינות הזיהוי ויאפשר חיתוך של מידע זה

עם מידע חזותי.

,ניתוח תנועה של רכבים לצורך התרעה על אירועים )מהירות, עומסתאונות ועוד(

:שיפור יכולות ניטור ובטיחות הצורך:הבנת מיקום וצורת הרכב והפרדתו מרכבים אחרים ע"י צילום דו הפער

ממדי מוגבלת בעיקר בשל הקושי להפריד בין הרכב לבין הצל שהוא יוצר על הכביש או צל שנוצר ע"י רכבים בנתיב סמוך.

18

המאגד - במסגרת אפשריים מחקריםHTS

איכון מדויק ועקיבה אחר עצמים באוויר, בזמן אמת ובמרחב שלעשרות מטרים )מכולות בנמל(

:זיהוי מיקום ואוריינטציה של מכולות הצורך:דו- מימד אינו מאפשר לקבל ממד עומק החיוני לאיכון הפער

מדוייק של המכולה באוויר בזמן אמת.

19

קווים משותפים למחקר:קווים / מחקרים משותפים לחברות

יצירת עומק ממידע וידאו בסביבה מרובת מצלמות

שחזור מבנה תלת ממדי מתוך מספר מבטים ו/או מידע עומקממצלמות אקטיביות

מתארים(descriptorsמבוססי עומק )

הבנת מיקום תלת ממדי של אובייקטים סטטיים ונעים

שחזור מבנה תלת ממדי של אובייקטים נעים

הפקת צורה תלת ממדית של עצמים

20

תחום רחב ועמוק, בעל פוטנציאל עסקי עולמי רב

מגוון רחב של חברות ושל ישומים

מובילות עולמית ישראלית – שימור ושיפור

סיכום

21

תודה

22