התאמת תמונותTemplate matching

7תרגול

התאמת תמונות – תיאור הבעיהרוצים למצוא באופן אוטומטי היכן מופיעה •

תמונה א' בתוך תמונה ב' )תמונה ב' גדולה יותר(.

נרצה גם לדעת אם היא לא מופיע כלל.•

התאמת תמונות – ניסוח פורמלי של הבעיה

)אותה מחפשים(:Templateתמונת היחוס , נקראת

התמונה בה מתבצע החיפוש:

כך שהתמונה: u,vנחפש פרמטרי הזזה

תהיה דומה במובן מסוים לתמונה:

mynxyxIref ...1,...1,(,)

MyNxyxI ...1,...1,(,)

mynxyxIref ...1,...1,(,)

mynxvyuxI ...1,...1,(,)

מודל התנועה של התמונה

u

v

תמונות

דומות? , ההזזה פרמטרי את נחפש בלבד הזזה של במודל

u,v. האפשר ככל דומות יהיו התמונות שעבורם

: כמו תנועה של יותר כלליים למודלים להרחיב ניתן - , ו סיבוב הזזה וסיבוב ' ...scaling , affineהזזה וכו

. בלבד הזזה של הפשוט במודל רק נעסוק כאן

יחוס - תמונתTemplate

בה התמונהמחפשים

התאמת תמונות על ידי חיפושu=0..N-n , v=0..M-m האפשריים: u,vעבור על ערכי • מדוד את מידת ההתאמה בין התמונה:u,vעבור כל •

לבין התמונה: •

כאשר:

הנותנים את ההתאמה הטובה ביותר. u,vזכור את • שעבורם ההתאמה טובה יותר u,vאפשרות אחרת: כל

מסף מסוים מהווים התאמה )יכולות להיות אפס, אחת או יותר(.

mynxyxIref ...1,...1,(,)

mynxyxIuv ...1,...1,(,)

(,)(,) vyuxIyxIuv

מדידת ההתאמה בין תמונותנתונות שתי תמונות:•

נותר לנו להגדיר כיצד נמדוד את הקרבה ביניהן.•

:fנסמן זאת בעזרת פונקציה •

או באופן כללי:•

mynxyxIuvyxIref ...1,...1;(,),(,)

(,) IuvIreff

(,) 21 IIf

מדידת ההתאמה בין תמונות – התאמה מושלמת

Otherwise

mynxyxIyxIIIf

0

..1,..1(,)(,)1(,) 21

21

שבהם המקומות בכל מוגדרת ההתאמהf)I1,I2(=1

בכל האפור רמות של מושלמת להתאמה דרישההפיקסלים.

. מעשי באופן עובדת שאינה נאיבית גישה זו

. דבר שום מעשיים במקרים תגלה לא

. התאמה לאי גורם ביותר קטן רעש

מדידת ההתאמה בין תמונות לפי שגיאה ריבועית

שבהם המקומות בכל מוגדרת וגם f)I1,I2(<=Tolההתאמה. מקומי מינימום

של ואז ) fהמינימום זהות התמונות שתי כאשר (.f=0הוא

בכל האפור רמות של מושלמת להתאמה דרישה איןהפיקסלים,

במקרה .Tol=0מלבד הקודמת לשיטה למעשה חוזרים שבו

, לרעש רגישה לכן גדולות התאמות אי על בחומרה מענישהSalt & Pepper

. אותה את נצלם אם לדוגמא התאורה ברמת לשינויים רגישה ) בצהריים ) חצובה על נמצאת כשהמצלמה בדיוק התמונה

ובערב.

n

x

m

y

yxIyxImn

IIf1 1

22121 (,)(,)

1(,)

מדידת ההתאמה בין תמונות לפי ערך מוחלט של השגיאה

שבהם המקומות בכל מוגדרת f)I1,I2(<=Tolההתאמה. מקומי מינימום וגם

לעומת גדולות התאמות אי על בחומרה פחות מענישה. הריבועית השגיאה

. התאורה ברמת לשינויים רגישה

n

x

m

y

yxIyxImn

IIf1 1

2121 (,)(,)1

(,)

מדידת ההתאמה בין תמונות לפי קורלציה מנורמלת

כוקטורים המותאמות התמונות על לרגע נסתכלp,qפרוסים:

: Matlabב- ידי על זאת לבצע ):p=I1):(; q=I2;)ניתן

: הוקטורים שני בין הפנימית המכפלה על נסתכל כעת

של הגדלים למכפלת שווה הפנימית המכפלה כלומר. ביניהם הזווית קוסינוס כפול הוקטורים

של המחלט הערך את מודדת המנורמלת הקורלציה: הוקטורים שני בין הזווית קוסינוס

cos, qpqp

22

,cos

ii

ii

qp

qp

qp

qp

קורלציה מנורמלת - המשךלתמונה הוקטורית מהפרישה נחזור אם

כמדד, המנורמלת שהקורלציה קיבלנו המקורית: תמונות בין ההתאמה לטיב

: הטיב מדד של התחום

שבהם המקומות בכל מוגדרת וגם f)I1,I2(>=Tolההתאמה. מקומי מכסימום

של הכפלה fהמכסימום כדי עד זהות התמונות שתי כאשר הואואז .f=1בקבוע

, הוא תאורה שינוי של המודל אם בתאורה לשינויים רגישה פחותקורלציה לפי ההתאמה טיב אזי בקבוע האפור רמות הכפלת של

. משתנה אינו מנורמלת

- ה של בנורמה מחלוקה להימנע שהיא Templateניתן מכיווןקבועה.

n

x

m

y

n

x

m

y

n

x

m

y

yxIyxI

yxIyxI

IIf

1 1

22

1 1

21

1 121

21

(,)(,)

(,)(,)

(,)

10 f

קורלציה מנורמלת עם חיסור ממוצעשל להזזה באינוורינטיות גם מעוניינים לפעמים

: האפור רמות

: הממוצעות האפור רמות את מחסירים אנו הפעם

שבהם המקומות בכל מוגדרת וגם f)I1,I2(>=Tolההתאמה. מקומי מכסימום

של הוספת fהמכסימום כדי עד זהות התמונות שתי כאשר הוא \ ואז בקבוע הכפלה או ו .f=1קבוע

בטרנספורמציה המתבטא תאורה שינוי של למודל רגיש אפיניתלא. האפור רמות של

להוסיף . Epsilonצריך של בנורמה מחלוקה להימנע ניתן למכנהTemplateה-

n

x

m

y

n

x

m

y

n

x

m

y

IyxIIyxI

IyxIIyxI

IIf

1 1

2

221 1

2

11

1 12211

21

(,)(,)

(,)(,)

(,)

n

x

m

y

n

x

m

y

yxImn

IyxImn

I1 1

221 1

11 (,)1

;(,)1

דוגמא

קריטריון שגיאה ריבועית

הריבועית השגיאה של תמונהu,vב-

מינימלי ערך ; x=300ב-

y=45

קריטריון קורלציה מנורמלת

ה של קורלציה תמונה- מנורמלת u,vב

מכסימלי ערך ; x=300ב-

y=45

קורלציה מנורמלת עם חיסור ממוצע

מנורמלת חיסור קורלציה עם - ב u,vממוצע

מכסימלי ערך ; x=300ב-

y=45

! יותר חד המכסימום

קורלציה מנורמלת עם חיסור ממוצע2חלוקת רמות האפור פי

מנורמלת חיסור קורלציה עם - ב u,vממוצע

מכסימלי ערך ; x=300ב-

y=45

" חשוכה " ייחוס תמונתיותר:

פי 0.5מוכפלת

לא המקור תמונתהשתנתה.

בקריטריון ! שינוי אין

Templateדוגמאות לשימושים של matching

(. בהינתן תמונה OCRגילוי אותיות במסמך )• )מספר למשל(, זהה כל אות או textסרוקה של

מספר )לכל אחת שמורה בזיכרון תמונה לייחוס( ASCIIוהפוך למסמך

עקיבה אחר פרטים נעים בוידאו. הייחוס נלקח •בתמונה ברגע מסוים ומחפשים התאמות בתמונות

הבאות.

מציאת איזור מסוים בתמונת לווין לפי תמונת •ייחוס.

אחר לעקיבה בוידאו Featuresדוגמאקורלציה קריטריון לפי התאמה

ממוצע חיסור עם מנורמלת