עיבוד תמונות ואותות במחשב תרגול 8: template matching 1/37 עיבוד...

1/37 עיבוד תמונות ואותות במחשבTemplate Matching: 8תרגול

עיבוד תמונות ואותות בעזרת מחשב

:8תרגול מס'

Template Matching


על מה נדבר היום...

מה זהTemplate Matching

למה רוצים לעשות Template Matching

איך עושים Template Matching

דוגמאות


?Template Matchingמה זה

נמצא איפהבתמונה

שאלות:2בעצם

האם בכלל נמצא?1.

אם נמצא, איפה? כמה 2.פעמים?


?Template Matchingלמה נרצה לעשות

זיהוי טקסט אוטומטי (OCR)

עקיבה אחר אובייקט בתוך וידאו

זיהוי אזורים דומים בשתי תמונות

זיהוי עצמים בתמונות לויין

מערכת סיוע לנהג

שערוך תלת מימד

...ועוד, ועוד


template matchingניסוח פורמלי של בעיית

:סימונים

–T זהו ה( התמונה אותה נחפש template)

שורותn עמודות ו mתמונה דו מימדית, גודלה •

–Iהתמונה בתוכה נחפש

שורותN עמודות ו Mתמונה דו מימדית, גודלה •

N>>n ו M>>mבד"כ •

: simנגדיר פונ' דמיון –

מקבלת שתי תמונות באותו גודל •

, המשקף את הדמיון בין שתי 1 ל 0מחזירה ציון בין •התמונות


איזה סוגי תנועות אפשר לחפש?

סיבוביםהזזות

התמרה אפינית

X2

בכמה גדלים

נתמקד בהזזות

ועוד...


איך נחפש הזזות?

נבדוק לכל הזזה את מדד הדמיון - יוצרים תמונה SimMap שכל (u,v)פיקסל הוא הדמיון עבור הזזה

?איך נחליט איפה לסמןאפשרות א': נסמן את המיקום "הדומה ביותר"–

חסרונות: •

נסמן גם אם לא קיים בכלל–נסמן רק אחד גם אם יש כמה–

אפשרות ב': נבחר את כל המקומות הדומים מספיק )מעבר לסף(–אם יש "קבוצה" של גילויים – נבחר מקסימום מקומי•חסרונות:•

איך נקבע את הסף?–

muunvvImnTfvuSim :1,:1,:1,:1,


איך נחפש הזזות? - דוגמא


מדדי דמיון אפשריים: התאמה מושלמת

נדרוש זהות מוחלטת בכל הפיקסלים :יתרונות

לא צריך לקבוע סף–

כל מקום שמזוהה גילוי הוא גילוי אמיתי–

:חסרונותלא פרקטי – בתמונות יש תמיד רעש, ואף-פעם אין דמיון –

מוחלט

Otherwise

nymxyxIyxIIIf

0

..1,..1),(),(1),( 21

21


מדדי דמיון אפשריים: ממוצע הפרשים מרובעים

MSE – Mean Squared Error

זהו מדד להבדל ולא לדמיון – צריך לשים לב

מושג כאשר התמונות זהות0 המינימום –

:רגישות ל

, salt & pepperשינויים גדולים לוקליים )רעש –הפרעות מקומיות(

שינויי תאורה )אותה תמונה בבוקר ובערב(–

m

x

n

y

yxIyxImn

IIf1 1

22121 ),(),(

1),(


מדדי דמיון אפשריים: סכום הפרשים מוחלטים

פחות רגישות לשינויים גדולים

רגישות לתאורה

m

x

n

y

yxIyxImn

IIf1 1

2121 ),(),(1

),(


קורלציה

נפתח את מדד ה MSE:

),(),(2

),(1

),(1

),(),(1

),(

21 1

1

1 1

22

1 1

21

1 1

22121

yxIyxImn

yxImn

yxImn

yxIyxImn

IIf

m

x

n

y

m

x

n

y

m

x

n

y

m

x

n

y

בלבד I1גורם זה תלוי ב

בלבד I2גורם זה תלוי ב


קורלציה כמדד דמיון

:ניתן להגדיר את מדד הדמיון

?מה הבעיה

רגישות מאד גבוהה לתאורה–

אזורים בהירים תמיד יתנו ערכי קורלציה גבוהים יותר –מאזורים כהים...

צריך להתחשב בממוצע•

),(),(2

),( 21 1

121 yxIyxImn

IIfm

x

n

y


רגישות לתאורה כבעיה של מדדים

המדדים שהגדרנו רגישים לבעיית תאורה שונות, לא נמצא את I ושל Tכלומר כאשר עוצמת התאורה של –

המקום הנכון

, כלומר aI+bשינוי בעוצמת התאורה משפיע על התמונה ע"י –הכפלה בסקלר והוספת קבוע

אם כיוון התאורה משתנה, הקשר לא פשוט ותלוי במבנה של העולם –אותו מצלמים

?איך ניתן לפתור את הבעיה , עבור aI+b נחליף ב I כאשר את template matchingניתן לעשות –

b ו aערכים שונים של

פתרון טוב יותר: ננרמל את ערכי התמונות–


נרמול של תמונה

בהינתן תמונה, נרצה למצוא את התמונה המנורמלת המקבילה לה.

:בתמונה המנורמלת

0ממוצע הערכים –

1סטיית התקן –

?כיצד זה מתבצע


נרמול של תמונה - המשך

חשב ממוצע

חשב סטיית תקן

חשב תמונה מנורמלת

m

x

n

y

yxImn

I1 1

),(1

2

1 1

),(1

m

x

n

y

IyxInm

IyxIyxI

,,ˆ

I

I

I


MSEקורלציה מנורמלת ו

נחזור לפיתוח של מדד ה MSE:

),(),(2

),(1

),(1

),(),(1

),(

21 1

1

1 1

22

1 1

21

1 1

22121

yxIyxImn

yxImn

yxImn

yxIyxImn

IIf

m

x

n

y

m

x

n

y

m

x

n

y

m

x

n

y

אם שתי התמונות מנורמלות, שני איברים אלה

קבועים

לכן מספיק לחשב את האיבר הזה


MSEקורלציה מנורמלת ו

,אם התמונות מנורמלות כלומר, חיפוש ההזזה שתיתן MSEמינמלי

שקול לחיפוש ההזזה שתיתן קורלציה מנורמלת מקסימלית

וזה ייתן פתרון בלתי תלוי בתאורה

m

x

n

y

yxIyxImn

IIf1 1

22121 ),(),(

1),(

),(),(1

),( 21 1

121 yxIyxImn

IINormCorrm

x

n

y


קורלציה מנורמלת

:הנוסחא המלאה לחישוב קורלציה מנורמלת

התאורה הגלובליתעוצמת נוסחא זאת אינה תלוייה ב

ל אינה שקולה נוסחא זאת MSE

בין התמונות המנורמלותMSEרק ל –

m

x

n

y

m

x

n

y

m

x

n

y

IyxIIyxI

IyxIIyxI

IINCCIINormCorr

1 1

2

221 1

2

11

1 12211

2121

),(),(

),(),(

),(),(


Template Matchingבאמצעות קורלציה מנורמלת

Inputs: T-template, I-Image, Thr – Threshold

Inits: Normalize T

Run on all u=1..width, v = 1..height

– Extract: Win=I)u+1:u+n, v+1:v+m(

– Normalize Win

– Compute Map)u,v( = NCC)T , Win(

Find )u,v( such that Map)u,v(>=Thr

Remove )u,v( that are not local maxima


Template Matchingיעיל

באלג' בשקף הקודם נרמלנו כל חלון

נניח ידוע לנו לכל חלון הממוצע וסטיית התקן

ישנן דרכים יעילות לחשב אותם על תמונה שלמה –)ספרביליות(

21

211 1

21

21

211 1

121 1

211 1

21

21

1 12211

21

),(),(

),(),(),(),(

),(),(

),(

IIyxIyxI

IIyxIIyxIIyxIyxI

IyxIIyxI

IINCC

m

x

n

y

m

x

n

y

m

x

n

y

m

x

n

y

m

x

n

y

ו I1אין צורך לבצע את הנרמול על I2 בפועל, אלא רק להשתמש

בנוסחא


Template Matchingיעיל

)צורה לא יעילה )צריך לחסר ממוצע מכל פיקסל

)צורה יעילה )מספיק הכפל איבר-איבר

m

x

n

y

m

x

n

y

m

x

n

y

IyxIIyxI

IyxIIyxI

IINCC

1 1

2

221 1

2

11

1 12211

21

),(),(

),(),(

),(

21

211 1

21

21

),(),(

),(

IIyxIyxI

IINCC

m

x

n

y


הדוגמא שלנו


שגיאה ריבועית

תמונה של השגיאה הריבועית u,vב-

ערך מינימלי ; x=300ב-

y=45


קורלציה מנורמלת )עם חיסור ממוצע(

עם חיסור קורלציה מנורמלתu,vממוצע ב-

ימלי קסערך מ ; x=300ב-

y=45


Templateשינוי תמונת ה

עם חיסור קורלציה מנורמלתu,vממוצע ב-

סימלי קערך מ ; x=300ב-

y=45

תמונת ייחוס "חשוכה" 0.5מוכפלת פי יותר:תמונת המקור לא

השתנתה. !ערכיםאין שינוי ב


בגדלים שוניםTemplateחיפוש

על מנת לחפש Templateבגדלים שונים

Templateכלומר, יותר גדולים מה –

נבנה פירמידה

גרסאות מוקטנות של התמונה–

נחפש בכל אחת

לא משתנה!Templateה –

ונמזג את התוצאות

גילויים בגדלים שונים...–


שימושים נוספים – זיהוי נקודות "זהות" בתמונות

:שימושים עקיבה אחר אובייקט נע בוידאו–

למשל רכב נוסע•

שחזור תנועת המצלמה–אם זיהינו מספר נקודות נייחות, ניתן לדעת איך נעה המצלמה•

שחזור תלת מימד– מצלמות, וזיהינו לאיזה נקודה כל נקודה קשורה2אם צילמנו ב•

כמו העיניים•

ועוד...–


Featuresדוגמא לעקיבה אחר בוידאו התאמה לפי קריטריון קורלציה מנורמלת עם חיסור

ממוצע

עיבוד תמונות ואותות במחשב תרגול 8: template matching 1/37 עיבוד...

Documents