texture analysis using family of filters texture analysis using family of filters

61
Texture Analysis Texture Analysis Using Family of Using Family of Filters Filters

Post on 15-Jan-2016

254 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Texture Analysis Using Texture Analysis Using Family of FiltersFamily of Filters    

Page 2: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

לנו מחכה לנו ...מה מחכה ...מה

...קצת רקעבעיות עיקריות3 – הצגת הבעיה כיצד נייצג טקסטורה – הצעה לפתרון

חילוץ מבנה התמונה באמצעות קבוצה של פילטריםspottiness and barriness Gabor filters

...אתם מוחאים כפיים

Page 3: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

.תופעה נפוצה- קל לזהות, קשה להגדיר.עלה הוא אובייקט בתמונה, עלווה היא טקסטורה

טקסטורה עשויה מתת-אלמנטים, שחוזרים עלעצמם בתחום עם מאפיינים סטטיסטיים דומים.

TextureTextureTextureTexture

Page 4: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

או קטנים אובייקטים של רב מספר ייצוגאלמנטים- תת

, , , שיער, אבן חלוקי חורשה עלווה דשא

TextureTextureTextureTexture

Page 5: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

שטחים שעליהם תבניות מסודרות שנראות כמומספר גדול של אובייקטים קטנים

.נקודות על בע"ח, נמרים צ'יטות.פסים על בע"ח, זברות, טיגריס.תבניות עץ, יער ועור

TextureTextureTextureTexture

Page 6: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

תמונת טקסטורה טיפוסית,

TextureTextureTextureTexture

Page 7: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters
Page 8: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

.העין האנושית משלימה את התמונה ואת הקונוטציות התפיסה האישית שלנו עבור החומרים מתקשרת עם

טקסטורה. ,הטקסטורות מורכבות מתת אלמנטים מעוצבים

מסודרים בתבנית מסויימת.

TextureTextureTextureTexture

Page 9: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

עיקריות בעיות עיקריות שלוש בעיות שלוש

- חלוקת הטקסטורהTexture segmentation

- הרכבת טקסטורהTexture synthesis

תבנית/צורה מטקסטורה -Shape from Texture

Page 10: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Texture Texture - - חלוקת הטקסטורהחלוקת הטקסטורהSegmentationSegmentation

Texture Texture - - חלוקת הטקסטורהחלוקת הטקסטורהSegmentationSegmentation

-כיצד נחלק את התמונה לcomponents קבועים?

?כיצד נייצג את הטקסטורה כיצד נקבע את הבסיס שגבולות המקטעים

יוגדרו?

Page 11: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Texture SynthesisTexture Synthesis - - יצירת טקסטורהיצירת טקסטורה Texture SynthesisTexture Synthesis - - יצירת טקסטורהיצירת טקסטורה

בעיית יצירת הטקסטורה מנסה לבנות איזוריםגדולים של טקסטורה מדוגמאות קטנות.

ננסה לפתור את הבעיה על ידי שימושבדוגמאות התמונות כדי לבנות מודלי

הסתברות.

Page 12: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Shape from Shape from - - צורה מטקסטורהצורה מטקסטורהTextureTexture

Shape from Shape from - - צורה מטקסטורהצורה מטקסטורהTextureTexture

צורה מטקסטורה כרוכה בשחזור כיוון השטחאו צורת השטחים מתמונת הטקסטורה.

"אנו מניחים שהטקסטורה "נראית אותו דברבנקודות שונות בשטח.

'משמע, עיוות הצורה של הטקסטורה מנקלנק' מרמז על התבנית של הטקסטורה.

Page 13: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters
Page 14: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters
Page 15: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters
Page 16: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

ייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורה

תמונות הטקסטורה בדר"כ מכילות תבניותמאורגנות או תת-אלמנטים רגילים –

טקסטונים..לדו'- טקסטון המורכב ממשולשים, מחצים הדרך הטבעית היא למצוא את הטקסטונים

ולתאר את הצורה שהם מיוצגים. הקושי, לא קיים סט כללי שלpatterns.

אנחנו לא יודעים מה אנחנו אמורים לחפש...

Page 17: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

ייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורה

לכן, במקום לעסוק חיפוש תבניות ברמה של חצים פשוטים יותר.patternsומשולשים, נחפש

.למשל נחפש נקודות וקווים

.ונחפש טענה על המבנה המרחבי שלהם היתרון בשיטה, קל לחפשpatterns פשוטים ע"י

פילטור התמונה.

Page 18: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

PrimitivesPrimitives

PP PP

PP

IntensityIntensity

PP P

PPP

OrientationOrientation

PP PP

PP

ColorColor

xx

x

xs

x

CurvatureCurvature

II

I

IILine EndLine End MovementMovement

x x x

xx

x

Page 19: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Extracting Image Structure with Extracting Image Structure with Filter BanksFilter BanksExtracting Image Structure with Extracting Image Structure with Filter BanksFilter Banks

.נבחר סט של פילטרים לינארים.נבצע קונבולוציה עם כל פילטר לתמונה נבחן את סט התוצאות ונסיק מסקנות על

התמונה.

Page 20: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Spots and Oriented Bars FiltersSpots and Oriented Bars Filters

(Malik and Perona)(Malik and Perona)

.סט של פילטרי לפלסיאן במשקלים שונים ובמידות שונות

DOGs- difference of Gauusiansנקראים גם

spot filter, 6 bar filter 2הפילטרים מייצגים

הפילטרים מיוצגים במידה קבועה,

אפור בינוני-אפס

צבעים כהים-ערכים שליליים

צבעים בהירים-ערכים חיוביים.

Page 21: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gaussian and its derivativeGaussian and its derivative

Page 22: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters

.התהליך משחזר את המבנה המקומי )יש תגובה חזקה )ערכים גבוהים, בהירים

דומה לגרעין הפילטר.patternכאשר ה- )ואילו יש תגובה חלשה )ערכים נמוכים, כהים

אינו דומה לגרעין הפילטר.patternכאשר ה-

Page 23: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

)Malik & Perona, 1990(

Input picture

Page 24: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Learn size-tuned filter responsesLearn size-tuned filter responses

Bergen and Adelson, Nature 1988

Page 25: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters

מגיבים באופן טוב פילטרים נקודתיים לאיזורים קטנים, אשר שונים מהסביבה שלהם

)שפות, נקודות(.כמו כן, הם מזהים מבנים חסרי כיוון

לעומתם,הם בעלי כיוון ולכן הם נוטים פילטרים קווים

לזהות מבנים בעלי כיוון.

Page 26: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

)Malik & Perona, 1990(

Input picture

Page 27: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters

??כעת, איזה פילטרים נבחראין תשובה חד משמעית( בדר"כ נבחרspot filter ( אחד וסט של

בכיוונים (oriented bar filter)פילטרים כיוונים ופאזות שונות.

לא ניתן לבצע אופטימיציה בבחירת פילטרים בעלי(ערכים שונים(

Page 28: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

GaborGabor FiltersFiltersGaborGabor FiltersFilters

דרך אחרת לבניתspot & bar filters . בסיסי של המכפלהפילטרי גאבור הם תוצר

.גאוסיאנים עם פורייה הפילטרים החדשים מגיבים באופן חזק

.וכיוון מיוחד בעלי תדרהאיזורים מסויימים פילטרי גאבור באים בזוגות: האחד משחזר

רכיבים סימטריים בכיוון מסויים והשני אנטיסמטריים בכיוון מסויים.

Page 29: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

אין עדיפות לסוג וכיוון פילטר מסויים.אין עדיפות לסוג וכיוון פילטר מסויים.

Gabor FiltersGabor Filters

sine or sine or תוצר של גאוסיאן עםתוצר של גאוסיאן עםcosinecosine

השורה העליונה מראההשורה העליונה מראה((or oddor odd ) )filters filters anti-symmetricanti-symmetric

השורה התחתונה מראההשורה התחתונה מראהSymmetric (or even) filtersSymmetric (or even) filters

Page 30: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor Filter ExampleGabor Filter Example

Even (Symmetric) Odd (AntiSymmetric)

Page 31: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

High frequencyLower frequency

Page 32: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters
Page 33: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Small Scale compared to inverse frequencySmall Scale compared to inverse frequency

= 2 f = 1/6לדוגמא

1עבור תטה גדולה בהשוואה ל/f פילטרים איזוגיים דומים , לנגזרת ראשונה ופילטרים זוגיים דומים לנגזרת שנייה.

זוגי אי-זוגי

Page 34: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Odd Gabor filterOdd Gabor filter

First DerivativeFirst Derivative

Page 35: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Even Gabor filterEven Gabor filter

Page 36: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor FiltersGabor Filters

.הצורה המתמטית עבור הפילטר הסימטרי

cos

2 2

2

x + y-

2Symmetric y xG (x, y) = (k x + k y)

נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק.

.מתייחסת לקנה מידה/גודל הפילטר

,x y(k k )

מחשב את התרומה המקומית

בכיוון של תדר ובקנה מידה

22yx kkf ,x y(k k )

Page 37: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor FiltersGabor Filters

הצורה המתמטית עבור הפילטרהאנטי-סימטרי.

sin

2 2

2

x + y-

2AntiSymmetric y xG (x, y) = (k x + k y)

נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק

.מתייחסת לקנה מידה/גודל הפילטר

,x y(k k )

מחשב את התרומה המקומית

בכיוון של תדר ובקנה מידה

22yx kkf ,x y(k k )

Page 38: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor FiltersGabor Filters

The Gabor filter bank

The Leung – Malik (LM) filter bank

Page 39: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor ResponseGabor Response

Page 40: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor ResponseGabor Response

Non-oriented

Oriented

פילטר קלטתגובה

Page 41: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

איך נבחר את הפילטרים?איך נבחר את הפילטרים?

כנראה שאין דבר כזה פילטרים טוביםיותר...

אומנם, ננסה לבחור את הפילטרים שיהיוכמה שיותר בלתי תלויים אחד בשני.

פילטרים בעלי כיוון שונה על מנת 6בדר"כ שנוכל לרצף את מרחב התדר.

Page 42: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד

עיבוד תמונות אולטרא סאונד המתעדות את מצב24-28הרקמות מוחם של פגים שנולדו בין השבועות

תמונת אולטרא סאונד מצביעה על חיבור ביןחומרים אקוסטיים שונים.

אזורים המכילים הרבה חומרים שונים המצויים באיסדר, יפיקו תהודה רבה ויופיעו כאזורים בהירים יותר

בתמונה. אזורים המכילים מספר קטן של חומרים שונים

המסודרים היטב, יפיקו רק מעט תהודה ויופיעו כאזורים כהים יותר בתמונה.

Page 43: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד

איזור פגוע ברקמת המוח, מתבטאת בשינויטקסטורה קלה, קשה להבחין בעין.

נחפש פתרון יעיל יותר, אשר יכול לעזורלרופאים.

Page 44: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

איך נפתור את הבעיה הרפואית?איך נפתור את הבעיה הרפואית?

נאפיין את הטקסטורות :הבאות

טקסטורה של חומר

תקיןכרפרנס נשתמש בצילום שאובחן

בוודאות כצילום תקין על ידי רופא

טקסטורה של חומר

פגוע

טקסטורה של חומר חשוד

כפגועכרפרנס נשתמש בכתמים שחורים

בצילום, המצביעים על

קיומם של חורים בחומר הלבן

כרפרנס נשתמש באזור הסמוך

לכתמים שחורים בצילום, דהיינו

חומר לבן הנמצא בסמיכות לחומר

הפגוע

Page 45: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד

ההנחה שתכולת התדרים המרחביים שלהטקסטורות, שונה זו מזו.

על בסיס ההנחה ננסה לייצר הבחנה ביןהטקסטורות השונות.

Page 46: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

תחילה נגדיר סט פילטרים על פי מספר סקלות ואוריינטציות

נבצע קונוולוציה בין הפילטר לתמונה

נניח הנחת הומוגניות על התמונה. כלומר, שבאיזור מסוים הטקסטורה אחידה

מס' K מס' הסקלות, S תמונות מפולטרות (S*K פילטרים, נקבל S*Kמכיוון שישנם האוריינטציות)

נאפיין את הטקסטורה בפיקסל מסוים )בתמונה המפולטרת( ע"י חישוב ממוצע ושונות מקומיים

5*5בסביבה של

נייצר ווקטור

Page 47: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

יצרנו וקטורי רפרנס לכל איזור

בדרך זו נאפיין אזורים בעלי טקסטורה ידועה

אליהם נשווה את תוצאות פילטור התמונה שלא עברה אנליזה בידי רופא )תמונת הבדיקה(

אזור תקין, אזור פגוע וסביבת חור

המטרה היא למצוא למי מוקטורי הרפרנס )אזור תקין, פגוע או חשוד כפגוע( קרוב יותר הפיקסל הנבדק. קרבה תתבטא

מינימליd(i,j)ב

Page 48: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

בדרך זו, נאפיין את כל הפיקסלים בתמונה, בסופו של תהליך נקבל הבחנה בתמונה בין

הטקסטורות השונות ומכאן הבחנה בין האיזורים התקינים לפגועים ברקמת המוח

Page 49: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

חמש סקלות ועשר אוריינטציות

ארבע סקלות ושמונה אוריינטציות

Page 50: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

במכוון נלקחה תמונה של מקרה יחסית ותיק עבורו כבר מאוחרות מצב תמונות פי על בוודאות, הרופאים ידעו

יותר, שאכן מדובר באיזורים לא תקינים שהפכו לחורים.

בדיקת האלגוריתם על תמונת אולטרא סאונדבדיקת האלגוריתם על תמונת אולטרא סאונד

Page 51: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

אוריינטציות12 סקלות ו-3 אוריינטציות12 סקלות ו-6

מקרא לצבעים:מקרא לצבעים:אדום-תקיןאדום-תקין

כחול-חשוד כחול-חשוד כפגועכפגוע

ירוק-חורירוק-חור

Page 52: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor Gaborשימושים נוספים של שימושים נוספים של filtersfilters

Page 53: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor filters - Gabor filters - Fingerprint AnalysisFingerprint Analysis

5אורך גל

7אורך גל

9אורך גל

Page 54: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

DendrochronologyDendrochronology - Input Image - Input Image

Sebastian Hegenbart, Joachim Kerschbaumer, Dietmar Planitzer

Page 55: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Gabor Filters - ImplementationGabor Filters - Implementation

יצירתGabor filters עם תדרים שונים וכיוונים שונים.

.ביצוע קונבולוציה על הפילטרים שנבחרו-מעלות.180 עד 0רוטציה מ .הרכבת פלטי התמונות

Page 56: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Color-texture FeatureColor-texture Feature

-1-0.8-0.6-0.4-0.2

00.20.40.60.8

1

Input color image

Gaussian color model

Gabor filters

Color-Texture Feature

Page 57: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Color-texture SegmentationColor-texture Segmentation

C1

C4

Ground truth

Page 58: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

Color-texture SegmentationColor-texture Segmentation#

13405

2#

6607

5

Page 59: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

...קצת הסטוריה...קצת הסטוריה בעקבות ’(90’, 88, 1980)פילטרי גאבור עלו לאור הזרקורים ונעשו פופולארים

הראה שהפילטרים דומים מאוד למאפיינים של תאים מסויימים J.G Daugmanש-בקליפה של עצב הראייה ביונקים מסוימיים )בייחוד חתולים(.

בנוסף, הפילטרים הללו הוצגו כיעילים מאוד למציאת קבוצות אופטימליות דומותגם במרחב התדר וגם במרחב התמונה, לכן הם מתאימים לבעיית חלוקת

טקסטורה.

,פילטרי גאבור יושמו בהרבה אפליקציות, למשל חלוקת טקסטורה Texture Segmentation, target detection, fractal dimension

management, document analysis, edge detection, retina identification, image coding and image representation

Page 60: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

BibliographyBibliography Computer Vision -- A modern approach  , David Forsyth and Jean Ponce

Chapter 11

"Preattentive texture discrimination with early vision mechanisms" Jitendra Malik and Pietro Perona , Journal of Optical Society of America A, 7(5), May 1990, 923-932.

Recognizing surfaces using three-dimensional textons. Leung, T. and Malik, J. (1999). In ICCV99, pages 1010–1017.

Representing and recognizing the visual appearance of material using three-dimensional textons. Leung, T. and Malik, J. (2001). International Journal of Computer Vision, 43:29–44.

Varma, M. and Zisserman, A. (2004). A statistical approach to texture classification from single images. International Journal of Computer Vision, 62:61–81

Spatial Statistics of TextonsGary Dahme,Eraldo Ribeiro and Mark BushInternational Conference on Computer Vision Theory and Applications

J.G. Daugman, “Two dimensional spectral analysis of cortical receptive field profiles,” Vision Res., vol.20.pp.847-856.1980

J. Daugman, “Complete discrete 2-d gabor transforms by neural network for image analysis and compression,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 36, no. 7, pp. 1169–1179, 1988.

Page 61: Texture Analysis Using Family of Filters Texture Analysis Using Family of Filters

THANK YOU!!!!!