Texture Analysis Using Family of Filters

1. Texture Analysis Using Family of Filters  

2. מה מחכה לנו... • קצת רקע... • הצגת הבעיה – 3 בעיות עיקריות • כיצד נייצג טקסטורה • הצעה לפתרון – • חילוץ מבנה התמונה באמצעות קבוצה של פילטרים • spottiness and barriness • Gabor filters • אתם מוחאים כפיים...

3. Texture • תופעה נפוצה- קל לזהות, קשה להגדיר. • עלה הוא אובייקט בתמונה, עלווה היא טקסטורה. • טקסטורה עשויה מתת-אלמנטים, שחוזרים על עצמם בתחום עם מאפיינים סטטיסטיים דומים.

4. Texture • ייצוג מספר רב של אובייקטים קטנים או תת-אלמנטים • דשא, עלווה, חורשה, חלוקי אבן, שיער

5. Texture • שטחים שעליהם תבניות מסודרות שנראות כמו מספר גדול של אובייקטים קטנים • נקודות על בע"ח, נמרים צ'יטות. • פסים על בע"ח, זברות, טיגריס. • תבניות עץ, יער ועור.

6. Texture תמונת טקסטורה טיפוסית,

8. Texture • העין האנושית משלימה את התמונה ואת הקונוטציות. • התפיסה האישית שלנו עבור החומרים מתקשרת עם טקסטורה. • הטקסטורות מורכבות מתת אלמנטים מעוצבים, מסודרים בתבנית מסויימת.

9. שלוש בעיות עיקריות • חלוקת הטקסטורה - Texture segmentation • הרכבת טקסטורה - Texture synthesis • תבנית/צורה מטקסטורה- Shape from Texture

10. חלוקת הטקסטורה - Texture Segmentation • כיצד נחלק את התמונה ל-components קבועים? • כיצד נייצג את הטקסטורה? • כיצד נקבע את הבסיס שגבולות המקטעים יוגדרו?

11. יצירת טקסטורה - Texture Synthesis • בעיית יצירת הטקסטורה מנסה לבנות איזורים גדולים של טקסטורה מדוגמאות קטנות. • ננסה לפתור את הבעיה על ידי שימוש בדוגמאות התמונות כדי לבנות מודלי הסתברות.

12. צורה מטקסטורה - Shape from Texture • צורה מטקסטורה כרוכה בשחזור כיוון השטח או צורת השטחים מתמונת הטקסטורה. • אנו מניחים שהטקסטורה "נראית אותו דבר" בנקודות שונות בשטח. • משמע, עיוות הצורה של הטקסטורה מנק' לנק' מרמז על התבנית של הטקסטורה.

16. ייצוג הטקסטורה • תמונות הטקסטורה בדר"כ מכילות תבניות מאורגנות או תת-אלמנטים רגילים – טקסטונים. • לדו'- טקסטון המורכב ממשולשים, מחצים. • הדרך הטבעית היא למצוא את הטקסטונים ולתאר את הצורה שהם מיוצגים. • הקושי, לא קיים סט כללי של patterns. אנחנו לא יודעים מה אנחנו אמורים לחפש...

17. ייצוג הטקסטורה • לכן, במקום לעסוק חיפוש תבניות ברמה של חצים ומשולשים, נחפש patterns פשוטים יותר. • למשל נחפש נקודות וקווים. • ונחפש טענה על המבנה המרחבי שלהם. • היתרון בשיטה, קל לחפש patterns פשוטים ע"י פילטור התמונה.

18. Intensity Curvature P P P P P P P P P P Line End Orientation P P x x x P P P s P x I x I I P P I I Color x x x x x Primitives Movement x

19. Extracting Image Structure with Filter Banks • נבחר סט של פילטרים לינארים. • נבצע קונבולוציה עם כל פילטר לתמונה. • נבחן את סט התוצאות ונסיק מסקנות על התמונה.

20. Spots and Oriented Bars Filters הפילטרים מיוצגים במידה קבועה, אפור בינוני-אפס צבעים כהים-ערכים שליליים צבעים בהירים-ערכים חיוביים. סט של פילטרי לפלסיאן במשקלים שונים ובמידות שונות. נקראים גם DOGs- difference of Gauusians הפילטרים מייצגים 2 spot filter, 6 bar filter (Malik and Perona)

21. Gaussian and its derivative

22. Spots and Oriented Bars Filters • התהליך משחזר את המבנה המקומי. • יש תגובה חזקה (ערכים גבוהים, בהירים) כאשר ה- pattern דומה לגרעין הפילטר. • ואילו יש תגובה חלשה (ערכים נמוכים, כהים) כאשר ה-pattern אינו דומה לגרעין הפילטר.

23. Input picture (Malik & Perona, 1990)

24. Learn size-tuned filter responses Bergen and Adelson, Nature 1988

25. Spots and Oriented Bars Filters • פילטרים נקודתיים מגיבים באופן טוב לאיזורים קטנים, אשר שונים מהסביבה שלהם (שפות, נקודות) • כמו כן, הם מזהים מבנים חסרי כיוון. לעומתם, • פילטרים קווים הם בעלי כיוון ולכן הם נוטים לזהות מבנים בעלי כיוון.

26. Input picture (Malik & Perona, 1990)

27. Spots and Oriented Bars Filters • כעת, איזה פילטרים נבחר?? • אין תשובה חד משמעית • בדר"כ נבחר (spot filter( אחד וסט של פילטרים כיוונים (oriented bar filter) בכיוונים ופאזות שונות. • (לא ניתן לבצע אופטימיציה בבחירת פילטרים בעלי ערכים שונים)

28. GaborFilters • דרך אחרת לבנית spot & bar filters . • פילטרי גאבור הם תוצר המכפלה של בסיסי פורייה עם גאוסיאנים. • הפילטרים החדשים מגיבים באופן חזק האיזורים מסויימים בעלי תדרוכיוון מיוחד. • פילטרי גאבור באים בזוגות: האחד משחזר רכיבים סימטריים בכיוון מסויים והשני אנטיסמטריים בכיוון מסויים.

29. Gabor Filters תוצר של גאוסיאן עםsine or cosine השורה העליונה מראה(or odd) filters anti-symmetric השורה התחתונה מראה Symmetric (or even) filters אין עדיפות לסוג וכיוון פילטר מסויים.

30. Gabor Filter Example Even (Symmetric) Odd (AntiSymmetric)

31. High frequency Lower frequency

33. Small Scale compared to inverse frequency • עבור תטה גדולה בהשוואה ל 1/f , פילטרים איזוגיים דומים לנגזרת ראשונה ופילטרים זוגיים דומים לנגזרת שנייה. זוגי אי-זוגי לדוגמא -s = 2 f = 1/6

34. Odd Gabor filter First Derivative

35. Even Gabor filter

36. מחשב את התרומה המקומית של תדר בכיוון ובקנה מידה Gabor Filters • הצורה המתמטית עבור הפילטר הסימטרי. נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק. מתייחסת לקנה מידה/גודל הפילטר.

37. מחשב את התרומה המקומית של תדר בכיוון ובקנה מידה Gabor Filters • הצורה המתמטית עבור הפילטר האנטי-סימטרי. נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק מתייחסת לקנה מידה/גודל הפילטר.

38. Gabor Filters • The Gabor filter bank • The Leung – Malik (LM) filter bank

39. Gabor Response

40. Gabor Response קלט פילטר תגובה Non-oriented Oriented

41. איך נבחר את הפילטרים? • כנראה שאין דבר כזה פילטרים טובים יותר... • אומנם, ננסה לבחור את הפילטרים שיהיו כמה שיותר בלתי תלויים אחד בשני. • בדר"כ 6 פילטרים בעלי כיוון שונה על מנת שנוכל לרצף את מרחב התדר.

42. עיבוד תמונות אולטרא סאונד • עיבוד תמונות אולטרא סאונד המתעדות את מצב הרקמות מוחם של פגים שנולדו בין השבועות 24-28 • תמונת אולטרא סאונד מצביעה על חיבור בין חומרים אקוסטיים שונים. • אזורים המכילים הרבה חומרים שונים המצויים באי סדר, יפיקו תהודה רבה ויופיעו כאזורים בהירים יותר בתמונה. • אזורים המכילים מספר קטן של חומרים שונים המסודרים היטב, יפיקו רק מעט תהודה ויופיעו כאזורים כהים יותר בתמונה.

43. עיבוד תמונות אולטרא סאונד • איזור פגוע ברקמת המוח, מתבטאת בשינוי טקסטורה קלה, קשה להבחין בעין. • נחפש פתרון יעיל יותר, אשר יכול לעזור לרופאים.

44. איך נפתור את הבעיה הרפואית? נאפיין את הטקסטורות הבאות: טקסטורה של חומר חשוד כפגוע טקסטורה של חומר פגוע טקסטורה של חומר תקין כרפרנס נשתמש בכתמים שחורים בצילום, המצביעים על קיומם של חורים בחומר הלבן כרפרנס נשתמש בצילום שאובחן בוודאות כצילום תקין על ידי רופא כרפרנס נשתמש באזור הסמוךלכתמים שחורים בצילום, דהיינו חומר לבן הנמצא בסמיכות לחומר הפגוע

45. עיבוד תמונות אולטרא סאונד • ההנחה שתכולת התדרים המרחביים של הטקסטורות, שונה זו מזו. • על בסיס ההנחה ננסה לייצר הבחנה בין הטקסטורות השונות.

46. תחילה נגדיר סט פילטרים על פי מספר סקלות ואוריינטציות נבצע קונוולוציה בין הפילטר לתמונה מכיוון שישנם S*K פילטרים, נקבל S*K תמונות מפולטרות (S מס' הסקלות, K מס' האוריינטציות) נניח הנחת הומוגניות על התמונה. כלומר, שבאיזור מסוים הטקסטורה אחידה נייצר ווקטור נאפיין את הטקסטורה בפיקסל מסוים (בתמונה המפולטרת) ע"י חישוב ממוצע ושונות מקומיים בסביבה של 5*5

47. בדרך זו נאפיין אזורים בעלי טקסטורה ידועה אזור תקין, אזור פגוע וסביבת חור יצרנו וקטורי רפרנס לכל איזור אליהם נשווה את תוצאות פילטור התמונה שלא עברה אנליזה בידי רופא (תמונת הבדיקה) המטרה היא למצוא למי מוקטורי הרפרנס (אזור תקין, פגוע או חשוד כפגוע) קרוב יותר הפיקסל הנבדק. קרבה תתבטא בd(i,j) מינימלי

48. בדרך זו, נאפיין את כל הפיקסלים בתמונה, בסופו של תהליך נקבל הבחנה בתמונה בין הטקסטורות השונות ומכאן הבחנה בין האיזורים התקינים לפגועים ברקמת המוח

49. חמש סקלות ועשר אוריינטציות ארבע סקלות ושמונה אוריינטציות

50. בדיקת האלגוריתם על תמונת אולטרא סאונד במכוון נלקחה תמונה של מקרה יחסית ותיק עבורו כבר ידעו הרופאים בוודאות, על פי תמונות מצב מאוחרות יותר, שאכן מדובר באיזורים לא תקינים שהפכו לחורים.