עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift

1. הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGYהפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift מגישים: ספי פרידמן אייל אפרת מנחה : מר אריה נחמני

2. תוכן עניינים • מוטיבציה • מטרות הפרויקט • דרכי הפתרון • תיאור המערכת • שיפורי מערכת • תפקוד המערכת • סיכום ומסקנות

3. מוטיבציה • מטרה: עקיבה אחר עצמים בסרטים. • מהן הבעיות המתעוררות בעקיבה בווידאו? • ראות לקויה • עצם דומה לעצם שאחריו עוקבים • הסתרה רגעית של העצם • שינוי הגוון • זמן עיבוד • פתרון: דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.

4. מטרות הפרויקט • עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-Shift • התגברות על חלק מהבעיות המתעוררות בעקיבה בווידאו • השוואה בין מערכת העקיבה שלנו למערכת עקיבה המבוססת על שיטת הקורלציה

5. דרכי הפתרון נדון בשתי דרכי פתרון לבעיית העקיבה: קורלציה Mean-Shift

6. שיטת הקורלציה • בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס לאזורים שונים בחלון החיפוש. האיזור הנבדק חלון החיפוש תמונת הייחוס נבדוק את האזורים השונים באזור החיפוש ונבדוק את מקדם קורלציה, והעצם הנע ימצא היכן שהקורלציה היא הגבוהה ביותר.

7. מקדם המתאם של פירסון קרוס קורלציה מנורמלת (NCC) • NCC - מדד לקשר ליניארי בין 2 קבוצות מספרים – במקרה של עיבוד תמונה קבוצות הפיקסלים. • ערכי המדד ינועו בין 1- ל 1+ כאשר ערכים קרובים ל 1+ יבטאו קשר חיובי חזק בין המשתנים. • נוסחת המתאם : סטיית התקן: תוחלת:

8. Mean-Shift • Mean-Shift - שינוי התוחלת, לפיו מחשבים את המיקום החדש של האובייקט. • תוחלת של מה? • בפרויקט זה - הסתברות שיוך רמות אפור לדמות • כל מדד הסתברותי אחר • הפעלת אלגוריתם gradient ascent.

9. הדגמת עקיבה בסרט באמצעות Mean-Shift

10. יישום Mean-Shift בפרויקט זה • המידע ההסתברותי המשמש לתוחלת הוא היסטוגרמת רמות אפור בסרט. • מידת אפור בהיסטוגרמת הפריים מותאמת למידת הסתברות לפי היסטוגרמת האובייקט. הסתברות סכום = 1 גוון 255

11. יישום Mean-Shift בפרויקט זה • כל פיקסל באזור הסריקה מקבל מידת התאמה לדמות לפי מידת ההסתברות. מידות הסתברות בין 0 ל-1 פיקסלים של הפריים בהתאם לגוון בפיקסל היעד

12. הדגמה Region of interest Center of mass Mean Shift vector

13. הדגמה Region of interest Center of mass Mean Shift vector

14. הדגמה Region of interest Center of mass Mean Shift vector

15. הדגמה Region of interest Center of mass Mean Shift vector

16. הדגמה Region of interest Center of mass Mean Shift vector

17. הדגמה Region of interest Center of mass Mean Shift vector

18. הדגמה Region of interest Center of mass

19. יישום Mean-Shift בפרויקט זה מידות הסתברות בין 0 ל-1 פיקסלים של הפריים 0.21 0.1 0.05 0.21 0.17 0.04 0.17 0.1 0.1 מציאת מרכז כובד

20. תיאור סכמתי של המערכת איתחול יצירתהיסטגרמותראשוניותמתאימות סימוןהדמות הצגתהפרייםהראשון העלאתהסרט מעברפריים יצירת היסטוגרמות חדשות Mean-Shift מעבר למיקום המשוערך החדש עדכון ההיסטגרמות עדיף לעבור עדיף לעבור עדיף לעבור עדיףלהישאר עדיףלהישאר עדיףלהישאר סימון ומעבר למיקום המשוערך החדש

21. בין השורות • מההיסטוגרמה מורידים את השפעות הרקע הקרוב לדמות, לפי היסטוגרמת הרקע. • ההיסטוגרמה מתעדכנת בין הפריימים. • מידת ההסתברות המופקת עוברת החלקה גרעינית: • בשיטה זו ערך הפונקציה בכל נקודה נמדד בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.

22. למה דווקא היסטוגרמה? יתרונות: • מציאת האובייקט ללא קשר ישיר לצורה. • קל למצוא מידת הסתברות מגוונת (לא בינארית). • קל למימוש באופן דיסקרטי על מחשב. חסרונות: • אובייקטים דומים מבחינת הרכב רמות אפור, ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה. • אובייקט המצוי בסביבה דומה לו מבחינת הרכב רמות האפור יכול להיחשב כבלתי נראה.

23. מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפול

24. מרחק ממוצע לעומת סטיית תקן • כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול. • כשסטית התקן גדולה עדיף המיצוע הרגיל. • נראה בהמשך כיצד זה משתלב במערכת שלנו.

25. שיפורי המערכת לאלגוריתם הרגיל • שימוש בהיסטורית היסטוגרמת העצם. • שימוש במהירות העצם הנע.

26. היסטורית היסטוגרמת העצם • נסתמך על היסטורית ההיסטוגרמות ולא על ההיסטוגרמה עצמה. • נבצע על ההיסטוגרמה מיצוע אקספוננציאלירגיל כי ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון. יתרונות: • עוזר במקרים של השתנות הרכב גווני האובייקט. • עוזר במקרים שישנן הסתרות חלקיות/מלאות של העצם הנע. • כל היתרונות הקיימים בהיסטוגרמה. • קל למימוש איטרטיבי ולא כבד במשאבים.

27. שימוש במהירות העצם הנע • נבצע על מיקום האוביקט מיצוע אקספוננציאלי כפול מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום. • מתחילים איטרציות Mean-Shift מהמיקום המשוער. יתרונות: • זיהוי נכון ומהיר יותר באיטרציות Mean-Shift. • "מקדימים תרופה למכה" במקרה של מקסימום מקומי אחר קרוב למקסימום המתאים לדמות. • קל למימוש איטרטיבי ולא כבד במשאבים.

28. תפקוד המערכת נציג מספר סרטים שהרצנו על מערכות שונות: • מערכת מעקב המבוססת על שיטת הקורלציה. • מערכת מעקב המבוססת על Mean-Shiftללא שיפורי המערכת שלנו. • מערכת מעקב המבוססת על Mean-Shiftעם שיפורי המערכת שלנו.

29. מערכת התאמת קורלציה

30. מערכת Mean-Shift ללא שיפורים

31. מערכת Mean-Shift עם שיפורים

32. סיכום • שיטת הקורלציה לבדה אינה מסוגלת להתמודד עם מספר גופים "דומים" קרובים והסתרות. • עקיבת ווידאו באמצעות אלגוריתם MeanShift בלבד מניבה תוצאות לא טובות ביחס לשיטתהקורלציה. • ניתן לשפר את אלגוריתםMean-Shift הרגיל עם תוספים, המשפרים את ביצועי המערכת לאין ארוך. • אלגוריתם Mean-Shift צורך פחות משאבים, ומתאים יותר לעבודה בזמן אמת.

33. תודות • תודה רבה למר אריה נחמני מנחה הפרויקט ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.

34. שאלות ? 