עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift
description
Transcript of עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift
![Page 1: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/1.jpg)
עקיבה אחר מטרה באמצעות עקיבה אחר מטרה באמצעות אלגוריתםאלגוריתם
Mean-ShiftMean-Shift::מגישיםמגישים
ספי פרידמןספי פרידמןאייל אפרתאייל אפרת
: : מנחהמנחהמר אריה נחמנימר אריה נחמני
מכון טכנולוגי לישראל - הטכניון TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY
הפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה
![Page 2: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/2.jpg)
22
תוכן עניינים תוכן עניינים
מוטיבציהמוטיבציהמטרות הפרויקטמטרות הפרויקטדרכי הפתרוןדרכי הפתרוןתיאור המערכתתיאור המערכתשיפורי מערכתשיפורי מערכתתפקוד המערכתתפקוד המערכתסיכום ומסקנותסיכום ומסקנות
![Page 3: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/3.jpg)
33
מוטיבציהמוטיבציה
:עקיבה אחר עצמים בסרטים. עקיבה אחר עצמים בסרטים.מטרה:מטרה
המתעוררות בעקיבה בווידאו? המתעוררות בעקיבה בווידאו? הבעיות הבעיותמהןמהן ראות לקויהראות לקויה•עצם דומה לעצם שאחריו עוקביםעצם דומה לעצם שאחריו עוקבים•הסתרה רגעית של העצםהסתרה רגעית של העצם•שינוי הגווןשינוי הגוון•זמן עיבודזמן עיבוד•
:דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר פתרון:פתרון לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.
![Page 4: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/4.jpg)
44
מטרות הפרויקטמטרות הפרויקט
עקיבה אחר עצם נע המבוססת על אלגוריתם עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-ShiftMean-Shift
התגברות על חלק מהבעיות המתעוררות התגברות על חלק מהבעיות המתעוררותבעקיבה בווידאובעקיבה בווידאו
השוואה בין מערכת העקיבה שלנו למערכת השוואה בין מערכת העקיבה שלנו למערכתהקורלציההקורלציהעקיבה המבוססת על שיטת עקיבה המבוססת על שיטת
![Page 5: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/5.jpg)
דרכי הפתרוןדרכי הפתרון
נדון בשתי דרכי פתרון לבעיית נדון בשתי דרכי פתרון לבעיית ::העקיבההעקיבה
קורלציהקורלציה
Mean-ShiftMean-Shift
![Page 6: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/6.jpg)
66
שיטת הקורלציהשיטת הקורלציה
בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוסלאזורים שונים בחלון החיפוש.לאזורים שונים בחלון החיפוש.
חלון החיפושתמונת הייחוס
מקדם נבדוק את האזורים השונים באזור החיפוש ונבדוק את , והעצם הנע ימצא היכן שהקורלציה היא הגבוהה קורלציה
ביותר.
האיזור הנבדק
![Page 7: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/7.jpg)
77
מקדם המתאם של פירסון מקדם המתאם של פירסון ((NCCNCCקרוס קורלציה מנורמלת )קרוס קורלציה מנורמלת )
NCCNCC קבוצות קבוצות 22 - מדד לקשר ליניארי בין - מדד לקשר ליניארי בין מספרים – במקרה של עיבוד תמונה קבוצות מספרים – במקרה של עיבוד תמונה קבוצות
הפיקסלים. הפיקסלים. כאשר ערכים + כאשר ערכים 11- ל - ל 11ערכי המדד ינועו בין ערכי המדד ינועו בין +
+ יבטאו קשר חיובי חזק בין + יבטאו קשר חיובי חזק בין 11קרובים ל קרובים ל המשתנים. המשתנים.
: נוסחת המתאם : נוסחת המתאם,
2 2
(( )( ))cov( , )
( ) ( )
( )
X YX Y
X Y X Y
X
X i ii
E X YX Y
E X E X
E X p x
סטיית התקן:
תוחלת:
![Page 8: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/8.jpg)
88
Mean-ShiftMean-Shift
Mean-ShiftMean-Shift שינוי התוחלת, לפיו מחשבים - שינוי התוחלת, לפיו מחשבים - את המיקום החדש של האובייקט.את המיקום החדש של האובייקט.
?תוחלת של מה?תוחלת של מה לדמות לדמותרמות אפוררמות אפורבפרויקט זה - הסתברות שיוך בפרויקט זה - הסתברות שיוך כל מדד הסתברותי אחרכל מדד הסתברותי אחר
הפעלת אלגוריתם הפעלת אלגוריתםgradient ascentgradient ascent..
![Page 9: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/9.jpg)
99
הדגמת עקיבה בסרט באמצעות הדגמת עקיבה בסרט באמצעות Mean-ShiftMean-Shift
![Page 10: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/10.jpg)
1010
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
המידע ההסתברותי המשמש לתוחלת הוא המידע ההסתברותי המשמש לתוחלת הואהיסטוגרמת רמות אפור בסרט.היסטוגרמת רמות אפור בסרט.
מידת אפור בהיסטוגרמת הפריים מותאמת מידת אפור בהיסטוגרמת הפריים מותאמתלמידת הסתברות לפי היסטוגרמת האובייקט.למידת הסתברות לפי היסטוגרמת האובייקט.
255 גוון
גווןגווןהסתברותהסתברותהסתברות
0.020.02
0.210.21
00
255255
=ם
כוס
1
![Page 11: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/11.jpg)
1111
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
כל פיקסל באזור הסריקה מקבל מידת התאמה כל פיקסל באזור הסריקה מקבל מידת התאמהלדמות לפי מידת ההסתברות.לדמות לפי מידת ההסתברות.
גווןגווןהסתברותהסתברות
0.020.02
0.210.21
00
255255
0.210.210.10.10.050.05
0.210.210.170.170.040.04
0.170.170.10.10.10.1
פיקסלים של הפריים
בהתאם לגוון
בפיקסל היעד
מידות 0הסתברות בין
1ל-
![Page 12: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/12.jpg)
1212
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 13: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/13.jpg)
1313
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 14: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/14.jpg)
1414
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 15: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/15.jpg)
1515
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 16: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/16.jpg)
1616
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 17: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/17.jpg)
1717
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
![Page 18: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/18.jpg)
1818
Region ofinterest
Center ofmass
הדגמההדגמה
![Page 19: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/19.jpg)
1919
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
2
1
, 2
1
ni
ii
h Gn
i
i
x xx g
hMean ShiftVector M x x
x xg
h
0.040.040.170.170.210.21
0.10.1
0.050.05
0.10.1
0.10.1
0.170.17
0.210.21
פיקסלים של הפריים
מידות 0הסתברות בין
1ל-
2
1
2
1
ni
ii
ni
i
x xx g
h
x xg
h
מציאת מרכז כובד
![Page 20: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/20.jpg)
2020
איתחול
Mean-Shift
העלאתהסרט
סימוןהדמות
היסטגרמות יצירתמתאימות ראשוניות
יצירת היסטוגרמות
חדשות
עדיף לעבור
סימון ומעבר למיקום המשוערך
החדש
הפריים הצגתהראשון
מעברפריים
מעבר למיקום המשוערך החדש
עדכון ההיסטגרמות
עדיףלהישאר
תיאור סכמתי של המערכתתיאור סכמתי של המערכת
עדיף לעבור
עדיףלהישאר
עדיף עדיף לעבורלעבור
עדיףעדיףלהישארלהישאר
![Page 21: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/21.jpg)
2121
בין השורותבין השורות
מההיסטוגרמה מורידים את השפעות הרקע מההיסטוגרמה מורידים את השפעות הרקע..היסטוגרמת הרקעהיסטוגרמת הרקעהקרוב לדמות, לפי הקרוב לדמות, לפי
בין הפריימים. בין הפריימים.ההיסטוגרמה מתעדכנתההיסטוגרמה מתעדכנת החלקה החלקה מידת ההסתברות המופקת עוברת מידת ההסתברות המופקת עוברת
::גרעיניתגרעינית בשיטה זו ערך הפונקציה בכל נקודה נמדד בשיטה זו ערך הפונקציה בכל נקודה נמדד
בהשפעה יחסית לסביבה הקרובה, כאשר ישנה בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.דעיכה של השפעת נקודות רחוקות יותר.
![Page 22: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/22.jpg)
2222
יתרונות:יתרונות: ללא קשר ישיר לצורהללא קשר ישיר לצורהמציאת האובייקט מציאת האובייקט.. לא בינארית(. )לא בינארית(.מידת הסתברות מגוונתמידת הסתברות מגוונתקל למצוא קל למצוא( באופן דיסקרטי על מחשב. באופן דיסקרטי על מחשב.קל למימושקל למימוש
חסרונות:חסרונות: ,אובייקטים דומים מבחינת הרכב רמות אפור, אובייקטים דומים מבחינת הרכב רמות אפור
ושונים לחלוטין בצורה, יכולים לבלבל את ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה.העקיבה.
אובייקט המצוי בסביבה דומה לו מבחינת הרכב אובייקט המצוי בסביבה דומה לו מבחינת הרכברמות האפור יכול להיחשב כבלתי נראה.רמות האפור יכול להיחשב כבלתי נראה.
למה דווקא היסטוגרמה?למה דווקא היסטוגרמה?
![Page 23: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/23.jpg)
2323
0 10 20 30 40 50 60 70 80 90 100-20
0
20
40
x
y
SourceRegression )exp` smooth(Regression )double exp` smooth(source with noise
0 10 20 30 40 50 60 70 80 90 100-100
-50
0
50
100
Frame Number
Dire
ctio
n F
orec
ast
)deg
rees
(
מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפול
![Page 24: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/24.jpg)
2424
0 5 10 150
2
4
6
8
10
SD
Ave
rage
Dis
tanc
e
)9.8,5.9499(
exp` smoothing
double exp` smoothing
.כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול. כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול.כשסטית התקן גדולה עדיף המיצוע הרגיל.כשסטית התקן גדולה עדיף המיצוע הרגיל
.נראה בהמשך כיצד זה משתלב במערכת שלנו.נראה בהמשך כיצד זה משתלב במערכת שלנו
מרחק ממוצע לעומת סטיית תקןמרחק ממוצע לעומת סטיית תקן
![Page 25: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/25.jpg)
2525
שיפורי המערכת לאלגוריתם הרגילשיפורי המערכת לאלגוריתם הרגיל
.שימוש בהיסטורית היסטוגרמת העצם.שימוש בהיסטורית היסטוגרמת העצם
.שימוש במהירות העצם הנע.שימוש במהירות העצם הנע
![Page 26: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/26.jpg)
2626
היסטורית היסטוגרמת העצםהיסטורית היסטוגרמת העצםעל על ולא ולאנסתמך על היסטורית ההיסטוגרמותנסתמך על היסטורית ההיסטוגרמות
ההיסטוגרמה עצמה.ההיסטוגרמה עצמה. כי כי רגילרגיל מיצוע אקספוננציאלימיצוע אקספוננציאלינבצע על ההיסטוגרמה נבצע על ההיסטוגרמה
ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון. ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון.
יתרונות:יתרונות:.עוזר במקרים של השתנות הרכב גווני האובייקט.עוזר במקרים של השתנות הרכב גווני האובייקט עוזר במקרים שישנן הסתרות חלקיות/מלאות של עוזר במקרים שישנן הסתרות חלקיות/מלאות של
העצם הנע.העצם הנע..כל היתרונות הקיימים בהיסטוגרמה.כל היתרונות הקיימים בהיסטוגרמה.קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים
![Page 27: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/27.jpg)
2727
שימוש במהירות העצם הנעשימוש במהירות העצם הנע מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפולנבצע על מיקום האוביקט נבצע על מיקום האוביקט
מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום.קטנות עם מגמתיות די ברורה של המיקום.
מתחילים איטרציות מתחילים איטרציותMean-ShiftMean-Shift.מהמיקום המשוער. מהמיקום המשוער
יתרונות:יתרונות: זיהוי נכון ומהיר יותר באיטרציות זיהוי נכון ומהיר יותר באיטרציותMean-ShiftMean-Shift.. מקדימים תרופה למכה" במקרה של מקסימום מקומי "מקדימים תרופה למכה" במקרה של מקסימום מקומי"
אחר קרוב למקסימום המתאים לדמות.אחר קרוב למקסימום המתאים לדמות..קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים
![Page 28: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/28.jpg)
2828
תפקוד המערכתתפקוד המערכת
נציג מספר סרטים שהרצנו על מערכות שונות:נציג מספר סרטים שהרצנו על מערכות שונות:
הקורלציההקורלציהמערכת מעקב המבוססת על שיטת מערכת מעקב המבוססת על שיטת.. מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift ללא ללא
שלנו. שלנו.שיפורי המערכתשיפורי המערכת מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift עם עם
שלנו. שלנו.שיפורי המערכתשיפורי המערכת
![Page 29: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/29.jpg)
2929
מערכת התאמת קורלציהמערכת התאמת קורלציה
![Page 30: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/30.jpg)
3030
ללא שיפורים ללא שיפוריםMean-ShiftMean-Shiftמערכת מערכת
![Page 31: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/31.jpg)
3131
עם שיפורים עם שיפוריםMean-ShiftMean-Shiftמערכת מערכת
![Page 32: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/32.jpg)
3232
סיכוםסיכום לבדה אינה מסוגלת להתמודד לבדה אינה מסוגלת להתמודד הקורלציההקורלציהשיטת שיטת
עם מספר גופים "דומים" קרובים והסתרות.עם מספר גופים "דומים" קרובים והסתרות. עקיבת ווידאו באמצעות אלגוריתם עקיבת ווידאו באמצעות אלגוריתםMeanShiftMeanShift
בלבד מניבה תוצאות לא טובות ביחס לשיטתבלבד מניבה תוצאות לא טובות ביחס לשיטת..הקורלציההקורלציה
ניתן לשפר את אלגוריתםניתן לשפר את אלגוריתם Mean-ShiftMean-Shift הרגיל הרגיל עם תוספים, המשפרים את ביצועי המערכת עם תוספים, המשפרים את ביצועי המערכת
לאין ארוך. לאין ארוך. אלגוריתם אלגוריתםMean-ShiftMean-Shift פחות משאביםפחות משאבים צורך צורך , ,
ומתאים יותר לעבודה בזמן אמת.ומתאים יותר לעבודה בזמן אמת.
![Page 33: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/33.jpg)
3333
תודותתודות
תודה רבה למר אריה נחמני מנחה הפרויקט תודה רבה למר אריה נחמני מנחה הפרויקטולצוות המעבדה קובי קוחי ואורלי וויגדרסון.ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.
![Page 34: עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift](https://reader033.fdocuments.us/reader033/viewer/2022061610/56813950550346895da0ec7b/html5/thumbnails/34.jpg)
3434
שאלות ?