בקרת רובוט עצמאית לצורך תיעוד דיון מגישים: גיל גלס גלעד פוקס

1. 03/2012 סמסטר אביב תשע"א בקרת רובוט עצמאית לצורך תיעוד דיון מגישים: גיל גלס גלעד פוקס 039957352 036764660 מנחה: רועי אור-אל

2. מטרות הפרויקט • תכנון מערכת אוטונומית לצורך תיעוד דיון רב משתתפים. כאשר יתחלף הדובר ייסע הרובוט אל הדובר החדש על מנת לקבל צילום של הדובר הנוכחי בלבד. • פרוייקט תכנון בסביבת simulink הכולל מגוון רחב של בלוקים שמציעה השפה, תוך ניצול יכולתה לעבוד ב- RT. • סינרגיית התוכנה, החומרה והמכניקה לצורך יצירת מערכת כוללת.

3. אלגוריתם כללי להלן סכמת בלוקים כללית לתיאור פעולת המערכת:

4. עיבוד תמונה בחירת עבודה במרחב YCbCr: ניסוח משוואות לינאריות עבור צבע גוף

5. עיבוד תמונה 2. צמצום התמונה 1. חלוקה למטריצות YCbCr 3. יצירת מסכת צבע גוף 4. יצירת אינדקציותצנטרואיד ושטח

6. בחירת צנטרואיד קיבוץ צנטרואידים שכנים מיצוע משוקלל לצנטרואיד אחד בכל קבוצה עקיבה אחר צנטרואיד קודם

7. תצוגה RT

8. עיבוד קול מודל מעשי מול מודל תאורטי • תדר דיבור של אדם ממוצע: 85-225[Hz] • קבלת חבילות של 64 דגימות לחבילה • תדר קבלת חבילות של 4[KHz] • שמירת 50 הערכים המקסימליים האחרונים מגבלות החומרה

9. אלגוריתם עיבוד הקול • ערכי הדגימות – 0-10000 • סף הרעש- 1500 • סף השינוי- +-100

10. אינטגרציית המערכת תיאום קצבי עבודה שונים- בחירה בתדר 4[KHz](מסומן באדום)

11. קביעת כיוון ורדיוס הסיבוב רדיוס סיבוב מקסימלי2000mm רדיוס סיבוב מקסימלי900mm y=4 y=0 y=1 y=3 רדיוס סיבוב מקסימלי 2000mm רדיוס מקסימלי רדיוס מינימלי

12. מכונת המצבים תיאור סכמטי של מכונת המצבים:

13. מכונת המצבים תיאור מלא של מכונת המצבים:

14. סרטוני הדגמה סרטון פעולת המערכת הכוללת- מעקב בזמן דיון בסרטון זה מודגמות כל אפשרויות הפעולה של המערכת הכוללת, מוסבר בו אופן מימוש מכונת המצבים כפי שמופיע בשקף קודם, וכל השלבים הכרוכים בו. meeting.wmv מעקב אחר צנטרואיד זיהוי מקור קול centroids.wmv robot_sound.wmv

15. סיכום ומסקנות • המערכת שפיתחנו משלבת עיבוד תמונה ועיבוד קול ליצירת רובוט בעל יכולת זיהוי דובר מסוים סביב שולחן דיונים והגעה אליו באופן עצמאי לחלוטין. המערכת מבוססת על קוד סימולינק פשוט וידידותי למשתמש. • ביצועי המערכת תלויים בחומרה ממנה היא מורכבת, ולכן ניתן לשפר ביצועים ע"י שיפור החומרה. • הפרוייקט אפשר לנו לגעת בתחומים שונים ומגוונים בהנדסת חשמל כמו בקרה, עיבוד קול, עיבוד תמונה, אלגוריתמיקה. זאת תוך שילוב בין תחום החומרה לתחום התוכנה.

16. כיווני המשך לעתיד • שיפורי חומרה: אפשרות להקליט את הפגישה ו/או שידור אונליין ברשת האינטרנט של הדיון בדומה ל- video conference , שימוש ב- DSP עם לפחות שתי כניסות מיקרופון, שימוש בסוללות קלות ועוצמתיות יותר, שימוש במיקרופונים בעלי עקום הנחתה מתון יותר. • בזכות תדר דגימה יחסית גבוהה, ניתן לשכלל את עיבוד הקול כך שקול בתדרים מסוימים יגרום לרובוט לבצע תנועה ייחודית כלשהו אותה יזהה לפי המצלמה (לא בהכרח פני אדם).