Perception

1. Amirkabir University of TechnologyComputer Engineering & Information Technology Department Perception دکتر سعید شیری قیداری & فصل 4 کتاب

2. نمایش عدم قطعیت • تعریف خطا: اختلاف بین اندازه گیری سنسور و مقدار واقعی • نمایش آماری: میخواهیم از لحاظ آماری مشخصات خطای یک سنسور را برای هر اندازه گیری پیدا کنیم. • اگر اندازه گیری را بصورت یک مسئله تخمین بیان کنیم، هدف تخمین مقدار خطا از روی n مقدار اندازه گیری شده است. E[X]=g(p1,p2,…,pn)

3. توزیع احتمال خطا • میتوان ویژگیهای آماری مقدار خطا را با یک تابع توزیع احتمال نشان داد

4. توزیع نرمال • معمولا وقتی که مدل بهتری برای نمایش خطا نداشته باشیم از توزیع نرمال استفاده میکنیم. • این توزیع خواص ریاضی بهتری نسبت به سایر روشها دارد.

5. استقلال متغیرهای تصادفی • در روبات متحرک فرض استقلال مقادیر اندازه گیری شده کاربرد فراوانی دارد. • برای مثال درروباتی که با دو لیزر چپ و راست فاصله ها را اندازه گیری میکند مقادیر اندازه گیری شده مستقل از هم خواهند بود. • این فرض برای دو متغیر تصادفی X1, X2بصورت زیر است: E[X1 X2]= E[X1] E[X2] Var([X1 +X2)=Var(X1 )+Var(X2 )

6. انتشار خطا • روبات متحرک مجبور است تا برای استخراج اطلاعات از محیط اندازه گیری های زیادی انجام نموده و داده های آنها را با هم ترکیب نماید. • اما سیگنالهای حاصل از سنسورها همواره همراه با عدم قطعیت است. معمولا مایل هستیم که بدانیم: • منبع عدم قطعیت کدامست • چگونه میتوان عدم قطعیت را نمایش داد • نحوه انتشار عدم قطعیت یک مقدارچگونه است • عدم قطعیت حاصل از قرائت های سنسورهای مختلف کدامست

7. مثالی ازانتشار خطا • در اینجا میخواهیم بدانیم در صورتی که عدم قطعیت اندازه گیری هر یک از نقاط را بدانیم، مقدار عدم قطعیت دراندازه تخمین محل خط استخراج شده چقدر خواهد بود. • فرض کنید که یک روبات متحرک با استفاده از سنسوری قادر به اندازه گیری فاصله نقاطی از یک دیوار است. هر یک از اندازه گیری ها با عدم قطعیت همراه خواهند بود.

8. سیستم انتشار خطا • سیستم انتشار خطا یک سیستم دارای چندین ورودی و خروجی است. • میخواهیم از روی توزیع احتمال خطا برای سیگنال ورودی Xiتوزیع احتمال خطا برای سیگنال خروجی Yiرا محاسبه نمائیم.

9. قانون انتشار خطا • برای مسایلی که انتشار خطا غیر خطی است میتوان نشان داد که ماتریس کوواریانس خروجی از قانون انتشار خطای زیر بدست میآید:

10. استخراج ویژگی • یک روبات متحرک باید بتواند با اندازه گیری از طریق سنسورها و تعبیر اطلاعات موجود در آن رابطه خود با محیطش را بدست آورد. • برای اینکار نیازمند مدلی از محیط خواهیم بود که به کمک آن بتوانیم داده های سنسورها را تعبیر کنیم.

11. استخراج ویژگی • وقتی که سنسور اطلاعاتی را اندازه گیری میکند به چند طریق میتوان از این اطلاعات استفاده نمود: • تعیین رفتار روبات با استفاده از اطلاعات خام • استفاده از اطلاعات سنسورها برای به روز کردن یک مدل و تعیین رفتار روبات بصورت تابعی از مدل • استخراج اطلاعات مفید از سنسورها و ایجاد یک درک سطح بالا از آن

12. ویژگی • ویژگی و یا featureبه ساختارهای قابل تشخیص در محیط گفته میشود. • ویژگی ها قابل استخراج از اندازه گیری ها بوده و قابل بیان توسط روابط ریاضی هستند. • ویژگی ها را میتوان بصورتlow level ,high level دسته بندی نمود. • low-level features (geometric primitives) like lines, circles • high-level features like edges, doors, tables or trash cans. • درروبات متحرک از ویژگی ها در ساختن مدل محیط بویژه برای مکان یابی و ساختن نقشه محیط استفاده میشود.

13. مدل کردن محیط • استفاده از اطلاعات خام: • حجم زیادی دارند، میتوان از هر بیت اطلاعاتی بصورت مستقل استفاده نمود. • استفاده از ویژگی های سطح پائین نظیر خطوط و دایره: • حجم اطلاعات را کاهش میدهد، اطلاعات ضعیف و ناقص حذف میشوند. • استفاده از ویژگی های سطح بالا مثل اشیا، درب، دیوارها: • حجم اطلاعات بسیار کاهش می یابد، خطر از بین رفتن اطلاعات در اثر فیلترینگ مرحله استخراج ویژگی وجود دارد.

14. مثالیازاستخراجویژگی

15. استخراحویژگیبراساساطلاعاتفاصله • اغلبویژگیهایاستخراجشدهازسنسورهایفاصلهشاملویژگیهایهندسیابتدائینظیرخطودایرهمیشود. • درمحیطهایداخلاتاقاطلاعاتینظیرخطوطبسیارسودمندهستند. • اطلاعاتاندازهگیریشدهبایکمدلویا template ازپیشتعیینشدهتطبیقدادهمیشوند. • بعلتوجودخطادراندازهگیریاینمسایلبصورتیکمسئله optimization بررسیمیشوند.

16. استخراجاطلاعاتیکخطازدادههایسنسورفاصله Line Extraction • میخواهیممطابقشکلزیربااستفادهازاندازهگیرهایانجامشدهتوسطیکسنسورفاصلهویژگیهاییکخطرااستخراجنمائیم. • بعلتوجودخطادراندازهگیرینقاطیکخطواحدیکهازتمامنقاطعبورکندوجودنخواهدداشت.ازاینروناگزیرهستیمبهترینخطیکهازنقاطعبورمیکندرابرگزینیم.

17. استخراجخط • فرضکنیداندازهگیریهادرمختصاتقطبیانجامشدهباشد .xi=(ri, qi) • هراندازهگیریرامیتوانبادومتغیرتصادفیمدلکرد: Xi=(Pi,Qi) • دراینبررسیفرضمیشودکهعدمقطعیتمقادیر P, Q مستقلازهمباشد.ازاینرو: E[Pi,Pj,]= E[Pi] E[Pj] E[Q i, Q j,]= E[Q i] E[Q j] E[Pi, Q j,]= E[Pi] E[Q j] همینطورفرضمیشودکهاندازهگیریهادارایتوزیعاحتمالگوسیباشند

18. استخراجخط • اگرخطادراندازهگیریوجودنداشتمیشدفرضکردکهتمامنقاط دررویخطزیرقراردارند: rcos(q-a) –r=0 • بدیهیاستکهبعلتوجودخطااینمعادلهبرقرارنخواهدبود. rcos(q-a) –r=d دربرخیازروشهایاستخراجویژگیازاینفاصلهعمودیبعنوانمعیاریبرایخطااستفادهمیشود r q

19. استخراجخط • بازای هراندازهگیریمیتوانفاصلهعمودیرابصورتزیرنوشت: ricos(qi-a) –r=di • اگرهمهاندازهگیریهایبهیکاندازهخطاداشتهباشندمیتوانمجموعخطارابصورتزیرنوشت: • میتوانبااستفادهازروابطزیرخطارامینیممنمود unweighted least squares solution

20. استخراجخط • اعمالوزنبهاندازهگیریها: • درعملممکناستاندازهگیرینقاطمختلفباخطاهایمتفاوتیانجامشدهباشد،مثلادریکسیستممبتنیبراستریومقدارخطاباافزایشفاصلهزیادترمیشود. دراینصورتمیتوانبااستفادهازانحرافمعیاراندازه گیری، وزنیرابصورتزیربرایهردادهتعریفنمود: • دراینصورتمجموعخطابرابراستبا:

21. استخراجخط • میتواننشاندادکهدرصورتاستفادهازرابطهفوقمقادیرزیربرایخطقابلمحاسبهخواهندبود:

22. استخراجخط • مثالیازاعمالروشفوقبه 17 دادهحاصلازیکلیزر:

23. استفادهازهیستوگرام • هیستوگرامروشیسادهبرایترکیبویژگیهاست. • یکهیستوگرامزاویهاطلاعاتآماریحاصلازخطیکهبااتصالدونقطهمجاوربدستمیآیدرانشانمیدهد. • شکلبعدنقاطحاصلازاسکن 360 درجهیکاتاقوهیستوگرامزاویهایحاصلرانشانمیدهد. • هرپیکبلندموجوددرهیستوگراممربوطبهجفتدیوارهایموازیاست.

24. استفادهازهیستوگرام

25. استخراجویژگیازتصاویر (vision)

26. مراحل • Conditioning • Suppresses noise • Background normalization by suppressing uninteresting systematic or patterned variations. Done by: gray-scale modification (e.g. trasholding) (low pass) filtering • Labeling • Determination of the spatial arrangement of the events, i.e. searching for a structure • Grouping • Identification of the events by collecting together pixel participating in the same kind of event • Extracting • Compute a list of properties for each group • Matching

27. آمادهسازیتصویر • تمامیسنسورهایویژنتصویررابههمراهمقدارقابلتوجهینویزتحویلمیدهند. ازاینروقبلازهرالگوریتماستخراجویژگیلازماستتاتصویرازنویزتمیزشود.

28. هموارسازیتصویر • بسیاریازالگوریتمهایپردازشتصویرازمشتقدومشدتنورتصاویراستفادهمیکنند.بعلتحساسیتزیاداینروشهابهتغییراتروشنائیلازماستتاسیگنالتصویرهموارگردیدهونویزآنحذفشود. (smoothing) • یکروشاستانداردانجامکانولوشنبایکتابعگاوسیاستکهبصورتزیرتقریبزدهمیشود.

29. مثال • استفاده از تصاویر برای هدایت روبات در یک راهرو • تصویر سمت چپ مربوط به راهرو و تصویر سمت راست نقشه ای است که با استفاده از اطلاعات لبه بدست آمده است. • تصویر زیر فقط لبه های عمودی را نشان میدهد

30. تشخیصلبه • لبهبهنواحیازیکتصویرگفتهمیشودکهدارایتغییراتقابلتوجهیدرbrightness باشند. • تشخیصلبهباعثکاهشدرمقداراطلاعاتموجوددرتصویرمیشود. فرضبرایناستکهلبههامربوطبهنواحیمهمیازتصویرباشند) درعملممکناستنویزویالبههایپیدانشدهاینفرضراباطلکند(.

31. تشخیصلبه تصویرسقفولبهتشخیصدادهشدهبرایآن

32. مشکلاتتشخیصلبه • درتصاویرگرفتهشدهتوسطدوربینمقدارقابلتوجهینویزوجوددارد. • اگرصرفاازمشتقگیریاستفادهشودوجودنویزباعثبوحودآمدنپیکهائیخواهدشدکهعملتشخیصلبهرامشکلخواهدنمود. • ازاینرواکثرروشهایتشخیصلبهازترکیبهموارسازیومشتقگیریاستفادهمیکنند.

33. تشخیصلبهتوسطروش Canny • درسال 1983 توسط John Canny اختراعشد. • تصویر I بایکتابعگوسیکانوالوشدهوماکزیممتصویرمشتقگیریشدهجستجومیشود. • اینروشمراحللازمبرایتشخیصلبهیعنیهموارسازیومشتقگیریرادریکمرحلهانجاممیدهد.

34. تشخیصلبهتوسطروش Canny • تصویربجایکانوالوشدنباتابعگوسیبامشتقآنکانوالومیشود

35. تشخیصلبهتوسطروش Canny مراحلانجامدریکبعد: • تصویرI با G’ کانوالومیشودتانتیجه R بدستآید • قدرمطلق R را بدستمیآوریم • مقادیریاز|R|راکهازیکمقدارآستانهبیشترهستندعلامتمیگذاریم. مقدارآستانهطوریانتخابمیشودکهپیکهایناشیازنویزحذفشوند.

36. تشخیصلبهتوسطروش : Canny مثالیکبعدی (a) Intensity 1-D profile of an ideal step edge. (b) Intensity profile I(x) of a real edge. (c) Its derivative I’(x). (d) The result of the convolution R(x) = G’ ÄI, where G’ is the first derivative of a Gaussian function.

37. تشخیصلبهتوسطروش Canny • درحالتدوبعدیبهخاطراینکهG’ جهتداراستنیازبهاعمالدوفیلترعمودبرهمخواهیمداشت.

38. تشخیصلبهتوسطروش Canny الگوریتمتشخیصلبهدرهرجهتدلخواه: • تصویرI(x,y) رابا fV(x,y) و fH(x,y) کانوالوکنیدتامقادیرگرادیان Rv(x,y)و RH(x,y) بدستآید. • مقدارمربعمقادیرگرادیانرامحاسبهکنید: R(x,y)= R2H(x,y)+ R2V(x,y) • مقادیریاز R(x,y) راکهازیکحدآستانهبیشترهستندعلامتگذاریکنید. • باروش nonmaxima suppression مقادیریازگرادیانراکهبصورتماکزیمممحلینیستندباصفرعوضکنید. اینکارعرضلبههارابهیکپیکسلتغییرخواهدداد. • مجموعهایازنقاطیکهمجاورهمهستندراپیداکردهودریکلیستمرتبشدهقراردهید.بااستفادهازیکحدآستانهلبههایضعیفراحذفکنید.

39. Nonmaxima Suppression • خروجییکاپراتورتشخیصلبهمعمولایکتصویرسیاهوسفیداستکهدرآنمقادیرگرادیانیکهبیشترازیکحدآستانههستندبصورتسیاهوسایرنقاطبصورتسفیدظاهرمیشوند. • عملNonmaxima Suppression باعثبوجودآمدنکانتورهائیمیشودکهعرضآنهافقطیکپیکسلمیباشد. در واقع پیکسلهائی از تصویر لبه که بصورت محلی ماکزیمم نیستند با صفر جایگزین میشوند تا لبه ها عرضی برابر با یک داشته باشند.

40. تشخیصلبهتوسطروش Cannyمثالدوبعدی a) Example of Canny edge detection b) After nonmaxima suppression

41. The Need for Thresholding • Many non-zero pixels in the result of nonmaxima suppression represent very weak edges. gray nonmaxima nonmaxima > 0

42. Hysteresis Thresholding • Use two thresholds, t1 and t2. • Pixels above t2 survive. • Pixels below t1 do not survive. • Pixels >= t1 and < t2 survive if: • They are connected to a pixel >= t2 via an 8-connected path of other pixels >= t1.

43. Hysteresis Thresholding Example • A pixel is white in C if: • It is white in A, and • It is connected to a white pixel of B via an 8-connected path of white pixels in A. A = nonmaxima >= 4 B = nonmaxima >= 8 C = hysthresh(nonmaxima, 4, 8)

44. تشخیصلبهبهروشگرادیان • معمولایکروباتمتحرکاگربخواهدبصورتبلادرنگعملنمایدبامشکلکمیزمانمواجهبودهوممکناست قادربهاستفادهازروش Canny برایتشخیصلبهنباشد.درچنینمواردیازروشهایسادهشدهاینالگوریتماستفادهمیشود. • دراینروشهاازتصویرباماسکهایازپیشتعیینشدهایکانوالومیشود. • Roberts • Prewitt • Sobel

45. تشخیصلبهبهروشگرادیان

46. مثالیازروش Sobel b) Filtered (Sobel) a) Raw image c) Thresholding d) Nonmaxima suppression

47. مقایسهروشهایتشخیصلبه زمانلازمبرایتشخیصلبهدریکتصویر 780 x 560 Seconds Canny 7x7 Canny 5x5 Sobel Prewitt Roberts زمانمحاسبهلبهبادقتالگوریتممتناسباست!

48. پیداکردنحدآستانهبصورتپویا • بسیاریازالگوریتمهایپردازشتصویرنیازمنداستفادهازیکحدآستانههستند. • براییکروباتمتحرکاستفادهازمقدارثابتنمیتواندمفیدباشدزیراروباتدرمحیطیپویادرحالحرکتاستوروشنائیمحیطدائمدرحالتغییرمیباشد. • اینامکانوجودداردکهبابررسیآماریتصویرموردپردازشمقدارآستانهراتعییننمود. • درموردحدآستانهتشخیصلبهمیتوانازهیستوگراممقادیرگرادیاناستفادهنمودهوفقطتعداد n پیکسلکهدارایبیشترینمقدارهستندراانتخابنمود. • مقدارگرادیاننقطهایکه n مشخصمیکندبعنوانحدآستانهانتخابمیشود.

49. پیداکردنحدآستانهبصورتپویا (b) Same as (a), but with logarithmic scale (a) Number of pixels with a specific gradient magnitude in the image of Figure 1.2(b).

50. تبدیلهافHough Transform • تبدیلهافروشیسادهبرایپیداکردنیکشکلمشخصدرتصویرمیباشد.اینروشبرایمنحنیهائیاستفادهمیشودکهقابلبیاندرفضایپارامترباشند. • هرنقطه xp,ypمتعلقبهیکخطبامعادله y = m x + b بایدمحدویت yp = m xp + b راداشتهباشد. • تبدیلهافنقاطیکتصویررابرایپیداکردن m و b کهتشکیلیکخطمیدهندراموردجستجوقرارمیدهد.