شبکه ‌ها ی عصبی مصنوعی

2. شبکه‌هایعصبیمصنوعی مدرس: دکتر فریبرز محمودی گروه مهندسی کامپیوتر دانشگاه آزاد اسلامی قزوین & Mitchell Ch. 4

3. مقدمه • شبکهعصبیمصنوعیروشیعملیبراییادگیریتوابعگوناگوننظیرتوابعبامقادیرحقیقی،توابعبامقادیرگسستهوتوابعبامقادیربرداریمی‌باشد. • یادگیریشبکهعصبیدربرابرخطاهای داده‌هایآموزشیمقاومبوده واینگونهشبکه‌هاباموفقیتبهمسایلینظیرشناساییگفتار، شناساییو تعبیرتصاویر، ویادگیریروبات اعمالشدهاست.

4. شبکهعصبیچیست؟ • روشیبرایمحاسبهاستکهبرپایهاتصالبههمپیوستهچندینواحد پردازشی ساختهمی‌شود. • شبکهازتعداددلخواهیسلولیاگرهیاواحدیانرونتشکیلمی‌شود کهمجموعهورودیرابهخروجیربطمی‌دهند.

5. شبکه عصبیچهقابلیتهاییدارد؟ • محاسبهیکتابع معلوم • تقریبیکتابعناشناخته • شناساییالگو • پردازش سیگنال • یادگیریانجاممواردفوق

6. الهامازطبیعت • مطالعهشبکه‌هایعصبیمصنوعیتاحدزیادیملهمازسیستم‌هاییادگیرطبیعیاستکهدرآنهایکمجموعهپیچیدهازنرونهایبههممتصل درکاریادگیریدخیلهستند. • گمانمی‌رودکهمغزانسانازتعداد 1011نرونتشکیلشدهباشدکههرنرونباتقریبا 104نروندیگردرارتباطاست. • سرعتسوییچنگنرونهادرحدود 10-3ثانیهاستکهدرمقایسهباکامپیوترها 10-10) ثانیه (بسیارناچیزمی‌نماید. بااینوجودآدمیقادراستدر 0.1 ثانیه تصویریکانسانرابازشناسایینماید. اینقدرتفوقالعادهبایدازپردازشموازیتوزیعشدهدرتعدادیزیادیازنرونهاحاصلشدهباشد.

7. مسایلمناسببراییادگیریشبکه‌هایعصبیمسایلمناسببراییادگیریشبکه‌هایعصبی • خطا در داده‌های آموزشی وجود داشته باشد. مثلمسایلی که داده‌های آموزشی دارای نویز حاصل از داده‌های سنسورها نظیر دوربین و میکروفن‌ها هستند. • مواردی که نمونه‌ها توسط مقادیر زیادی زوج ویژگی-مقدار نشان داده شده باشند. نظیر داده‌های حاصل از یک دوربین ویدیویی. • تابع هدف دارای مقادیر پیوسته باشد. • زمان کافی برای یادگیری وجود داشته باشد. این روش در مقایسه با روشهای دیگر نظیر درخت تصمیم نیاز به زمان بیشتری برای یادگیری دارد. • نیازیبهتعبیرتابعهدفنباشد. زیرابهسختیمی‌تواناوزانیادگرفتهشدهتوسطشبکهراتعبیرنمود.

8. Perceptron • نوعیازشبکهعصبیبرمبناییکواحدمحاسباتیبهنام پرسپترونساختهمی‌شود. یک پرسپترونبرداریازورودیهایبامقادیرحقیقیراگرفتهویکترکیبخطیازاینورودیهارامحاسبهمی‌کند. اگرحاصلازیکمقدارآستانهبیشتربودخروجی پرسپترونبرابربا 1 ودرغیراینصورتمعادل -1 خواهدبود. x1 w1 x2 w2 {1 or –1} Σ w0 wn xn X0=1

9. یادگیرییک پرسپترون • خروجی پرسپترونتوسطرابطهزیرمشخصمی‌شود: • کهبرایسادگیآنرامی‌توانبه صورت زیرنشانداد: 1 if w0 + w1x1 + w2x2 + … + wnxn > 0 -1 otherwise O(x1,x2,…,xn) = O(X) = sgn(WX) where Sgn(y) = 1 if y > 0 -1 otherwise یادگیری پرسپترونعبارت استاز: پیداکردنمقادیردرستیبرای W بنابراینفضایفرضیه H دریادگیری پرسپترونعبارتاستازمجموعهتماممقادیرحقیقیممکنبرایبردارهایوزن.

10. تواناییپرسپترون • پرسپترونرامی‌توانبه صورت یکسطحتصمیم hyper plane درفضای nبعدینمونه‌هادرنظرگرفت .پرسپترونبراینمونه‌هاییکطرفصفحهمقدار 1 وبرایمقادیرطرفدیگرمقدار -1 بوجودمی‌آورد. Decision boundary (WX = 0) + + + - - -

11. توابعیکه پرسپترونقادربهیادگیریآنهامی‌باشد • یک پرسپترون فقطقادراست مثالهاییرایادبگیردکهبه صورت خطیجداپذیرباشند .اینگونهمثالهامواردیهستندکهبطورکاملتوسطیک hyper plane قابلجداسازی می‌باشند. + + + + + - - + - - - - Linearly separable Non-linearly separable

12. توابعبولیو پرسپترون • یک پرسپترونمی‌تواندبسیاریازتوابعبولیرانمایشدهدنظیرAND, OR, NAND, NOR • امانمی‌تواندXORرانمایشدهد. • درواقعهرتابعبولیرامی‌توانباشبکه‌ای دوسطحیاز پرسپترونها نشانداد. x1 AND: W1=0.5 Σ W2=0.5 W0 = -0.8 x2 X0=1

13. آموزش پرسپترون • چگونهوزنهاییک پرسپترونواحدرایادبگیریمبهنحویکه پرسپترونبرای مثالهایآموزشیمقادیرصحیحراایجادنماید؟ • دوراهمختلف : • قاعده پرسپترون • قاعدهدلتا

14. آموزش پرسپترون الگوریتمیادگیری پرسپترون • مقادیریتصادفیبهوزنهانسبتمی‌دهیم. • پرسپترون رابهتکتک مثالهایآموزشیاعمالمی‌کنیم. اگرمثال غلطارزیابیشودمقادیروزنهای پرسپترونراتصحیحمی‌کنیم. • آیاتمامی مثالهایآموزشیدرستارزیابیمی‌شوند: • بله پایانالگوریتم • خیربهمرحله2برمی‌گردیم

15. قاعده پرسپترون • براییکمثالآموزشیX = (x1, x2, …, xn) درهرمرحلهوزنهابراساسقاعدهپرسپترونبه صورت زیرتغییرمی‌کند: wi = wi + Δwi کهدرآن Δwi = η ( t – o ) xi t: target output o: output generated by the perceptron η: constant called the learning rate (e.g., 0.1) اثباتشدهاستکهبراییکمجموعهمثالجداپذیرخطیاینروشهمگرا شدهو پرسپترونقادربهجداسازیصحیحمثالهاخواهدشد.

16. قاعدهدلتا Delta Rule • وقتیکهمثالهابه صورت خطیجداپذیرنباشندقاعده پرسپترونهمگرانخواهدشد. برایغلبهبراینمشکلازقاعدهدلتااستفادهمی‌شود. • ایدهاصلیاینقاعدهاستفادهازGradient descentبرایجستجودرفضایفرضیهوزنهایممکنمی‌باشد. اینقاعدهپایهروشBackpropagation استکهبرایآموزششبکهباچندیننرونبههممتصلبکارمی‌رود. • همچنیناینروشپایه‌ای برای انواعالگوریتمهاییادگیریاستکهبایدفضایفرضیه‌ای شاملفرضیه‌هایمختلف پیوسته راجستجوکنند.

17. قاعدهدلتا Delta Rule • برایدرکبهتراینروشآنرابهیک پرسپترونفاقدحدآستانهاعمالمی‌کنیم. یعنی داریم: • ابتدالازماستتعریفیبرای خطای آموزشارایهشود. یکتعریفمتداولاینچنیناست: D = Training Set • کهاینمجموعبرایتماممثالهایآموزشیانجاممی‌شود.

18. الگوریتمGradient descent • باتوجهبهنحوهتعریف E سطحخطا به صورتیکسهمیخواهدبود. مابدنبالوزنهاییهستیمکه حداقلخطاراداشتهباشند .الگوریتمGradient descent درفضایوزنهابدنبالبرداریمی‌گرددکهخطاراحداقلکند. اینالگوریتمازیکمقداردلخواهبرایبرداروزنشروعکردهودرهرمرحلهوزنهاراطوریتغییرمی‌دهدکه درجهت شیبکاهشیمنحنیفوقخطاکاهشدادهشود. E(W) w1 w2

19. بدستآوردنقاعدهGradient descent • ایدهاصلی: گرادیان هموارهدرجهتافزایششیب E عملمی‌کند. • گرادیان E نسبتبهبرداروزن w به صورت زیرتعریفمی‌شود: • کهدرآنیکبردارومشتقجزیینسبتبههروزنمی‌باشد.

20. قاعدهدلتاDelta Rule • براییکمثالآموزشیX= (x1, x2, …, xn) درهرمرحلهوزنهابراساسقاعدهدلتابه صورت زیرتغییرمی‌کند: η: learning rate (e.g., 0.1) علامتمنفینشاندهندهحرکتدرجهتکاهششیباست.

21. محاسبهگرادیان • بامشتق‌گیریجزییازرابطهخطامی‌توانبسادگیگرادیانرامحاسبهنمود: • لذا وزنها طبقرابطهزیرتغییرخواهندنمود.

22. خلاصهیادگیریقاعدهدلتا الگوریتمیادگیریبااستفادهازقاعدهدلتابه صورت زیرمی‌باشد. • بهوزنهامقدارتصادفی کوچکنسبتدهید. • تارسیدنبهشرایطتوقف (کوچک شدن خطا) مراحل زیر را ادامه دهید: • هروزن Δwiرا با مقدار صفر مقداردهی اولیه کنید. • برایهمهنمونه‌ها(xi, t) در مجموعه آموزشی وزن Δwiرا به صورت زیر تغییر دهید: • برای هرwiآنرابه صورت زیرتغییردهید: wi = wi + Δwi

23. مشکلاتروشGradient descent • ممکناستهمگراشدنبهیکمقدارمینیممزمانزیادیلازمداشتهباشد. • اگردرسطحخطا چندینمینیمممحلیوجودداشتهباشدتضمینیوجودنداردکهالگوریتم مینیمممطلقراپیداکند. درضمناینروشوقتیقابلاستفادهاستکه: • فضایفرضیهدارایفرضیه‌هایپارامتریکپیوستهباشد. • رابطهخطاقابلمشتق‌گیریباشد.

24. تقریبافزایشیGradient descent • می‌توانبجایتغییروزنهاپسازمشاهدههمه مثالها،آنهارا به ازای هرمثالمشاهدهشدهتغییرداد. دراینحالتوزنهابه صورت افزایشی(Incremental)تغییرمی‌کنند. اینروش راStochasticgradient descent نیز می‌نامند. • دربعضیمواردتغییرافزایشیوزنهامی‌تواندازبروزمینیمممحلیجلوگیریکند. روشاستانداردنیازبهمحاسباتبیشتریدارددرعوضمی‌تواندطولstepبزرگتریهمداشتهباشد.

25. شبکه‌هایچندلایه برخلاف پرسپترونهاشبکه‌هایچندلایهمی‌توانندبراییادگیریمسایلغیرخطیوهمچنینمسایلیباتصمیم‌گیری‌هایمتعددبکارروند. Output nodes Internal nodes Input nodes

26. مثال x2 x1

27. یکسلولواحد برایاینکهبتوانیمفضایتصمیم‌گیریرابه صورت غیرخطیازهمجدابکنیم،لازماستتاهرسلولواحدرابه صورت یکتابعغیرخطیتعریفنماییم. مثالیازچنینسلولیمی‌تواندیکواحدسیگموییدباشد:

28. تابعسیگمویید خروجیاینسلول واحدرابه صورت زیرمی‌توانبیاننمود: تابعσتابعسیگموییدیالجستیکنامیدهمی‌شود. اینتابعدارایخاصیتزیراست:

29. الگوریتم Back propagation • براییادگیریوزن‌هاییکشبکهچندلایهازروشBack Propagation استفادهمی‌شود. دراینروشبا استفادهاز Gradient descentسعیمی‌شودتا مربعخطایبینخروجی‌هایشبکهوتابعهدفمینیممشود. • خطابه صورت زیرتعریفمی‌شود: مرادازoutputs خروجیهایمجموعهواحد‌هایلایهخروجیو tkdوokdمقدارهدفوخروجیمتناظرباkامینواحدخروجیومثالآموزشیdاست.

30. الگوریتم Back propagation • فضایفرضیهموردجستجودراینروشعبارتاستازفضایبزرگیکهتوسطهمهمقادیرممکنبرایوزنهاتعریفمی‌شود. روشGradientdescentسعیمی‌کندتابامینیممکردنخطابهفرضیهمناسبیدستپیداکند. اماتضمینیبرایاینکهاینالگوریتمبهمینیمممطلقبرسدوجودندارد.

31. الگوریتم BP • شبکه‌ای باninگره در لایه ورودی،nhiddenگرهمخفی،وnoutگره در لایهخروجیایجادکنید. • همهوزنهارابایکمقدارتصادفیکوچک مقداردهیکنید. • تارسیدنبهشرطپایانی) کوچکشدنخطا( مراحلزیرراانجامدهید: • برایهر Xمتعلقبهمثالهایآموزشی: • مثالXرابهسمتجلودرشبکهانتشاردهید. • خطایEرابهسمتعقبدرشبکهانتشاردهید. هرمثالآموزشیبه صورت یکزوج(x,t)ارایهمی‌شودکهبردار xمقادیرورودیوبردارtمقادیرهدفبرایخروجیشبکهراتعیینمی‌کنند.

32. انتشاربهسمتجلو • برایهرمثالXمقدارخروجیهرواحدرامحاسبهکنیدتابهگره‌هایخروجیبرسید. Output nodes Compute sigmoid function Internal nodes Input nodes Example X

33. انتشاربهسمتعقب • برایهرواحدخروجی جمله خطارابه صورت زیرمحاسبهکنید: δk = ok (1-ok)(tk– ok) • برایهرواحدمخفیجملهخطارابه صورت زیرمحاسبهکنید: δh = oh (1-oh) Σk wkhδk • مقدارهروزنرابه صورت زیرتغییردهید: wji = wji + Δwji کهدرآن : Δwji = ηδj xji = wjiوزن واحد i به j = xjiورودی واحد i به j η= نرخیادگیری نسخه .Stochastic gradient descent

34. شرطخاتمه معمولاالگوریتمBPپیشازخاتمههزارانباربااستفاده همانداده‌هایآموزشیتکرارمی‌گرددشروطمختلفیرامی‌توانبرایخاتمهالگوریتم بکاربرد: • توقفبعدازتکراربهدفعاتمعین. • توقفوقتیکهخطاازیکمقدارتعیینشدهکمترشود. • توقفوقتیکهخطادرمثالهایمجموعهتاییدازقاعدهخاصیپیروینماید. • اگردفعاتتکرارکمباشدخطاخواهیمداشتواگرزیادباشدمسالهOver fittingرخخواهدداد.

35. مرورالگوریتم BP • اینالگوریتمیکجستجویGradient descentدرفضایوزنهاانجاممی‌دهد. • ممکناستدریکمینیمممحلیگیربیافتد. • درعملبسیارموثربودهاست. برایپرهیزازمینیمممحلیروشهایمختلفیوجوددارد: • افزودنممنتم. • استفادهاز .Stochastic gradient descent • استفادهازشبکه‌هایمختلفبامقادیرمتفاوتیبرایوزنهایاولیه.

36. افزودنممنتم • می‌توانقاعدهتغییروزنهاراطوریدرنظرگرفتکهتغییروزندرتکرار n امتاحدیبه اندازهتغییر وزندرتکرارقبلیبستگیداشتهباشد. Δwji (n) = ηδj xji + αΔwji (n-1) کهدرآنمقدارممنتمαبه صورت 0 <= α <= 1می‌باشد. افزودنممنتمباعثمی‌شودتاباحرکتدرمسیرقبلیدرسطحخطا: • ازگیرافتادندرمینیممحلیپرهیزشود. • ازقرارگرفتندرسطوحصافپرهیزشود. • باافزایشتدریجیمقدارپلهتغییرات،سرعتجستجوافزایشیابد. قاعدهتغییروزن عبارتممنتم

37. قدرتنمایشتوابع • گرچهقدرتنمایشتوابعتوسطیکشبکهfeedforwardبستهبهعمقوگستردگیشبکهدارد،بااینوجودمواردزیررامی‌توانبهصورتقوانینکلیبیاننمود: • توابعبولی: هرتابعبولیرامی‌توانتوسطیکشبکهدولایهپیاده‌سازی نمود. • توابعپیوسته: هرتابعپیوستهمحدودرامی‌توانتوسطیکشبکهدولایهتقریبزد. تئوریمربوطهدرموردشبکه‌هاییکهازتابعسیگموییددرلایهپنهانولایهخطیدرشبکهخروجیاستفادهمی‌کنندصادقاست. • توابعدلخواه:هرتابعدلخواهرامی‌توانبایکشبکهسهلایهتاحدقابلقبولیتفریبزد. بااینوجودبایددرنظرداشتکهفضایفرضیهجستجوشدهتوسطروش Gradient descent ممکناست دربرگیرندهتماممقادیرممکنوزنهانباشد.

38. فضایفرضیهوبایاساستقرا • فضایفرضیه موردجستجورامی‌توانبه صورت یکفضایفرضیهاقلیدسیnبعدیازوزنهایشبکهدرنظرگرفت. )کهn تعدادوزنهاست( • اینفضایفرضیهبرخلاففضایفرضیهدرختتصمیمیکفضایپیوستهاست. • بایاساستقرااینروشرامی‌توانبه صورت زیربیانکرد: “smooth interpolation between data points” بهاینمعناکهالگوریتمBPنقاط درونیابی شده بین دو نقطه با کلاس معین را به همان کلاس متعلق می‌داند.به عبارت دیگرسعیمی‌کندتانقاطیراکهبههمنزدیکترهستنددریکدسته‌بندی قرار دهد.

39. مثال x2 x1 Smooth regions

40. ورودی خروجی قدرتنمایشلایهپنهان • یکیازخواصBPایناستکهمی‌توانددرلایه‌هایپنهانشبکهویژگیهایناآشکاریازدادهورودینشاندهد. برایمثالشبکه8x3x8زیرطوریآموزشدادهمی‌شودکه مقدارهرمثالورودیراعینادرخروجیبوجودآورد )تابعf(x)=xرایادبگیرد(.ساختارخاصاینشبکهباعثمی‌شودتاواحد‌هایلایهوسطویژگی‌هایمقادیرورودیرابهنحوی کدبندیکنندکهلایهخروحیبتواندازآنانبراینمایشمجدد داده‌هااستفادهنماید.

41. قدرتنمایشلایهپنهان دراینآزمایشکهبهتعداد5000بارتکرارشدهاز8دادهمختلفبهعنوانورودیاستفادهشدهوشبکهبااستفادهازالگوریتمBPموفقشدهتاتابعهدفرابیاموزد. بامشاهدهخروجی واحد‌هایلایهمیانیمشخصمی‌شودکهبردارحاصلمعادلانکدینگاستانداردداده‌های ورودی بوده است (111، ... ، 001 ، 000)

42. نمودارخطا Different units Error iterations Different weights weight iterations

43. قدرتتعمیمو Over fitting • شرطپایانالگوریتمBPچیست؟ • یکانتخابایناستکهالگوریتمراآنقدرادامهدهیمتاخطاازمقدارمعینی کمترشود. اینامرمی‌تواندمنجربهOver fittingشود. Validation set error Error Training set error Number of weight updates

44. دلایلرخدادن Over fitting • Over fittingناشیازتنظیموزنهابرایدرنظرگرفتنمثالهاینادریاستکهممکناستباتوزیعکلیداده‌هامطابقتنداشتهباشند. تعدادزیادوزنهاییکشبکهعصبیباعثمی‌شودتا شبکهدرجهآزادیزیادیبرایانطباقبااینمثالهاداشتهباشد. • باافزایشتعدادتکرار،پیچیدگیفضایفرضیهیادگرفتهشدهتوسطالگوریتمبیشتروبیشترمی‌شودتاشبکهبتواندنویزومثالهاینادرموجود درمجموعهآموزشرابدرستیارزیابینماید.

45. راهحل • استفادهازیکمجموعهتاییدValidation وتوقفیادگیریهنگامیکهخطادراینمجموعهبهاندازهکافیکوچکمی‌شود. • بایاس کردنشبکهبرایفضاهایفرضیهساده‌تر: یکراهمی‌توانداستفادهازweight decay باشدکهدرآنمقداروزنهادرهربار تکراربه اندازهخیلیکمیکاهشدادهمی‌شود. • k-fold cross validation وقتیکهتعدادمثالهایآموزشیکمباشدمی‌توانm دادهآموزشیرابهkدستهتقسیمبندینمودهوآزمایشرابهتعدادkدفعه تکرارنمود. درهردفعهیکیازدسته‌هابعنوانمجموعهتستوبقیهبعنوانمجموعهآموزشیاستفادهخواهندشد. تصمیم‌گیریبراساسمیانگیننتایجانجاممی‌شود.

46. روشهایدیگر راه‌هایبسیارمتنوعیبرای ایجادشبکه‌هایجدیدوجودداردازجمله: • استفادهازتعاریفدیگریبرایتابعخطا • استفادهازروشهایدیگریبرایکاهشخطادرحینیادگیری • Hybrid Global Learning • Simulated Annealing • Genetic Algorithms • استفادهازتوابعدیگریدرواحدها • Radial Basis Functions • استفادهازساختار‌هایدیگریبرایشبکه • Recurrent Network