Ứng dụng mạng neuron nhân tạo vào công tác dự báo chuỗi thời gian

1. Ứngdụngmạng neuron nhântạovàocôngtácdựbáochuỗithờigian ĐoànNgọcBảo Đinh Kim Ngân TrầnThếSĩ NgôDuyKhánhVy

2. Nội Dung • Giớithiệu • Cấutrúc, nguyêntắchoạtđộngcủamạng neuron nhântạo • GiảithuậtLantruyềnngược • Giảithuật RPROP • Ứngdụngmạng neuron nhântạovàocôngtácdựbáodữliệuchuỗithờigian • Chươngtrìnhthựcnghiệm • Kếtquảthựcnghiệm • Kếtluận

3. Giớithiệu • Ngày nay nhucầuvềdựbáongàycàngtăng. Đểđưaradựbáochínhxácvàcócơsở, người ta tiếnhànhthunhậpdữliệuvềcácvấnđềmìnhquantâm. Mộtloạidữliệuthườnggặplàdữliệuchuỗithờigian- dữliệuđượcthunhập, lưutrữvàquansáttheothờigian. • Việcdựbáodữliệuchuỗithờigianngàycàngchiếmvịtríquantrọngtronghoạtđộngcủacácđơnvịtổchức.Cơbảncóhaikỹthuậtchủyếutrongviệcdựbáochuỗithờigianlàcácphươngphápthốngkêvàphươngphápdùngmạng neuron nhântạo.

4. Cấutrúcmạng neuron nhântạo • Mạng neuron nhântạo (Artificial Neural Network) làmộtmôhìnhtoánhọcđịnhnghĩamộthàmsốtừmộttậpđầuvàođếnmộttậpđầura • Mạng neuron nhântạolàmộtmạnggồmmộttậpcácđơnvị (unit) đượckếtnốivớinhaubằngcáccạnhcótrọngsố. Mộtđơnvịthựchiệnmộtcôngviệcrấtđơngiản: nónhậntínhiệuvàotừcácđơnvịphíatrước hay mộtnguồnbênngoàivàsửdụngchúngđểtínhtínhiệura

5. Trongmộtmạng neuron cóbakiểuđơnvị: • Cácđơnvịđầuvào, nhậntínhiệutừbênngoài. • Cácđơnvịđầura, gửidữliệurabênngoài. • Cácđơnvịẩn, tínhiệuvàocủanóđượctruyềntừcácđơnvịtrướcnóvàtínhiệurađượctruyềnđếncácđơnvịsaunótrongmạng. Hình 2.1: Đơnvịmạng neuron

6. Khinhậnđượccáctínhiệuđầuvào, mộtđơnvịsẽnhânmỗitínhiệuvớitrọngsốtươngứngrồilấytổngcácgiátrịvừanhậnđược. Kếtquảsẽđượcđưavàomộthàmsốgọilàhàmkíchhoạt (Activation function) đểtínhratínhiệuđầura.Cácđơnvịkhácnhaucóthểcócáchàmkíchhoạtkhácnhau

8. Cóhailoạihìnhdạngmạngcơbản: Mạngtruyềnthẳngvàmạnghồiquy • Mạngtruyềnthẳng(Feed-forward neural network): Mộtđơnvị ở lớpđứngtrướcsẽkếtnốivớitấtcảcácđơnvị ở lớpđứngsau. Tínhiệuchỉđượctruyềntheomộthướngtừlớpđầuvào qua cáclớpẩn (nếucó) vàđếnlớpđầura • Mạnghồiquy(Recurrent neural network): Khácvớimạngtruyềnthẳng, mạnghồiquycóchứacácliênkếtngượctừmộtđơnvịđếncácđơnvị ở lớptrướcnó

9. Chứcnăngcủamộtmạngnơronđượcquyếtđịnhbởicácnhântốnhư: hìnhdạngmạng (sốlớp, sốđơnvịtrênmỗilớp, cáchmàcáclớpđượcliênkếtvớinhau) vàcáctrọngsốcủacácliênkếtbêntrongmạng. Hìnhdạngcủamạngthườnglàcốđịnh, vàcáctrọngsốđượcquyếtđịnhbởimộtthuậttoánhuấnluyện (training algorithm). Tiếntrìnhđiềuchỉnhcáctrọngsốđểmạng “nhậnbiết” đượcquanhệgiữađầuvàovàđầuramongmuốnđượcgọilàhọc (learning) hay huấnluyện (training)

10. Huấnluyệnmạng neuron • Ápdụngphươngphápgiảmđộdốc (gradient descent) tìmmột vector cáctrọngsốsauchomạngxấpxỉtốttậpdữliệuhuấnluyện • Ta sửdụngmộthàmđánhgiá • Mạngxấpxỉtốttậphuấnluyệnnếuhàmlỗinhỏ

11. Phươngphápgiảmđộdốcbắtđầutìmvớimột vector trọngsốngẫunhiênvàduyệt qua cácmẫucủatậphuấnluyện, mỗilầnduyệt qua cáctrọngsốsẽđượccậpnhậptheohướnglàmgiảmgiátrịhàmlỗi. Quátrìnhnàyđượclặpđilặplạichođếnkhiđạtđượcgiátrịcựctiểucủahàmlỗi. • Hướngcậpnhậpcáctrọngsốđểlàmgiảmgiátrịhàmlỗiđượcxácđịnhtheovector độdốc (gradient) củahàmlỗiE, kýhiệulà

12. Vềmặttoánhọc vector độdốcbiểudiễnhướnglàmtănggiátrịhàmEtrongkhônggiantrọngsố, do đósẽlàhướnglàmgiảmgiátrịhàmE

14. Thay (2.2) vào (2.1) ta đượcgiánhậpcậpnhậptrọngsố qua từngbước ta được

15. Hình 2.7: Hàmlỗi

16. Phươngphápgiảmđộdốccóhaihạnchếchínhlàtốcđộhộitụđôikhikháchậmvànếucónhiềucựctiểucụcbộ (local minimum) trênbềmặtcủahàmlỗithìgiảithuậtdễrơivàocựctiểucụcbộmàkhôngđạtđượccựctiểutoàncục (global minimum). Đểgiảiquyếtcáckhókhănnàyngười ta đãpháttriểnphươngphápgiảmđộdốcthànhphươngphápgiảmđộdốctăngcường (incremental gradient descent) • Khácvớiphươngphápgiảmđộdốc ở trênphươngphápgiảmđộdốctăngcườngthựchiệnviệctínhtoánlỗivàcậpnhậpcáctrọngsốngaykhiduyệt qua mộtmẫucủatậpdữliệu. Giátrịcậpnhậpchocáctrọngsốcủaphươngphápgiảmđộdốctăngcườnglà

17. HàmlỗicủaphươngphápgiảmđộdốctăngcườngkhôngphảilàhàmlỗitoàncụcchotoànbộdữliệuhuấnluyệnnhưphươngphápgiảmđộdốcthườngmàlàhàmlỗichotừngmẫutrongtậpdữliệuHàmlỗicủaphươngphápgiảmđộdốctăngcườngkhôngphảilàhàmlỗitoàncụcchotoànbộdữliệuhuấnluyệnnhưphươngphápgiảmđộdốcthườngmàlàhàmlỗichotừngmẫutrongtậpdữliệu

18. Giảithuậtlantruyềnngược • Giảithuậtlantruyềnngượctìmtậpcáctrọngsốthíchhợpchomộtmạng neuron truyềnthẳngnhiềulớpbằngphươngphápgiảmđộdốc • Hàmlỗicủagiảithuậtlantruyềnngượcđượcđịnhnghĩatổngquátnhưsau

19. Ý tưởngchínhcủagiảithuậtlàgiátrịlỗisẽđượclantruyềnngượctừtầngxuấtvềtầngnhập. Vớimỗimẫutrongtậphuấnluyện, mạng neuron đượcápdụngđểtínhđầurasauđógiátrịđộdốccủahàmlỗiđượctínhchotừngđơncủamạng. Cuốicùnggiảithuậtápdụngphươngphápgiảmđộdốcđểcậpnhậpcácgiátrịtrọngsố

20. Đểápdụngphươngphápgiảmđộdốctrướchết ta cầnthông tin vềđạohàmriêngphầncủahàmlỗichotừngtrọngsố • Với

21. Giátrịđượctínhtheohaitrườnghợptùytheođơnvịi làđơnvị ở tầngxuất hay tầngẩn:

23. Nếu i làđơnvịtầngẩn

24. Thay (2.10) và (2.6) vào (2.5) ta đượccôngthứctínhđạohàmriêngphầncủahàmlỗitheotrọngsốwijcủađơnvịẩni

25. Mỗikhithông tin vềđạohàmriêngphầnđãbiết, bướctiếptheotronggiảithuậtlantruyềnngượclàcậpnhậpcáctrọngsốwij. Ở đâylàhệsốhọc

26. Cơbảncóhaiphươngphápcậpnhậpcáctrọngsốphânloạitheothờiđiểmcậpnhập: họctheomẫu (learning by pattern) vàhọctheo epoch (learning by epoch). Một epoch làmộtlầnhọcduyệt qua tấtcảcácmẫutrongtậpdữliệumẫudùngđểhọc. • Trongphươngpháphọctheomẫuápdụngphươngphápgiảmđộdốctăngcường, cứmỗilầnmộtmẫutrongtậpdữliệuđượcduyệt qua thìcáctrọngsốsẽđượccậpnhập • Phươngpháphọctheo epoch thựchiệnlấytổngtấtcảthông tin vềđộdốc (gradient) chotoànbộtậpmẫu (pattern set) sauđómớicậpnhậpcáctrọngsốtheophươngphápgiảmđộdốcthôngthường, nghĩalànóthựchiệnviệccậpnhậptrọngsốsaukhiđãduyệt qua hếtcácmẫutrongtậpdữliệu

27. Giảithuậtlantruyềnngượcbịảnhhưởngbởihệsốhọcvàđộlớncủađạohàmriêngphần.Giảithuậtlantruyềnngượcbịảnhhưởngbởihệsốhọcvàđộlớncủađạohàmriêngphần. • Đểquátrìnhhọcổnđịnhhơn, ta thêmvàohệsốquántính, cótácdụngđiềuchỉnhmứcđộảnhhưởngcủabướccậpnhậptrướclênbướccậpnhậphiệnthời

29. Giảithuật RPROP • Giảithuậtlantruyềnngượcgặpmộtvấnđề ở chỗgiátrịcậpnhậptrọngsốkhôngnhữngphụthuộcvàodấucủađạohàmriêngphầnmàcònbịảnhhưởngbởiđộlớncủanó, điềunàylàmchoquátrìnhhọckhôngđượcổnđịnh. Việcthêmvàohệsốquántínhkhônggiảiquyếttrọnvẹnvấnđềbởivì ta khôngbiếtgiátrịtốiưuchohệsốnàylàbaonhiêu.

30. RPROP làviếttắtcủatừ ‘resilient propagation’, nghĩalàlantruyềnđànhồilàmộtphươngphápthíchnghicụcbộ. RPROP thựchiệncậpnhậpcáctrọngsốwijdựavàothông tin vềdấucủacácđạohàmriêngphầnđiềunàygiúpnótránhđượcsựảnhhưởngcủađộlớncủacácđạohàmriêngphầnnày. Đểthựchiệnđiềunàycáctrọngsốsẽcómộtgiátrịcậpnhậpriêngchỉphụthuộcvàodấucủađạohàmriêngphần.

31. Với

32. Cácgiátrịcậpnhậptrọngsốtínhnhưsau

33. Tuynhiêncómộttrườnghợpđặcbiệtđólàkhiđạohàmriêngphầnđổidấu, nghĩalàbướccậpnhậptrướcquálớnlàmchođiểmtốiưubịnhảyvượt qua. Giátrịtrọngsốphảiđượctrảvềgiátrịtrướckhithayđổi, giátrịcậpnhậpsẽđượcgiảmxuốngvà ở bướckếsau ta sẽkhôngcậpnhậpgiátrịnày. Thựctế ta cóthểlàmviệcnàybằngcáchgán

34. Giảithuật RPROP ban đầucũngthựchiệncácbướcgiốngnhưgiảithuậtlantruyềnngược, cácthông tin vềđạohàmriêngphầncủahàmlỗitheocáctrọngsốsẽđượclantruyềnngượctừcáclớpsauđếncáclớptrước. Khicácthông tin vềcácđạohàmriêngphầnnàycóđủthìgiảithuậtsẽthựchiệnviệccậpnhậpcáctrọngsốtheocácquytắcnêu ở trên.

36. Chuỗithờigian • Dữliệuchuỗithờigianlàdữliệuđượcthunhập, lưutrữvàquansáttheosựtăngdầncủathờigian • Ta kýkiệuchuỗithờigianlà{Xt}vớitlàcácsốtựnhiên. Xtlàcácbiếnngẫunhiên (random variable) rútratừmộtphânbốxácsuất(probability distribution) nàođó. Cácchuỗithờigianthườngđượcbiểudiễnbằngmộtđồthịvớitrụchoànhlàbiếnthờigian

38. Trongthựctế, khi quansátchuỗithờigian ta nhậnthấybốnthànhphầnảnhhưởnglênmỗigiátrịcủachuỗithờigianđó là xuhướng(trend), chu kỳ (cyclical), mùa(seasonal), bấtquytắc(irregular). • Xuhướng: Là thànhphầnthểhiệnsựtănghaygiảmgiátrịcủachuỗithờigiantrongmộtgiaiđoạndàihạnnàođó • Chu kỳ: Là chuỗibiếnđổidạngsóngquanhxuhướng • Bấtquytắc: Là thànhphầnthểhiệnsựbiếnđổingẫunhiênkhôngthểđoánđượccủachuỗithờigian • Mùa: Là thànhphầnthểhiệnsựbiếnđổilặpđilặplạitạitừngthờiđiểmcốđịnhtheotừngnămcủachuỗithờigian

39. Ápdụngmạng neuron vàodựbáodữliệuchuỗithờigian

40. Mạng neuron họccấuhìnhmạngtừdữliệuchuỗithờigianbằngcáchánhxạtừmộtvectơdữliệuđầuvào sang dữliệuđầura.Mộtsốlượngdữliệuliêntiếpcủadữliệuchuỗithờigian (cửasổđầuvàoXt-s, Xt-s+1, …, Xt) đượcánhxạ sang khoảngthíchhợp (vídụ [0,1] hoặc [-1,1]) vàđượcsửdụngnhưdữliệuđầuvàocủatầngnhập. Giátrị s của “cửasổđầuvào” tươngứngvớisốđơnvị ở tầngnhập. Tronggiaiđoạntruyềntiến, nhữnggiátrịđóđượctruyền qua tầngẩnrồiđếncácđơnvịđầura.Khitruyềntớiđơnvịđầura, giátrịlỗiđượctínhtoándựavàosựkhácbiệtgiữagiátrịđầuravớigiátrịcủadữliệuchuỗithờigiantạithờiđiểm t+1. Sauđó, giátrịlỗinàyđượctruyềnngượclạitớicáckếtnốigiữatầngẩnvàtầngđầura, kếtnốigiữatầngđầuvàovàtầngẩnđểcậpnhậplạitrọngsốcủacáckếtnốinày.

41. Quátrìnhxâydựngmạng neuron chobàitoándựbáochuỗithờigiangồm 8 bước: • Lựachọncácbiến • Thu thậpdữliệu • Tiềnxửlýdữliệu • Phân chia tậpdữliệu • Xâydựngcấutrúcmạng • Xácđịnhtiêuchuẩnđánhgiá • Huấnluyệnmạng • Dựđoánvàcảitiến

42. Lựachọncácbiến • Xácđịnhnhữngbiếnnàocầnđượcxemxétlàđiểmmấuchốt. • Đốivớimộtbàitoáncụthểcầnthựchiệnxemxétcácvấnđềlýthuyếtmàtừđósẽxácđịnhđượccácnhântốảnhhưởngđếnbàitoán • Đểdựđoánchomộtbiếnnàođócóthểdùngcácgiátrịcũ, trongquákhứcủabiếnđó, cácchỉsốđượctínhtoántừcácgiátrịcũđóhaygiátrịcủacácbiếnkhácmàảnhhưởngđếnbiếnđangxemxét

43. Thu nhậpdữliệu • Ta cầnphảixemxét chi phívàkhảnăngcóthểthuthậpđượcdữliệucủacácbiếnđãchọnra ở bướctrước • Sau khi đượcthuthập, cácdữliệuphảiđượckiểmtrađểđảmtínhhợplệ, tínhnhấtquánvàtránhcácdữliệubịthiếusót • Cácdữliệubịthiếusótcóthểđượcbỏ qua hoặcchúngcóthểxemnhưkhôngthayđổisovớidữliệutrướcnó, vàđượctínhtoánbằngphươngphápnộisuyhoặctrungbìnhcácgiátrịlâncận

44. Tiềnxửlýdữliệu • Phântíchvàchuyểnđổigiátrịcácthamsốđầuvào, đầuramạngđểtốithiểuhóanhiễu, nhấnmạnhcácđặctrưngquantrọng, pháthiệncácxuhướngvàcânbằngphânbốcủadữliệu • Cácphươngphápthườngdùng: lấyhiệu, lấylogarittựnhiên, trungbình di động.

45. Phân chia tậpdữliệu • Trongthựctế, khihuấnluyện, người ta thường chia tậpdữliệuthànhcáctập: huấnluyện, kiểmtravàkiểmđịnh (ngoàicácmẫu). Tậphuấnluyệnthườnglàtậplớnnhấtđượcsửdụngđểhuấnluyệnchomạng. Tậpkiểmtrathườngchứakhoảng 10% đến 30% tậpdữliệuhuấnluyện, đượcsửdụngđểkiểmtramứcđộtổngquáthóacủamạngsaukhihuấnluyện. Kíchthướccủatậpkiểmđịnhcầnđượccânbằnggiữaviệccầncóđủsốmẫuđểcóthểkiểmtramạngđãđượchuấnluyệnvàviệccầncóđủcácmẫucònlạichocảphahuấnluyệnvàkiểmtra. Tậpkiểmđịnhnênbaogồmcácgiátrịliêntụcmớinhất • Mộtphươngphápchặtchẽdùngđểđánhgiámạng neuron là walk-forward. Phươngpháp walk-forward chia tậpdữliệuthànhmộtchuỗicáctậpdữliệunhỏhơnhuấnluyện-kiểmtra-kiểmđịnhgốichồnglênnhau

46. Xâydựngcấutrúcmạng • Phươngphápthựchiệnxâydựngcấutrúcmạng neuron baogồmviệcxácđịnhsựliênkếtgiữacác neuron, đồngthờixácđịnhcấutrúccủamạngbaogồmsốlớpẩn, số neuron trongtừnglớp • Nếuxâydựngmạngcóquánhiềutầngẩn, hoặcsốlượngđơnvị ở mỗitầngquánhiềusẽdẫnđếnvấnđềquákhớp. Tứclàkhiđó, cấuhìnhmạng neuron giảithíchtậpdữliệuhuấnluyệnrấttốt, nhưnglạikhôngcókhảnăngtổngquáthóa, vìthếkhôngthểdùngcấuhìnhnàyđểdựđoán. Tuynhiênsốtầnghoặcsốđơnvịtrênmỗitầngquáítthìmạng neuron khôngcókhảnănggiảithíchvàdựđoántốtcácchuỗithờigianphứctạp. • Thựctếđãchứng minh: mộtmạng neuron vớimộttầngđầuvào, mộttầngẩn, mộttầngđầuracùngvớisựthayđổisốđơnvịtạimỗitầnglàđủđểxấpxỉbấtkìmộthàmliêntụcnào. Cácmôhìnhthườngdùngtrongbàitoándựbáochuỗithờigianlà: 8-8-1, 6-6-1, 5-5-1.

47. Xácđịnhtiêuchuẩnđánhgiá • Đểđánhgiákhảnăngxấpxỉmộtchuỗithờigiancủamạng neuron người ta thườngdùnghàmtổngbìnhphươnglỗi(sum of squared errors) sau: • Ngoàirangười ta còndùngcáchàmkháclàhàmđộlệchtuyệtđốinhỏnhất (least absolute deviation), hiệuphầntrăm (percentage differences).

48. Huấnluyệnmạng • Huấnluyênmạngđểhọccácmẫutừdữliệubằngcáchlầnlượtđưacácmẫuvàocùngvớinhữnggiátrịmongmuốn. Mụctiêucủaviệchuấnluyệnmạngđó là tìm ra tậpcáctrọngsốcho ta giátrịnhỏnhấttoàncụccủachỉsốhiệunănghayhàmlỗi. • Cóbacáchthườngdùngđểdừngmộtquátrìnhhuấnluyện. Cáchthứnhấtnhàdựbáochỉdừngquátrìnhhọc khi khôngcómộtsựcảithiệnđángkểnàocủahàmlỗi. Điểmmàmạngneuron khôngcòncảithiệnđượcnữagọi là điểmhộitụ. Cáchthứhai là sửdụngmộtthôngsốcốđịnh là sốlầnlặptốiđa, quátrìnhhuấnluyệnsẽdừngnếusốsốlầnlặp (epoches) vượtquáthôngsốnày. Cáchthứba là ta sửdụngmộttậpdữliệungoàidữliệuhuấnluyệngọi là tậpdữliệuxácthực (validation set). Trongquátrìnhhuấnluyện, cứmỗilầnvectortrọngsốcủamạngneuronthayđổi, tậpdữliệuxácthựcnàysẽđượcđưavàomạngvàtính ra saisố. Giảithuậthuấnluyệnsẽdừng khi saisốnàynhỏhơnmộtngưỡngmànhàdựđoánmongmuốn.

49. Dựđoánvàcảitiến • Sau khi đãthựchiệncácbướctrên, ta cóđượcmộtmôhìnhmạngneurondùngđểdựđoán. Cácgiátrịdựđoáncủamạngđượclưulạivàsosánhvớicácgiátrịthựctế khi chúngxuấthiện. Saumộtthờigian, cóthểmôhìnhmạngkhôngcònđúngnữathểhiện qua việckếtquảdựđoánngàycàngxacácgiátrịthật, ta cầnphảitiếnhànhcảitiếnmạnghoặchọclạivàxâydựngmạngmớitheocácbướctrước.

50. Chươngtrìnhthựcnghiệm • Chươngtrìnhthựcnghiệmđượcnhómhiệnthựcbằngngônngữ C# trênnềntảng .NET framework với IDE hỗtrợlàMircrosoft Visual Studio 2010.