1 / 31

Sieć neuronowa w inteligentnym pojeździe

Tomasz Kozakiewicz, Wrocław, 17.05.2005. Sieć neuronowa w inteligentnym pojeździe. Na podstawie pracy Mike’a Foedischa i Aya Takeuchi Adaptive Real-Time Road Detection Using Neural Networks. Sieć neuronowa w inteligentnym pojeździe , Tribolite – autonomous vacuum cleaner from Electrolux.

vanya
Télécharger la présentation

Sieć neuronowa w inteligentnym pojeździe

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Tomasz Kozakiewicz, Wrocław, 17.05.2005 Sieć neuronowa w inteligentnym pojeździe Na podstawie pracy Mike’a Foedischa i Aya Takeuchi Adaptive Real-Time Road Detection Using Neural Networks

  2. Sieć neuronowa w inteligentnym pojeździe,Tribolite – autonomous vacuum cleaner from Electrolux

  3. Cel: Określenie czy określony obszar jest drogą (betonową) czy nie. Główne cechy: • wykorzystuje kamerę (przechwytującą obraz z punktu widzenia kierowcy), • działa w czasie rzeczywistym, • niezależny od linii itp. oznaczeń drogowych.

  4. Podstawowe kroki działania: • krótki krok inicjalizacyjny – zebranie próbek danych, • trening sieci neuronowej, • zastosowanie sieci do detekcji drogi.

  5. Postać danych - obraz jest w postaci RGB, - cechy: + 3 x 8 bitów na kolory, + wartości współrzędnych x i y rozważanych punktów (znormalizowane). Każdy wektor jest następnie ręcznie oznaczany jako droga lub nie-droga.

  6. Trening sieci

  7. Detekcja drogi

  8. Przykładowy wynik

  9. Zastrzeżenie do algorytmu Mimo, że detekcja drogi przez otrzymaną sieć odbywa się automatycznie i może być wykonywana w czasie rzeczywistym, to trenowanie wymaga ręcznych oznaczeń wprowadzanych przez człowieka  Obniża to nieco możliwości wykorzystywania tego rozwiązania w czasie rzeczywistym ;-)

  10. Adaptacyjne podejście rzeczywiście dla czasu rzeczywistego przy podstawowych założeniach systemu bez zmian…

  11. Adaptacyjne podejście rzeczywiście dla czasu rzeczywistego Dodatkowa obserwacja

  12. Bazując na oczekiwanych obszarach wg poprzedniego obrazka, bierzemy punkty z tych obszarów i automatycznie oznaczamy je jako droga lub nie-droga. A nieco dokładniej określamy to nie dla pojedynczych punktów a dla pewnych obszarów / okien…

  13. Wykorzystanie okien z poprzedniego slajdu (wraz z oznaczeniami droga czy nie-droga) jako filtrów

  14. Dlaczego nie powinno się cały czas uczyć sieci w ten sposób, czyli np. zakręt

  15. Post processing, aby zwiększyć precyzję… • szumy są redukowane filtrami graficznymi erosion & dilationm, • jeśli droga na 2 kolejnych obrazach nie różni się znacznie, informacje z poprzednich obrazków o segmentacji mogą być wykorzystywane.

  16. Implementacja – strona techniczna • Dell Latitude laptop 2,2GHz, z Red Hatem 9, • Unibrain Fire-i (320x240 pixels) firewire camera (30 klatek / sek.), • aplikacja napisana w C++.

  17. Implementacja – sieć neuronowa • 26 inputs (24 bitów RGB + koordynaty x i y) • sieć trzywarstwowa: - dwie pierwsze warstwy zawierają po 4 neurony, - ostatnia warstwa złożona z 1 neuronu zwraca wynik, • wykorzystuje wsteczną propagację.

  18. Implementacja c.d. Dla umożliwienia działania w czasie rzeczywistym: • każdy obrazek jest zmniejszany z 320x240 do 160x120, • wybierany jest co trzeci piksel wraz z otoczeniem o rozmiarach 7x7 (więc nachodzą te okna na siebie trzema pikselami z każdej strony), Aktualnie czas segmentacji drogi wynosi ok. 60 ms / ramkę

  19. Wyniki • testy na różnych rodzajach dróg, • 4-sekundowe sekwencje wideo, • wykresy błędów pokazują co 25 klatkę.

  20. Test 1, prosta droga, wyniki

  21. Test 2, droga z cieniami, wyniki

  22. Test 3, łuk drogi, lekka zmiana otoczenia, wyniki

  23. Test 4, duża zmiany otoczenia i drogi, wyniki

  24. Podsumowanie wyników

  25. Uwagi, pomysły, plany na przyszłość • trening sieci zajmuje aktualnie ok. 600 ms, • nowe dane – bufor FIFO, • rozwiązanie dla dynamicznych zmian, • wykorzystywanie informacji o ruchu pojazdu, • zastosowanie algorytmów dla detekcji nadjeżdżających pojazdów.

  26. Co jeszcze się dzieje w kierunku intelligent vehicles? n.p. kilka skrótów: • CC - (Cruise Control) system stabilizacji prędkości jazdy • iCCS - system utrzymujący stałą odległość od poprzedzającego pojazdu • DAS - system identyfikujący pasy ruchu, znaki drogowe i przeszkody • DSC - układ kontroli stabilności pojazdu • DTC - układ dynamicznej kontroli trakcji) • EOBD - (European On- Board Diagnostic) układ ten stanowi centrum gromadzenia wszelkich funkcji diagnostycznych • ICC (Intelligent Cruise Control)- inteligentny system stabilizacji prędkości jazdy • ICS - zespolony system kontroli układów samochodowych • PTS - system ułatwiający parkowanie (wyposażony w czujniki odległości) • RDW - system informujący o zmianie ciśnienia w oponach • SRS - system bezpieczeństwa pasażerów • TPMS - układ monitorujący ciśnienie powietrza w ogumieniu

  27. Czym to grozi?

  28. Czym więc jeździć?

  29. Wykorzystane materiały: [1] Mike Foedisch, Aya Takeuchi, Adaptive Real-Time Road Detection Using Neural Networks, Waschington DC, 3-6.10.2004. [2] Albert Schmidt, A Modular Neural Network Architecture with Additional Generalization Abilities for High Dimensional Input Vectors, Manchester Metropolitan University, Department of Computing, September 1996. [3] Materiały informacyjne firmy Electrolux, m.in. www.electrolux.pl [4] słowniczek ze strony http://motoryzacja.fazi.pl/ [5] BT Exact Technologies, Technology timeline, http://www.cs.uu.nl/people/jan/BT2002.pdf

  30. koniecdziękuję za uwagę

More Related