Autonomno održanje vozila u kolovoznoj traci analizom informacija sa vizuelnih senzora korišćenjem neuralne mreže

Abstract

Cilj disertacije je ostvarivanje autonomnog održanja vozila u kolovoznoj traci analizom informacija sa vizuelnih senzora korišćenjem projektovane duboke neuralne mreže, eng. deep neural network (DNN). DNN za učenje od-kraja-do-kraja na ulaz dovodi sliku sa kamere montirane na vozilu, a izlaz iz DNN je informacija o uglu okretanja upravljača vozila. Ova tehnika se još naziva i kloniranje ponašanja vozača, eng. behavior cloning. Polazna hipoteza je da je moguće ostvariti autonomnu vožnju korišćenjem duboke neuralne mreže za učenje od-kraja-do-kraja koja je računarski manje zahtevna od do sada postojećih rešenja, pri čemu korišćenjem modela nove mreže, performanse autonomne vožnje ne degradiraju značajno. Osnovna prednost novog rešenja je omogućavanje implementacije projektovanog rešenja na autonomno vozilo sa ograničenim hardverskim performansama u smislu računarske snage i memorijskog kapaciteta. Razvijena je nova arhitektura DNN za učenje od-kraja-do-kraja za autonomnu vožnju koja je nazvana J-Net. U poređenju sa drugim poznatim modelima, PilotNet i AlexNet, J-Net model ima najmanji broj trenarabilnih parametara, najmanji broj operacija nad čvorovima neuralne mreže i istrenirana J-Net mreža zauzima najmanje memorijskog prostora. Verifikacija autonomne vožnje ostvarena je u simuliranim uslovima, korišćenjem simulatora autonomne vožnje otvorenog koda, i u realnim uslovima. Za verifikaciju u realnim uslovima, projektovan je sistem za autonomnu vožnju u laboratoriji za elektroniku Elektrotehničkog fakulteta Univerziteta u Beogradu. Verifikacije u simuliranim i u realnim uslovima pokazale su da je korišćenjem J-Net modela duboke neuralne mreže za učenje od-kraja-do-kraja moguće ostvariti uspešno održanje vozila u kolovoznoj traci analizom informacija sa vizuelnih senzora.

The aim of the dissertation is to achieve autonomous lane keeping by analyzing information from visual sensors using the designed deep neural network (DNN). DNN for end-to-end learning has a camera image as an input and the steering angle of the vehicle as an output. This technique is also called behavior cloning. The starting hypothesis was that it is possible to achieve autonomous driving using a deep neural network for end-to-end learning that is less computationally demanding than the existing solutions, whereby using a new network model, autonomous driving performance does not degrade significantly. The main advantage of the new solution is enabling the implementation of the designed solution on an autonomous vehicle with limited hardware performance in terms of computing power and memory capacity. A new DNN for end-to-end learning architecture for autonomous driving has been developed, it is called J-Net. Compared to other known models, PilotNet and AlexNet, the J-Net model has the least number of trainable parameters, the least number of operations of neural network nodes, and the trained J-Net network occupies the least memory space. Verification of autonomous driving achieved in simulated conditions, using an open-source simulator for autonomous driving, and in real-world conditions. For the verification in real-world conditions, an autonomous driving system was designed and implemented in the Laboratory of Electronics at the School of Electrical Engineering, University of Belgrade. Verifications in both simulated and real-world conditions have shown that it is possible to achieve successful autonomous lane-keeping by analyzing information from visual sensors using the J-Net DNN model.