Development and Evaluation of a Road Marking Recognition Algorithm Implemented on Neuromorphic Hardware

Abstract

[EN] Driving is one of the most common and preferred forms of transport used in our actual society. However, according to studies, it is also one of the most dangerous. One solution to increase safety on the road is applying technology to automate and prevent avoidable human errors. Nevertheless, despite the efforts to obtain reliable systems, we have yet to find a reliable and safe enough solution for solving autonomous driving. One of the reasons is that many drives are done in conditions far from the ideal, with variable lighting conditions and fast-paced, unpredictable environments. This project develops and evaluates an algorithm that takes the input of dynamic vision sensors (DVS) and runs on neuromorphic spiking neural networks (SNN) to obtain a robust road lane tracking system. We present quantitative and qualitative metrics that evaluate the performance of lane recognition in low light conditions against conventional algorithms. This project is motivated by the main advantages of neuromorphic vision sensors: recognizing a high dynamic range and allowing a high-speed image capture. Another improvement of this system is the computational speed and power efficiency that characterize neuromorphic hardware based on spiking neural networks. The results obtained show a similar accuracy of this new algorithm compared to previous implementations on conventional hardware platforms. Most importantly, it accomplishes the proposed task with lower latency and computing power requirements than previous algorithms

[ES] La conducción es una de las formas de transporte más comunes y preferidas en la actualidad. Sin embargo, diferentes estudios muestran que también es una de las más peligrosas. Una solución para aumentar la seguridad en la carretera es aplicar la tecnología para automatizar y prevenir los evitables errores humanos. No obstante, a pesar de los esfuerzos por conseguir sistemas fiables, todavía no hemos encontrado una solución suficientemente fiable y segura para resolver este reto. Una de las razones es el entorno de la conducción, en situaciones que distan mucho de las ideales, con condiciones de iluminación variables y entornos rápidos e imprevisibles. Este proyecto desarrolla y evalúa un algoritmo que toma la entrada de sensores de visión dinámicos (DVS) y ejecuta su computación en redes neuronales neuromórficas (SNN) para obtener un sistema robusto de seguimiento de carriles en carretera. Presentamos métricas cuantitativas y cualitativas que evalúan el rendimiento del reconocimiento de carriles en condiciones de poca luz, frente a algoritmos convencionales. Este proyecto está motivado por la validación de las ventajas de los sensores de visión neuromórficos: el reconocimiento de un alto rango dinámico y la captura de imágenes de alta velocidad. Otra de las mejoras que se espera de este sistema es la velocidad de procesamiento y la eficiencia energética que caracterizan al hardware neuromórfico basado en redes neuronales de impulsos. Los resultados obtenidos muestran una precisión similar entre el nuevo algoritmo en comparación con implementaciones anteriores en plataformas convencionales. Y lo que es más importante, realiza la tarea propuesta con menor latencia y requisitos de potencia de cálculo.

[CA] La conducció és una de les formes de transport més comunes i preferides en l’actualitat. Tanmateix, diferents estudis assenyalen també que hi és una de les més perilloses. Una solució per augmentar la seguretat a la carretera és aplicar la tecnologia per automatitzar i prevenir els errors evitables humans. No obstant, malgrat dels esforços per aconseguir sistemes fiables, encara no hi hem trobat una solució suficientment fiable i segura per resoldre aquest repte. Una de les raons és l’entorn de la conducció, amb situacions que disten molt de les ideals, per condicions d’il·luminació variables i entorns ràpids i imprevisibles. Aquest projecte desenvolupa i avalua un algorisme que pren l’entrada de sensors de visió dinàmica (DVS) i executa la seva computació amb xarxes neuronals neuromòrfiques (SNN) per obtenir un sistema robust de seguiment de carrils a la carretera. Presentem mètriques quantitatives i qualitatives que avaluen el rendiment del reconeixement de carrils en condicions de poca llum, davant d’algorismes convencionals. Aquest projecte està motivat per la validació de les avantatges dels sensors de visió neuromòrfica: el reconeixement d’un alt rang dinàmic i la captura d’imatges d’alta velocitat. Un altra de les millores que s’espera d’aquest sistema és la velocitat de processament i l’eficiència energètica que caracteritza el hardware neuromòrfic basat en xarxes neuronals d’impulsos. Els resultats obtinguts mostren una precisió similar entre el nou algorisme en comparació amb implementacions anteriors en plataformes convencionales. I el que és més important, realitza la tarea proposada amb menor latència i requisits de potència de càlcul.

[SV] Att köra bil är ett av de vanligaste och mest populära transportsätten i vårt samhälle. Enligt forskningen är det också ett av de farligaste. En lösning för att öka säkerheten på vägarna är att med teknikens hjälp automatisera bilkörningen och på så sätt förebygga misstag som beror på den mänskliga faktorn. Trots ansträngningarna för att få fram tillförlitliga system har man dock ännu inte hittat en tillräckligt tillförlitlig och säker lösning för självkörande bilar. En av orsakerna till det är att många körningar sker under förhållanden som är långt ifrån idealiska, med varierande ljusförhållanden och oförutsägbara miljöer i höga hastigheter. I det här projektet utvecklar och utvärderar vi en algoritm som tar emot indata från dynamiska synsensorer (Dynamic Vision Sensors, DVS) och kör datan på neuromorfiska pulserande neuronnät (Spiking Neural Networks, SNN) för att skapa ett robust system för att läsa av vägbanan. Vi presenterar en kvantitativ och kvalitativ utvärdering av hur väl systemet läser av körbanans linjer i svagt ljus, och jämför därefter resultaten med dem för tidigare algoritmer. Detta projekt motiveras av de viktigaste fördelarna med neuromorfiska synsensorer: brett dynamiskt omfång och hög bildtagningshastighet. En annan fördel hos detta system är den korta beräkningstiden och den energieffektivitet som kännetecknar neuromorfisk hårdvara baserad på pulserande neuronnät. De resultat som erhållits visar att den nya algoritmen har en liknande noggrannhet som tidigare algoritmer på traditionella hårdvaruplattformar. I jämförelse med den traditionella tekniken, utför algoritmen i den föreliggande studien sin uppgift med kortare latenstid och lägre krav på processorkraft. Nyckelord: SpiNNaker, Neuromorfiska hårdvara, neuromorfiska pulserande neuronnät, Datorseende system, läser av körbanans, självkörande bilar, läser av linjer, dynamiska synsensorer, Tredje generation neuronnät, utvärdering av algoritmen.