Efficient spiking and artificial neural networks for event cameras
| Promotie: | Dhr. A.P. (Alexander) Kugele |
| Wanneer: | 19 december 2023 |
| Aanvang: | 11:00 |
| Promotor: | E. (Elisabetta) Chicca, Prof |
| Copromotor: | dr. M. Pfeiffer |
| Waar: | Academiegebouw RUG |
| Faculteit: | Science and Engineering |
Betere camera's voor in het donker of bij snelle beweging: hoe verwerken we al die data?
Om te kunnen 'zien' heeft een zelfrijdende auto een camera nodig. Hetzelfde geldt voor bijvoorbeeld een huishoudrobot. Alleen doet een camera het doorgaans niet goed bij weinig licht of bij het vastleggen van snelle bewegingen. In zulke scenario's doen zogenaamde eventcamera's het beter. Ze werken op een heel andere manier dan de traditionele camera: in plaats van dat ze van tijd tot tijd een beeld vastleggen, wordt elke pixel individueel bijgehouden, en is er alleen activiteit nodig wanneer die pixel van helderheid verandert. Daardoor zijn ze sneller, energiezuiniger en minder gevoelig voor de verlichting om hen heen.
In zijn promotieonderzoek ontwikkelde Alexander Kugele verschillende benaderingen voor de verwerking van de datastroom die zulke eventcamera's produceren: de event streams. Er zijn efficiënte algoritmes nodig om in die stroom van data objecten te detecteren en classificeren. In het bijzonder richtte Kugele zich op spiking neurale netwerken (SNN's), een klasse van algoritmen die werken zoals een biologisch brein, in die zin dat elk neuron een interne toestand draagt en communiceert via binaire signalen (spikes).
Kugele presenteert een methode om een spiking neuraal netwerk voor de classificatie van een event streams te verkrijgen uit een artificieel neuraal netwerk (ANN) en toont vervolgens aan dat de spikingnetwerken efficiënter zijn dan hun ANN-tegenhanger, terwijl ze op meerdere vlakken dezelfde prestaties behalen. Om de energie-efficiëntie verder te verbeteren, ontwikkelde Kugele een gemengd SNN-ANN netwerk dat direct leert van data en in staat is om snel bewegende objecten te detecteren. Hij introduceert ook een objectgeheugen dat het mogelijk maakt om netwerken te trainen op kortere reeksen.
Alexander Kugele voerde zijn promotieonderzoek uit bij het Zernike Institute for Advanced Materials, afdeling Bio-inspired Circuits & Systems, met financiering van Robert Bosch GmbH. Hij vervolgt zijn loopbaan als Data Scientist/Deep Learning Engineer bij Robert Bosch GmbH.