Machine learning: statistical physics based theory and smart industry applications

Meer inzicht in leergedrag van neurale netwerken

De toenemende rekenkracht van computers en de beschikbaarheid van veel data hebben het mogelijk gemaakt om steeds grotere kunstmatige neurale netwerken te trainen. Deze zogenaamde diepe neurale netwerken hebben de laatste jaren indrukwekkende toepassingen opgeleverd, zoals verregaande assistentie bij het autorijden en ondersteuning bij medische diagnoses. Wel zijn er ook diverse kwetsbaarheden aangetoond en liggen er nog veel open vraagstukken omtrent de werking van neurale netwerken. Theoretische analyses zijn daarom essentieel voor verdere voortgang. Een actueel vraagstuk is: waarom lijken netwerken met de Rectified Linear Unit (ReLU) activatiefunctie beter te presteren dan netwerken met sigmoïdefuncties?

Michiel Straat heeft via zijn promotieonderzoek bijgedragen aan het antwoord op dit vraagstuk door ReLU netwerken te vergelijken met sigmoïdefunctie netwerken in diverse theoretische leeromstandigheden. Hij richtte zich niet op het analyseren van specifieke datasets, maar maakte gebruik van een theoretische modellering met behulp van methoden uit de statistische natuurkunde. Dit levert een typering op van het leergedrag voor gekozen modelscenario's. Straat analyseerde zowel het leergedrag bij een vaste dataset als bij een datastroom in de aanwezigheid van een veranderende taak. De nadruk ligt op de analyse van de overgang van het netwerk naar een toestand waarin specifieke concepten van de taak zijn geleerd. Hierbij vond Straat significante voordelen van ReLU netwerken: ze hebben continue toenames van prestaties en passen zich sneller aan bij veranderende taken.

Vervolgens richtte Straat zich op toepassingen van machine learning: hij ontwierp een snelle kwaliteitscontrole voor materiaal in een massaproductielijn en onderzocht de relatie met productiefouten. Verder introduceerde hij een methodiek voor interpreteerbare classificatie van tijdreeksen.

Het promotieonderzoek van Michiel Straat vond plaats bij de afdeling Intelligente Systemen van het Bernoulli Instituut met financiering via het Northern Netherlands Region of Smart Factories (RoSF) consortium. Hij werkt nu als postdoc aan de universiteit van Bielefeld (Dld).

Proefschrift: http://hdl.handle.net/11370/d5e0aba8-aebe-4b34-a53d-583e0fef3c8d