Scalable visual target navigation with foundation models
Schaalbare visuele doelnavigatie met foundation models
Autonome robots kunnen steeds beter functioneren in binnenomgevingen, maar het betrouwbaar vinden van een specifiek doel in een onbekende ruimte blijft een grote uitdaging. Een robot die een laptop, document of ander object moet zoeken, moet begrijpen wat hij waarneemt, beslissen waar hij vervolgens naartoe gaat en zich aanpassen aan een omgeving die slechts gedeeltelijk bekend is. In dit proefschrift onderzoekt Bangguo Yu visual target navigation, een probleem op het snijvlak van perceptie, kaartopbouw, redeneren en autonome besluitvorming.
Yu ontwikkelt een modulair navigatiekader dat zich uitstrekt van zoeken met één robot tot samenwerking tussen meerdere robots. Eerst toont hij aan dat reinforcement learning de verkenning kan verbeteren door semantische kaarten te combineren met frontier-based exploration. Vervolgens laat Yu zien dat large language models bruikbare commonsensekennis kunnen leveren voor objectzoektochten, zonder dat daarvoor kostbare taakgerichte training nodig is. Daarna breidt hij de navigatietaak uit van eenvoudige objectcategorieën naar rijkere taalbeschrijvingen, zodat robots ook doelen kunnen vinden die worden omschreven met eigenschappen of ruimtelijke relaties.
Verder stelt Yu een multi-robotbenadering voor waarin meerdere robots informatie delen en het zoekproces efficiënter verdelen. Ten slotte onderzoekt Yu privacy-aware navigatie, zodat robots routes kunnen kiezen die blootstelling in gevoelige of drukke omgevingen beperken. De resultaten laten zien dat de combinatie van mapping, taalgebaseerd redeneren, vision-language models en samenwerking leidt tot robotnavigatie die efficiënter, flexibeler en beter toepasbaar is in de praktijk.
Bangguo Yu voerde zijn onderzoek uit bij het Engineering and Technology institute Groningen (ENTEG), afdeling Discrete Technologie en Productie Automatisering, met financiering van het Chinese Scholarship Council. Hij vervolgt zijn loopbaan als postdoc bij deze universiteit.