Promotie Xiyuan Gao

We zijn verheugd te kunnen aankondigen dat Xiyuan Gao op 11 juni 2026 haar proefschrift 'Toward pragmatic inference in machines: relation-aware multimodal modeling of sarcasm in conversation' zal verdedigen in het Auditorium van Campus Fryslân, Wirdumerdijk 34, 8911 CE Leeuwarden.

Het is mogelijk om de verdediging online te volgen via de livestream.

Programma:

• 10:30 - Lekenpraatje

• 11:00 - Promotie

Computers en het begrijpen van sarcasme

Menselijke communicatie draait om meer dan alleen woorden. Een zin als ‘Bedankt dat je op tijd bent’ kan oprecht zijn, maar ook sarcastisch bedoeld wanneer iemand te laat komt. Xiyuan Gao onderzocht hoe computers zulke verborgen betekenissen beter kunnen begrijpen. Sarcasme dient daarbij als voorbeeld van een bredere uitdaging: taaltechnologie leren omgaan met situaties waarin de letterlijke woorden niet genoeg zijn. Het doel is mensgerichtere systemen te ontwikkelen die niet alleen verwerken wat mensen zeggen, maar ook beter begrijpen wat zij bedoelen.

Mensen herkennen sarcasme door woorden te combineren met toon, gezichtsuitdrukking, lichaamstaal en context. Huidige taaltechnologie steunt echter nog vooral op tekst. Gao onderzoekt daarom hoe tekst, audio en visuele signalen samen kunnen worden gebruikt in computermodellen om communicatieve bedoeling beter te interpreteren, ook bij verschillende sprekers en talen.

De resultaten tonen aan dat stemgeluid op zichzelf al belangrijke aanwijzingen geeft voor sarcasme. Ook werkt het combineren van tekst, audio en visuele informatie beter wanneer modellen leren hoe deze signalen samenwerken, in plaats van simpelweg meer data toe te voegen. Daarnaast laat een nieuwe Mandarijnse multimodale sarcasmedataset zien dat systemen die vooral op Engels zijn getraind, aangepast moeten worden om betekenis in andere talen betrouwbaar te begrijpen.

Benieuwd naar het hele proefschrift? Deze valt hier te lezen.