Hoe AI betekenis geeft: ‘We weten niet precies hoe de interpretatie tot stand komt’

Digitale communicatie draait niet alleen om tekst. Ook niet-verbale expressies spelen een grote rol. Janina Wildfeuer, universitair hoofddocent aan de Faculteit der Letteren, doet onderzoek naar deze ‘multimodaliteit’ van digitale communicatie. In de derde aflevering van onze serie over de JTS Scholars legt ze uit hoe kennis op dit gebied onder andere kan helpen bij het opsporen van online nepnieuws.

Tekst: Jelle Posthuma

Wildfeuer onderzoekt multimodaliteit: de interactie tussen verbale en niet-verbale uitingen, zoals beelden, video’s, gebaren en gezichtsuitdrukkingen. De Groningse onderzoeker richt zich vooral op digitale communicatie. ‘Ik kijk bijvoorbeeld naar sociale media, waar foto’s, gifs en animaties een belangrijke rol spelen.’ Wildfeuer noemt deze uitingen ‘artefacten’. ‘Mijn interesse ligt bij fundamentele vragen over hoe betekenis ontstaat door zulke artefacten: hoe wordt betekenis geconstrueerd wanneer taal niet de enige factor is – of zelfs helemaal ontbreekt?’

‘Grey box’

Kunstmatige intelligentie (AI) speelt een steeds grotere rol in dit onderzoek. De universitair hoofddocent kijkt naar hoe AI-systemen omgaan met multimodaliteit. ‘Taalmodellen zoals ChatGPT werken vooral met geschreven tekst. Maar we kunnen het systeem ook vragen om beelden te interpreteren of zelfs niet-verbale artefacten te genereren.’ Toch is nog veel onduidelijk over hoe die interpretaties en door AI gemaakte beelden tot stand komen. ‘Onderzoek naar multimodaliteit is nog relatief jong. In vergelijking met taal is er weinig geannoteerde data beschikbaar over hoe beelden functioneren, dus hoe betekenis wordt opgebouwd.’

Het annoteren van data over niet-verbale artefacten is een complex en tijdrovend proces, benadrukt Wildfeuer. Door deze beperkte kennis begrijpen we nog niet volledig hoe AI-systemen betekenis toekennen. ‘Beelden kunnen veel verschillende dingen betekenen; het interpretatiebereik is veel breder dan bij verbale data – en niet al die interpretaties zijn al gecodeerd. Bovendien spelen context en perspectief een cruciale rol.’ Daarom blijven AI-systemen voorlopig een soort ‘grey box’, aldus de onderzoeker. ‘We weten niet precies hoe de interpretatie tot stand komt en of die in een bepaalde situatie juist is. Dat kan leiden tot ongewenste effecten, zoals discriminatie of bias.’

Om de fundamentele kennis over multimodaliteit in AI-systemen uit te breiden, wil Wildfeuer samenwerken met onderzoekers uit andere faculteiten. Het Scholarship bij de Jantina Tammes School biedt daarvoor een uitgelezen kans. ‘Met onze onderzoeksgroep zijn we stevig geworteld in de Faculteit der Letteren. Maar we willen ons perspectief verbreden en de verbinding maken met collega’s uit andere disciplines. Binnen de RUG is er bijvoorbeeld nog weinig samenwerking met onderzoekers die werken aan het genereren of interpreteren van beelden met AI.’

Nepnieuws detectie

Naast fundamentele inzichten, waar de onderzoeksgroep van Wildfeuer zich vooral op richt, is er ook altijd een toegepaste invalshoek. Een concreet voorbeeld is het opsporen van nepnieuws, legt ze uit. Ze verwijst naar een nepnieuwsincident in Chinese media: ‘Een paar jaar geleden circuleerden er online beelden van een grote brand in een imposant gebouw in Frankrijk. Het verhaal luidde dat de nationale bibliotheek in Marseille in brand was gestoken door relschoppers. Maar dat bleek helemaal niet te kloppen: de beelden toonden een gebouw aan de andere kant van de wereld. Toch namen verschillende grote nieuwssites in China het verhaal over en droegen zo bij aan de verspreiding van nepnieuws.’

Samen met haar collega’s werkt Wildfeuer aan een project over nepnieuws op TikTok of Douyin, de Chinese variant van TikTok. Met een grote verzameling video’s die nepnieuws verspreiden, wil het team onderzoeken of het mogelijk is een AI-tool te ontwikkelen die automatisch nepnieuws kan opsporen. ‘Daarvoor is het cruciaal precies te begrijpen hoe (bewegende) beelden werken: welke inserts worden gebruikt, welke voice-overs worden toegepast en of bijvoorbeeld bepaalde geluidseffecten een rol spelen. Dit samenspel bepaalt de betekenis van een artefact. We analyseren de video’s nu handmatig en gebruiken onze resultaten om een AI-tool te trainen, zodat die deze elementen uiteindelijk zelfstandig kan herkennen en interpreteren.’

De universitair hoofddocent wil ook mensen buiten de universiteit bij het project betrekken. ‘Om te begrijpen hoe deze video’s worden ontvangen, moeten we aandacht hebben voor de gebruiker. Tot nu toe is daar nog weinig onderzoek naar gedaan. Wij willen dit aanpakken door workshops te organiseren en korte enquêtes af te nemen. Zo kunnen we de gebruikerservaringen verbinden met onze analytische resultaten en beoordelen in hoeverre onze interpretaties overeenkomen met wat kijkers daadwerkelijk waarnemen.’

Menselijkheid

Wildfeuer benadrukt dat betekenisgeving uiteindelijk een uniek menselijke eigenschap blijft. ‘AI ontwikkelt zich razendsnel. Maar betekenis toekennen is iets dat specifiek bij ons als mensen hoort. Een tool raadpleegt een database, terwijl wij in staat zijn nieuwe interpretaties te creëren. Uiteindelijk zijn AI-systemen gebaseerd op bestaande data: in zekere zin is het een voortdurend kopieer- en plakproces. Dat is een zeer beperkte vorm van betekenisgeving. Mensen kunnen dieper graven, verbanden leggen en creatief zijn.’

Verbanden leggen en betekenisgeving verkennen is ook het doel van de 12e International Conference on Multimodality (ICOM), die dit jaar naar Groningen komt. Wildfeuer en haar groep organiseren het tweejaarlijkse evenement van 29 tot en met 31 oktober in het House of Connections in Groningen. De conferentie brengt sprekers van over de hele wereld samen. ‘Een aantal grote namen en toonaangevende onderzoeksgroepen op het gebied van multimodaliteitsonderzoek zullen deelnemen met boeiende lezingen, workshops en pitches over het meest recente werk in het veld,’ aldus Wildfeuer. Meer informatie is te vinden op de ICOM-website. De conferentie is toegankelijk voor iedereen; aanmelden kan tot 15 oktober.