Francesco Possemato is gefascineerd door de ‘rommeligheid’ van gesprekken

Communicatiehulpmiddelen zijn onmisbaar voor mensen met spraakstoornissen. Maar de huidige technologie schiet tijdens gesprekken vaak tekort. Kunstmatige intelligentie biedt mogelijk een uitkomst, vertelt Francesco Possemato, RUG-onderzoeker en JTS Scholar. In deze aflevering van onze serie vertelt hij over zijn onderzoek en de ontwikkeling van nieuwe communicatiehulpmiddelen.

Tekst: Jelle Posthuma

De rommeligheid van gesprekken staat in schril contrast met de ‘vreselijke’ grammaticaboeken die Possemato op de universiteit las, waarin correct taalgebruik centraal stond. ‘Deze boeken schrijven voor hoe dingen zouden moeten. Terwijl het in ons dagelijks leven juist draait om rommelige interacties. Er gaat veel mis, maar vaak weten we problemen flexibel op te lossen terwijl het gesprek zich ontvouwt. Juist die rommeligheid en het proces van probleemoplossen vind ik fascinerend.’

Zijn expertisegebied is gespreksanalyse. In de praktijk betekent dit dat hij urenlang gesprekken opneemt, die hij vervolgens uitwerkt en analyseert. Possemato betrekt ook non-verbale communicatie, zoals gebaren en houding, in zijn analyses. ‘Het is eigenlijk een soort forensisch onderzoek. Ik kijk met name naar problemen in interacties: hoe herkennen mensen problemen in een gesprek en hoe lossen ze die op?’

Wat maakt ons mens?

In zijn onderzoek zoekt Possemato naar universele aspecten van menselijke taal. Hij is momenteel betrokken bij een project gefinancierd door de Australian Research Council, gericht op een breed scala aan talen, van Japans tot inheems Australisch. Volgens de onderzoeker is het vermogen van mensen om problemen op te lossen zo’n universele eigenschap. ‘Er zijn andere primaten die “problemen” oplossen tijdens interacties, zoals een babybonobo die gebaren gebruikt om de aandacht van zijn moeder te trekken. Maar mensen hebben het unieke vermogen om te reflecteren op hun eigen taal en die te verbeteren.’

Dit maakt menselijke taal adaptief, zegt Possemato. ‘Een goed voorbeeld is: “Ik bedoelde niet Robert, maar James.” Zo worden interacties hersteld. Er zijn grote culturele verschillen tussen talen, maar als we taal ontdoen van alle grammatica, blijkt dat er opvallende overeenkomsten zijn. De manier waarop we interacties organiseren, begrijpen en herstellen, is opmerkelijk consistent.’ Deze mechanismen zijn universeel, benadrukt de onderzoeker. ‘En dat is wat ons mens maakt.’

Ondersteuning bij spraakstoornissen

Een opvallende overeenkomst in interacties is de korte pauze die mensen nemen tussen beurten in een gesprek. ‘In bijna elke taal is er ongeveer een halve seconde stilte tussen beurten.’ Mensen die vanwege een spraakstoornis communicatiemiddelen moeten gebruiken, nemen vaak veel langere pauzes, omdat ze bijvoorbeeld letters of afbeeldingen moeten selecteren om te communiceren.

Possemato analyseert de problemen die deze systemen veroorzaken tijdens interacties. Met ondersteunende communicatiemiddelen kunnen de pauzes tussen beurten variëren van 20 seconden tot meerdere minuten, vertelt de onderzoeker. Een gesprekspartner kan de stiltes opvullen, wat de natuurlijke beurtwisseling van een interactie verstoort. ‘Dit beïnvloedt het begrip en de gedeelde basis van een interactie; het wordt moeilijk om elkaar te begrijpen.’ De gevolgen kunnen groot zijn: ‘In de meest extreme gevallen worden mensen uitgesloten van fundamentele sociale activiteiten, van alledaagse gesprekken tot toegang tot basisvoorzieningen, zoals onderwijs.’

In zijn onderzoek richt Possemato zich specifiek op mensen met dysartrie en ALS. Het gebruik van AI kan helpen bij het ontwikkelen van nieuwe tools die de essentie van menselijke interacties beter weten te vatten. Samen met prof. Jeff Higginbotham (SUNY at Buffalo) en diens lab werkt hij aan nieuwe technologie op basis van AI. ‘Ik ben natuurlijk geen ingenieur, maar ik kan mijn kennis over gespreksanalyse inzetten voor Augmentative and Alternative Communication (AAC)-systemen.’

Het gebruik van AI kan pauzes verkorten en de opties voor de spreker personaliseren, aldus Possemato. Hij wijst op de taalmodellen die sinds 2023 enorm zijn opgekomen. ‘We hebben grote stappen gezet op het gebied van prosodie – denk aan ritme en intonatie.’ Dit is van groot belang, omdat het samenhangt met de identiteit van een spreker. Net voor de introductie van bekende AI-modellen werkten onderzoekers voornamelijk met acteurs, die bijvoorbeeld het woord ‘oké’ op veertig verschillende manieren moesten uitspreken. ‘Dat kostte veel tijd en geld, terwijl we het nu in vijf seconden kunnen aanpassen met AI.’

Interdisciplinair

Possemato betoogt dat samenwerking tussen ingenieurs, informatici en taalwetenschappers cruciaal is bij de ontwikkeling van nieuwe communicatiemiddelen. ‘Taalwetenschappers zijn getraind om de subtiele elementen van taal en interactie te herkennen. Voor gebruikers kan dit veel belangrijker zijn dan correcte grammatica of het aantal woorden dat een apparaat tot zijn beschikking heeft. Zij willen vooral hun boodschap overbrengen.’ Omgekeerd leert Possemato veel van de ingenieurs: ‘In ons vakgebied zijn we goed in het beschrijven, terwijl ingenieurs zich vooral afvragen: hoe los je een probleem op? Ik heb deze probleemoplossende aanpak geleerd, en dat maakt dit soort samenwerking zo boeiend.’

De interdisciplinaire aanpak en het thema AI sluiten naadloos aan bij het JTS Scholarship. Possemato hoopt via zijn Scholarship de banden tussen disciplines verder te versterken. ‘Ik maak momenteel nog geen deel uit van een netwerk in Groningen. Ik hoop vooral een lokaal netwerk op te bouwen in het noorden op het gebied van AI.’

Volgens de onderzoeker is dit het moment om het potentieel van AI voor nieuwe communicatiemiddelen te benutten. ‘Als wij het niet doen, grijpen Big Tech-bedrijven hun kans.’ Dit zou volgens Possemato grote gevolgen hebben voor de eindgebruiker. Hij noemt het onwaarschijnlijk dat grote bedrijven kiezen voor een open-sourcebenadering. ‘Wij doen dat wel, wat betekent dat de technologie voor iedereen toegankelijk blijft.’