Hoe kan AI mensen met taalstoornissen helpen hun spraak te vinden?

Een kopje koffie bestellen in dat leuke nieuwe winkeltje op de hoek: de meesten van ons doen dat zonder erbij na te denken. Maar voor mensen met taalstoornissen (zoals afasie) kan het een behoorlijke opgave zijn. Wat als AI-gestuurde modellen deze mensen zouden kunnen ondersteunen, bijvoorbeeld met een smartphone-app? Onderzoeker computationele taalkunde Frank Tsiwah onderzoekt verschillende mogelijkheden om dit te verwezenlijken. ‘Al zou het ook maar één leven beter maken, dan is het al de moeite waard.’

_{Tekst: Thomas Vos, Corporate Communicatie RUG / Foto’s: Henk Veenstra}

De opkomst van door AI aangestuurde grote taalmodellen (zoals ChatGPT) zette Tsiwah aan het denken. ‘Ik vroeg me af: waarom kunnen we de architectuur van grote taalmodellen niet gebruiken om mensen met aandoeningen als afasie te helpen? In wezen doen deze modellen niets anders dan woorden voorspellen. Dat is precies waar patiënten met afasie moeite mee hebben: de juiste woorden vinden in een bepaalde context, bijvoorbeeld wanneer ze koffie bestellen in een café,’ legt Tsiwah uit.

Achtergrond

Tsiwah, onderzoeker computationele taalkunde aan de Faculteit der Letteren, behaalde zijn bachelordiploma taalkunde in Ghana, waar hij vandaan komt. Tijdens zijn studie kwam hij in contact met een ngo die als doelstelling heeft om kinderen met spraak- en taalstoornissen te helpen, en meldde hij zich aan als vrijwilliger. ‘Toen raakte ik geïnteresseerd in het klinische aspect van taalkunde.’ Daarna volgde een master in klinische taalkunde in Groningen, en toen er een promotieplaats vrijkwam aan de Faculteit der Letteren, wist hij dat dit de juiste keuze voor hem was.

Afasie

In zijn onderzoek heeft Tsiwah tot nu toe veel aandacht besteed aan afasie. ‘De klassieke definitie van afasie is dat het een taalstoornis is die het gevolg is van een focale hersenbeschadiging, meestal veroorzaakt door een beroerte. Van de mensen die worden getroffen door een beroerte, krijgt dertig procent afasie. Alleen al in Nederland zijn er jaarlijks tienduizend nieuwe gevallen van afasie. Bij afasie raak je je vermogen om taal te gebruiken kwijt. Een van de belangrijkste symptomen is dat je moeite hebt om de juiste woorden te vinden, iets wat ook te zien is bij mensen met dementie of soortgelijke aandoeningen.’

Vloeiend en niet-vloeiend

Afasie kan grofweg worden onderverdeeld in vloeiend en niet-vloeiend. Tsiwah: ‘Bij vloeiende afasie, met name het type van Wernicke, spreek je vloeiend, maar wat je zegt slaat nergens op. Mensen met vloeiende afasie kunnen bijvoorbeeld over hun vakantie beginnen als je vraagt hoe hun ochtend was. Bovendien verzinnen mensen met dit type afasie woorden die niet bestaan en proberen ze de woorden die ze niet kunnen vinden te omzeilen. Patiënten met niet-vloeiende afasie daarentegen begrijpen de dingen die gezegd worden vaak heel goed, maar hun zinsbouw is erg gefragmenteerd. In plaats van ‘Ik wil een kop koffie’ zeggen ze bijvoorbeeld ‘Wil kop koffie’.’

Een brug slaan

In zijn huidige onderzoek, waarvoor hij in 2025 een NWO Veni-beurs ontving, probeert Tsiwah een door AI aangestuurd groot taalmodel te bouwen om patiënten met afasie te helpen. ‘De behandeling bestaat er momenteel uit om patiënten te helpen de juiste woorden binnen een specifieke context te vinden, zoals het benoemen van afbeeldingen. Maar hoe vertaalt zich dit naar dagelijkse gesprekken, waarin spraak vloeiender en spontaner is? Ik wil een brug slaan met behulp van een tool, bijvoorbeeld een app op je mobiele telefoon, die kan worden gebruikt voor normale gesprekken in alledaagse situaties. Deze tool moet spraak kunnen herkennen en begrijpen, deze kunnen transcriberen en, als er een aanzienlijk lange pauze in het gesprek valt, mogelijke woorden kunnen voorspellen die zouden kunnen volgen en deze suggereren, bijvoorbeeld via een oortje of als tekst op je smartphone. Als een dergelijke tool wordt gemaakt, is het natuurlijk belangrijk dat de gegevens lokaal kunnen worden opgeslagen en dat gebruikers de mogelijkheid hebben om deze in bepaalde contexten in en uit te schakelen.’

Grote taalmodellen

Is het mogelijk om een door AI aangestuurd groot taalmodel te verfijnen dat ontbrekende woorden kan voorspellen? Tsiwah denkt van wel, maar het zal niet eenvoudig zijn. Hij legt uit: ‘Het basisprincipe van grote taalmodellen is het voorspellen van woorden. Dit kunnen ze doen met honderdduizenden woordcombinaties. De huidige modellen, zoals ChatGPT, zijn echter getraind met behulp van vloeiende taal die afkomstig is uit boeken, het internet en andere bronnen. Ze lopen dan ook vast wanneer ze geconfronteerd worden met gefragmenteerde spraak. Het is mijn bedoeling om helemaal terug te gaan en een groot taalmodel te leren om gefragmenteerde, afatische taal te begrijpen. Op die manier zou het model kunnen leren hoe het het beste de juiste woorden kan voorspellen voor iemand met afasie.’

Proefprojecten

Tsiwah heeft al veelbelovende proefprojecten uitgevoerd met behulp van grote, open-source taalmodellen die al waren getraind aan de hand van miljarden teksten. Vervolgens heeft hij die modellen verfijnd om de taal van mensen met afasie te begrijpen en ze speciaal af te stemmen op een bepaalde taak. ‘Een zin als ‘Ik wil een kopje koffie’ is al miljoenen keren gezegd. Wanneer een patiënt met afasie zegt: ‘Ik wil een kopje...’, kan het model het woord ‘koffie’ voorspellen. Maar het is natuurlijk belangrijk dat het model de context kent waarin deze zin wordt uitgesproken.’

Taalsystemen helpen trainen

Het doel van Tsiwah met dit onderzoek is duidelijk. ‘Voor wat betreft de Veni-subsidie kan ik geen kant-en-klaar product beloven. Dat wordt de volgende stap. Voorlopig wil ik me richten op het onderzoek en het slaan van de bruggen voor het ontwikkelen van een dergelijke tool. Het moet ook geen tool worden die altijd alles voor patiënten voorspelt. Het is bedoeld om hen te helpen hun taalvermogen te trainen in de vroege stadia van hun aandoening.’

Meer richtingen

Het verfijnen van grote taalmodellen is niet de enige richting die Tsiwah onderzoekt. Hij verkent momenteel ook de mogelijkheden van elektromyografie (EMG), een techniek waarbij spieractiviteit wordt gemeten met behulp van sensoren. Tsiwah: ‘De laatste jaren is er meer belangstelling voor de potentiële toepassingen van deze technologie voor mensen met spraakstoornissen, bijvoorbeeld voor mensen die hun strottenhoofd (larynx) hebben verloren als gevolg van kanker. Wat nu als we sensoren zouden plaatsen op de spraakspieren die nog intact zijn en we, terwijl ze spreken (zonder stemgeluid), een model zouden gebruiken dat al getraind is om woorden te herkennen aan de hand van de informatie in de spieren, om zo te achterhalen wat deze persoon probeert te zeggen. Dit zou dan via een luidspreker omgezet kunnen worden in een hoorbare stem.’

Convergerende technologieën

Tsiwah hoopt dat deze verschillende onderzoekstrajecten in de toekomst zullen samenkomen. Hij vervolgt: ‘Ik weet nog niet precies hoe deze onderzoekslijnen zullen samenkomen, maar ik kan me voorstellen dat een AI-model dat gebruikmaakt van context om volgende woorden voor te stellen, kan worden gecombineerd met een ander model dat spraakspieractiviteit leest om te decoderen wat mensen wilden zeggen zonder het uit te spreken. Deze combinatie kan mensen met spraak- en taalstoornissen als gevolg van een hersenbeschadiging of strottenhoofdkanker weer een stem geven. Dat is mijn visie voor de toekomst. Het is hard werken, maar de mensen die ik hiermee kan helpen, zijn mijn motivatie. Als het ook maar één leven kan verbeteren, is het de moeite waard.’

Meer informatie

Frank Tsiwah