Impact | Automatische spraakherkenning bij fluisteren

De komende weken introduceren de genomineerden voor de Ben Feringa Impact Award 2025 zichzelf en hun impactvolle onderzoek of project. De winnaars worden 13 mei bekend gemaakt. Deze week: Igor Marchenko en het onderzoek voor het verbeteren van spraakherkenning bij fluisteren.

Wie ben je?

Mijn naam is Igor Marchenko en ik kom oorspronkelijk uit Kaliningrad— de meest westelijke stad van Rusland. Ik heb een master in Speech Technology en doe momenteel als promovendus onderzoek naar Friese spraaktechnologieën aan Campus Fryslân, in het kader van het ‘Melodies of the North’ project  

Het opgroeien  in een taalkundig gezien unieke omgeving zorgde ervoor dat ik  geïnteresseerd raakte in hoe taal de identiteit vormgeeft. Hierdoor kwam ik terecht in de Nederlandse meertalige omgeving, en met name in Friesland, waar ik mijn interesse voor techniek combineer met betekenisvol werk op het gebied van taalbehoud. Mijn onderzoek naar fluisteren leerde me hoe we technologie kunnen aanpassen aan taalkundige diversiteit, in plaats van dat sprekers zich moeten aanpassen.

Kun je uitleggen wat het onderzoek inhoudt?

Mijn onderzoek gaat over het verbeteren van de automatische herkenning van fluisteren, iets waar systemen momenteel nog niet zo goed in zijn. Fluisteren verandert de klank van spraak  enorm en aangezien de meeste systemen enkel getraind zijn op normale spraak, slagen ze er vaak niet in om te herkennen wat er wordt gefluisterd. Ik wilde een manier ontwikkelen om deze systemen flexibeler te maken zonder dat ik grote hoeveelheden opnames van gefluister zou hoeven te verzamelen. Daarom heb ik een trainingsmethode ontwikkelt die het systeem helpt om te wennen aan de soorten verschillen die ontstaan als iemand fluistert.

Door het systeem te leren welke delen van de spraak het meest beïnvloed worden door fluisteren, leert het om meer uit te gaan van de resterende, stabiele geluiden en de ontbrekende zaken te voorspellen. Hierdoor wordt het systeem beter in het begrijpen van fluisteren, zelfs op basis van zeer weinig data.

Wat maakt het onderzoek impactvol?

Dit onderzoek draagt bij aan het groeiende begrip dat spraaktechnologieën een grotere variëteit aan gebruikers en communicatiesituaties moeten accommoderen. Fluisteren komt vaker voor dan je denkt— het speelt een cruciale rol in omgevingen waar privacy, gezondheid of sociale factoren het stemvolume beperken. Mensen die herstellen van stemverlies of leven met een spraakbeperking zijn misschien afhankelijk van fluisteren als hun belangrijkste manier van communiceren. Toch slagen bestaande systemen er vaak niet in om dit effectief te verwerken.

Mijn werk toont aan dat we deze gebruikers zelfs met beperkte data kunnen ondersteunen door  modellen gerichter te trainen. Deze aanpak biedt ook mogelijkheden voor andere contexten met weinig middelen voorhanden, zoals regionale talen of onconventionele spraakpatronen. Door de aanname dat “standaard spraak” de norm is ter discussie te stellen, zet mijn onderzoek aan tot meer mensgerichte technologie.

Wat was je persoonlijke motivatie voor het onderzoek?

Ik heb altijd al interesse gehad in spraak in al zijn vormen, of dit nu dialecten zijn, of accenten, of verschillende manieren van spreken zoals fluisteren. Fluisteren leek mij een interessante uitdaging: het laat zien hoe vaak we bepaalde vocale hints als vanzelfsprekend zien en hoe snel systemen vastlopen wanneer deze hints verdwijnen. Het werken aan dit onderwerp heeft me geleerd hoe waardevol een taalkundig perspectief kan zijn in technologie, helemaal wanneer het gaat om niet-gestandaardiseerde input. Het bevestigde mijn idee dat we ons zouden moeten concentreren op het verbeteren van de technologie om de natuurlijke diversiteit van menselijke stemmen beter te kunnen herkennen en verwerken, in plaats van te verwachten dat mensen hun spraak aanpassen om beter te kunnen worden begrepen door machines. Dit principe is ook nu nog leidend bij mijn onderzoek naar het Fries.