Autonome systemen moeten eerlijker en democratischer worden

Autonome systemen die gebruikmaken van AI zijn overal, van een Google-zoekopdracht tot slimme verkeerslichten. Maar voorzichtigheid is geboden, benadrukt filosoof Herman Veluwenkamp. ‘Er is bij de ontwikkeling van autonome systemen nog te weinig aandacht voor de vraag of ze wel eerlijke keuzes maken, en er is vaak geen democratische controle.’ Daar wil hij met een waarderingsmodel verandering in brengen.

_{Tekst: Thomas Vos, Corporate Communicatie RUG / Foto’s: Henk Veenstra}

‘Jarenlang werkte ik in de IT. Ik ontwikkelde software voor grote bedrijven in de telecomsector. We hadden het weleens over ethische bezwaren, maar dat bleef beperkt tot een gesprek bij de koffiemachine. Daarna ging ik gewoon door met mijn werk,’ vertelt Veluwenkamp. ‘De gebruikers hadden helemaal geen controle over hoe hun data door ons werden gebruikt.’ En dat zat hem steeds vaker dwars.

Radicale keuze

Veluwenkamp, nu twee jaar universitair docent bij de Faculteit Wijsbegeerte, maakte een radicale keuze: hij liet de IT-wereld achter zich en ging filosofie studeren bij de RUG. Een researchmaster volgde en in 2020 promoveerde hij. De vraag die hem tot op de dag van vandaag achtervolgt: hoe zorgen we ervoor dat autonome systemen eerlijke keuzes maken en hoe versterken we de controle van burgers hierover?

Brug tussen filosofen en technici

In zijn onderzoek probeert Veluwenkamp twee zaken aan elkaar te verbinden: ‘Enerzijds hoe we moeten nadenken over belangrijke waarden zoals eerlijkheid. Eerlijkheid kan veel verschillende definities hebben die met elkaar kunnen botsen. Neem een sollicitatiesysteem: is het eerlijk als alle kandidaten exact hetzelfde proces doorlopen, of juist als het systeem rekening houdt met achtergestelde posities om kansen te corrigeren? Je moet goed kijken naar de context waarin je het concept toepast. En anderzijds: hoe geef je dit een plek in de ontwikkeling en toepassing van autonome systemen? Ik probeer daarmee echt een brug te slaan tussen filosofen en technici.’

Hoge urgentie

Veluwenkamp richt zich bewust op autonome systemen. Volgens hem is de urgentie daar het hoogst vanwege het zelfstandig opererende en ondoorzichtige karakter: ‘Voor veel mensen is het moeilijk om te begrijpen hoe autonome systemen precies werken. We zijn daardoor geneigd allerlei eigenschappen toe te schrijven aan die systemen die zij eigenlijk niet hebben. Omdat ze autonoom lijken te opereren, denken we dat ze ook neutraal en eerlijk zijn. Maar dat is een misverstand. Juist de publieke organisaties zoals gemeentes zouden daar kritisch over moeten nadenken.’

Meer dan een technische keuze

De ontwikkeling en toepassing van autonome systemen is namelijk niet alleen een technische kwestie, benadrukt Veluwenkamp: ‘We hebben invloed op hoe eerlijk of oneerlijk de systemen opereren, en daar moeten we verantwoording over kunnen afleggen. Daar ontbreekt het nu echt nog aan. Ik merk het bijvoorbeeld in de Ethische Commissie Data en Technologie van de gemeente Groningen, waarvan ik lid ben. De aanbesteding en inrichting van autonome software worden vaak als technische keuzes gezien. Dat zijn het natuurlijk ook, maar tegelijkertijd betreffen het politieke en morele keuzes. Ik kan me voorstellen dat iemand van GroenLinks-PvdA heel andere eisen zou willen stellen aan software dan iemand van de PVV.’

Slimme verkeerslichten

Veluwenkamp werkt daarom aan een model voor democratische controle bij autonome systemen. Dit doet hij aan de hand van een casestudy over slimme verkeerslichten, mogelijk gemaakt met steun van het SIDN-fonds: ‘Die verkeerslichten nemen met behulp van camera’s allerlei beslissingen die ons direct raken. Of een fietser bijvoorbeeld door mag als het regent, een suikerbietenvrachtwagen voorrang krijgt in het suikerbietenseizoen, noem maar op. Op dit moment is het voor mij als buitenstaander onduidelijk hoe die verkeerslichten beslissingen nemen en op basis waarvan. Ook kun je er als burger niet makkelijk bezwaar tegen maken, en is er geen politieke verantwoording over afgelegd. Er is geen democratische controle, we weten niet hoe eerlijk die systemen opereren. Ik denk overigens dat het voor heel veel autonome systemen geldt. Denk maar aan de toeslagenaffaire. Dat intrigeert mij, juist omdat zulke systemen zoveel mensen raken,’ aldus Veluwenkamp.

Waarderingsmodel

Het model beoordeelt de democratische controle van autonome systemen aan de hand van sterren, legt Veluwenkamp uit: ‘Het model beschrijft voorwaarden waaraan autonome systemen moeten voldoen en kent daaraan sterren toe, van een tot en met vijf. Hoe meer democratische controle, hoe meer sterren. Een hogere score kun je bereiken door burgers bijvoorbeeld de mogelijkheid te geven om bezwaar te maken, inzicht te bieden in de waarden waarop een systeem gebaseerd is en naar hun mening te vragen in burgerpanels. Uiteindelijk is het de bedoeling dat het model breed toepasbaar is door publieke organisaties.’

Samenwerking

Veluwenkamp probeert ook meer bewustzijn te creëren door de samenwerking met andere faculteiten op te zoeken: ‘Samen met onderzoekers van de Faculteit der Letteren die taalmodellen bestuderen, heb ik workshops gegeven voor een breder publiek. De vraag daarbij was hoe we als samenleving moeten nadenken over de ethische gevolgen van het gebruik van ChatGPT. De onderzoekers van Letteren konden meer vertellen over de techniek achter het taalmodel, ik bood een ethisch perspectief.’ Ook werkt hij samen met Nynke Vellinga van de Faculteit Rechtsgeleerdheid. Veluwenkamp: ‘Zij onderzoekt juridische aansprakelijkheid bij zelfrijdende auto’s. Hoe vertalen we democratische controle naar het recht? Dat is heel waardevol.’

De samenwerkingen met andere faculteiten kwamen tot stand dankzij de Jantina Tammes School of Digital Society, Technology and AI, waar Veluwenkamp sinds dit jaar Jantina Tammes Scholar is. De Jantina Tammes School brengt onderzoekers samen die zich met dezelfde thema’s bezighouden, maar een andere achtergrond hebben.

Meer informatie

• Herman Veluwenkamp
• Persoonlijke website