Inscrutable systems, tangible harms

Onbegrijpelijke systemen, tastbare schade: Onderzoek naar de regulering en governance van discriminatie bij algoritmische profilering

Met zijn promotieonderzoek laat Lucas Haitsma zien hoe algoritmen binnen toezicht en handhaving in de publieke sector risico’s op discriminatie kunnen meebrengen — en hoe overheidsorganisaties daar in de praktijk mee omgaan. Zijn onderzoek laat zien hoe organisaties proberen algoritmen verantwoord in te zetten, met aandacht voor zowel regulering als governance, als concrete maatregelen om risico’s te beperken. Deze bevindingen, gebaseerd op empirisch onderzoek, sluiten aan bij de bredere maatschappelijke discussie over hoe de overheid digitaliseert zonder burgers onrecht aan te doen.

In 2018 werd bekend dat duizenden ouders in Nederland ten onrechte waren beschuldigd van fraude door de Belastingdienst. Een belangrijke oorzaak? De onverantwoorde inzet van een algoritmisch profileringssysteem dat op onevenredige wijze ouders met een migratieachtergrond en een lagere sociaaleconomische status selecteerde en bijdroeg aan het onterecht bestempelen van duizenden ouders als fraudeur. Dit schandaal, inmiddels breed bekend als de Toeslagenaffaire, bracht de discriminerende schade aan het licht die kan ontstaan door onverantwoord gebruik van algoritmische profilering binnen toezicht en handhaving.

Haitsma onderscheid in zijn proefschrift drie kernonderdelen. Het eerste onderdeel onderzoekt discriminatierisico’s bij algoritmische profilering en analyseert kritisch het toepasselijke en opkomende Europese regelgevingskader. Het tweede onderdeel richt zich op hoe Nederlandse nationale en uitvoeringsorganisaties dit Europese regelgevingskader operationaliseren en omgaan met de risico’s op discriminatie bij algoritmische profilering. In die zin verschuift de focus van regulering naar de governance van discriminatierisico’s in de context van algoritmische profilering binnen toezicht en handhaving. In het derde onderdeel wordt het onderzoek afgerond door te bezien of het huidige regelgevingskader effectieve risicogovernance waarborgt, of dat aanvullende wetgeving nodig is om bescherming tegen discriminatie te waarborgen.

Proefschrift: https://hdl.handle.net/11370/7c55d92a-9eb5-4a4d-8b18-83457f39c5d9