‘Vingerafdrukken vertellen het verhaal dat niet in de geschiedenisboeken staat’

Universitair docent Džemila Šero onderzoekt menselijke sporen op objecten met kunstmatige intelligentie (AI) en geavanceerde beeldverwerking. Tijdens een HAICu-bijeenkomst stuitte ze toevallig op een schat aan informatie: de vingerafdrukken op de zegels van middeleeuwse oorkonden in het archief van de provincie Overijssel.

Tekst: Jelle Posthuma

Džemila Šero, universitair docent aan de Universiteit Twente, onderzoekt menselijke sporen op kunstwerken met behulp van AI en geavanceerde beeldverwerking. Tijdens de jaarlijkse HAICu-conferentie gaf ze een keynote over haar werk. Jos Mooijweer, collectiemakelaar bij Collectie Overijssel, zat in het publiek. ‘Na afloop vroeg ze om voorbeelden van archieven met biometrische gegevens, of menselijke sporen,’ vertelt hij. ‘Ik was blij dat ik mijn hand op kon steken, want in ons archief hebben we duizenden vingerafdrukken, achterop de zegels van middeleeuwse akten.’

Met de zegels werden middeleeuwse akten ondertekend – of letterlijk: bezegeld. Hierin werden rechten, bezittingen en afspraken officieel vastgelegd. Door de was stevig in een stempel te drukken om een goede afdruk te krijgen, bleven aan de achterkant van het zegel vingerafdrukken achter. Mooijweer wist al jaren van het bestaan van de akten met vingerafdrukken. ‘Ik heb altijd gedacht: daar kan vast een keer iets moois mee gebeuren.’

Zegels zijn normaal gesproken niet het onderzoeksgebied van Šero. Als engineer aan de UT onderzoekt ze menselijke sporen op kunstwerken – van vingerafdrukken tot penseelstreken en messporen. Met hoge resolutie beeldvorming en CT-scans analyseert ze deze sporen met behulp van AI. Zo bestudeert ze bijvoorbeeld keramische sculpturen uit de collectie van het Rijksmuseum. ‘Onze technologie is niet alleen geschikt voor sculpturen,’ zegt Šero, ‘maar ook voor de zegels.’

Niet gehoorde stemmen

Na de ontmoeting tijdens de HAICu-bijeenkomst bezocht Šero het archief bij Collectie Overijssel. ‘In het archief trof ik een ongelofelijk aantal zegels met afdrukken. Jos kon mij met zijn grote kennis over het archief goed op weg helpen.’ Volgens Mooijweer zijn er diverse vragen te stellen over de vingerafdrukken op de zegels, die dankzij het onderzoek van Šero een antwoord kunnen krijgen. ‘Wie waren er bijvoorbeeld tijdens de bezegeling? Dat lijken misschien wat triviale gegevens, maar die zouden best in combinatie met de inhoud van zo'n akte heel interessant kunnen zijn.’

Mooijweer en Šero benadrukken dat de vingerafdrukken nieuwe inzichten bieden over de netwerken en invloedssferen uit die tijd. Bovendien kunnen de ‘niet gehoorde’ stemmen uit de geschiedenis naar voren worden gebracht, stelt Šero. ‘Bij kunstobjecten proberen we dat ook te achterhalen. Net als wetenschappelijk werk is een kunstwerk vaak teamwork, maar dat zie je niet aan het eindproduct. Met vingerafdrukken kunnen we dat wél zichtbaar maken.’

Het onderzoek geeft volgens haar erkenning aan degenen die eerder geen erkenning kregen. ‘Zijn bijvoorbeeld alle sculpturen door mannen gemaakt, of hebben er ook vrouwen aan het object gewerkt? Dezelfde vraag kunnen we stellen voor de aktes: waren er vrouwen aanwezig bij de bijeenkomsten? Dat zien we niet terug in de documenten, maar misschien wel in de vingerafdrukken.’

Volgens Andreas Weber, universitair hoofddocent aan de Universiteit Twente en wetenschappelijk projectleider van HAICu, sluit dit naadloos aan bij het doel van het onderzoeksproject HAICu. ‘Kunstmatige intelligentie stelt ons in staat om de ‘stille stemmen’ uit de geschiedenis op te sporen,’ legt hij uit. ‘Dat willen we bereiken met HAICu door archieven op een nieuwe manier aan te bieden en doorzoekbaar te maken. Het gaat om de verhalen van mensen die nog niet in de geschiedenisboeken staan.’

Ook de vingerafdrukken spreken Weber aan. ‘De combinatie van vingerafdrukken en tekst sluit heel goed aan bij het idee van HAICu, waarbij multimodaliteit centraal staat. Het gaat niet alleen om tekst uit de archieven, maar ook om beeld, geluid en in dit geval biometrische gegevens. Met behulp van verantwoord ontwikkelde AI kunnen we deze gegevens aan elkaar koppelen.’

Kansen voor regionale instellingen

Technologie als AI biedt grote kansen voor erfgoedinstellingen. ‘Maar voor kleinere, regionale instellingen zijn de ontwikkelingen vaak niet bij te benen’, weet Weber. ‘Bovendien is het nog erg kostbaar.’ HAICu biedt een uitkomst voor regionale instellingen, vervolgt hij. ‘Door samen te werken in het HAICu-project kunnen ook kleinere instellingen in de toekomst gebruikmaken van moderne technologie om collecties beter doorzoekbaar te maken en te ontsluiten.’

Mooijweer beaamt dit: ‘Grote instellingen zoals de Koninklijke Bibliotheek of het Rijksmuseum beschikken vaak wel over de middelen. Als alleen hun collecties worden ontsloten, laten we veel liggen. Dat zou ontzettend jammer zijn – het geeft immers geen volledig beeld van onze geschiedenis.’ Ook Šero is enthousiast over de samenwerking met het regionale archief. ‘Het onderzoek naar de collectie van het Rijksmuseum is fantastisch. Ik zou erg blij zijn als ik met toekomstig onderzoek naar de oorkonden ook kan bijdragen aan het erfgoed van Overijssel, waar mijn eigen universiteit is gevestigd.’

Of het onderzoek naar de vingerafdrukken op de zegels een vervolg krijgt, hangt af van toekomstige financiering. Šero: ‘De volgende stap is het aantrekken van sponsors om de zegels verder te onderzoeken.’ Mooijweer is in ieder geval tevreden over de ontmoeting tijdens de HAICu-bijeenkomst. ‘We weten dankzij HAICu de weg naar elkaar veel makkelijker en eerder te vinden. Zonder die bijeenkomst was het contact met Džemila er nooit gekomen.’

HAICu viert dit jaar haar driejarig bestaan. De volgende HAICu-dag in Utrecht staat gepland op woensdag 25 november 2026, op Neude 11 (Openbare Bibliotheek Utrecht).