De Rijksdienst voor het Cultureel Erfgoed (RCE) heeft een innovatieve stap gezet in het onderzoek naar de Nederlands Kunstbezit-collectie (NK). Het koppelen van NK-objecten aan andere archieven was voorheen een complexe uitdaging, vooral door grote verschillen in metadata, terminologie en taalgebruik tussen de databases. Met behulp van AI realiseerden we koppelingen tussen de NK-collectie en 3 andere datasets:
- meer dan 30.000 foto’s uit de archieven van het Collecting Point München (beheerd door het Deutsches Historisches Museum)
- 1506 foto’s van niet teruggekeerde werken, vermeld op een aangifteformulier
- 4285 foto’s van het CCP Wiesbaden, gepubliceerd op Legacy Explorer – JDCRP
De oplossing
Om dit proces te automatiseren, is een AI-script ontwikkeld dat beeldherkenning in plaats van metadata als basis gebruikt. Het project omvatte twee essentiële fasen:
- Voorbereidende beeldbewerking: Door het inzetten van YOLOv8-modellen zijn kaders rondom kunstwerken verwijderd en zijn composietfoto’s (foto’s met meerdere objecten) automatisch opgesplitst. Dit zorgde voor een hoogwaardige dataset van ruim 100.000 beelden.
- Slimme beeldmatching: Er zijn verschillende AI-modellen getest om afbeeldingen te vectoriseren en te vergelijken. Hierbij bleken ViT-gebaseerde modellen, specifiek dinov2-base, het meest performant in het herkennen van objecten, zelfs in lastige omstandigheden.
Het algoritme boekt indrukwekkende resultaten: bij validatie met een ground truth bleek dat het model in 99% van de gevallen de juiste match kon vinden.
Viewer
Om onderzoekers ondersteuning te bieden, is tevens een intuïtieve validatietool ontwikkeld. Hiermee kunnen experts eenvoudig de voorgestelde matches inzien, verifiëren en definitief bevestigen.
Dit project toont aan hoe moderne AI-technieken archiefonderzoek kunnen versnellen en verrijken, waardoor waardevolle informatie over de herkomst van NK-objecten voor de toekomst toegankelijker wordt.