Publicatie:Verslag Studiedag 'Cultureel erfgoed analyseren en ontsluiten met artificiële intelligentie'
Op vrijdag 25 maart 2022 organiseerde VAIA (de Vlaamse AI Academie) in de KBR een studiedag over artificiële intelligentie (AI) in de culturele erfgoedsector.
AI-interpretatie van kunst
In zijn keynotelezing gaf professor emeritus Luc Steels van het AI-lab aan de VUB inzicht in de werking van artificiële intelligentie. AI kent volgens de professor twee verschillende methodieken. Enerzijds probeert men problemen op te lossen aan de hand van wetenschappelijke en computertechnieken. Anderzijds probeert men de mechanismen van menselijke intelligentie te begrijpen door computerwetenschappelijke experimenten.
Om dit verder uit te diepen verwees hij naar het boek Thinking, fast and slow van Daniel Kahneman, waarin een onderscheid wordt gemaakt tussen reactieve en deliberatieve intelligentie. Reactieve intelligentie is vlug een antwoord of oplossing kunnen bieden zonder daarover te moeten nadenken, hetzij door ervaring, ontwerp, compilatie of inductie. Numerieke AI werkt zoals reactieve intelligentie.
Deliberatieve intelligentie is zoals nadenken, op basis van rijke modellen en interferentie, door constructie en inductie, zoals symbolische AI werkt.
Om symbolische AI te duiden werd dan weer gerefereerd naar het onderzoek van Erwin Panofsky die in elk narratief zes niveaus detecteerde: het materieel en sensorieel niveau, het motivationeel niveau, het feitelijk niveau, het expressief niveau, het cultureel niveau en het intrinsiek niveau.
De principes van AI werden verder geïllustreerd aan de hand van de analyse van schilderijen in de tentoonstelling La Pelle van Luc Tuymans. Deze AI-analyse werd vorig jaar nog geduid in de tentoonstelling Secrets. AI and Luc Tuymans in Bozar. Zie ook hier.
Luc Steels illustreerde hoe je met visual processing-, semantic processing-, alignment-AI-technieken en tal van andere AI-processen het werk van Tuymans kunt analyseren. Om dat te doen zijn er zowel visuele als semantische processen nodig.
Steels is ervan overtuigd dat als we alle kennis over een kunstwerk in een systeem kunnen gieten, dat we dan niet alleen het werk bewaren, maar ook de wijze waarop de kunstenaar het werk heeft bedoeld, en hoe men dat werk op een bepaald moment in de geschiedenis heeft geïnterpreteerd.
Volgens professor Steels staat AI nog steeds ver van de mogelijkheden van menselijke interpretatie, maar laat het toenemend aantal semantische bronnen toe om met AI steeds verder te gaan in de AI-interpretatie van kunst.
Voorbeelden uit de erfgoedsector
Professor Aleksandra Pizurica (Universiteit Gent) ondersteunde met haar onderzoek rond beeldtechnieken de restauratie van het Lam Gods van de gebroeders Van Eyck. Ze illustreerde hoe je met diverse beeldtechnieken meer over een schilderij te weten kan komen en hoe je daarmee verschillende processen kan dienen.
Dankzij de AI-beeldtechnieken slaagde men er niet alleen in om te detecteren waar vroeger verfverlies werd gerestaureerd. Men slaagde er ook in om verfverlies van craquelé te onderscheiden en het werk virtueel te restaureren. De virtuele restauratie verschilde uiteindelijk niet veel van de effectieve restauratie, uitgevoerd door het restauratieteam van KIK/IRPA. Op basis van een ‘dictionary’ aan patronen is het volgens de professor ook mogelijk om een schilder te identificeren.
In een derde bijdrage duidden de professoren Ann Dooms en Tan Lu (VUB) de wijze waarop complexe bladspiegels door middel van AI kunnen worden gestructureerd. Een belangrijke voorwaarde voor het geautomatiseerd kunnen lezen van teksten.
Dr. Yoeri Uyttendaele (KU Leuven) demonstreerde dan weer hoe het werk van de Vlaamse polyfonisten, moeilijk te lezen voor de modale muzikant, geautomatiseerd kan worden getranscribeerd naar eigentijdse muzieknotaties. Hierdoor is het niet alleen mogelijk om het muzikaal erfgoed te digitaliseren, maar ook om (net als bij het onderzoek van professor Pizurica) muzikale patronen te herkennen en dus polyfonisten te identificeren, evenals digitaal te restaureren.
Professor Toon van Waterschoot (KU Leuven) illustreerde ten slotte hoe men met behulp van AI de akoestiek van complexe ruimtes zoals kathedralen aan de hand van wiskundige modellen in beeld kan brengen.
AI in de VKC
Ook de Vlaamse Kunstcollectie is de weg van de artificiële intelligentie ingeslagen. Samen met GhentCDH en IMEC ID-Lab van de UGent werden drie onderzoeken in gang geduwd.
Doctoraatsstudent Alec Van den broeck zal in opdracht van de VKC en het MSK Gent op de negentiende-eeuwse Saloncatalogi machinelearningtechnieken toepassen en ontwikkelen (zoals OCR (optical character recognition), Named Entity Recognition en Natural Language Processing) om op een automatische wijze diezelfde metadata uit de Saloncatalogi te halen en zo een rijke set aan verrijkende metadata op te leveren.
In een tweede project neemt Alec Van den broeck de collectie brieven en andere archiefstukken van James Ensor in de collectie van het KMSKA onder de loep. Gezien de grote moeilijkheid om handschriften geautomatiseerd te transcriberen en de verhoogde moeilijkheidsgraad bij het gevarieerde handschrift van James Ensor, zullen we onderzoeken hoe NER (Named Entity Recognition) en andere NLP-technieken (Natural Language Processing) gebruikt kunnen worden op de getranscribeerde teksten.
Een derde deelproject omvat de herkenning via machine learning van ‘Tronies’ in het werk van Rubens. KMSKA-onderzoeker Nico Van Hout onderzocht de tronies in het oeuvre van Rubens. Bedoeling van dit deelproject is nagaan of deze tronies ook via machinelearning- en face recognition-technieken vlot terug te vinden zijn, en of deze technieken in dat geval beter werken dan het geoefende oog van de kunsthistoricus.
| Titel | Verslag Studiedag 'Cultureel erfgoed analyseren en ontsluiten met artificiële intelligentie' (25 maart 2022) (Voorkeurstitel) Studiedag VAIA opent ogen voor de kansen die artificiële intelligentie biedt (Alternatieve titel) |
| Locatie | |
| Uitgever | |
| Jaar van uitgave | 2022 |
| Rechten | CC-BY |
| Persistent ID |
verslag | museumcollecties | “semantisch web” staat niet in de lijst met mogelijke waarden voor de eigenschap “Cest:aboutExpertise” (waarderen en selecteren, digitaliseren, digitaal geboren materiaal, digitaal archiveren, toegang en hergebruik, linked (open) data, rechten en privacy, digitale strategie, metadata).semantisch web | “toegankelijkheid” staat niet in de lijst met mogelijke waarden voor de eigenschap “Cest:aboutExpertise” (waarderen en selecteren, digitaliseren, digitaal geboren materiaal, digitaal archiveren, toegang en hergebruik, linked (open) data, rechten en privacy, digitale strategie, metadata).toegankelijkheid | geluid | rasterbeelden | tekst |