Publicatie:Open Refine handleiding voor cultureel erfgoed collecties
Deze pagina is een verzameling van handelingen, tips en tricks, formules en GREL-expressions waarmee men data in Open Refine kan normaliseren en verrijken. Deze pagina is een work-in-progress en wordt systematisch aangevuld.
Titel | Collectiedata normaliseren met Open Refine (Voorkeurstitel) |
Locatie | |
Uitgever | |
Jaar van uitgave | 2016 |
Rechten | CC-BY-SA |
Persistent ID |
Inhoud
Auteur(s)
- Alina Saenko (meemoo)
Handleidingen
Meemoo Open Refine screencast, 2020
- Open Refine screencast video, 2020
- Bestand:20200616 Data schonen met Open Refine Presentatie.pdf
- Testbestand 1_CSV_open_refine, 2020
- Testbestand 2_Barok_vervaardigers, 2020
Andere
- https://openrefine.org/documentation.html
- Library Carpentry: "OpenRefine Lessons for Librarians." 2016, https://librarycarpentry.github.io/lc-open-refine/
- Boek 'Using OpenRefine' van Ruben Verborgh, Max De Wilde
- Bestand:20150430 Adlibgebruikersgroep openrefine V0 6.pdf
- Bestand:20150430 Handout Open Refine workshop.pdf
- Bestand:20160525 import Open refine naar Adlib.docx
- https://programminghistorian.org/lessons/fetch-and-parse-data-with-openrefine
Normalisering en verrijking
- Reconcilable Data Sources
- Wikidata reconciliation service:
- VIAF reconciliation service:
- Getty reconciliation services (AAT, ULAN, TGN)
- NDE Termennetwerk (work-in-progress?)
- Geonames API
'http://api.geonames.org/countryCode?lat=' + cells["lat"].value + '&lng=' + cells["lng"].value + '&username=alinasaenko'
Export
Een import-bestand voor Adlib genereren
- Test templating Export uit Open Refine voor Adlib
- Blogpost Using Open Refine to create XML Records for Wikimedia Batch Upload Tool
- handleiding pagina 6: Bestand:20150430 Handout Open Refine workshop.pdf
- gedetailleerde beschrijving: Bestand:20160525 import Open refine naar Adlib.docx
Open Refine extensions
- Wikidata extension (augustus 2018): OpenRefine V3.0: Wikidata Extensie en URL services
- VIB-Bits extension: hier te downloaden. Zie ook deze handleiding bij de VIB-Bits extension voor OpenRefine.
GREL functies
Parsing Wikidata JSON
1. Haal ahv Q-nummers de volledige Wikidata-record in json binnen: bij de kolom met Q-nummers kies ‘add colomn by fetching URL' met GREL
"https://www.wikidata.org/wiki/Special:EntityData/" + value + ".json?"
2. Haal de Engelstalige wikipedia link uit de json-record: bij de kolom met de json-record kies ‘add colomn based on this colomn’ met GREL
value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().sitelinks.enwiki.url
3. Haal de Wikimedia Commons category uit de json-record: bij de kolom met de json-record kies ‘add colomn based on this colomn’ met GREL
value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().sitelinks.commonswiki.url
4. Haal de link naar het beeld op Wikimedia Commons uit de json-record in drie stappen:
- bij de kolom met de json-record kies ‘add colomn based on this colomn’, geef die een naam met GREL
value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().claims.P18
value.replace('[', '').parseJson().mainsnak.datavalue.value
'https://commons.wikimedia.org/wiki/File:' + value.replace(' ','_')
Moet nog uitgetest worden: (For the sake of completeness, here is an alternative method using Python/Jython :)
import json
data = json.loads(value)
for id, element in data['entities'].items():
return element['sitelinks']['enwiki']['url']
Other
cell.cross('groeninge data csv', 'workPid').cells['objectNumber'].value[0]
cells["wp"].value
value.replace(/\\/,"")
cells["PID"].value + ";" + cells["pid2"].value
Contactgegevens
Alina Saenko
meemoo, Vlaams instituut voor het archief
Kleindokkaai 9a, 9000 Gent
E: alina.saenko@meemoo.be
T: ++32 (0)9 298 05 01