Publicatie:Open Refine handleiding voor cultureel erfgoed collecties

Samenvatting

Deze pagina is een work-in-progress. Hier komt een overzicht van formules en GREL-expressions waarmee men data in Open Refine kan normaliseren en verrijken.

Referentie

Titel	Collectiedata normaliseren met Open Refine (Voorkeurstitel)
Locatie
Uitgever	PACKED vzw
Jaar van uitgave	2016
Rechten	CC-BY-SA
Persistent ID

Trefwoorden

handleiding | museumcollecties | archiefcollecties | bibliotheekcollecties | audiovisuele collecties | interoperabiliteit | tekst | Software:OpenRefine

Auteur(s)

• Alina Saenko (meemoo)

Status

Deze pagina is een work-in-progress. Hier komt een overzicht van formules en GREL-expressions waarmee men data in Open Refine kan normaliseren en verrijken.

Bestand:20150430 Adlibgebruikersgroep openrefine V0 6.pdf
Bestand:20150430 Handout Open Refine workshop.pdf
Bestand:20160525 import Open refine naar Adlib.docx

Data cleaning

https://programminghistorian.org/lessons/fetch-and-parse-data-with-openrefine

Normalisering en verrijking

• Reconcilable Data Sources
  • https://github.com/OpenRefine/OpenRefine/wiki/Reconcilable-Data-Sources

• Wikidata reconciliation service:
  • https://tools.wmflabs.org/openrefine-wikidata/en/api
  • https://wdreconcile.toolforge.org/en/api
• VIAF reconciliation service:
  • http://iphylo.blogspot.be/2013/04/reconciling-author-names-using-open.html
  • http://iphylo.org/~rpage/phyloinformatics/services/reconciliation_viaf.php
• Getty reconciliation services (AAT, ULAN, TGN)
  • https://www.getty.edu/research/tools/vocabularies/obtain/getty_vocabularies_openrefine_tutorial.pdf
• NDE Termennetwerk (work-in-progress?)
  • http://demo.netwerkdigitaalerfgoed.nl/termennetwerk/reconciliation

• Geonames API
  • 'http://api.geonames.org/countryCode?lat=' + cells["lat"].value + '&lng=' + cells["lng"].value + '&username=alinasaenko'

Export

Een import-bestand voor Adlib genereren

• Test templating Export uit Open Refine voor Adlib
• Blogpost Using Open Refine to create XML Records for Wikimedia Batch Upload Tool
• handleiding pagina 6: Bestand:20150430 Handout Open Refine workshop.pdf
• gedetailleerde beschrijving: Bestand:20160525 import Open refine naar Adlib.docx

Open Refine extensions

• Wikidata extension (augustus 2018): OpenRefine V3.0: Wikidata Extensie en URL services
• VIB-Bits extension: hier te downloaden. Zie ook deze handleiding bij de VIB-Bits extension voor OpenRefine.

GREL functies

Parsing Wikidata JSON

1. Haal ahv Q-nummers de volledige Wikidata-record in json binnen: bij de kolom met Q-nummers kies ‘add colomn by fetching URL' met GREL
"https://www.wikidata.org/wiki/Special:EntityData/" + value + ".json?"

2. Haal de Engelstalige wikipedia link uit de json-record: bij de kolom met de json-record kies ‘add colomn based on this colomn’ met GREL
value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().sitelinks.enwiki.url

3. Haal de Wikimedia Commons category uit de json-record: bij de kolom met de json-record kies ‘add colomn based on this colomn’ met GREL
value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().sitelinks.commonswiki.url

4. Haal de link naar het beeld op Wikimedia Commons uit de json-record in drie stappen:

• bij de kolom met de json-record kies ‘add colomn based on this colomn’, geef die een naam met GREL

value.replace(/\{"entities":\{"Q\d+?":/, '').parseJson().claims.P18

• value.replace('[', '').parseJson().mainsnak.datavalue.value
• 'https://commons.wikimedia.org/wiki/File:' + value.replace(' ','_')

Moet nog uitgetest worden: (For the sake of completeness, here is an alternative method using Python/Jython :)

import json

data = json.loads(value)

for id, element in data['entities'].items(): return element['sitelinks']['enwiki']['url']

Other

cell.cross('groeninge data csv', 'workPid').cells['objectNumber'].value[0]
cells["wp"].value
value.replace(/\\/,"")
cells["PID"].value + ";" + cells["pid2"].value

Contactgegevens

Alina Saenko
meemoo, Vlaams instituut voor het archief
Kleindokkaai 9a, 9000 Gent
E: alina.saenko@meemoo.be
T: ++32 (0)9 298 05 01