Glossarium:Webcrawling

Uit Cultureel Erfgoed Standaardentoolbox
Ga naar: navigatie, zoeken


Definitie

Een techniek waarbij een bot, een computerprogramma dat autonoom een taak kan uitvoeren, op een geautomatiseerde en methodische manier het web doorbladert. De webcrawlers maken daarbij een kopie van de gevonden pagina's zodat ze lokaal bewaard kunnen worden.

Webcrawlers zijn oorspronkelijk ontwikkeld om inhoud te indexeren (bv. door zoekmachines). Ze zijn nadien aangepast om websites te archiveren zonder medewerking van hun eigenaar of directe toegang tot de server.


Verwijzingen
Persistent ID
Bronnen
Referenties


Verwante concepten

Glossarium:Data scraping |