Software:Snscrape

Uit Cultureel Erfgoed Standaardentoolbox
Ga naar: navigatie, zoeken


snscrape (Voorkeurstitel)
Beschrijving

Snscrape is open source software om de inhoud van sociale media binnen te halen in een gestructureerd tekstformaat.


Systeemvereisten

Python 3.6 of hoger


Documentatie
Beheerder
Specificatie
Documentatie
Persistent ID


Sociale media bronnen

snscrape kan volgende sociale media scrapen:

  • Facebook:
    • pagina
    • groep
    • community
  • Twitter:
    • thread
    • search
    • user
    • hashtag
    • posts
    • profiel
    • user
  • Telegram channel
  • Weibo user
  • VKontakte user
  • Instagram:
    • user
    • hashtag
    • location
  • reddit:
    • user
    • subreddit
    • search

Enkel publieke posts kunnen gescrapet worden.

Gebruik

URL's van iedere post, afbeelding, ... opvragen

Met snscrape kan je van iedere webresource op een sociale media pagina opvragen die je vervolgens kan gebruiken om met een crawler zoals Wget deze webresource te archiveren.

De inhoud van iedere post verzamelen in een gestructureerd tekstformaat

Je kan ook snscrape gebruiken om de inhoud van iedere post van een sociale media bron te verzamelen in een gestructureerd tekstformaat. Hiervoor wordt het jsonl-bestandformaat gebruikt (JSON Lines).