Software:Snscrape

snscrape (Voorkeurstitel)

Beschrijving

Snscrape is open source software om de inhoud van sociale media binnen te halen in een gestructureerd tekstformaat.

Systeemvereisten

Python 3.6 of hoger

Documentatie

Beheerder	JustAnotherArchivist
Specificatie	Code op GitHub
Documentatie	GitHub README
Persistent ID

Trefwoorden

archiefcollecties | museumcollecties | GPLv3 | Linux | Windows | MacOS | command line | tekst | toepassingen | Software:Twarc

Sociale media bronnen

snscrape kan volgende sociale media scrapen:

• Facebook:
  • pagina
  • groep
  • community
• Twitter:
  • thread
  • search
  • user
  • hashtag
  • posts
  • profiel
  • user
• Telegram channel
• Weibo user
• VKontakte user
• Instagram:
  • user
  • hashtag
  • location
• reddit:
  • user
  • subreddit
  • search

Enkel publieke posts kunnen gescrapet worden.

Gebruik

URL's van iedere post, afbeelding, ... opvragen

Met snscrape kan je van iedere webresource op een sociale media pagina opvragen die je vervolgens kan gebruiken om met een crawler zoals Wget deze webresource te archiveren.

De inhoud van iedere post verzamelen in een gestructureerd tekstformaat

Je kan ook snscrape gebruiken om de inhoud van iedere post van een sociale media bron te verzamelen in een gestructureerd tekstformaat. Hiervoor wordt het jsonl-bestandformaat gebruikt (JSON Lines).