记录一次微博数据的处理

场景:现有Mysql数据库中爬取的微博数据集,如: https://www.neusncp.com/user/blog?id=91 已转存为csv格式,想存储为gml格式使用Gephi进行可视化。(受服务器资源限制,NEUSNCP的DATALAB还不足以可视化这么大的数据集 ) 话不多说,直接上代码: import networkx as nx import csv def progress(percent, width=50): '''进度打印功能''' percent = 100 if percent...

Continue Reading »
分享到:

新浪微博爬虫实践

最近想要获取一些真实社交网络的数据,试了试Facebook for developers, 提供了很完善的接口: https://developers.facebook.com/tools/explorer/ 但是从2018年4月4日之后,停止了friendlists的功能。 有点可惜。并且,在服务器上暂时无法访问Facebook, 在看看Google+的api: https://developers.google.com/+/web/ 测试了一下get方法,我的id是101266749844321077...

Continue Reading »
分享到: