跳到主要内容
NEUSNCP / 知识空间

博客

发现有价值的观点,记录自己的思考。

写博客
hxy

记录一次微博数据的处理

场景:现有Mysql数据库中爬取的微博数据集,如: https://www.neusncp.com/user/blog?id=91 已转存为csv格式,想存储为gml格式使用Gephi进行可视化。(受服务器资源限制,NEUSNCP的DATALAB还不足以可视化这么大的数据集 ) 话不多说,直接上代码: import networkx as nx import csv def progress(percent, width=50): '''进度打印功能''' percent = 100 if percent...

LP小透明

数据标准化映射到某区间

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。 在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。 其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。 好处: 提升模型的收敛速度 提升模型的精度 Python版Sigmod函数: def sigmoid(x): ''' 归一化函数 ''' import numpy as np return 1.0 / (1.0...