免责声明:网站内容仅供个人学习记录,禁做商业用途,转载请注明出处。

版权所有 © 2017-2020 NEUSNCP个人学习笔记 辽ICP备17017855号-2

股票数据定向爬虫

最近在学习Python网络数据采集的相关知识,根据学习到的内容做了一个股票数据的定向爬虫。 功能:获取上交所和深交所所有股票的名称和交易信息,输出保存在文件中。 爬取网站:(用于获取股票列表)东方财富网:http://quote.eastmoney.com/stocklist.html (获取个股信息,*内容表示交易所+股票代码)百度股票:https://gupiao.baidu.com/stock/********.html 技术路线:requests-bs4-re 程序结构设计:S1,从东方财...

Continue Reading »
分享到:

Windows下用intellij搭建spark运行环境

环境版本说明: windows10,java-1.8.0,scala-2.11.12,spark-2.1.2-hadoop2.6下载都在官网 1. java安装,不再多说 2. 下载scala和spark(此处一定要想好spark版本问题,其依赖的scala环境不一样,鄙人用的scala-2.11.12,spark-2.1.2-hadoop2.6)下载地址在官网(请自行百度,搜搜更健康) 3. 安装scala http://www.scala-lang.org/download/2.11.12.html ...

Continue Reading »
分享到:

Flask+Vue.js 开发架构

在React和Vue之间做了一些比较,发现Vue更简单一些。 试着搭建了一个前后端分离的项目,大致记录一下过程。 1. 安装nodejs,下载地址: https://nodejs.org/en/download/ 我下载的版本是: https://nodejs.org/dist/v9.5.0/node-v9.5.0-x64.msi 2. 安装vue C:\Users\admin>npm install vue-cli -g npm WARN deprecated coffee-script@1.12.7:...

Continue Reading »
分享到: