免责声明:网站内容仅供个人学习记录,禁做商业用途,转载请注明出处。

版权所有 © 2017-2020 NEUSNCP个人学习笔记 辽ICP备17017855号-2

股票数据定向爬虫

最近在学习Python网络数据采集的相关知识,根据学习到的内容做了一个股票数据的定向爬虫。 功能:获取上交所和深交所所有股票的名称和交易信息,输出保存在文件中。 爬取网站:(用于获取股票列表)东方财富网:http://quote.eastmoney.com/stocklist.html (获取个股信息,*内容表示交易所+股票代码)百度股票:https://gupiao.baidu.com/stock/********.html 技术路线:requests-bs4-re 程序结构设计:S1,从东方财...

继续阅读 »
分享到:

Windows下用intellij搭建spark运行环境

环境版本说明: windows10,java-1.8.0,scala-2.11.12,spark-2.1.2-hadoop2.6下载都在官网 1. java安装,不再多说 2. 下载scala和spark(此处一定要想好spark版本问题,其依赖的scala环境不一样,鄙人用的scala-2.11.12,spark-2.1.2-hadoop2.6)下载地址在官网(请自行百度,搜搜更健康) 3. 安装scala http://www.scala-lang.org/download/2.11.12.html ...

继续阅读 »
分享到:

Flask+Vue.js 开发架构

在React和Vue之间做了一些比较,发现Vue更简单一些。 试着搭建了一个前后端分离的项目,大致记录一下过程。 1. 安装nodejs,下载地址: https://nodejs.org/en/download/ 我下载的版本是: https://nodejs.org/dist/v9.5.0/node-v9.5.0-x64.msi 2. 安装vue C:\Users\admin>npm install vue-cli -g npm WARN deprecated coffee-script@1.12.7:...

继续阅读 »
分享到:

nodejs + react 前端框架使用笔记

1. 安装环境搭建: http://nodejs.cn/download/ 下载对应的版本 2.国内使用npm速度较慢,可以使用淘宝定制的cnpm。 npm install -g cnpm --registry=https://registry.npm.taobao.org npm config set registry https://registry.npm.taobao.org 3.使用create-react-app快速构建开发环境 cnpm install -g create-react-app...

继续阅读 »
分享到: