Skip to content

PizerLiu/node-python-Crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

14 Commits
 
 
 
 
 
 

Repository files navigation

node-python-Crawler

一,nodejs_crawler目录 是nodejs所写爬虫

new_get_trends.js代码为爬取知乎搜索问题

occupationCrawler.js代码文件为爬取牛客实习生求职信息和应届生求职网的求职信息

new_get_trends.js代码文件关键参数:

mustString 内的字符串就是要搜索的关键词

pages 就是要查询的总页数
  
//爬取所有关键词的数据
var mustString = ["足球","皇马"] //,"干货","IT","工作","大学生职业"
//爬取控制页面的页数
var pages = 20;

二,python_spider目录 是python所写爬虫

初入github,希望大家多多指点

About

node.js 和 python 所写的爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published