spider

爬虫小程序

supervisor app.js

自动刷新

注意查看robot.txt

使用eventproxy控制并发 eventproxy

或者使用async async

当你需要去多个源(一般是小于 10 个)汇总数据的时候，用 eventproxy 方便；当你需要用到队列，
需要控制并发数，或者你喜欢函数式编程思维时，使用 async。大部分场景是前者，所以我个人大部分时间是用 eventproxy 的。

技术点：

• cheerio
• request