用javascript做爬虫的正确姿势

栏目: JavaScript · 发布时间: 6年前

内容简介:之前写过第一个是请求库,我选择的是第二个是dom解析库

之前写过 PHP 做爬虫的正确姿势 和 python 做爬虫的正确姿势 。但是从上一篇文章php异步编程我们知道,在有大量的网络请求等待的情况下,异步是提高系统并发能力的手段。爬虫由于有大量的网络请求,nodejs 天然的异步成为了做爬虫的最佳选择。这篇文章介绍相应的库。

第一个是请求库,我选择的是 request

第二个是dom解析库 cheerio 。这个基本就是 jQuery 的翻版。由于 jQuery 本身也是 javascript 实现的,所以 cheerio 比之前的 PHP 和 python 版本实现的更好。

篇外废话:现在的后端架构基本上是一个比较简单的语言来实现应用层,加一个速度快的语言来实现数据层。javascript 因为跟 php 差不多简单,再加上本身就是异步,实现了高效的io,是比 php 更好的应用层选择。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

YC创业营: 硅谷顶级创业孵化器如何改变世界

YC创业营: 硅谷顶级创业孵化器如何改变世界

兰德尔·斯特罗斯 (Randall Stross) / 苏健 / 浙江人民出版社 / 2014-8-1 / CNY 52.90

在互联网创业成本日益降低、融资却越来越难的今天,硅谷的Y Combinator因何成为全世界创业者趋之若鹜的创业圣地?为什么25岁左右的青年最适合创业?创业者如何才能在遴选面试中脱颖而出?为什么YC特别看好那些主要由黑客组成的创业团队? YC真的歧视女性吗?如何想出能够赢得投资的新点子?创业者应该如何寻找联合创始人? 获准进入Y Combinator及其创业公司全程跟踪批量投资项目的第一人,......一起来看看 《YC创业营: 硅谷顶级创业孵化器如何改变世界》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具