
qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961大数据时代,企业需要采集大量的数据,并从中挖掘有价值的信息。大量数据的采集,普通的爬取方式满足不了需求,那么怎么提升爬虫的爬取效率?这就需要用到分布式爬虫,今天一起跟黑洞代理去了解一下python分布式爬虫框架,怎么提升爬虫的爬取效率。
Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request生成就会放到队列里面,随后Request被Scheduler调度。之后,Request交给Downloader执行爬取,简单的调度架构如下图所示。
如果两个Scheduler同时从队列里面取Request,每个Scheduler都有其对应的Downloader,那么在带宽足够、正常爬取且不考虑队列存取压力的情况下,爬取效率会有什么变化?没错,爬取效率会翻倍。
这样,Scheduler可以扩展多个,Downloader也可以扩展多个。而爬取队列Queue必须始终为一个,也就是所谓的共享爬取队列。这样才能保证Scheduer从队列里调度某个Request之后,其他Scheduler不会重复调度此Request,就可以做到多个Schduler同步爬取。这就是分布式爬虫的基本雏形,简单调度架构如下图所示。
我们需要做的就是在多台主机上同时运行爬虫任务协同爬取,而协同爬取的前提就是共享爬取队列。这样各台主机就不需要各自维护爬取队列,而是从共享爬取队列存取Request。但是各台主机还是有各自的Scheduler和Downloader,所以调度和下载功能分别完成。如果不考虑队列存取性能消耗,爬取效率还是会成倍提高。
由上可知,怎么提升爬虫的爬取效率的问题是可以解决的,通过实现python分布式爬虫可以提升爬取效率。
相关文章内容简介
1 怎么提升爬虫的爬取效率?实现分布式爬虫
大数据时代,企业需要采集大量的数据,并从中挖掘有价值的信息。大量数据的采集,普通的爬取方式满足不了需求,那么怎么提升爬虫的爬取效率?这就需要用到分布式爬虫,今天一起跟黑洞代理去了解一下python分布式爬虫框架,怎么提升爬虫的爬取效率。Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request生成就会放... [阅读全文]
最新标签
推荐阅读
18
2019-06
最快找出可用代理ip方法
最快找出可用代理ip方法,有没有人掌握呢?因为网上很多IP都是无效的,想在其中找到有效的,需要一定的时间,那么有没有最快找出可用代理ip方法呢?
30
2019-06
哪儿能找到速度快的上海代理IP?
当我们使用代理IP的时候,无非是这几种情况,一是网络业务的需要,如数据采集,效果补量需要大量的代理IP;二是一些网站有访问权限,如国外的网站,这个时候就需要国外的代理IP了;三是自
13
2019-04
如何伪装自己的IP地址?黑洞IP代理轻松搞定
16
2019-01
SSH如何限制IP地址远程登录服务器?
尽管SSH在传递过程中较为安全,但有的人也可以利用SSH系统漏洞来获得远程主机的root权限,所以使用SSH的操作过程中有必要对SSH应用程序的系统漏洞进行扫描,并进行修复
热门文章